Способы проведения мониторинга результатов образования обучающихся
1. Мониторинг в образовании, его достоинства и недостатки.
2. Виды мониторинга.
3. Модели проведения мониторинга.
4. Этапы и уровни проведения мониторинга качества образования, пользователи и исполнители, доступ к информации.
5. Показатели качества образования и эффективности образовательной деятельности школ.
1. Мониторинг в образовании, его достоинства и недостатки
Цели и функция мониторинга. Под мониторингом следует понимать систему постоянного сбора данных о наиболее значимых характеристиках качества образования, их обработку, анализ и интерпретацию с целью обеспечения общества и системы образования достоверной, достаточно полной и дифференцированной по уровням использования информацией о соответствии процессов и результатов образования нормативным требованиям, происходящих переменах и прогнозируемых тенденциях. Иначе говоря, мониторинг — это стандартизированное наблюдение за образовательным процессом и его результатами, позволяющее создавать историю состояния объекта во времени, количественно оценивать изменение субъектов обучения и образовательной системы, определять и прогнозировать направления их развития. Основная цель создания системы мониторинга — повышение качества образования [20].
К составляющим мониторинга относятся: объекты и субъекты образовательного процесса, комплекс показателей качества образования, инструментарий, базы данных для накопления информации, методики анализа, переработки и интерпретации информации, программно-инструментальные средства обработки данных. Ведущими функциями мониторинга в образовании являются: информационная, диагностическая, сравнительная и прогностическая. Основная сфера практического применения мониторинга — информационное обеспечение управления качеством образования, осуществляемого различными методами, в том числе и прямым административным вмешательством.
Информация, накапливаемая в системе мониторинга, может использоваться для идентификации проблем в обучении, связанных с недостатками в методах преподавания, искажениями в пропорциях учебных планов, просчетами авторов школьных учебников и др. Она помогает оценивать последствия инноваций в образовании, осуществляемых в государстве, регионе, районе или внутри отдельной школы. Данные мониторинга мотивируют руководство школ и преподавателей к улучшению своей деятельности и способствуют повышению ответственности за результаты учебного процесса.
Достоинства и недостатки мониторинга. Совокупность показателей мониторинга всегда согласована с наиболее общими тенденциями в образовании, выработанными правительством страны и другими органами управления образованием. Сбор обширного количества данных и накопление описательной (дескриптивной) статистики не только важны для образования, но и имеют политический смысл.
Статистика, описывающая состояние системы образования, может использоваться для демонстрации потребности в образовательных реформах, служить доказательством плохой работы предыдущего управленческого состава в образовании или показывать преимущества проводимых в государстве реформ. Некоторые критики систем мониторинга утверждают, что аналитики специально выбирают для сообщения нужную информацию, которая зависит от политических целей в образовании и способствует усилению централизованного контроля со стороны органов управления образованием за результатами обучения.
Манипулирование данными мониторинга становится затруднительным, если они сравниваются с некоторыми стандартными количественными критериями или нормами выполнения тестов, установленными на уровне школы, района или региона. Подобное сопоставление будет давать обоснованные результаты при условии статистической коррекции данных мониторинга с учетом дополнительных факторов, выравнивающих показатели каждой школы относительно средних показателей по району.
Мониторинг позволяет решать многие повседневные задачи диагностического характера. Данные, накапливаемые в школьном мониторинге, помогают выявить систематические трудности в усвоении отдельных разделов дисциплин, оценить эффективность инновационных методов работы учителей, диагностировать причины неудач отдельных учащихся, обоснованно связав их с предметными, социально-экономическими или другими факторами. В целом школьная система мониторинга обеспечивает обратную связь, позволяющую судить о сильных и слабых аспектах системы обучения.
Условия эффективного проведения мониторинга. Специалисты по мониторингу выделяют ряд условий его эффективности, среди которых:
— использование системного подхода, обеспечивающего слаженную работу механизма по сбору; обработке, анализу и интерпретаций -информации;
— сочетание количественных и качественных методов измерения в мониторинге; — репрезентативная совокупность показателей мониторинга, учет различных, в том числе и косвенно влияющих на результаты обучения, факторов;
— корректная интерпретация данных мониторинга с учетом различных влияний и связей между показателями;
— репрезентативность выборочных совокупностей учащихся, принимающих участие в мониторинге;
— привлечение к проведению, мониторинга квалифицированных специалистов и преподавателей школ;
— использование качественного инструментария и современного программного обеспечения для обработки и анализа данных мониторинга;
— методическая и финансовая помощь со стороны органов управления образованием разного уровня.
2. Виды мониторинга
Классификация видов мониторинга. В основу классификации видов мониторинга могут быть положены разные основания, к числу которых относятся: цели проведения мониторинга; его основные функции; область применения данных; инструментарий; модель или технология проведения мониторинга и др.
Чаще всего классификация видов мониторинга проводится в соответствии с его основными функциями: информационной, диагностической, сравнительной и прогностической.
Информационный мониторинг. Проведение информационного мониторинга нацелено на сбор, накопление, анализ, структуризацию и интерпретацию данных по выделенной совокупности показателей при условии, что анализ носит не сопоставительный или прогностический, а констатирующий характер. Отличительной чертой информационного, мониторинга является отсутствие анализа эффектов связи и взаимного влияния показателей, сопоставления результатов мониторинга на различных уровнях управления качеством образования, выявления тенденций в образовании и прогнозирования их влияния на качество образования.
В рамках информационного мониторинга анализ направлен, на выявление степени согласованности данных с некоторыми нормами и стандартами. Например, анализ данных мониторинга аттестационного тестирования выпускников школ нацелен на установление соответствия учебных достижений выпускников требованиям ГОС [36; 50]. При анализе таких данных следует принимать во внимание средние размеры классов по школам внутри района, количество учащихся, приходящихся на одного преподавателя в школе, ежегодные расходы на учебные материалы, размер библиотечных фондов, данные о квалификации преподавателей в школах, число сотрудников вспомогательного состава и т.д. Эти и другие данные в усредненном виде могут быть отнесены к некоторым районным или областным стандартам школьного образования.
Диагностический мониторинг. Диагностический мониторинг предназначен для определения того, как справляются с различными темами или разделами учебного плана большинство учащихся. Диагностический мониторинг может проводиться на различных уровнях. Преподаватели выявляют проблемы усвоения учебного материала и осуществляют деятельность по диагностическому мониторингу на уровне класса. В районе диагностические системы мониторинга нацелены на определение отдельных слабо усвоенных умений и навыков;
Сбор данных для диагностического мониторинга обычно проводится с помощью педагогических измерений. В качестве основного инструментария используются корректирующие критериально-ориентированные тесты, которые сопровождаются диагностическими тестами для установления причин пробелов в усвоении учебного материала.
В диагностическом мониторинге не учитываются входные характеристики учащихся, поскольку главная его цель состоит в том, чтобы идентифицировать сильные и слабые стороны в учебных достижениях и образовательной деятельности независимо от характеристик учащихся и их возможностей усвоения материала. Поэтому данные диагностического мониторинга не используют для проведения сравнений между школами или районами.
Сравнительный мониторинг . Сравнительный мониторинг отличается от других видов мониторинга специфическим анализом данных, который направлен на сопоставление количественных оценок по совокупности показателей для регионов, областей, районов, школ, отдельных преподавателей и других участников образовательной деятельности. Сравнения проводятся либо по вертикали (территории, регионы, образовательные учреждения), либо по горизонтали (рейтинг школьников, рейтинг территорий и т.д.) на основе анализа количественных оценок по одинаковым показателям и с учетом различных факторов, смещающих оценки. По результатам сравнительного мониторинга обычно принимаются административные решения.
При проведении сравнений особое значение имеет анализ связей между показателями и их взаимного влияния. Необходимы доказательства достаточной полноты совокупности показателей, используемой в сравнительном мониторинге, и репрезентативности выборочных совокупностей учащихся, принимающих участие в проведении мониторинга. Специфика анализа данных в сравнительном мониторинге и особая ответственность за его результаты вынуждают предъявлять повышенные требования к качеству инструментария, его надежности и валидности. В сравнительном мониторинге обычно используют количественные шкалы, стандартизированные тесты учебных достижений и профессионально разработанные анкеты для сбора дополнительной информации о факторах, находящихся вне деятельности школ, но существенно влияющих на результаты их образовательной деятельности.
Проведение сравнительного мониторинга нередко включает измерения входных данных и итоговых результатов обучения, поскольку многие из них значимо влияют на итоговые учебные достижения учащихся. Хотя возможности мониторинга этого вида у многих учителей вызывают сомнения и часто являются предметом критики, мировой опыт свидетельствует о том, что сравнительный мониторинг приводит к явным позитивным следствиям. Межшкольные, межрайонные или межрегиональные сравнения стимулируют соревнование и мотивируют педагогов к улучшению образовательного процесса.
В сравнительном мониторинге обычно используют нормативно-ориентированные тесты учебных достижений, стандартизированные на представительных выборках в масштабах всей страны или региона. Таким образом, средние оценки по школам или районам могут быть сопоставлены с региональными и национальными нормами. Наибольшие трудности при проведении сравнительного мониторинга связаны со сбором дополнительной информации по ряду показателей, находящихся вне сферы влияния школ, но требующих учета при проведении межшкольных, межрайонных и других сравнений. Выбор этих показателей должен учитывать социальные и экономические особенности региона или района, организационные механизмы формирования состава школ и другие факторы, влияющие на качество образования.
Прогностический мониторинг. Прогностический мониторинг предназначен для выявления и предсказания позитивных и негативных тенденций в развитии образовательных систем. Он очень важен для решения управленческих задач в образовании, связанных с формированием социального заказа и соответствующих потенциалу системы образования. Роль прогностического мониторинга в условиях реформирования российского образования неуклонно возрастает в силу изменений, происходящих в характере управленческих решений на разных уровнях иерархии [5]. Если раньше приоритет принадлежал оперативным управленческим решениям, направленным на текущее функционирование образовательных структур, то сейчас на первый план нередко выходят стратегические решения, нацеленные на развитие системы образования.
Опыт реформирования в образовании показал, что стратегические решения зачастую приходится принимать в условиях отсутствия необходимой информации, в результате не учитываются все возможные последствия проводимых нововведений и преобразований. Примером тому может служить предоставление образовательным учреждениям права на оказание платных (услуг, которое, с одной стороны, сыграло положительную роль а с другой — имело негативные, неучтенные последствия. В частности оно способствовало коммерциализации общего образования, расширению практики использования денежных, средств родителей.
При наличии необходимых информационных условий для разработки стратегии на основе анализа внутрисистемных и межсистемных противоречий можно предвидеть многие негативные последствия реформаторства и принять упреждающие меры на момент осуществления нововведений. Стратегические управленческие решения, направленные на развитие системы образования, должны основываться на вероятностной оценке тенденций в образовании, которые следует получать с помощью прогностического мониторинга. Для прогноза обычно широко используются методы регрессионного анализа и другие математико-статистические методы.
Рассмотренные виды мониторинга редко встречаются в практике образования в чистом виде. Их выделение имеет смысл для описания требований к проведению, обеспечивающих корректность сбора, анализа и интерпретации данных. Как правило, в образовании проводят комплексный мониторинг, сочетающий в различных пропорциях перечисленные выше виды.
3. Модели проведения мониторинга
Модель соответствия нормам и стандартам. Наиболее простая модель мониторинга нацелена на сбор данных о процессе и результатах образовательной деятельности, включая их анализ путем сопоставления с установленными нормами и стандартами. Достоинство модели соответствия нормам и стандартам — в простоте и оперативности реализации. Недостатки модели — ограниченные возможности интерпретации результатов мониторинга, связанные с отсутствием достаточного числа характеристик образовательной деятельности школ, процессов ее протекания и входных данных об учащихся. В силу отсутствия важной информации модель соответствия нормам и стандартам не позволяет корректно сопоставить результаты обучения и сделать обоснованные выводы для управления качеством образования.
Модель «вход—выход». Классическая модель «вход—выход», используемая в большинстве стран в системах информационного и сравнительного мониторинга, основана на предположении о том, что входные данные учащихся существенно влияют на результаты их обучения в школе. К входным данным относят совокупность показателей, характеризующую начальные способности учащегося, социально-экономический статус семей учащихся, ресурсы школы (профессиональный уровень преподавателей школ, размеры финансирования на одного учащегося и т.д.). Выходные данные включают экзаменационные оценки учебных достижений учащихся и выпускников школ и полный перечень освоенных ими знаний и умений.
Учет входных данных позволяет выделить однородные группы школ, начинающих работу в одинаковых условиях, что гарантирует корректность внутригрупповых сравнений по конечным результатам образовательной деятельности. Сравнение, школ с различными входными данными проводится с помощью уравнений множественной регрессии. Таким образом, модель «вход—выход» расширяет возможности мониторинга и позволяет проводить внутригрупповые и межгрупповые сравнения образовательных учреждений.
Модель «вход—процесс— выход». В настоящее время большое распространение получила так называемая модель с пятью факторами (модель «вход — процесс—выход»). Она включает в себя комбинацию характеристик не только результатов, но и процесса обучения. К факторам этой модели относятся:
1) сильное административное руководство;
2) наличие стабильного и хорошо организованного внутреннего микроклимата в классе и в школе;
3) .преимущественная ориентация в обучении на формирование у учащихся базовых академических навыков;
4) повышенные требования к учащимся со стороны преподавателей, ориентирующие учащихся на постоянный прирост учебных достижений;
5) наличие системы внутришкольного мониторинга, обеспечивающей достоверную информацию о качестве образования.
Таким, образом, улучшенная модель системы мониторинга образовательной деятельности — модель «вход—процесс—выход» — включает информацию относительно процессов, протекающих в школе при обучении и воспитании учащихся. В основе расширенной модели лежит предположение о том, что совершенствование процесса обучения запланированным образом неизбежно должно привести к более высоким учебным достижениям, что вполне отвечает реалиям в практике образования.
Динамическая модель мониторинга. Большинство сравнительных оценок деятельности школ основывается на межгрупповом анализе и сопоставлении средних оценок учебных достижений, существенно зависящих от контингента учащихся школы и социально-экономической характеристики района, в котором расположена школа. В силу социальной неоднородности заселения различных, районов некоторые школы из года в год получают значительную долю неблагополучного контингента учащихся. Поэтому достижения таких школ при сравнении по конечным результатам обучения могут оставаться незамеченными годами, несмотря на эффективную образовательную деятельность и усилия педагогического коллектива. Преодолеть этот недостаток можно, используя динамическую модель мониторинга, основанную на анализе динамики изменений в образовательной деятельности школы, выявлении их позитивного или негативного характера и степени влияния школы на происходящие изменения.
Наиболее эффективная динамическая модель мониторинга строится на измерениях скорости прироста учебных достижений учащихся в течение некоторого временного периода. Поскольку на темп развития учащихся существенно влияют начальные способности и характеристики семьи, то учет этих показателей обеспечивается без дополнительных усилий при измерениях скорости прироста учебных достижений. В этой связи многие специалисты настоятельно советуют использовать динамическую модель мониторинга, основанную на измерениях изменений в учебных достижениях.
Наработки в статистике, теории педагогических измерений и дизайне тестов в последние десятилетия значительно усиливают преимущества динамического мониторинга. Благодаря теории IRT у создателей тестов появилась возможность построения батарей тестов учебных достижений, включающих отдельные субтесты для учащихся на различных образовательных уровнях без потери сопоставимости результатов тестирования. С этой целью в тесты для двух смежных классов обычно включают блок якорных заданий, одинаковых для обоих тестов. Таким образом достигается связка при построении шкал учебных достижений предыдущих и последующих образовательных уровней. Благодаря этой связке результаты мониторинга размещаются на одной непрерывной шкале, которая охватывает длительный период обучения в школе.
4. Этапы а уровни проведения мониторинга качества образования, пользователи и исполнители, доступ к информации
Основные этапы мониторинга . При проведении мониторинга, как и при любом эмпирическом исследовании, можно выделить три основных этапа, среди которых:
— обработка информации, ее анализ и интерпретация.
Данные этапы носят обобщенный характер, их конкретизация зависит от целей мониторинга, его вида, выбранной модели проведения и управленческого уровня, на котором принимаются решения (школьный, районный, областной/региональный, федеральный). По мере увеличения охвата учащихся и масштабов в управлении качеством образования развернутый перечень этапов будет меняться в направлении увеличения их числа, а сама система мониторинга будет расширять свои функции и приобретать комплексный характер.
Этапы мониторинга для областного уровня управления . Конкретизация этапов мониторинга для регионального или областного уровней управления включает следующие этапы.
I . Подготовка исследования:
— выбор целей создания системы мониторинга, круга пользователей и вида мониторинга;
— подготовка программы работ и плана их проведения, выбор исполнителей;
— определение модели мониторинга;
— формирование совокупности показателей, их операционали-зация, распределение по количественным и качественным уровням;
— выбор методов сбора данных, обеспечивающих сочетание количественных и качественных уровней анализа информации;
— разработка инструментария для сбора данных (тестов, анкет и т.д.);
— формирование репрезентативных выборочных совокупностей учащихся для участия в мониторинговых исследованиях;
— проведение пилотных исследований качества инструментария (его надежности и вал ид ности), коррекция инструментария,
— выбор шкал и методов шкалирования и интеграции данных мониторинга;
— разработка программного обеспечения для обработки данных мониторинга;
— разработка программно-инструментального обеспечения для ввода данных;
— разработка структуры баз данных мониторинга и средств для их ведения.
2. Сбор информации:
— проведение тестирования и анкетирования;
— работа с документами;
— организация процедур наблюдений за сбором информации для обеспечения ее достоверности;
— организация процедур соблюдения конфиденциальности информации.
3. Обработка информации, ее анализ, интерпретация:
— анализ и чистка сырых данных, обработка данных мониторинга;
— оценивание надежности и валидности данных, анализ генерализуемости;
— коррекция и выравнивание данных для обеспечения сопоставимости по группам сравнения;
— шкалирование данных мониторинга;
— интерпретации результатов анализа;
— подготовка заключительного отчета по использованию результатов мониторинга в соответствии с целями его проведения.
Для проведения мониторинга внутри школ перечень этапов должен быть существенно сокращен. В частности должна исчезнуть разработка инструментария, поскольку делать его имеет смысл лишь профессионалам в городе или области и стандартизовать на таких же выборках для обеспечения корректности межшкольных сравнений. Не нужны также процедуры обработки, анализа и интерпретации данных, которые следует проводить в специальных информационно-диагностических центрах, и т.д.
Представление данных. При использовании результатов мониторинга на каждом уровне (например, при формировании общественного мнения относительно ЕГЭ) необходимо согласовать формат и перечень предоставляемых данных с возможностями восприятия той группой пользователей, для которой эта информация предназначена. Под согласованием понимается выбор формата представления данных мониторинга, их объема, языка изложения и необходимых поясняющих материалов для интерпретации.
Информационная безопасность. Для обеспечения информационной безопасности данных мониторинга следует учитывать различные аспекты использования информации в районе или в регионе. К ним относятся:
— хранение информации в виде баз данных и на бумажных носителях;
— систематизация информация, ее структурирование;
— статистическая обработка информации;
— анализ результатов обработки;
— интерпретация данных анализа;
— принятие управленческих решений.
5. Показатели качества образования и эффективности образовательной деятельности школ
Выбор показателей качества образования. Для реализации выбранной модели мониторинга необходимо составить достаточно полный набор показателей, характеризующих качество образования и эффективность -деятельности образовательных учреждений.
Основания по выбору и структурированию совокупности показателей могут быть самыми разными, но в целом совокупность показателей должна:
— обладать достаточной полнотой;
— быть в основной своей части операционализируемой;
— быть признанной и полезной на различных уровнях управления;
— обеспечивать сбор и сообщение информации относительно образовательной деятельности в соответствии с задачами, решаемыми в управлении качеством образования;
— быть нацеленной на ту информацию, которая обладает прогностическими возможностями и является значимой на протяжении нескольких лет;
— обеспечивать надежность, простоту, экономическую целесообразность сбора информации.
В мониторинге качества образования общую совокупность показателей можно разделить на следующие подгруппы:
— показатели качества функционирования образовательных си-.стем;
— показатели качества учебного процесса;
— показатели качества результатов обучения;
— показатели качества инновационной деятельности (использование информационных технологий, передового опыта педагогической науки и практики) при обучении;
— показатели качества, характеризующие материальные вложения в образование;
— показатели качества управления образовательными учреждениями.
Первая группа показателей . Показатели первой группы характеризуют: качество содержания образования, структуры, образовательных программ и форм организации учебного процесса; эффективность реализации целей обучения и воспитания; наличие развитых педагогических технологий, качество работы системы подготовки и переподготовки педагогических кадров и др.
Необходимо также принимать во внимание группу обобщенных показателей качества образовательных систем, к которым можно отнести характеристики оперативности принятия управленческих решений, наличие информационных возможностей, эффективность прямой и обратной связи в системах, прогнозируемость тенденций развития образовательной системы и т.д.
Вторая группа показателей . Показатели второй группы характеризуют уровень доступности и индивидуализации обучения; качество организации образовательного процесса, условия и атмосферу преподавания; вариативность учебных программ; соотношение традиционных и инновационных технологий обучения и контроля; соответствие структуры и содержания обучения актуальным тенденциям теории и практики образования; степень внедрения компьютерных методов в обучение, характеристики деятельности образовательного учреждения в основное ‘(урочное) и не основное (внеурочное) время и т.д.
Третья группа показателей . Третью группу составляют показатели, характеризующие результаты контроля и оценки учебных достижений учащихся (внутренние и внешние, полученные в процессе аттестации); качество учебных достижений обучаемых; уровень развития общеучебных и коммуникативных умений; подготовку выпускника школы к жизни в современном обществе высоких технологий; наличие сформированной базы для продолжения образования, умения решать проблемы жизненного характера и т.д.
К остальным группам показателей качества образования относятся характеристики использования передового опыта педагогической науки и практики при обучении, размеры финансирования образования, кадровое, информационное, материально-техническое и методическое обеспечение.
Дополнительные показатели . При оценке качества образования для принятия управленческих решений необходимо уделять внимание дополнительным показателям, характеризующим социально-экономическое развитие страны, региона, области, района, являющимся следствием национальных процессов и связанным с качеством образования.
К ним можно отнести: индекс развития человеческого потенциала (процент грамотного взрослого населения, количество обязательных лет обучения в школе основной доли взрослого населения, количество людей с высшим образованием на 1000 человек); обобщенную характеристику экономической динамики в регионе; характеристику криминогенной обстановки в районе и многие другие.
Структурирование показателей, влияющих на качество образования. Все показатели, влияющие на качество образования, по разным основаниям можно разделить на группы. В частности выделяются не изменяющиеся или слабо изменяющиеся со временем факторы (географическое положение школы, ее расположение в городе или в селе, определенном районе города, социально-экономическое окружение образовательного учреждения или социально-экономические характеристики региона и др.) и факторы, подверженные динамичным изменениям (педагогический состав, формы и методы дополнительного образования, уровень обеспеченности родителей учащихся, их социальный статус, миграционные процессы среди населения России и др.).
Показатели подразделяются на поддающиеся влиянию со стороны органов управления образованием, изменение которых можно вести целенаправленно для повышения качества образования, и инвариантные, не зависящие от управленческих воздействий. В первую группу, например, входят: использование передового опыта педагогической науки и практики, размеры финансирования образования, кадровое, информационное, материально-техническое обеспечение. Ко второй группе можно отнести: уровень обеспеченности родителей учащихся, их социальный статус, миграционные процессы среди населения России.
Источник