Три ответа на вопросы как? о мониторинге и оценке качества образования.

Лосева Светлана Владимировна, КГАНОУ Краевой центр образования, город Хабаровск.

Аннотация. В статье поднимается три вопроса: как обеспечить объективность оценивания в дистанционном формате контроля, как материалы мониторинга и контроля способствуют  эволюции учебной мотивации и как дисбаланс результатов за разные части КИМ ЕГЭ позволяет выявить не только проблему, но и причину «средних» результатов ЕГЭ. Ответы на эти вопросы предлагаются через разбор распространенных проблем, выявленных в практике отдела мониторинга и оценки качества образования образовательного учреждения. Три ответа даются с точки зрения опыта.

Ключевые слова: качество образования, эффективность оценивания, объективность оценивания, дистанционное обучение, контроль, тестирование, КИМ, критериальное оценивание, метапредметные умения, развернутый ответ, ЕГЭ.

Качество образования – стратегический приоритет в России. Оценку качества невозможно представить без учета объективности оценивания. В сложившейся в 2020 году ситуации перехода на дистанционную и смешанную формы обучения мы получили однозначный ответ Рособрнадзора о невозможности проведения процедур государственной итоговой аттестации в дистанционном формате. Опиралось это решение на тот же принцип объективности оценки, соблюсти который в дистанционной форме сложно. Самостоятельность (наряду с критериальным оцениваем) является непреложным условием объективности оценивания. Если выразиться предельно точно, то соблюдать  требования самостоятельности выполнения заданий в дистанционном формате система надзора технически не готова по объективным причинам. Как организовать контроль и оценивание достижений учащихся в дистанционно формате? Мы предлагаем три решения: 1 - самостоятельность, 2 - качественные задания, обладающие новизной и 3 - правильная мотивация.  В этой статье пойдет речь о трудностях, вариантах решений проблемы контроля, техническом обеспечении и альтернативе оценивания 

При обычном текущем контроле получение обучающимся контрольно-измерительных материалов (далее - КИМ) возможно через различные каналы: присоединенный файл в электронном дневнике, на электронный адрес, в LMS (система дистанционного обучения, например, MOODLE, далее - СДО) и под. Отправка результатов возможна по этим же каналам. В качества материала для наблюдения возьмём КИМ, который состоит из двух частей: тестовые задания (ограниченный выбор ответов, проверяется автоматически) и задания с развернутым ответом (проверяются по критериям учителем, так как автоматизированная проверка таких ответов невозможна). 

Перечислим факторы, которые гарантируют контроль самостоятельности выполнения заданий.

Во-первых, видеонаблюдение. В фокусе и охвате камеры должны находиться испытуемый с целью идентификации участника, монитор технического устройства, на котором открыт КИМ и выполняется ввод ответов, рабочее место испытуемого. Чтобы решить проблему охвата этих параметров одной камерой, учителя пришли к формулировке требования: камера, не встроенная в монитор компьютера, направляется на затылок ученика, который сидит перед монитором и охватывает рабочее место ученика. Рядом не должно быть других устройств с выходом в интернет, справочников и готовых записей (допускается чистый черновик для фиксации рассуждения в процессе решения задач). Звук на камере должен быть включен, чтобы избежать несамостоятельности, решения под диктовку не попавшего в камеру «помощника». 

Во-вторых, монопольный режим на устройстве, на котором выполняется решение КИМ. Такой режим возможен в настройках теста, созданного, например, в программе MyTestPro. При запуске теста рабочее поле монитора перекрывается окном программы MyTestPro и воспользоваться поисковыми системами Интернета не представляется возможным. Это условие, к сожалению, не выполняется во встроенных тестах СДО.

В-третьих, ограничение по времени выполнения. Позволим напомнить коллегам известное ёмкое определение навыка: «это умение, доведенное до автоматизма». Скорость выполнения заданий просчитывается опытным путем на апробации контрольных материалов. Если развернутый ответ необходимо присоединить в виде файла, то и на этот навык добавляется фиксированное время. Мы понимаем, что скорость выполнения разнится от темперамента обучающихся, но если навык сформирован, любой темперамент уложится в то время, которое выведено опытным путем на апробации.

В-четвёртых, уникальность заданий КИМ. Формулировки заданий (условий, вопросов) могут быть знакомы испытуемым, ведь они готовились к контролю и решали тренировочные задания. Материал для решения задач, анализа, графических построений и проч., выдаваемый на контроле, должен быть новым для учащегося, чтобы исключить случаи предварительного заучивания ответов. По этой же причине банки заданий должны быть избыточными, т.е. запомнить все ответы на представленные на тренировке задания должно быть невозможно. И ещё одно решение – предложение демоверсии КИМ вместо банка заданий. Публикация демоверсии

Таким образом, решение проблемы самостоятельности в контроле дистанционного формата возможно при учете всех описанных выше факторов.

Важный нюанс - техническая оснащенность другой стороны дистанционного обучения, которую не может контролировать учитель, – стороны обучающегося. На качество,  скорость выполнения и психологический настрой учащегося могут влиять условия: выполнение контрольных заданий на смартфоне с небольшим экраном, невозможность на нем записать ответ в файл, не закрыв приложение с тестированием, использование ограниченного списка браузеров или «медленный» и нестабильный Интернет в точке подключения. Успешно проведенная процедура контроля качества обучения для ученика должна быть сопряжена с удовлетворенностью своей работой и отсутствием стресса из-за технического несовершенства дистанционного учебного места. 

Если эта составляющая процедуры контроля не учтена, то выставление оценок при дистанционном контроле также необъективно и лишено смысла. Здесь мы сталкиваемся ещё с одной проблемой контроля – мотивация на оценку, а не на результат в плане своих учебных новообразований. Когда ученик мотивирован на оценку, проводить контроль и выставлять отметки в дистанционном периоде не надо. В качестве иллюстрации приведем пример текущего и промежуточного контроля в 2019/2020 учебном году по русскому языку. 

Таблица 1. Сравнение успешности выполнения заданий.

Контроль в школьной аудитории					Контроль в дистанционной форме				Контроль в школьной аудитории
ВХ 2019/20	М1	М2	М3	М4	М5	М6	М7	Годовой тест	ВХ 2020/21
Пример 1	61	64	54	55	78	96	79	84	51
Пример 2	63	62	68	66	79	78	88	89	61
Пример 3	78	77	81	75	82	74	76	76	72
Пример 4	64	68	67	69	64	68	63	64	63
Пример 5	74	78	71	71	77	78	72	74	74

В таблице 1 столбцы названы номером тематического модуля и содержат результаты тестирования пяти учеников (в процентах, округлено до целого числа). Серым полем выделены столбцы модулей, которые контролировались без соблюдения жестких требований самостоятельности (включая годовой контроль). На входной контроль были вынесены именно темы последних модулей. Мы видим, что результаты в начале 2020/2021 учебного года преимущественно разнятся у учащихся, мотивированных на оценку (примеры 1 и 2), а не на умения. У мотивированных учеников между результатами с гарантированной объективностью и неконтролируемой объективностью такой разницы не наблюдается (примеры 3, 4 и 5).

Можно отложить контроль до благоприятного периода возвращения детей в школы, а можно перейти на безоценочное обучение (очно или удалённо) и очный итоговый контроль. Многие школы, решая перейти на безоценочную систему контроля качества знаний, встают перед проблемой: если не ставить оценки –  будут ли дети учиться? 

Позволим небольшое отступление от темы в область идеальных учебных отношений, ведь без идеалов и цель лишена привлекательности. Эволюция мониторинга должна вызвать эволюцию отношения к оценке всех потребителей образовательных услуг. Как мотивировать учеников (и их родителей) на самостоятельность и, как следствие, объективность? Ответ и изменившаяся вслед за этим ситуация существенно облегчили бы работу надзорным органам и позволили бы специалистам в области качества образования все силы приложить в одном направлении – повышение качества образовательных услуг. 

 

Обратимся к содержательной стороне текущего контроля. Мы уже говорили о КИМ и его двух частях: «тестовой» и «письменной - эти некорректные наименование дали учащиеся, различая компьютерное тестирование с автоматизированной проверкой и задания с развернутым ответом, проверяемые учителем. Тестовые задания позволяют оптимизировать работу учителя в области контроля. Автоматизированные тесты экономят время ученика (учебное время на выполнение) и учителя (проверка совершается мгновенно). Об объективности оценивания  при такой форме контроля мы уже писали выше. Задания с развернутым ответом проверять сложнее: требуется больше времени, хорошее владение критериальной базой оценивания таких ответов, тщательная разработка критериев. Выполнение этих заданий учеником при дистанционном контроле тоже непросто. Ограничение времени на выполнение кажется строже (до секунды), время на отправку ответа зависит от навыка ИКТ: если мы прикрепляем файл фото с ответом или сканированную рукописную работу – одно время, а если это набранное в текстовом редакторе эссе - другое. Ограничиться в контроле заданиями только закрытого типа невозможно. 

Задания с развернутым ответом позволяют проверить особые умения. Не только предметные, но и метапредметные умения проверяются заданиями с развернутым ответом в практике нашего учебного заведения. Работа с линейными и нелинейными текстами, со смешанными текстами выносится на дистанционный контроль и требует такого же объективного оценивания, как и тесты с автоматизированной проверкой. Шагом к самостоятельности выполнения задания становится решение уникальных задач. Ответы невозможно найти в Интернете, потому что материалы (тексты) становятся учебными, а именно: привлекаются различные современные публикации в журналах и книгах для детей и подростков и задания составляются с учетом содержания конкретного текста. Ученики вынуждены думать. Кроме того, интересные тексты развивают правильную учебную мотивацию – на совершенствование умений. Способствует такой мотивации владение критериями оценки для ученического самоконтроля. Публикация на сайте учебного заведения банков заданий или демоверсий к контролю обязательно сопровождается критериями оценивания развернутого ответа, например, на сайте КГАНОУ Краевого центра образования. 

Примеры банков заданий и демоверсий заданий с развернутым ответом можно посмотреть здесь: 

1. https://school.kco27.ru/wp-content/uploads/2020/09/5_%D0%A0%D1%83%D1%81%D1%81%D0%BA%D0%B8%D0%B9_%D0%9C2.pdf 

2. https://school.kco27.ru/wp-content/uploads/2020/09/5_%D0%A0%D1%83%D1%81%D1%81%D0%BA%D0%B8%D0%B9_%D0%9C5.pdf 

3. https://school.kco27.ru/wp-content/uploads/2021/01/5.1-%D0%A0%D1%83%D1%81%D1%81%D0%BA%D0%B8%D0%B9_%D0%9C6.pdf 

Обращаясь к проблеме качества обучения, хотим обратить внимание на важный параметр анализа результатов. Большинство КИМ состоит из двух частей, одна из которых – развернутый ответ. Рассмотрим проблему соотношения успешности каждой части и предлагаем это сделать на КИМ предмета «русский язык». Проведенный пробный экзамен показал важный для понимания реальных достижений ученика фактор – баланс между успешностью выполнения заданий с закрытым ответом (их 26) и заданием-сочинением (12 критериев для оценивания). В таблице 2 представлены результаты с данными по тестовой части и сочинению. Успешность высчитана в процентах по отношению к максимально возможному баллу за каждую часть. 

Таблица 2. Баланс тестовой части и сочинения.

Учащийся	Тест. Успешность (%)	Сочинение. Успешность (%)
Пример 1	68	96
Пример 2	74	100
Пример 3	90	48
Пример 4	45	80
Пример 5	90	60

Мы видим, что в примерах 1, 2 и 4 тестовая часть выполнена хуже сочинения. Это свидетельствует о том, что речевые навыки сформированы слабо и учащийся в своих речевых произведениях сознательно избегает случаев, где он может допустить ошибку. Сочинение написано достаточно грамотно. Здесь преобладает самоконтроль, девиз которого известен каждому: «Не знаешь – не пиши». Применить его в условиях заданий, например, с выбором ответа невозможно.

Примеры 3 и 5 демонстрируют более высокий процент успешности в тестовой части. Причиной такого расхождения с результатом сочинения может быть несамостоятельность при выполнении этих заданий (заучивание наизусть, возможность списать). Речевые навыки, владение нормами русской речи и умения организовать мысль в высказывание не сформированы у учащихся с такой корреляцией успешности выполнения. Оба варианта дисбаланса сигнализируют о поиске верного инструмента и выстраивании дальнейшей работы с учащимися с учетом этого фактора.

Итак, на поставленные вопросы мы нашли ответы в практике отдела мониторинга и оценки качества образования.  Опытным путем обнаруженные «бреши» в объективности устраняются усиленным контролем с видеонаблюдением, изменением учебной мотивации и анализом полученных результатов диагностических работ. Эти направления должны стать приоритетными в развитии.

Источники.

1. Сапрыкина Д.И. Проблемы перехода на дистанционное обучение в Российской Федерации глазами учителей. Исследование Национального исследовательского университета «Высшая школа экономики» URL: https://ioe.hse.ru/fao_distant (дата обращения 22.01.2021)

2. Воронцов А.Б. Лекция 1 «Формы и виды оценивания в построении школьной системы оценки результатов и качества образования» / Материалы весенне-летней дистанционной школы 2016г. Документ опубликован не был. Доступ из личного кабинета обучающегося.

3. Г. А. Цукерман. Развитие учебной самостоятельности. – М, 2015. - 432 с. 

4. Методология и критерии оценки качества общего образования в общеобразовательных организациях на основе практики международных исследований качества подготовки обучающихся. URL: http://docs.cntd.ru/document/554691568 (дата обращения 25.01.2021)