Английские школы — ChatGPT сократил учителям время на подготовку уроков на 31% без потери качества

Коротко. 259 учителей естественных наук в 68 государственных школах Англии 10 недель готовили уроки для 7–8 классов — часть с доступом к ChatGPT, часть без. Независимый оценщик по заказу двух благотворительных фондов измерил: время подготовки упало на 31%, а слепая экспертная проверка не нашла разницы в качестве материалов.

Что изменили

До эксперимента учителя готовили уроки, тесты и раздаточные материалы обычным способом — без генеративного ИИ. В экспериментальной группе учителям дали доступ к ChatGPT по модели «выбор учителя»: инструмент не заменял учителя и не был обязателен для каждого урока — учитель сам решал, что и как с его помощью сделать, и сам редактировал результат. Охват ограниченный: ChatGPT использовали в основном для одной-двух активностей на урок. Испытание шло 10 недель летнего семестра 2024 года, основной результат измеряли в недели 6–10.

Как измерили

Это школьно-рандомизированное контролируемое испытание: школы случайным образом распределили между группой с ChatGPT и контрольной группой. Независимую оценку провёл NFER (National Foundation for Educational Research, британский исследовательский институт в сфере образования) — организация, не связанная ни с разработчиком ChatGPT, ни со школами-участницами, по заказу Education Endowment Foundation и Hg Foundation. Education Endowment Foundation присвоил результату высокий рейтинг надёжности.

Слабое место: основной показатель (время подготовки) собирали через еженедельный дневник самих учителей, а не независимым прямым измерением, и 18,5% учителей не заполнили дневник до конца и выпали из основного анализа (в группе с ChatGPT таких было чуть больше). Качество материалов оценивала экспертная комиссия NFER, не знавшая, какие ресурсы созданы с ИИ, а какие без. Но она оценивала выборку материалов, а не то, как прошли реальные уроки, и успеваемость учеников в исследовании не измеряли.

Что получилось

Учителя из группы с ChatGPT тратили на подготовку уроков и материалов в среднем 56,2 минуты в неделю против 81,5 минуты в контрольной группе — на 25,3 минуты, или 31%, меньше. При этом независимая слепая экспертная комиссия не нашла различий в качестве учебных ресурсов между группами: экономия времени не обернулась ухудшением материалов, по крайней мере в той выборке, которую оценивали эксперты.

Почему так вышло

Механизм в исследовании отдельно не проверяли. Известно, как было устроено внедрение: по модели «выбор учителя» ИИ не подменял педагогическое решение, учитель сам решал, где использовать ChatGPT, и сам редактировал результат. Можно предположить, что это помогло сохранить качество, но проверки этой гипотезы нет. Неизвестно, на что учителя потратили сэкономленное время. Этот вопрос остался за рамками измерения.

Чему учит

Модель «инструмент в руках специалиста, а не вместо него» в этом испытании дала экономию времени без потери качества.
Слепая экспертная оценка качества — сильный метод верификации, но она измеряет качество созданных материалов, а не эффект на конечный результат (здесь — на успеваемость учеников); этого разрыва не стоит скрывать.
Даже в успешном случае часть данных — самоотчёт участников (здесь — дневник времени), и часть выборки выпадает из анализа; это не обнуляет результат, но ограничивает точность цифры.
Эффект получен на одном предмете, одном этапе обучения и в одной стране — переносить его на другие условия без проверки не стоит.

Источники

ChatGPT in Lesson Preparation: A Teacher Choices Trial — NFER, декабрь 2024.
ChatGPT in Lesson Preparation: A Teacher Choices Trial (полный отчёт) — EEF / NFER, Evaluation Report, декабрь 2024.

Уровень доказательности: A. Школьное рандомизированное контролируемое испытание (РКИ) с независимой оценкой (не поставщик ChatGPT, не участвующие школы), высокий рейтинг надёжности от заказчика. Оговорка: основной показатель времени — самоотчёт учителей в дневнике, 18,5% выборки выпало из анализа; успеваемость учеников не измерялась.