МЕЖЗАДАНИЙНЫЙ ПЕРЕНОС И СТАБИЛЬНОСТЬ ОШИБОК ПО ПОДГРУППАМ ПРИ АВТОМАТИЧЕСКОМ ОЦЕНИВАНИИ ЭССЕ

Авторы

DOI:

https://doi.org/10.26577/JMMCS209110426

Ключевые слова:

автоматическое оценивание эссе, машинное обучение, межзаданийная обобщаемость, справедливость, оценивание письменных работ

Аннотация

Автоматическое оценивание письменных работ позволяет масштабировать проверку больших массивов текстов, однако высокая точность на случайно сформированной тесто вой выборке негарантирует устойчивости модели при переходе к новым заданиям и равномерности ошибок для разных групп обучающихся. Цель исследования–совместно оценить точность автоматического оценивания, зависимость от длины текста, межзаданийную обобщаемость и стабильность групповых ошибок на открытом корпусе ASAP 2.0. В анализ включены 24 728 эссе по семи заданиям. В качестве прозрачной базовой модели использована Ridge-регрессия только по числу слов, а основная модель Hist Gradient Boosting Regressor обучалась на семи интерпретируемых текстовых признаках. Качество оценивалось с помощью QWK, MAE, RMSE, корреляции Спирмена и adjacent agreement. Неопределенность оценок определялась по 500 bootstrap-выборкам. Межзаданийная устойчивость проверялась протоколом Leave-One-Prompt-Out и дополнительной абляцией с нормализацией шкалы баллов. Межгрупповые различия анализировались критерием Mann–Whitney U, размером эффекта rank-biserial и поправкой Holm. Основная модель достигла QWK=0,732 (95% ДИ: 0,718 0,746), MAE=0,488, RMSE=0,641 и корреляции Спирмена ρ = 0,788, превзойдя базовую модель Ridge, использующую только количество слов (QWK=0,651). Число слов было сильно связано с экспертной оценкой (ρ=0,733; p < 0,001). В Leave-One-Prompt-Out проверке QWK изменялся от 0,520 до 0,768. Нормализация шкалы баллов не устранила наиболее слабый результат межзаданийного переноса. Для статуса ELL различие абсолютной ошибки сохранило статистическую значимость после поправки Холма (padj < 0,001), однако размер эффекта был мал (|r| = 0,099). Научный вклад исследования заключается в интерпретируемой оценке того, как высокое общее согласие автоматических и экспертных оценок может сочетаться с изменчивостью результатов переноса на новые задания и различиями в ошибках оценивания между отдельными группами обучающихся, на основе сравнения базовой модели, использующей только количество слов, и нелинейной модели с семью текстовыми признака ми. Практическая значимость заключается в возможности использовать данный протокол для предварительной проверки AES перед внедрением в образовательную практику и для выявления случаев, требующих дополнительного контроля преподавателя. Полученные результаты показывают, что валидация AES должна включать не только итоговую точность, но и перенос на новые задания, оценку неопределенности и аудит групповых ошибок.

Биографии авторов

  • Айгерим Султанали, Международный казахско-турецкий университет имени Ходжи Ахмеда Ясави, Туркестан, Казахстан

    Султанали Айгерим – докторант PhD Международного казахско-турецкого университета имени Ходжи Ахмеда Ясави (Туркестан, Казахстан, электронная почта: aigerim.sultanali@ayu.edu.kz).

  • Гулнур Казбекова, Международный казахско-турецкий университет имени Ходжи Ахмеда Яссави, Туркестан, Казахстан

    Казбекова Гулнур – кандидат технических наук, ассоциированный профессор Международного казахско-турецкого университета имени Ходжи Ахмеда Ясави (Туркестан, Казахстан, электронная почта: gulnur.kazbekova@ayu.edu.kz).

Опубликован

2026-11-18

Как цитировать

МЕЖЗАДАНИЙНЫЙ ПЕРЕНОС И СТАБИЛЬНОСТЬ ОШИБОК ПО ПОДГРУППАМ ПРИ АВТОМАТИЧЕСКОМ ОЦЕНИВАНИИ ЭССЕ. (2026). Вестник КазНУ. Серия математика, механика, информатика, 132(4), 157-171. https://doi.org/10.26577/JMMCS209110426