ЭССЕНI АВТОМАТТЫ БАҒАЛАУДАҒЫ ТАПСЫРМААРАЛЫҚ ТАСЫМАЛДАНУ ЖӘНЕ ТОПТАР БОЙЫНША ҚАТЕЛЕРДIҢ ТҰРАҚТЫЛЫҒЫ
DOI:
https://doi.org/10.26577/JMMCS209110426Түйін сөздер:
автоматты эссе бағалау, машиналық оқыту, тапсырмааралық жалпылану, әділдік, жазбаша бағалауАңдатпа
Жазбаша жұмыстарды автоматты бағалау жүйелерi үлкен көлемдегi мәтiндердi тексерудi жеделдетедi, алайда кездейсоқ тест жиынында алынған жоғары дәлдiк модельдiң жаңа тапсырмаларда тұрақты жұмыс iстейтiнiн немесе әртүрлi бiлiм алушылар топтары үшiн қателердiң бiркелкi болатынын бiлдiрмейдi. Зерттеудiң мақсаты– ASAP 2.0 ашық корпусында автоматты бағалаудың дәлдiгiн, мәтiн ұзындығына тәуелдiлiгiн, жаңа тапсырмаларға жалпылануын және топтық қателердiң тұрақтылығын бiр эксперименттiк хаттамада тексеру. Талдауға жетi тапсырма бойынша 24 728 эссе енгiзiлдi. Мәтiн ұзындығына негiзделген Ridge регрессиясы базалық әдiс ретiнде, ал жетi интерпретацияланатын мәтiндiк белгiге негiзделген HistGradientBoostingRegressor негiзгi модель ретiнде қолданылды. Нәтижелер QWK, MAE, RMSE, Spearman корреляциясы және көршiлес балл бойынша сәйкестiк арқылы бағаланды. Сенiмдiлiк 500 bootstrap қайта iрiктеуiмен анықталды. Жалпылану Leave-One-Prompt-Out хаттамасымен және тапсырма шкаласын қалыпқа келтiру абляциясымен тексерiлдi. Топтық айырмашылықтар Mann–Whitney U тестi, rank-biserial әсер көлемi және Holm түзетуi арқылы бағаланды. Негiзгi модель QWK=0,732 (95% CI: 0,718–0,746), MAE=0,488, RMSE=0,641 және Спирмен корреляциясы ρ = 0,788 нәтижелерiн көрсеттi. Бұл модель сөз санына ғана негiзделген базалық Ridge моделiнен (QWK=0,651) жоғары нәтиже көрсеттi. Сөз саны мен адам бағасының байланысы күштi болды (ρ=0,733; p < 0,001). Leave-One-Prompt-Out тек серуiнде QWK 0,520–0,768 аралығында өзгердi. Балл шкаласын қалыпқа келтiру ең әлсiз тапсырмааралық тасымалдану нәтижесiн жақсартпады. ELL мәртебесi бойынша абсолют тiк қате айырмашылығы Holm түзетуiнен кейiн статистикалық мәндi болды (padj < 0,001), алайда әсер көлемi шағын болды (|r| = 0,099). Зерттеудiң ғылыми үлесi сөз санына ғана негiзделген базалық модель мен жетi мәтiндiк белгiге сүйенетiн сызықтық емес модельдi салыстыру арқылы жоғары жалпы бағалау сәйкестiгi жағдайында да тапсырмааралық тасымалдану нәтижелерiнiң өзгермелiлiгi мен бiлiм алушылардың жекелеген топтары бойынша бағалау қателерiнiң айырмашылықтары қатар байқалуы мүмкiн екенiн түсiндiрiлетiн тәсiл мен бағалауында жатыр. Практикалық тұрғыдан бұл тәсiл AES моделiн бiлiм беру ортасына енгiзер алдында тексеруге және оқытушының қосымша бақылауын қажет ететiн жағдайларды анықтауға мүмкiндiк бередi. Нәтижелер AES жүйелерiн тек жалпы дәлдiкпен емес, тапсырмааралық тұрақтылық, белгiсiздiк және топтық қате аудитiмен бiрге бағалау қажеттiгiн көрсетедi.











