Терең оқыту модельдерi негiзiнде қазақ тiлiнiң морфологиялық талдауы

Аннотация

Морфологиялық талдау – табиғи тiлдi өңдеудегi (NLP) саласындағы iргелi есеп, үлкен тiлдiк модельдердiң (LLM) өнiмдiлiгiн арттыруда шешушi рөл атқарады. Соңғы жылдары NLP технологиялары қарқынды дамып келедi, алайда бай морфологиясы бар қазақ тiлi үшiн морфологиялық талдаудың тиiмдi алгоритмдерiн әзiрлеу өзектi есеп болып қала бередi. Бұл зерттеудiң мақсаты LLMs-дi пайдалануға арнайы бейiмделген қазақ тiлi үшiн морфологиялық талдау алгоритмiн әзiрлеу болып табылады. Зерттеу келесi мiндеттердi қарастырады: мәлiметтер корпусын жинау және өңдеу, сәйкес алгоритмдердi таңдау және бейiмдеу, модельдердi оқыту және бағалау жасау. Бұл мақалада қазақ тiлiнiң морфологиялық талдауы үшiн терең оқыту модельдерiн қолдану, атап айтқанда, рекуренттi (қайталанатын) нейрондық желiлер (RNN) және трансформаторлық модельдер туралы егжей-тегжейлi зерттеу жасалған. Қазақ тiлi агглютинативтi тiл болғандықтан, сөзжасамға бiрнеше жұрнақтар мен префикстердi қосу арқылы қол жеткiзiледi, морфологиялық талдау мiндетi есептеу модельдерi үшiн ерекше қиындық туғызады. Рекуренттi (қайталанатын) нейрондық желiлердiң (RNNs), соның iшiнде LSTM және GRU жақсартулары бар желiлердiң өнiмдiлiгi трансформаторлық модельдермен салыстырғанда бағаланады, олардың қазақ тiлiнiң күрделi морфологиясын талдау қабiлетiне баса назар
аударылады. Нәтижелер агглютинативтi тiлдердi өңдеудiң әрбiр тәсiлiнiң артықшылықтары мен шектеулерiн сипаттайды, Бұл RNN көбiнесе қазақ морфологиялық талдауы үшiн тиiмдiрек екенiн көрсетедi, Ал трансформер модельдер мұндай тiлдерде оңтайлы нәтижелерге қол жеткiзу үшiн қосымша баптауларды талап етедi. Бiздiң нәтижелерiмiз агглютинативтi тiлдiк тапсырмалар үшiн әрбiр модельдiң күштi жақтары мен шектеулерiн көрсетедi, бұл RNN қазақ тiлiн морфологиялық талдау үшiн қолайлырақ екенiн, ал Transformer модельдерi осындай тiлдердi одан әрi оңтайландыру арқылы ұтымды
болуын көрсетедi.