Қазақ тiлiндегi жалқы есiмдердi тану
DOI:
https://doi.org/10.26577/JMMCS.2020.v107.i3.06Кілттік сөздер:
жалқы есiмдердi тану, шартты кездейсоқ өрiс моделi, ұзақ қысқа мерзiмдi жады, сөздердiң векторлық көрiнiсiАннотация
Жалқы есімдерді тану (NER) табиғи тілді өңдеудің (NLP) маңызды тапсырмаларының бірі болып саналады. Бұл сөйлемде кездесетін географиялық атауларды, адамның есімдерин, ұйымның аттарын және т.б. сияқты нақты жалкы есімдерді танудың тәсілі. қолмен жасалған грамматикалық ережелер мен статистикалық модельдерге негізделген бірнеше тәсілдер бар, мысалы, жалқы есімдерді тану мәселесін шешуде машиналық үйрету және гибридтік әдістер. Бұл жұмыстың мақсаты - статистикалық тәсіл мен машиналық оқытуға негізделген әдістермен тәжірибе жасау және олардың агглютинативті қазақ тілімен қалай жұмыс жасайтындығын тексеру. Бұл жұмыста шартты кездейсоқ өріске (CRF) негізделген статистикалық тәсілмен қазақ тілінің жалқы есімдерін тану ұсынылған. Біз сондай-ақ екі бағытты ұзақ қысқа мерзімді жады (LSTM) негізіндегі нейрондық желі және CRF моделімен біріктіретін гибридтік әдісті қолданамыз. Бұл жалқы нысандарды танудың қазіргі заманғы тәсілі. Кросс-расталған рандомизацияланған іздеу моделі 0,95 f1 көрсеткішінде тоқтаса, LSTM-CRF гибридті моделі 0,88 f1 көрсетеді. Нәтижелер өте жақсы көрінеді және CRF моделімен салыстырғанда ешқандай дизайн ерекшеліктерін қажет етпейді. Тәжірибелер үшін NER тапсырмасына адамның есімі, географиялық атаулар, ұйым атаулары және басқалар сияқты белгілері бар корпус (kazNER) құрылды. Корпус 29629 сөйлемнен тұрады, олардың әрқайсысында кем дегенде бір жалқы есім бар.
Библиографиялық сілтемелер
[2] Lample G., Ballesteros M., Subramanian S., Kawakami K. and Dyer C. "Neural architectures for named entity recognition" , arXiv vol. 1603.01360 (2016): 1–11.
[3] Makazhanov A., Sultangazina A., Makhambetov O. and Yessenbayev Z. "Syntactic annotation of kazakh: Following the universal dependencies guidelines. a report" , Proceedings of the 3rd International Conference on Turkic Languages Processing (TurkLang 2015) (Kazan, Russia, 2015): 338–350.
[4] Manning C., Surdeanu M., Bauer J., Finkel J., Bethard S. and McClosky D. "The Stanford CoreNLP natural language processing toolkit" , Proceedings of 52nd annual meeting of the association for computational linguistics: system demonstrations, Baltimore, Maryland, USA (2014): 55-60.
[5] Murphy K. "Naive bayes classifiers" , Journal of the University of British Columbia vol. 18 (2006): 1–60.
