KINECT сенсорын пайдалана отырып ым тiлiн танып бiлудегi сүйенiш вектор әдiсi (ҚазҰУ Хабаршысы. Математика, механика, информатика сериясы, 2018)
Мақалада есту мүмкiндiктерi шектеулi адамдардың ым тiлiн танып бiлуде сүйенiш вектор әдiсi туралы қарастырылған. Қазақша ым тiлi үшiн деректер қорын құрастыру, дактилдi азбука 42 әрiптi ым тiлiнен тұратын, жеке ым қолдарын автоматты түрде танып бiлу жүйесiн құру бастапқы қадамын жасау. Ым-ишара тiлiн танып бiлуде Kinect сенсоры қолданылды, қол сүйегiнiң координатасы алынады, кiлттiк мiнездеме XML файл инструмент арқылы және MATLAB математикалық есептеулердiң көмегiмен өңделдi. Ым тiлiн танып бiлу объектiсi берiлген жұмыста әрiптер, сандар және статикалық формадағы ым ишаралары болып табылады. Ымдарды тануға арланған әртүрлi әдiстер қолданылады, олардың iшiнде: тiрек векторлар әдiсi, жасырын марков модельдерi, анық емес модельдер, жасанды нейрон моделi, бейнелердiң әртүрлiлiгi әдiсi. Кез келген тiлдiң ыммен сөйлеудi тану бойынша мiндеттерi көптеген параметрлермен сипатталады, ең алдымен ыммен сөйлеудi жиберу каналдарының сипаттамасы, тану сөздiгiнiң өлшемi, ымдау вариативтiлiгi және т.с.с. 42 ым дактильдi әлiпбиден тұратын қазақша ым тiлiнiң мәлiметтер қорын әзiрлеу автоматтандырылған жеке қол қимылдарын тану жүйесiнiң алғашқы кезеңi болып табылады. Ымдарды тану үшiн Kinect сенсоры қолданылған, қол қаңқасының координаттары алынған және кiлттiк сипаттамасы MATLAB бағдарламасының құралдары мен математикалық есептеулерi көмегiмен XML файлы арқылы өңделген. Берiлген жұмыста ымдарды тану объектiсi ретiнде әрiптер мен сандар және кейбiр статикалық формадағы ымдар болып табылады.
Keywords: қазақша ымдау тiлi; дактиль; бейнелердi тану; сегментация; бейне файл