Проєктування інформаційної системи розпізнавання жестової мови за допомогою штучного інтелекту
Автор: Ханас Михайло Богданович
Кваліфікаційний рівень: магістр
Спеціальність: Управління ІТ проектами
Інститут: Інститут комп'ютерних наук та інформаційних технологій
Форма навчання: заочна
Навчальний рік: 2024-2025 н.р.
Мова захисту: українська
Анотація: Мова жестів, використовувана для комунікації, вираження емоцій та передачі інформації, є важливою частиною нашого спілкування. Цей унікальний спосіб взаємодії особливо важливий, коли вербальна комунікація є неможливою або недостатньою. Для розуміння жестової мови необхідно враховувати не лише рухи рук і міміку, але й ситуаційний контекст та жести всього тіла. Згідно зі звітом Всесвітньої організації охорони здоров’я (ВООЗ), у 2011 році близько 278 мільйонів людей у світі страждали від порушень слуху. Через десять років ця цифра зросла до 360 мільйонів, що становить приблизно 14% приросту. Відтоді ця кількість зростає експоненціально. Останній звіт ВООЗ вказав, що у 2020 році 466 мільйонів людей страждали від втрати слуху, що складає 5% світового населення, з яких 432 мільйони (або 83%) були дорослими, а 34 мільйони (17%) - дітьми. ВООЗ також оцінює, що до 2050 року ця цифра подвоїться (тобто до 900 мільйонів людей). Серед швидко зростаючого населення глухонімих існує потреба подолати бар’єр у спілкуванні, який негативно впливає на їхнє життя та соціальні зв’язки [1], [2]. Жестова мова передбачає використання верхньої частини тіла, такої як жести рук, міміка, читання по губах, кивки голови та пози тіла для передачі інформації [3]. Нещодавно ще більше уваги було приділено системам розпізнавання жестової мови на основі ШІ [4], оскільки вони вже застосовуються в багатьох сферах. Це включає робототехніку, послуги перекладу, системи реального часу для багатьох людей, ігри, віртуальні середовища, природну мовну комунікацію, онлайн-відстеження жестів людини в настільних середовищах і взаємодію людини з комп’ютером. В Україні питання соціального захисту осіб з інвалідністю, зокрема, тих, хто має порушення слуху, регулюється на державному рівні [5]. Закон передбачає забезпечення доступу до засобів масової інформації шляхом титрування та сурдоперекладу на дактильно-жестову мову для телевізійних програм, фільмів тощо. Об’єкт дослідження – методи і алгоритми розпізнавання, відстеження жестової мови людини. Предмет дослідження - обробка та розпізнавання зображень, алгоритми машинного навчання Мета дослідження: метою даної роботи є розробка системи для розпізнавання жестової мови в режимі реального часу з використанням камери, фону, освітлення або положення руки, шляхом пошуку найбільш відповідних алгоритмів для реалізації системи та перевірки валідації системи. Для досягнення поставленої мети, потрібно виконати наступні задачі: оглянути існуючі рішення в цій сфері, визначити концепцію розпізнавання жестів, проаналізувати та вибрати найбільш відповідний до поставленої мети метод розпізнавання, спроектувати архітектуру системи, реалізувати та протестувати програмне забезпечення. Для досягнення поставлених цілей необхідно враховувати технічні труднощі, такі як адаптація до різних особливостей жестів, точність розпізнавання та обробка великого об’єму даних в умовах реального часу. Також не менш важливим є питання конфіденційності та етики при обробці інформації, пов’язаної з виразами обличчя та рухами. Включення цих аспектів у магістерську роботу має на меті створення більш повної картини з етичної та соціокультурної точки зору. Результати дослідження: для досягнення поставлених задач виконано аналіз існуючих рішень, системний аналіз задачі розпізнавання жестів, розглянуто методи навчання модулі штучного інтелекту та розроблено систему з досить високою точністю розпізнавання жестів. Результати цієї магістерської роботи можуть бути фундаментом для наступних вдосконалень у галузі штучного інтелекту та розширити можливості міжкультурної та міжособистісної комунікації. Ключові слова – мова жестів, розпізнавання жестів, обробка зображень, машинне навчання, штучний інтелект Перелік використаних літературних джерел: 1. Всесвітня організація охорони здоров’я. Deafness and hearing loss. 2021. URL: https://www.who.int/news-room/fact-sheets/detail/deafness-and-hearing-loss. 2. Українське товариство глухих. Чисельність населення на 1 грудня 2021 року. URL: http://www.lutsk.ukrstat.gov.ua/18_1_11.htm 3. Про набір жестів в асоціації глухих. URL: https://utog.org/zhestova-mova/vivchaemo-zhestovu-movu/ 4. Ю. Г. Кривонос, Ю. В. Крак, О. В. Бармак, Інформаційна технологія для моделювання української мови жестів, Штучний інтелект, 2009, № 3, с. 186- 197. URL: http://dspace.nbuv.gov.ua/bitstream/handle/123456789/8061/22-Krivonos.pdf?sequence=1 5. Закон України «Про основи соціальної захищеності інвалідів в Україні».