Розробка нейронної мережі для автоматичного розпізнавання жестової мови та її перекладу в текст
Автор: Гук Максим Ростиславович
Кваліфікаційний рівень: магістр
Спеціальність: Інформаційно-вимірювальні технології у робототехніці
Інститут: Інститут комп'ютерних технологій, автоматики та метрології
Форма навчання: денна
Навчальний рік: 2024-2025 н.р.
Мова захисту: українська
Анотація: Ця магістерська робота присвячена розробці нейронних мереж для автоматичного розпізнавання та перекладу мови жестів у текст. Важливість цієї роботи полягає у створенні інноваційних інструментів для подолання комунікаційних бар’єрів між людьми з вадами слуху та мовлення та іншими членами суспільства. У цій роботі здійснено огляд сучасних методів і технологій розпізнавання жестової мови, а також аналізуються існуючі системи перекладу. Особливу увагу було приділено використанню глибоких нейронних мереж, алгоритмів комп’ютерного зору та обробки відеоданих. У цій роботі ми розглянемо архітектуру моделей, які ефективно використовуються для аналізу послідовної поведінки, таких як рекурентні нейронні мережі (RNN), згорткові нейронні мережі (CNN) та трансформери. На основі отриманих теоретичних знань було розроблено та впроваджено систему, яка включає нейронну мережу для розпізнавання жестів і модуль для перетворення розпізнаних жестів в текст. Для навчання моделі був створений унікальний набір даних мови жестів, включаючи відеозаписи з використанням різних категорій жестів. Була проведена попередня обробка даних: сегментація рухів, виділення ключових точок руху, нормалізація параметрів. Експериментальні дослідження показали високу точність розпізнавання жестів і швидкість моделі в режимі реального часу. Порівняння з існуючими рішеннями підтвердило конкурентоспроможність запропонованого підходу. Цей процес передбачає створення програмного забезпечення, яке можна інтегрувати в веб-додатки, що забезпечує простоту використання в різних сферах, включаючи освіту, медицину, послуги та соціальну інтеграцію. Запропоновані методи та розроблені системи полегшують спілкування для людей з вадами слуху, розширюють можливості інтеграції в суспільне життя, а також є основою для подальших досліджень в області мови жестів.