Розробка інформаційної моделі підсистеми розпізнання жестів з керуванням на Arduino за допомогою бібліотек OpenCV та MediaPipe.
Автор: Сольнічок Євгенія Ігорівна
Кваліфікаційний рівень: магістр
Спеціальність: Системне проектування
Інститут: Інститут комп'ютерних наук та інформаційних технологій
Форма навчання: денна
Навчальний рік: 2022-2023 н.р.
Мова захисту: українська
Анотація: Сольнічок Є.І., Корпильов Д.В. (керівник). Розробка інформаційної моделі підсистеми розпізнання жестів з керуванням на Arduino за допомогою бібліотек OpenCV та MediaPipe. Магістерська кваліфікаційна робота – Національний університет «Львівська політехніка», Львів, 2022. Розширена анотація. В магістерській кваліфікаційній роботі здійснено проектування та дослідження актуальної задачі створення інформаційної моделі, дослідження та розробка методів розпізнавання статичних та динамічних жестів руки, які можна використовувати для безконтактної взаємодії людини з комп’ютером. Засобом досягнення мети є вирішення наступних основних завдань: - аналіз існуючих методів відстеження та розпізнавання жестів рук, а також безконтактної людино-машинної взаємодії; - вивчення та розробка способів опису, вилучення та розпізнавання змін рук; -розробка методів розпізнавання динамічних жестів руки на основі аналізу траєкторії руху долоні. Метою дипломної роботи є розробка концепції використання жестів рук в інтелектуальних системах, зокрема управління робототехнічними пристроями. Проаналізовано основні процедури розпізнавання рухів рук, виділено основні моменти кожному з етапів розпізнавання. Запропоновати підхід, що дозволить зменшити розмірність простору, в якому знаходиться рука, а також уникнути обмежень, пов’язаних із використанням спеціальних маркувальних засобів. Актуальність дипломної роботи полягає у розробці інформаційної моделі розпізнання жестів рук для керування приладами підключеними до мікроконтролера та розпізнавання об’єктів у реальному часі за допомогою відкритої бібліотеки OpenCV та MediaPipe. Мета магістерської кваліфікаційної роботи. Метою магістерської дипломної роботи є дослідження інформаційних моделей для створення підсистем розпізнання жестів рук які дозволи би безконтактно взаємодіяти з комп’ютерезованими системами та робото-технічними комплексами у реальному часі. Дипломна робота складається з трьох розділів, висновків та списку використаної літератури. Результат дослідження. Кінцевим результатом магістерської кваліфікаційної роботи Ключові слова. Обробка зображень, машине навчання, машиний зір, розпізнання жестів рук, мікроконтролер Arduino Nano, модуль та модуль відеопередачі, WiFi. Перелік використаних літературних джерел: 1. Абакумов В.Г. Интерпретация движений рук расширяет возможности интерактивного управления в интеллектуальных системах / В.Г. Абакумов, Е.Ю. Ломакина // Природные и интеллектуальные ресурсы Сибири. – 2009. – С. 199-202. 2. Davis J. Visual Gesture Recognition / J. Davis and M. Shah // EE. Proc.-Vis. Image Signal Process. – April 1994. –Vol. 141, № 2. 3. Chang C.-C. Hand Pose Recognition Using Curvature Scale Space / C.-C. Chang, I.-Y. Chen and Y.S. Huang // IEEE International Conference on Pattern Recognition. – 2002. 4. Utsumi A. Multi-Camera Hand Pose Recognition System Using Skeleton Image / A. Utsumi, T. Miyasato and F. Kishino // IEEE International Workshop on Robot and Human Communication. – 1995. – P. 219-224. 5. Rosales R. 3D Hand Pose Reconstruction Using Specialized Mappings / R. Rosales, V. Athitsos, L. Sigal and S. Sclaroff // IEEE International Con. on Computer Vision. – 2001. – P. 378-385. 6. Freeman W.T. Orientation Histograms for Hand Gesture Recognition / W.T. Freeman and M. Roth // IEEE International Conf. on Automatic Face and Gesture Recognition. – 1995. 7. Bretzner L. Hand Gesture Recognition using Multi-Scale Color Features, Hierarchical Models and Particle Filtering / L. Bretzner, I. Laptev, and T. Lindberg // IEEE International Conf. on Automatic Face and Gesture Recognition. – 2002. 8. Kato M. Articulated Hand Tracking by PCA-ICA approach / M. Kato, Y.W. Chen, and G. Xu // Proceedings of the IEEE International Conference on Automatic Face and Gesture Recognition. – Southampton, 2006. – P. 329-333. 9. Manresa C. Hand tracking and gesture recognition for human-computer interaction / C. Manresa // Electronic Letters on Computer Vision and Image Analysis. – 2005. – № 5(3). – Р. 96-104. 10. A. D. Bagdanov, A. Del Bimbo, L. Seidenari, and L. Usai, “Real-time hand status recognition from RGB-D imagery,” in Proceedings of the 21st International Conference on Pattern Recognition (ICPR ’12), pp. 2456–2459, November 2012. View at Scopus 11. M. Elmezain, A. Al-Hamadi, and B. Michaelis, “A robust method for hand gesture segmentation and recognition using forward spotting scheme in conditional random fields,” in Proceedings of the 20th International Conference on Pattern Recognition (ICPR ’10), pp. 3850–3853, August 2010. View at Publisher · View at Google Scholar · View at Scopus