Програмна платформа глибинного навчання з підкріпленням для автономної кіберфізичної системи
Автор: Кіцила Василь Зіновійович
Кваліфікаційний рівень: магістр
Спеціальність: Кіберфізичні системи
Інститут: Інститут комп'ютерних технологій, автоматики та метрології
Форма навчання: денна
Навчальний рік: 2020-2021 н.р.
Мова захисту: українська
Анотація: Кіцила В. З., Бочкарьов О. Ю. (керівник). Програмна платформа глибинного навчання з підкріпленням для автономної кіберфізичної системи. Магістерська кваліфікаційна робота. – Національний університет “Львівська Політехніка”, Львів, 2020. Розширена анотація. Інтенсивний розвиток інформаційних технологій та їх впровадження в усіх сферах людської діяльності супроводжується збільшенням автономності та складності кіберфізичних систем. Ріст популярності смартфонів та бездротового зв’язку підвищив розвиток такої області, як мобільні кіберфізичні системи [1-2]. Під кіберфізичною системою слід розуміти динамічні системи, які інтегрують обчислення з фізичними процесами, часто у циклах зворотного зв’язку, де фізичні процеси впливають на обчислення, і навпаки. Під автономною кіберфізичною системою розуміємо кіберфізичну систему яка використовує бездротовий зв’язок та значною мірою покладається на сенсорні блоки для прийняття рішень. Важливу роль у сфері інформаційних технологій відіграє швидкість обчислень та кількість ресурсів доступних для завдань обробки [3]. В процесі проектування і експлуатації автономних кіберфізичних систем виникає ряд проблем. Однією з них є проблема узгодженості часу між фізичними об’єктами і їх цифровими двійниками. А отже, доцільним є використання інтелектуальних технологій таких як машинне навчання. Останнім часом, для поліпшення роботи всіх складових частин кіберфізичних систем і в тому числі автономних кіберфізичних систем, все частіше використовуються методи штучного інтелекту, зокрема алгоритми глибокого навчання (deep learning) та глибокого навчання з підкріпленням (deep reinforcement learning). У багатьох кіберфізичних системах стикаються з віддаленою проблемою оцінки стану виддалених фізичних процесів [4]. Це може бути викликано як несправностями сенсорів збору даних так і обмеженими ресурсами що приводять до невизначеності даних на практиці [5-6]. Для вирішення цих проблем доцільним є використання методів глибинного навчання з підкріпленням для ефективно планувати збору інформації з сенсорів кіберфізичної системи [7]. В даній магістерській кваліфікаційній роботі розроблено програмну платформу глибинного навчання з підкріпленням для автономної кіберфізичної системи. Реалізовано модель марківськго процесу прийняття рішення (Markov decision process) та метод глибинного навчання з підкріпленням на основі глибинної Q-мережі для оптимізації роботи понад 100 сенсорних вузлів автономної кіберфізичної системи з підтримкою вистання до 20 значень параметрів оптимізації. В першому розділі проаналізовано проблему використання глибинного навчання з підкріпленням у автономних кіберфізичних системах, оглянуто проблеми побудови та експлуатації автономних кіберфізичних систем, проаналізовані методи глибинного навчання та методи навчання з підкріпленням, оглянуто методи глибинного навчання з підкріпленням. Розглянуто перспективи розробки платформ глибинного навчання з підкріпленням для автономних кіберфізичних систем. У другому розділі обґрунтовано обраний напрямок проектування. Третій розділ присвячено проектуванню програмної платформи глибинного навчання з підкріпленням для автономної кіберфізичної системи, наведено структуру програмної платформи та алгоритм її роботи, розглянуто підходи до реалізації методів глибинного навчання у складі програмної платформи. Четвертий розділ присвячено розробці програмної платформи глибинного навчання з підкріпленням для автономної кіберфізичної системи, зокрема в ньому обрано засоби для реалізації програмної платформи, наведено опис розробки та реалізації схеми бази даних, наведено опис розробленої діаграми класів програмної платформи. П’ятий розділ присвячено дослідженню та тестуванню роботи програмної платформи глибинного навчання з підкріпленням. В шостому розділі наведено економічне обґрунтування розробленого рішення. Об’єкт дослідження – автономна кіберфізична система. Предмет дослідження – ефективне управління даними та планування їх збору з сенсорів автономної кіберфізичної системи. Мета дослідження: розробити програмну платформу глибинного навчання з підкріпленням для автономної кіберфізичної системи. Ключові слова – кіберфізична система, автономність, машинне навчання, глибинне навчання з підкріпленням. Перелік використаних літературних джерел. 1. Кіберфізичні системи: багаторівнева організація та проектування / А. О. Мельник, В. А. Мельник, В. С. Глухов, А. М. Сало, за ред. А. О. Мельника. – Львів: “Магнолія 2006”, 2019. – 237 c. 2. Кіберфізичні системи: технології збору даних / О.Ю. Бочкарьов, В.А. Голембо, Я.С. Парамуд, В.О. Яцук. За ред. А.О. Мельника, Львів: “Магнолія 2006”, 2019. - 176 с. 3. Бочкарьов О.Ю., Голембо В.А. Використання інтелектуальних технологій збору даних у автономних кібер-фізичних системах // Вісник Національного університету «Львівська політехніка» «Комп’ютерні системи та мережі», №830, 2015. - C.-7-11. 4. Jules White et al. R&D challenges and solutions for mobile cyber-physical applications and supporting Internet services // Journal of Internet Services and Applications, Volume 1, Number 1, May 2010. – P. 45–56. 5. Alex S. Leong, Arunselvan Ramaswamy, Daniel E. Quevedo, Holger Karl, Ling Shi. Deep reinforcement learning for wireless sensor scheduling in cyber–physical system, Journal Automatica, Volume 113, March 2020, Article 108759. 6. Jeong S, Yoo G, Yoo M, Yeom I, Woo H. Resource-Efficient Sensor Data Management for Autonomous Systems Using Deep Reinforcement Learning. Sensors (Basel). 2019 Oct 11;19(20):4410. 7. Бочкарьов О. Ю., Кіцила В. З. Використання технологій глибинного навчання з підкріпленням у автономних мобільних кіберфізичних системах [Електронний ресурс] // Сучасний стан та перспективи розвитку комп’ютерних систем та мереж : матеріали щорічного семінару магістрів кафедри Електронні обчислювальні машини, Львів, 7–9 жовтня 2020 р. – 2020.