Проектування розподіленої згорткової нейронної мережі на кластері комп’ютерів з обмеженими обчислювальними ресурсами
Автор: Король Юрій Ігорович
Кваліфікаційний рівень: магістр
Спеціальність: Системне проектування
Інститут: Інститут комп'ютерних наук та інформаційних технологій
Форма навчання: денна
Навчальний рік: 2023-2024 н.р.
Мова захисту: українська
Анотація: Король Ю., Белей О.І. Проектування розподіленої згорткової нейронної мережі на кластері комп’ютерів з обмеженими обчислювальними ресурсами. Магістерська кваліфікаційна робота. – Національний університет «Львівська політехніка», Львів, 2023 р. Розширена анотація Дані, створені пристроями Інтернету речей (IoT), зберігаються, обробляються, аналізуються та передаються в хмару. Існуючі центри обробки даних мають усі ресурси, необхідні для додатків глибокого навчання, включаючи потужні обчислювальні можливості [1]. Більшість IoT та архітектур для обробки «великих» даних представляють себе як багаторівневі архітектури, представлені трьома-п’ятьма областями в залежності від завдання [2]. Загалом, перша область зазвичай спрямований на збір даних з пристроїв IoT; друга область представляє технології та протоколи передачі даних, такі як ZigBee, Wi-Fi, Ethernet; третя область стосується питань обробки даних і реалізує функцію виведення. У роботі [3] запропоновано п’ять рівнів, де область управління розділена на окремі області. Актуальність цього дослідження обумовлена необхідністю вирішення багатьох завдань за допомогою кластерів пристроїв з обмеженими обчислювальними ресурсами, а не повноцінних комп’ютерів. Об’єктом дослідження є організація глибокого обчислювального навчання на комп’ютерних кластерах з обмеженими обчислювальними ресурсами та підвищення ефективності периферійних обчислень через Інтернет. Предмет дослідження – методи та алгоритми розподілу згорткових нейронних мереж на комп’ютерних кластерах з обмеженими обчислювальними ресурсами. Метою є створення методів і інструментів для організації обчислень і підвищення продуктивності децентралізованих згорткових нейронних мереж на комп’ютерних кластерах з обмеженими обчислювальними ресурсами. Використовувані методи дослідження включають методи математичного аналізу, лінійної алгебри, машинного навчання, а також методи та засоби розробки згорткових нейронних мереж. Досліджено області застосування комп’ютерних кластерів з обмеженими обчислювальними ресурсами та порівняно з відомими одноплатними комп’ютерами Raspberry Pi 3B+, Odroid C2 та RockPro64. Проаналізовано існуючі рішення для обчислення згорткових нейронних мереж. Розробити визначення комп’ютерів з обмеженими обчислювальними ресурсами. Встановлено можливість реалізації згорткових нейронних мереж на комп’ютерних кластерах з обмеженими обчислювальними ресурсами. Класифікація розв’язуваних задач за типом даних надала фундаментальну можливість організації обчислень розподіленої згорткової нейронної мережі на комп’ютерних кластерах з обмеженими обчислювальними ресурсами для виконання таких завдань, як прогнозування часових рядів і розпізнавання об’єктів на зображеннях. Розроблена архітектура системи дозволяє організувати і розподілити обчислення згорткової нейронної мережі без поділу сфери згортки на частини для балансування навантаження, враховуючи специфіку даних і ресурсів, що обробляються на вузлах кластера. Розроблений алгоритм призначення згорткових нейронних мереж комп’ютерним кластерам з обмеженими обчислювальними ресурсами дозволяє використовувати готові моделі прогнозування згорткових нейронних мереж для навчання згорткових нейронних мереж і виконання обчислень. Ключові слова - графічний процесор, рекурентна нейронна мережа, довготривала нейронна мережа короткочасної пам’яті, згорточна нейронна мережа, програмована логічна інтегральна схема, прикладна інтегральна схема, балансувальник навантаження, комп’ютер з обмеженими обчислювальними ресурсами. Список використаних джерел. Lopez-Martinez M, Diaz-Florez G. A High-Performance Computing Cluster for Distributed Deep Learning: A Practical Case of Weed Classification Using Convolutional Neural Network Models. Applied Sciences. 2023; 13(10):6007. Lerat, J.-S.; Mahmoudi, S.A.; Mahmoudi, S. Distributed Deep Learning: From Single-Node to Multi-Node Architecture. Electronics 2022, 11, 1525. Yulian FEDIRKO, Olha SVATIUK, Olexander BELEJ Application of neuroevolutionary algorithms in systems for detecting attacks on cyber-physical systems / series Przetwarzanie, transmisja i bezpieczenstwo informacji’2021 / Kolo Naukowe Inzynier XXI wieku: Monograph’2021. O. Belej, N. Spas and I. Artyshchuk, "Development of an Algorithm for Detecting Cyberattacks in Distributed Information Systems," 2021 IEEE 16th International Conference on Computer Sciences and Information Technologies (CSIT), 2021, pp. 325-328, doi: 10.1109/CSIT52700.2021.9648805. - https://ieeexplore.ieee.org/document/9648805 Ю. Король. Проектування розподіленої згорткової нейронної мережі на кластері комп’ютерів з обмеженими обчислювальними ресурсами // Матеріали 81-ї Студентської науково-технічної конференції Інституту комп’ютерних наук та інформаційних технологій Національного університету "Львівська політехніка". – 2023. – C. 10–12. 0,09 ум.д.ар. [н.к. – Белей О.І.].