Дослідження енергоефективності вбудованих систем для алгоритмів машинного навчання
Автор: Ковальчук Олександр Вікторович
Кваліфікаційний рівень: магістр
Спеціальність: Проектування та адміністрування інформаційних комунікаційних мереж
Інститут: Інститут телекомунікацій, радіоелектроніки та електронної техніки
Форма навчання: денна
Навчальний рік: 2023-2024 н.р.
Мова захисту: українська
Анотація: Магістерська робота представляє собою теоретичний та практичний аналіз оптимізації алгоритмів машинного навчання на прикладі згорткових нейронних мереж (CNN) для використання їх у вбудованих системах в умовах обмеженості системних ресурсів та досягнення низького енергоспоживання. Об’єкт дослідження — методи оптимізації нейронних мереж для досягнення високої енергоефективності їх використання у вбудованих системах Сфера досліджень — вбудовані системи. Мета дослідження — аналіз впливу різних варіантів оптимізації на метрики нейронних мереж та їх використання у вбудованих системах. Сфера технологій вбудованих систем переживає етап трансформації, що зумовлено останніми досягненнями в комп’ютерній архітектурі та проривами в застосуванні машинного навчання. Вбудоване машинне навчання (EML) знаходить застосування в різних сферах, включаючи точне високоякісне розпізнавання об’єктів за допомогою комп’ютерного зору, надійне розпізнавання мови, в інноваційних системах охорони здоров’я, робототехніці, тощо. Проте, ефективному впровадженню алгоритмів машинного навчання для вбудованих систем перешкоджає значна проблема. Ці алгоритми, як правило, вимагають значних обчислювальних ресурсів і пам’яті, що робить їх непридатними для середовищ з обмеженими ресурсами, таких як вбудовані та мобільні пристрої. [1] Використання машинного навчання (ML) на граничних пристроях стає все більш привабливим завдяки своєму потенціалу для підвищення енергоефективності [2], конфіденційності, швидкості реагування [3] та автономності периферійних пристроїв. Історично машинне навчання для вбудованих систем в основному зосереджувалося на мобільному використанню, що призвело до значного прогресу в моделях машинного навчання, таких як використання технік оптимізації моделей: скорочення, розрідженості та квантування. Однак останніми роками ми стали свідками значного прогресу в розширенні горизонтів периферійних систем. Промисловість [4] виявляє зацікавленість у розширенні сфери застосування периферійного машинного навчання до пристроїв мікроконтролерів. В ході виконання роботи проводиться оптимізація моделі згорткової нейронної мережі [5] методами квантування [6] та скорочення [7] для дослідження впливу даних оптимізацій на метрики моделі нейронної мережі та вбудованих систем, на яких проводиться тестування, серед яких: точність передбачених результатів класифікації, вплив оптимізації на час виконання моделі. Слід зауважити важливість дослідження впливу методів оптимізації на набір визначених метрик, за зміною значень яких можна об’єктивно оцінити вплив даних оптимізацій на якісні характеристики моделі, яка використовується, та вбудованої системи, на якій використовується дана модель. Щоб оцінити вплив методів оптимізації нейронних мереж на кінцеві пристрої визначено наступний перелік метрик, серед яких метрики, які визначають продуктивність безпосередньо самої вбудованої системи, а саме: час виконання одного виклику моделі, споживана потужність при застосуванні тієї чи іншої оптимізації та розмір оптимізованої моделі до та після стискання. Дані метрики об’єктивно визначають вплив на такі якісні показники вбудованої системи як швидкодія, об’єм необхідної постійної та оперативної пам’яті та загальне енергоспоживання системи. Для отримання достовірної оцінки впливу метрик часу виконання, таких як затримка виклику моделі, в процесі дослідження використовується повноцінне апаратне забезпечення вбудованих систем різної архітектури, в тому числі й системи на основі мікроконтролерів, щоб покрити якомога більший список типів вбудованих систем в процесі дослідження. Також слід зауважити про використання методів вимірювання, які не впливають на кінцевий пристрій та на значення виміряних метрий, що є вкрай важливо для отримання якісних результатів вимірювання. Для вимірювання метрик вбудованих систем, використовуються техніки тестування продуктивності [8] з використанням реальних платформ для вбудованих систем та моніторингом метрик, які безпосередньо впливають на якість роботи моделі нейронної мережі та на загальний рівень енергоспоживання цільової системи. Після проведення вимірювання метрик, проводиться детальний аналіз отриманих результатів, їх конвертація у візуальну, зрозумілу для сприйняття форму, та порівняння змін виміряних значень для кожного з випадків оптимізації з варіантом без використання жодної з них.