Технології машинного навчання в кіберфізичних системах
Спеціальність: Кіберфізичні системи
Код дисципліни: 7.123.04.O.010
Кількість кредитів: 4.00
Кафедра: Електронні обчислювальні машини
Лектор: к.т.н., доц. каф. ЕОМ Бочкарьов Олексій Юрійович
Семестр: 2 семестр
Форма навчання: денна
Завдання: Загальні компетентності:
– базові знання фундаментальних наук, в обсязі, необхідному для освоєння загально-професійних дисциплін;
– базові знання в галузі комп’ютерної інженерії (комп’ютерної логіки, теорії програмування, електротехніки) необхідні для освоєння професійно-орієнтованих дисциплін.
– здатність до аналізу та синтезу;
– здатність до застосування знань на практиці;
– здатність здійснювати пошук та аналізувати інформацію з різних джерел;
– здатність розв’язувати поставлені задачі та приймати відповідні рішення;
– креативність, здатність до системного мислення.
Фахові компетентності:
– базові знання технічних характеристик, конструктивних особливостей, призначення і правил експлуатації комп’ютерних систем, мереж та обладнання;
– знання сучасних технологічних процесів та систем автоматизації технологічної підготовки виробництва;
– здатність застосовувати та інтегрувати знання і розуміння дисциплін інших інженерних галузей;
– здатність досліджувати проблему та визначати обмеження, у тому числі технічні та обумовлені проблемами сталого розвитку, а також проблемами впливу на навколишнє середовище та безпеку життєдіяльності.
Результати навчання: Результати навчання відповідно до освітньої програми:
ЗН1 Знати і розуміти наукові і математичні принципи, що лежать в основі функціонування комп’ютерних засобів, систем та мереж.
ЗН5 Знати та розуміти методології проектування, відповідні нормативні документи, чинні стандарти і технічні умови.
УМ2 Вміти застосовувати знання і розуміння для розв’язування задач аналізу та синтезу характерних для обраної спеціалізації; вміти системно мислити та застосовувати творчі здібності до формування принципово нових ідей.
УМ5 Уміти здійснювати пошук інформації в різних джерелах для розв’язання задач комп’ютерної інженерії; уміти ефективно працювати як індивідуально, так і у складі команди.
Результати вивчення дисципліни:
1. знати принципи побудови автономних інтелектуальних кіберфізичних систем та вміти застосовувати їх при побудові сучасних кіберфізичних систем;
2. знати загальні принципи функціонування автономних інтелектуальних кіберфізичних систем;
3. знати методи машинного навчання та способи їх використання в роботі автономних інтелектуальних кіберфізичних систем;
4. мати практичні навички по створенню та налагодженню роботи автономних інтелектуальних кіберфізичних систем;
5. вміти досліджувати, проектувати та реалізувати автономні інтелектуальні кіберфізичних системи на основі методів машинного навчання, принципів адаптивного управління та принципів самоорганізації;
6. мати практичні навички роботи з методами машинного навчання, зокрема з методами навчання з підкріпленням.
Необхідні обов'язкові попередні та супутні навчальні дисципліни: Попередні: Комп’ютерна логіка, Алгоритми та методи обчислень.
Супутні: Технології штучного інтелекту в комп’ютерних та кіберфізичних системах.
Короткий зміст навчальної програми: Дисципліна “Технології машинного навчання в кіберфізичних системах” ставить на меті виробити у студентів систематизоване уявлення про основні положення та принципи теорії машинного навчання та підходи до практичної реалізації автономних інтелектуальних кіберфізичних систем. В результаті освоєння учбового матеріалу дисципліни студенти повинні розуміти концептуальні питання та багатогранність проблеми розробки та організації роботи автономних інтелектуальних кіберфізичних систем, знати проблеми та методи, пов’язані із застосуванням технологій машинного навчання для вирішення конкретних задач побудови автономних розподілених кіберфізичних систем, вміти створювати, конфігурувати та налагоджувати роботу автономних інтелектуальних кіберфізичних систем. Для освоєння даної дисципліни необхідне знання таких дисциплін: “Комп’ютерна логіка”, “Алгоритми та методи обчислень”.
Опис: 1. Автономні інтелектуальні КФС на основі технологій машинного навчання. Використання технологій штучного інтелекту та машинного навчання у КФС. Поняття штучного інтелекту. Основні напрямки досліджень в області штучного інтелекту. Основні концепції штучного інтелекту. Використання методів штучного інтелекту для побудови інтелектуальних систем. Автономні інтелектуальні КФС. Поняття інтелектуальної системи. Проблема розробки інтелектуальних систем. Прийняття рішень в умовах невизначенності.
2. Автомати, що навчаються (learning automata). Математичне моделювання простих форм цілеспрямованої поведінки. Стаціонарне випадкове середовище. Автомати, що навчаються (learning automata). Асимптотично-оптимальні послідовності симетричних автоматів, що навчаються. Випадкове середовище з перемиканням станів. Поведінка автоматів, що навчаються, в випадкових середовищах з перемиканням станів. Каскад двох автоматів з лінійною тактикою. Стохастичні автомати зі змінною структурою. Колективна поведінка автоматів, що навчаються.
3. Навчання з підкріпленням (Reinforcement Learning). Навчання обчислювальних машин (machine learning). Класифікація методів навчання машин (machine learning). Навчання з підкріпленням (reinforcement learning). Постановка узагальненої задачі навчання з підкріпленням. Класифікація задач навчання з підкріпленням. Однофакторне випадкове середовище (Мulti-armed bandit problem). Метод зваженної оцінки дій (action-value method). Узагальнена форма методів зваженої оцінки дій. Метод експоненціального (зваженого по давнині) усереднення. Метод нормованої експоненціальної функції (softmax action selection). Метод на основі стохастичного градієнтного підйому. Метод верхньої довірчої межі (Upper-Confidence-Bound action selection). Порівняння ефективності методів навчання з підкріпленням в однофакторному випадковому середовищі. Однофакторне випадкове середовище з контекстною залежністю (Contextual bandit). Марківський процес прийняття рішень (Markov Decision Process). Пошук оптимальної стратегії для відомої моделі MDP. Методи навчання з підкріпленням на основі часових різниць (Temporal difference learning). Метод адаптивної евристичної оцінки (Adaptive Heuristic Critic). Метод навчання з підкріпленням SARSA. Метод навчання з підкріпленням Q-learning.
4. Автономні КФС на основі інтелектуальних агентів. Поняття архітектури інтелектуального агента. Архітектури агентів на основі моделей логічного мислення. Архітектура інтегрального підпорядкування (Р.Брукс). Порівняння когнітивних та реактивних архітектур інтелектуальних агентів. Комбіновані архітектури інтелектуальних агентів. Напрямки розвитку архітектур інтелектуальних агентів.
5. Машинне навчання в автономних багатоагентних КФС. Поняття багатоагентної системи. Концептуальна модель багатоагентної системи. Алгоритмічне забезпечення багатоагентних систем. Механізми координації колективної поведінки інтелектуальних агентів. Навчання з підкріпленням в багатоагентних системах. Проблема розпізнавання стану та інтерпретації відгуку середовища. Класифікація задач колективного навчання з підкріпленням. Моделі колективного навчання. Інформаційна взаємодія агентів в процесі навчання. Моделі інформаційної взаємодії інтелектуальних агентів. Навчання розподілу обов'язків в багатоагентній системі (learning organizational roles).
6. Використання принципів самоорганізації при побудові автономних інтелектуальних КФС. Поняття самоорганізації. Способи оцінки процесу самоорганізації. Оцінка процесу самоорганізації на основі шенонівської ентропії. Модель процесу самоорганізації Гайнца фон Фьорстера. Самоорганізація в автономних децентралізованих системах. Моделі структурної самоорганізації.
Методи та критерії оцінювання: Письмові звіти з лабораторних робіт, усне опитування (40%). Підсумковий контроль (60 %, контрольних захід, екзамен): письмово-усна форма (60%).
Критерії оцінювання результатів навчання: Семестрова оцінка виставляється за умови виконання студентом навчального плану. Семестрова оцінка формується з результатів поточного контролю виконання лабораторних робіт і семестрового тестування. Результат семестрового тестування є добутком результату семестрового тесту у віртуальному навчальному середовищі та коефіцієнта лекційних тестів у віртуальному навчальному середовищі. Максимальна оцінка в балах - 100. Поточний контроль (лаб. Роботи) - 40. Екзаменаційний контроль:
письмова компонента - 50, усна компонента - 10.
Порядок та критерії виставляння балів та оцінок: 100–88 балів – («відмінно») виставляється за високий рівень знань (допускаються деякі неточності) навчального матеріалу компонента, що міститься в основних і додаткових рекомендованих літературних джерелах, вміння аналізувати явища, які вивчаються, у їхньому взаємозв’язку і роз витку, чітко, лаконічно, логічно, послідовно відповідати на поставлені запитання, вміння застосовувати теоретичні положення під час розв’язання практичних задач; 87–71 бал – («добре») виставляється за загалом правильне розуміння навчального матеріалу компонента, включаючи розрахунки , аргументовані відповіді на поставлені запитання, які, однак, містять певні (неістотні) недоліки, за вміння застосовувати теоретичні положення під час розв’язання практичних задач; 70 – 50 балів – («задовільно») виставляється за слабкі знання навчального матеріалу компонента, неточні або мало аргументовані відповіді, з порушенням послідовності викладення, за слабке застосування теоретичних положень під час розв’язання практичних задач; 49–26 балів – («не атестований» з можливістю повторного складання семестрового контролю) виставляється за незнання значної частини навчального матеріалу компонента, істотні помилки у відповідях на запитання, невміння застосувати теоретичні положення під час розв’язання практичних задач; 25–00 балів – («незадовільно» з обов’язковим повторним вивченням) виставляється за незнання значної частини навчального матеріалу компонента, істотні помилки у відповідях на запитання, невміння орієнтуватися під час розв’язання практичних задач, незнання основних фундаментальних положень.
Рекомендована література: 1. Stuart Russell, Peter Norvig, Artificial Intelligence: A Modern Approach, 4th edition, Pearson, 2020. - 1136 p.
2. Richard S. Sutton, Andrew G. Barto, Reinforcement Learning: An Introduction, A Bradford Book, 2 ed., MIT Press, Cambridge, MA, 2018. - 322 p.
3. Multiagent Systems, by Gerhard Weiss (Editor), 2nd edition, The MIT Press, 2013. - 920 p.
4. Adrian A. Hopgood, Intelligent Systems for Engineers and Scientists: A Practical Guide to Artificial Intelligence, 4th ed., CRC Press, 2021. – 515 p.
5. Narendra, K. and Thathachar, M. A. L., Learning Automata: An Introduction, 2nd ed., Dover Publications, 2013. - 496 p.
6. K. Najim, A.S. Poznyak, Learning Automata: Theory and Applications, Elsevier, 2014. – 236 p.
7. Chowdhary, Chiranji Lal, Intelligent systems: advances in biometric systems, soft computing, image processing, and data analytics, Apple Academic Press, 2020. – 320 p.
8. Maxim Lapan, Deep Reinforcement Learning Hands-On, 2nd edition, Packt Publishing, 2020. - 798 p.
9. Richard E. Neapolitan, Xia Jiang, Artificial Intelligence: With an Introduction to Machine Learning, Chapman and Hall, 2018. - 480 p.
10. Laurence Moroney, AI and Machine Learning for Coders: A Programmer's Guide to Artificial Intelligence, O'Reilly Media, 2020. - 390 p.
11. Leon Reznik, Intelligent Security Systems: How Artificial Intelligence, Machine Learning and Data Science Work For and Against Computer Security, Wiley-IEEE Press, 2021. – 371 p.
12. Artificial Intelligence-based Internet of Things Systems, Souvik Pal, Debashis De, Rajkumar Buyya (eds.), Springer, 2022. – 513 p.
Уніфікований додаток: Національний університет «Львівська політехніка» забезпечує реалізацію права осіб з інвалідністю на здобуття вищої освіти. Інклюзивні освітні послуги надає Служба доступності до можливостей навчання «Без обмежень», метою діяльності якої є забезпечення постійного індивідуального супроводу навчального процесу студентів з інвалідністю та хронічними захворюваннями. Важливим інструментом імплементації інклюзивної освітньої політики в Університеті є Програма підвищення кваліфікації науково-педагогічних працівників та навчально-допоміжного персоналу у сфері соціальної інклюзії та інклюзивної освіти. Звертатися за адресою:
вул. Карпінського, 2/4, І-й н.к., кімн. 112
E-mail: nolimits@lpnu.ua
Websites: https://lpnu.ua/nolimits https://lpnu.ua/integration
Академічна доброчесність: Політика щодо академічної доброчесності учасників освітнього процесу формується на основі дотримання принципів академічної доброчесності з урахуванням норм «Положення про академічну доброчесність у Національному університеті «Львівська політехніка» (затверджене вченою радою університету від 20.06.2017 р., протокол № 35).