Глибинне навчання

Спеціальність: Системний аналіз
Код дисципліни: 6.124.03.E.073
Кількість кредитів: 7.00
Кафедра: Інформаційні системи та мережі
Лектор: д.ф-м.н., професор Пелещак Роман Михайлович
Семестр: 7 семестр
Форма навчання: денна
Мета вивчення дисципліни: Математичне обґрунтування методів та концепцій глибинного навчання.
Завдання: Навчання нейронних мереж. Методи оптимізації.
Результати навчання: Методи та алгоритми навчання комп’ютерних систем на основі досвіду та розуміння світу з погляду ієрархії понять, їхньої глибини. Математичне обґрунтування методів та концепцій глибинного навчання.
Необхідні обов'язкові попередні та супутні навчальні дисципліни: • Математична статистика • Теорія імовірності • Дискретна математика
Короткий зміст навчальної програми: Лекція 1. Вступна лекція та Intro до ГН: - організаційні питання: виконання, здача та захист лаб -пререквізити (мат аналіз, статистика, лінійна алгебра, МН) - нагадати основні терміни з МН - semi-supervised та self-supervised навчання Лекція 2. MLE для задач з вчителем. Поняття тензорів. Вступ до TF (чи PyTorch чи Flax) - статистичне означення задача з вчителем - MLE та MAP -функції втрат та метрики -тензори та операції над ними (в одній з бібліотек) Лекція 3. Feedforward NN. Лекція 4. Навчання нейронних мереж. Методи оптимізації. -Метод (стохастичного) градієнтного спуску -алгоритм бекпропогейшну -автоматичне диференціювання та графи обчислень -SGD з імпульсом (momentum) -оптимізатори Adam, Lion Лекція 5. Вступ в CV. Згорткові нейронні мережі. Лекція 6. Регуляризація NN. Лекція 7. Skip-connections та ResNet. Лекція 8. Глибинне навчання для NLP. Класифікація тексту. Мовні моделі та генерація тексту. -методи препроцесингу та підготовки стрічок -Методи токенизації та ембедингу -поняття мовної моделі та методи генерації -seq2seq моделі Лекція 9. [Трансформери, ч1] Механізм уваги. Лекція 10. [Трансформери, ч2] Модель трансформера. Pre-training та fine-tuning моделей. Лекція 11. [Трансформери, ч3] LLM: BERT, GPT, T5. BPE Токенизатори. Екосистема HuggingFace. Лекція 12. Ембединг тексту з LLM. Вступ до промпт-інжинірингу. Zero-shots та few-shots inference. -ембединг-моделі та sentence similarity -Sentence-transformers для zero-shot задач -промпт-інжиніринг -zero-shots та few-shots fine-tuning та inference Лекція 13. Навчання без вчителя з ГН. Автоенкодери та latent простори. Лекція 14. Дифузійні моделі для генерації зображень (спрощено) Лекція 15. Етика та регуляція генератовного AI. Підготовка до екзамену. Лабораторні роботи (приблизний список) (50 балів): 1. Класифікація зображень повнозв’язною нейронною мережею (4 балів): 2. Аналіз алгоритмів оптимізації (4 балів): 3. Класифікація зображень з CNN (4 балів): 4. Регуляризація нейронних мереж (5 балів): 5. Fine-tuning ResNet для класифікації зображень (6 балів): 6. Класифікації тексту нейронними мережами (6 балів): 7. Fine-tuning мовних моделей-трансформерів (6 балів): 8. Міні-проєкт - задача регресії (6 балів): 9. Міні-проєкт - задача класифікації (6 балів): 10. Генерація зображень дифузійними моделями (3 бали)
Опис: Глибинне навчання для NLP. Класифікація тексту. Мовні моделі та генерація тексту. -методи препроцесингу та підготовки стрічок -Методи токенизації та ембедингу -поняття мовної моделі та методи генерації
Методи та критерії оцінювання: • Поточний контроль (40%): письмові звіти з лабораторних робіт, розрахункова робота, усне опитування • Підсумковий контроль (60%, іспит): тестування .
Критерії оцінювання результатів навчання: 1. Класифікація зображень повнозв’язною нейронною мережею (4 балів): 2. Аналіз алгоритмів оптимізації (4 балів): 3. Класифікація зображень з CNN (4 балів): 4. Регуляризація нейронних мереж (5 балів): 5. Fine-tuning ResNet для класифікації зображень (6 балів): 6. Класифікації тексту нейронними мережами (6 балів): 7. Fine-tuning мовних моделей-трансформерів (6 балів): 8. Міні-проєкт - задача регресії (6 балів): 9. Міні-проєкт - задача класифікації (6 балів): 10. Генерація зображень дифузійними моделями (3 бали)
Порядок та критерії виставляння балів та оцінок: 100–88 балів – («відмінно») виставляється за високий рівень знань (допускаються деякі неточності) навчального матеріалу компонента, що міститься в основних і додаткових рекомендованих літературних джерелах, вміння аналізувати явища, які вивчаються, у їхньому взаємозв’язку і роз витку, чітко, лаконічно, логічно, послідовно відповідати на поставлені запитання, вміння застосовувати теоретичні положення під час розв’язання практичних задач; 87–71 бал – («добре») виставляється за загалом правильне розуміння навчального матеріалу компонента, включаючи розрахунки , аргументовані відповіді на поставлені запитання, які, однак, містять певні (неістотні) недоліки, за вміння застосовувати теоретичні положення під час розв’язання практичних задач; 70 – 50 балів – («задовільно») виставляється за слабкі знання навчального матеріалу компонента, неточні або мало аргументовані відповіді, з порушенням послідовності викладення, за слабке застосування теоретичних положень під час розв’язання практичних задач; 49–26 балів – («не атестований» з можливістю повторного складання семестрового контролю) виставляється за незнання значної частини навчального матеріалу компонента, істотні помилки у відповідях на запитання, невміння застосувати теоретичні положення під час розв’язання практичних задач; 25–00 балів – («незадовільно» з обов’язковим повторним вивченням) виставляється за незнання значної частини навчального матеріалу компонента, істотні помилки у відповідях на запитання, невміння орієнтуватися під час розв’язання практичних задач, незнання основних фундаментальних положень.
Рекомендована література: 1. Golovko V. Neural Networks: Training, Organization and Application / V. Golovko. – Moscow: IPRZHR, 2001. – 256 p. 2. Hinton G. E. A practical guide to training restricted Boltzmann machines / G. E. Hinton // Tech. Rep. 2010-000. – Toronto: Machine Learning Group, University of Toronto, 2010. – https://www.cs.toronto.edu/~hinton/absps/guideTR.pdf 3. Bengio Y. Learning deep architectures for AI / Y. Bengio // Foundations Trends Mach. Learning. – 2009. – Vol. 2(1). – P. 1–127. – https://www.iro.umontreal.ca/~lisa/pointeurs/TR1312.pdf
Уніфікований додаток: Національний університет «Львівська політехніка» забезпечує реалізацію права осіб з інвалідністю на здобуття вищої освіти. Інклюзивні освітні послуги надає Служба доступності до можливостей навчання «Без обмежень», метою діяльності якої є забезпечення постійного індивідуального супроводу навчального процесу студентів з інвалідністю та хронічними захворюваннями. Важливим інструментом імплементації інклюзивної освітньої політики в Університеті є Програма підвищення кваліфікації науково-педагогічних працівників та навчально-допоміжного персоналу у сфері соціальної інклюзії та інклюзивної освіти. Звертатися за адресою: вул. Карпінського, 2/4, І-й н.к., кімн. 112 E-mail: nolimits@lpnu.ua Websites: https://lpnu.ua/nolimits https://lpnu.ua/integration
Академічна доброчесність: Політика щодо академічної доброчесності учасників освітнього процесу формується на основі дотримання принципів академічної доброчесності з урахуванням норм «Положення про академічну доброчесність у Національному університеті «Львівська політехніка» (затверджене вченою радою університету від 20.06.2017 р., протокол № 35).