Глибинне навчання
Спеціальність: Системний аналіз
Код дисципліни: 6.124.03.E.073
Кількість кредитів: 7.00
Кафедра: Інформаційні системи та мережі
Лектор: д.ф-м.н., професор Пелещак Роман Михайлович
Семестр: 7 семестр
Форма навчання: денна
Завдання: Навчання нейронних мереж. Методи оптимізації.
Результати навчання: Методи та алгоритми навчання комп’ютерних систем на
основі досвіду та розуміння світу з погляду ієрархії понять, їхньої глибини.
Математичне обґрунтування методів та
концепцій глибинного навчання.
Необхідні обов'язкові попередні та супутні навчальні дисципліни: • Математична статистика
• Теорія імовірності
• Дискретна математика
• Машинне навчання
Короткий зміст навчальної програми: Лекція 1. Вступна лекція та Intro до ГН:
- організаційні питання: виконання, здача та захист лаб
-пререквізити (мат аналіз, статистика, лінійна алгебра, МН)
- нагадати основні терміни з МН
- semi-supervised та self-supervised навчання
Лекція 2. MLE для задач з вчителем. Поняття тензорів. Вступ до TF (чи PyTorch чи Flax)
- статистичне означення задача з вчителем
- MLE та MAP
-функції втрат та метрики
-тензори та операції над ними (в одній з бібліотек)
Лекція 3. Feedforward NN.
Лекція 4. Навчання нейронних мереж. Методи оптимізації.
-Метод (стохастичного) градієнтного спуску
-алгоритм бекпропогейшну
-автоматичне диференціювання та графи обчислень
-SGD з імпульсом (momentum)
-оптимізатори Adam, Lion
Лекція 5. Вступ в CV. Згорткові нейронні мережі.
Лекція 6. Регуляризація NN.
Лекція 7. Skip-connections та ResNet.
Лекція 8. Глибинне навчання для NLP. Класифікація тексту. Мовні моделі та генерація тексту.
-методи препроцесингу та підготовки стрічок
-Методи токенизації та ембедингу
-поняття мовної моделі та методи генерації
-seq2seq моделі
Лекція 9. [Трансформери, ч1] Механізм уваги.
Лекція 10. [Трансформери, ч2] Модель трансформера. Pre-training та fine-tuning моделей.
Лекція 11. [Трансформери, ч3] LLM: BERT, GPT, T5. BPE Токенизатори. Екосистема
HuggingFace.
Лекція 12. Ембединг тексту з LLM. Вступ до промпт-інжинірингу. Zero-shots та few-shots
inference.
-ембединг-моделі та sentence similarity
-Sentence-transformers для zero-shot задач
-промпт-інжиніринг
-zero-shots та few-shots fine-tuning та inference
Лекція 13. Навчання без вчителя з ГН. Автоенкодери та latent простори.
Лекція 14. Дифузійні моделі для генерації зображень (спрощено)
Лекція 15. Етика та регуляція генератовного AI. Підготовка до екзамену.
Лабораторні роботи (приблизний список) (50 балів):
1. Класифікація зображень повнозв’язною нейронною мережею (4 балів):
2. Аналіз алгоритмів оптимізації (4 балів):
3. Класифікація зображень з CNN (4 балів):
4. Регуляризація нейронних мереж (5 балів):
5. Fine-tuning ResNet для класифікації зображень (6 балів):
6. Класифікації тексту нейронними мережами (6 балів):
7. Fine-tuning мовних моделей-трансформерів (6 балів):
8. Міні-проєкт - задача регресії (6 балів):
9. Міні-проєкт - задача класифікації (6 балів):
10. Генерація зображень дифузійними моделями (3 бали)
Опис: Глибинне навчання для NLP. Класифікація тексту. Мовні моделі та генерація тексту.
-методи препроцесингу та підготовки стрічок
-Методи токенизації та ембедингу
-поняття мовної моделі та методи генерації
Методи та критерії оцінювання: • Поточний контроль (40%): письмові звіти з лабораторних робіт, розрахункова робота, усне опитування
• Підсумковий контроль (60%, іспит): тестування .
Критерії оцінювання результатів навчання: 1. Класифікація зображень повнозв’язною нейронною мережею (4 балів):
2. Аналіз алгоритмів оптимізації (4 балів):
3. Класифікація зображень з CNN (4 балів):
4. Регуляризація нейронних мереж (5 балів):
5. Fine-tuning ResNet для класифікації зображень (6 балів):
6. Класифікації тексту нейронними мережами (6 балів):
7. Fine-tuning мовних моделей-трансформерів (6 балів):
8. Міні-проєкт - задача регресії (6 балів):
9. Міні-проєкт - задача класифікації (6 балів):
10. Генерація зображень дифузійними моделями (3 бали)
Порядок та критерії виставляння балів та оцінок: 100–88 балів – («відмінно») виставляється за високий рівень знань (допускаються деякі неточності) навчального матеріалу компонента, що міститься в основних і додаткових рекомендованих літературних джерелах, вміння аналізувати явища, які вивчаються, у їхньому взаємозв’язку і роз витку, чітко, лаконічно, логічно, послідовно відповідати на поставлені запитання, вміння застосовувати теоретичні положення під час розв’язання практичних задач; 87–71 бал – («добре») виставляється за загалом правильне розуміння навчального матеріалу компонента, включаючи розрахунки , аргументовані відповіді на поставлені запитання, які, однак, містять певні (неістотні) недоліки, за вміння застосовувати теоретичні положення під час розв’язання практичних задач; 70 – 50 балів – («задовільно») виставляється за слабкі знання навчального матеріалу компонента, неточні або мало аргументовані відповіді, з порушенням послідовності викладення, за слабке застосування теоретичних положень під час розв’язання практичних задач; 49–26 балів – («не атестований» з можливістю повторного складання семестрового контролю) виставляється за незнання значної частини навчального матеріалу компонента, істотні помилки у відповідях на запитання, невміння застосувати теоретичні положення під час розв’язання практичних задач; 25–00 балів – («незадовільно» з обов’язковим повторним вивченням) виставляється за незнання значної частини навчального матеріалу компонента, істотні помилки у відповідях на запитання, невміння орієнтуватися під час розв’язання практичних задач, незнання основних фундаментальних положень.
Рекомендована література: Литвин В. В. Глибинне навчання: навчальний посібник / В. В. Литвин, Р. М. Пелещак, В. А. Висоцька. – Львів: Видавництво Львівської політехніки, 2021. – 264 c.
Jeff Heaton Applications of Deep Neural Networks with Keras / Fall 2022.0. - 577р.
Уніфікований додаток: Національний університет «Львівська політехніка» забезпечує реалізацію права осіб з інвалідністю на здобуття вищої освіти. Інклюзивні освітні послуги надає Служба доступності до можливостей навчання «Без обмежень», метою діяльності якої є забезпечення постійного індивідуального супроводу навчального процесу студентів з інвалідністю та хронічними захворюваннями. Важливим інструментом імплементації інклюзивної освітньої політики в Університеті є Програма підвищення кваліфікації науково-педагогічних працівників та навчально-допоміжного персоналу у сфері соціальної інклюзії та інклюзивної освіти. Звертатися за адресою:
вул. Карпінського, 2/4, І-й н.к., кімн. 112
E-mail: nolimits@lpnu.ua
Websites: https://lpnu.ua/nolimits https://lpnu.ua/integration
Академічна доброчесність: Політика щодо академічної доброчесності учасників освітнього процесу формується на основі дотримання принципів академічної доброчесності з урахуванням норм «Положення про академічну доброчесність у Національному університеті «Львівська політехніка» (затверджене вченою радою університету від 20.06.2017 р., протокол № 35).