Глибинне навчання

Спеціальність: Системний аналіз
Код дисципліни: 6.124.03.E.070
Кількість кредитів: 4.00
Кафедра: Інформаційні системи та мережі
Лектор: д.ф-м.н., професор Пелещак Роман Михайлович
Семестр: 6 семестр
Форма навчання: денна
Мета вивчення дисципліни: Математичне обґрунтування методів та концепцій глибинного навчання.
Завдання: Навчання нейронних мереж. Методи оптимізації.
Результати навчання: Методи та алгоритми навчання комп’ютерних систем на основі досвіду та розуміння світу з погляду ієрархії понять, їхньої глибини. Математичне обґрунтування методів та концепцій глибинного навчання.
Необхідні обов'язкові попередні та супутні навчальні дисципліни: • Математична статистика • Теорія імовірності • Дискретна математика • Машинне навчання
Короткий зміст навчальної програми: Лекція 1. Вступна лекція та Intro до ГН: - організаційні питання: виконання, здача та захист лаб -пререквізити (мат аналіз, статистика, лінійна алгебра, МН) - нагадати основні терміни з МН - semi-supervised та self-supervised навчання Лекція 2. MLE для задач з вчителем. Поняття тензорів. Вступ до TF (чи PyTorch чи Flax) - статистичне означення задача з вчителем - MLE та MAP -функції втрат та метрики -тензори та операції над ними (в одній з бібліотек) Лекція 3. Feedforward NN. Лекція 4. Навчання нейронних мереж. Методи оптимізації. -Метод (стохастичного) градієнтного спуску -алгоритм бекпропогейшну -автоматичне диференціювання та графи обчислень -SGD з імпульсом (momentum) -оптимізатори Adam, Lion Лекція 5. Вступ в CV. Згорткові нейронні мережі. Лекція 6. Регуляризація NN. Лекція 7. Skip-connections та ResNet. Лекція 8. Глибинне навчання для NLP. Класифікація тексту. Мовні моделі та генерація тексту. -методи препроцесингу та підготовки стрічок -Методи токенизації та ембедингу -поняття мовної моделі та методи генерації -seq2seq моделі Лекція 9. [Трансформери, ч1] Механізм уваги. Лекція 10. [Трансформери, ч2] Модель трансформера. Pre-training та fine-tuning моделей. Лекція 11. [Трансформери, ч3] LLM: BERT, GPT, T5. BPE Токенизатори. Екосистема HuggingFace. Лекція 12. Ембединг тексту з LLM. Вступ до промпт-інжинірингу. Zero-shots та few-shots inference. -ембединг-моделі та sentence similarity -Sentence-transformers для zero-shot задач -промпт-інжиніринг -zero-shots та few-shots fine-tuning та inference Лекція 13. Навчання без вчителя з ГН. Автоенкодери та latent простори. Лекція 14. Дифузійні моделі для генерації зображень (спрощено) Лекція 15. Етика та регуляція генератовного AI. Підготовка до екзамену. Лабораторні роботи (приблизний список) (50 балів): 1. Класифікація зображень повнозв’язною нейронною мережею (4 балів): 2. Аналіз алгоритмів оптимізації (4 балів): 3. Класифікація зображень з CNN (4 балів): 4. Регуляризація нейронних мереж (5 балів): 5. Fine-tuning ResNet для класифікації зображень (6 балів): 6. Класифікації тексту нейронними мережами (6 балів): 7. Fine-tuning мовних моделей-трансформерів (6 балів): 8. Міні-проєкт - задача регресії (6 балів): 9. Міні-проєкт - задача класифікації (6 балів): 10. Генерація зображень дифузійними моделями (3 бали)
Опис: Глибинне навчання для NLP. Класифікація тексту. Мовні моделі та генерація тексту. -методи препроцесингу та підготовки стрічок -Методи токенизації та ембедингу -поняття мовної моделі та методи генерації
Методи та критерії оцінювання: • Поточний контроль (40%): письмові звіти з лабораторних робіт, розрахункова робота, усне опитування • Підсумковий контроль (60%, іспит): тестування .
Критерії оцінювання результатів навчання: 1. Класифікація зображень повнозв’язною нейронною мережею (4 балів): 2. Аналіз алгоритмів оптимізації (4 балів): 3. Класифікація зображень з CNN (4 балів): 4. Регуляризація нейронних мереж (5 балів): 5. Fine-tuning ResNet для класифікації зображень (6 балів): 6. Класифікації тексту нейронними мережами (6 балів): 7. Fine-tuning мовних моделей-трансформерів (6 балів): 8. Міні-проєкт - задача регресії (6 балів): 9. Міні-проєкт - задача класифікації (6 балів): 10. Генерація зображень дифузійними моделями (3 бали)
Порядок та критерії виставляння балів та оцінок: 100-88 балів - атестований з оцінкою «відмінно» - Високий рівень: здобувач освіти демонструє поглиблене володіння поняттєвим та категорійним апаратом навчальної дисципліни, системні знання, вміння і навички їх практичного застосування. Освоєні знання, вміння і навички забезпечують можливість самостійного формулювання цілей та організації навчальної діяльності, пошуку та знаходження рішень у нестандартних, нетипових навчальних і професійних ситуаціях. Здобувач освіти демонструє здатність робити узагальнення на основі критичного аналізу фактичного матеріалу, ідей, теорій і концепцій, формулювати на їх основі висновки. Його діяльності ґрунтується на зацікавленості та мотивації до саморозвитку, неперервного професійного розвитку, самостійної науково-дослідної діяльності, що реалізується за підтримки та під керівництвом викладача. 87-71 балів - атестований з оцінкою «добре» - Достатній рівень: передбачає володіння поняттєвим та категорійним апаратом навчальної дисципліни на підвищеному рівні, усвідомлене використання знань, умінь і навичок з метою розкриття суті питання. Володіння частково-структурованим комплексом знань забезпечує можливість їх застосування у знайомих ситуаціях освітнього та професійного характеру. Усвідомлюючи специфіку задач та навчальних ситуацій, здобувач освіти демонструє здатність здійснювати пошук та вибір їх розв’язання за поданим зразком, аргументувати застосування певного способу розв’язання задачі. Його діяльності ґрунтується на зацікавленості та мотивації до саморозвитку, неперервного професійного розвитку. 70-50 балів - атестований з оцінкою «задовільно» - Задовільний рівень: окреслює володіння поняттєвим та категорійним апаратом навчальної дисципліни на середньому рівні, часткове усвідомлення навчальних і професійних задач, завдань і ситуацій, знання про способи розв’язання типових задач і завдань. Здобувач освіти демонструє середній рівень умінь і навичок застосування знань на практиці, а розв’язання задач потребує допомоги, опори на зразок. В основу навчальної діяльності покладено ситуативність та евристичність, домінування мотивів обов’язку, неусвідомлене застосування можливостей для саморозвитку. 49-00 балів - атестований з оцінкою «незадовільно» - Незадовільний рівень: свідчить про елементарне володіння поняттєвим та категорійним апаратом навчальної дисципліни, загальне уявлення про зміст навчального матеріалу, часткове використання знань, умінь і навичок. В основу навчальної діяльності покладено ситуативно-прагматичний інтерес.
Рекомендована література: Литвин В. В. Глибинне навчання: навчальний посібник / В. В. Литвин, Р. М. Пелещак, В. А. Висоцька. – Львів: Видавництво Львівської політехніки, 2021. – 264 c. Jeff Heaton Applications of Deep Neural Networks with Keras / Fall 2022.0. - 577р.
Уніфікований додаток: Національний університет «Львівська політехніка» забезпечує реалізацію права осіб з інвалідністю на здобуття вищої освіти. Інклюзивні освітні послуги надає Служба доступності до можливостей навчання «Без обмежень», метою діяльності якої є забезпечення постійного індивідуального супроводу навчального процесу студентів з інвалідністю та хронічними захворюваннями. Важливим інструментом імплементації інклюзивної освітньої політики в Університеті є Програма підвищення кваліфікації науково-педагогічних працівників та навчально-допоміжного персоналу у сфері соціальної інклюзії та інклюзивної освіти. Звертатися за адресою: вул. Карпінського, 2/4, І-й н.к., кімн. 112 E-mail: nolimits@lpnu.ua Websites: https://lpnu.ua/nolimits https://lpnu.ua/integration
Академічна доброчесність: Політика щодо академічної доброчесності учасників освітнього процесу формується на основі дотримання принципів академічної доброчесності з урахуванням норм «Положення про академічну доброчесність у Національному університеті «Львівська політехніка» (затверджене вченою радою університету від 20.06.2017 р., протокол № 35).

Глибинне навчання (курсова робота)

Спеціальність: Системний аналіз
Код дисципліни: 6.124.03.E.072
Кількість кредитів: 2.00
Кафедра: Інформаційні системи та мережі
Лектор: д.ф-м.н., професор Пелещак Роман Михайлович
Семестр: 6 семестр
Форма навчання: денна
Мета вивчення дисципліни: Математичне обґрунтування методів та концепцій глибинного навчання.
Завдання: Навчання нейронних мереж. Методи оптимізації.
Результати навчання: Методи та алгоритми навчання комп’ютерних систем на основі досвіду та розуміння світу з погляду ієрархії понять, їхньої глибини. Математичне обґрунтування методів та концепцій глибинного навчання.
Необхідні обов'язкові попередні та супутні навчальні дисципліни: • Математична статистика • Теорія імовірності • Дискретна математика • Машинне навчання
Короткий зміст навчальної програми: Лекція 1. Вступна лекція та Intro до ГН: - організаційні питання: виконання, здача та захист лаб -пререквізити (мат аналіз, статистика, лінійна алгебра, МН) - нагадати основні терміни з МН - semi-supervised та self-supervised навчання Лекція 2. MLE для задач з вчителем. Поняття тензорів. Вступ до TF (чи PyTorch чи Flax) - статистичне означення задача з вчителем - MLE та MAP -функції втрат та метрики -тензори та операції над ними (в одній з бібліотек) Лекція 3. Feedforward NN. Лекція 4. Навчання нейронних мереж. Методи оптимізації. -Метод (стохастичного) градієнтного спуску -алгоритм бекпропогейшну -автоматичне диференціювання та графи обчислень -SGD з імпульсом (momentum) -оптимізатори Adam, Lion Лекція 5. Вступ в CV. Згорткові нейронні мережі. Лекція 6. Регуляризація NN. Лекція 7. Skip-connections та ResNet. Лекція 8. Глибинне навчання для NLP. Класифікація тексту. Мовні моделі та генерація тексту. -методи препроцесингу та підготовки стрічок -Методи токенизації та ембедингу -поняття мовної моделі та методи генерації -seq2seq моделі Лекція 9. [Трансформери, ч1] Механізм уваги. Лекція 10. [Трансформери, ч2] Модель трансформера. Pre-training та fine-tuning моделей. Лекція 11. [Трансформери, ч3] LLM: BERT, GPT, T5. BPE Токенизатори. Екосистема HuggingFace. Лекція 12. Ембединг тексту з LLM. Вступ до промпт-інжинірингу. Zero-shots та few-shots inference. -ембединг-моделі та sentence similarity -Sentence-transformers для zero-shot задач -промпт-інжиніринг -zero-shots та few-shots fine-tuning та inference Лекція 13. Навчання без вчителя з ГН. Автоенкодери та latent простори. Лекція 14. Дифузійні моделі для генерації зображень (спрощено) Лекція 15. Етика та регуляція генератовного AI. Підготовка до екзамену. Лабораторні роботи (приблизний список) (50 балів): 1. Класифікація зображень повнозв’язною нейронною мережею (4 балів): 2. Аналіз алгоритмів оптимізації (4 балів): 3. Класифікація зображень з CNN (4 балів): 4. Регуляризація нейронних мереж (5 балів): 5. Fine-tuning ResNet для класифікації зображень (6 балів): 6. Класифікації тексту нейронними мережами (6 балів): 7. Fine-tuning мовних моделей-трансформерів (6 балів): 8. Міні-проєкт - задача регресії (6 балів): 9. Міні-проєкт - задача класифікації (6 балів): 10. Генерація зображень дифузійними моделями (3 бали)
Опис: Глибинне навчання для NLP. Класифікація тексту. Мовні моделі та генерація тексту. -методи препроцесингу та підготовки стрічок -Методи токенизації та ембедингу -поняття мовної моделі та методи генерації
Методи та критерії оцінювання: • Поточний контроль (40%): письмові звіти з лабораторних робіт, розрахункова робота, усне опитування • Підсумковий контроль (60%, іспит): тестування .
Критерії оцінювання результатів навчання: 1. Класифікація зображень повнозв’язною нейронною мережею (4 балів): 2. Аналіз алгоритмів оптимізації (4 балів): 3. Класифікація зображень з CNN (4 балів): 4. Регуляризація нейронних мереж (5 балів): 5. Fine-tuning ResNet для класифікації зображень (6 балів): 6. Класифікації тексту нейронними мережами (6 балів): 7. Fine-tuning мовних моделей-трансформерів (6 балів): 8. Міні-проєкт - задача регресії (6 балів): 9. Міні-проєкт - задача класифікації (6 балів): 10. Генерація зображень дифузійними моделями (3 бали)
Порядок та критерії виставляння балів та оцінок: 100-88 балів - атестований з оцінкою «відмінно» - Високий рівень: здобувач освіти демонструє поглиблене володіння поняттєвим та категорійним апаратом навчальної дисципліни, системні знання, вміння і навички їх практичного застосування. Освоєні знання, вміння і навички забезпечують можливість самостійного формулювання цілей та організації навчальної діяльності, пошуку та знаходження рішень у нестандартних, нетипових навчальних і професійних ситуаціях. Здобувач освіти демонструє здатність робити узагальнення на основі критичного аналізу фактичного матеріалу, ідей, теорій і концепцій, формулювати на їх основі висновки. Його діяльності ґрунтується на зацікавленості та мотивації до саморозвитку, неперервного професійного розвитку, самостійної науково-дослідної діяльності, що реалізується за підтримки та під керівництвом викладача. 87-71 балів - атестований з оцінкою «добре» - Достатній рівень: передбачає володіння поняттєвим та категорійним апаратом навчальної дисципліни на підвищеному рівні, усвідомлене використання знань, умінь і навичок з метою розкриття суті питання. Володіння частково-структурованим комплексом знань забезпечує можливість їх застосування у знайомих ситуаціях освітнього та професійного характеру. Усвідомлюючи специфіку задач та навчальних ситуацій, здобувач освіти демонструє здатність здійснювати пошук та вибір їх розв’язання за поданим зразком, аргументувати застосування певного способу розв’язання задачі. Його діяльності ґрунтується на зацікавленості та мотивації до саморозвитку, неперервного професійного розвитку. 70-50 балів - атестований з оцінкою «задовільно» - Задовільний рівень: окреслює володіння поняттєвим та категорійним апаратом навчальної дисципліни на середньому рівні, часткове усвідомлення навчальних і професійних задач, завдань і ситуацій, знання про способи розв’язання типових задач і завдань. Здобувач освіти демонструє середній рівень умінь і навичок застосування знань на практиці, а розв’язання задач потребує допомоги, опори на зразок. В основу навчальної діяльності покладено ситуативність та евристичність, домінування мотивів обов’язку, неусвідомлене застосування можливостей для саморозвитку. 49-00 балів - атестований з оцінкою «незадовільно» - Незадовільний рівень: свідчить про елементарне володіння поняттєвим та категорійним апаратом навчальної дисципліни, загальне уявлення про зміст навчального матеріалу, часткове використання знань, умінь і навичок. В основу навчальної діяльності покладено ситуативно-прагматичний інтерес.
Рекомендована література: Литвин В. В. Глибинне навчання: навчальний посібник / В. В. Литвин, Р. М. Пелещак, В. А. Висоцька. – Львів: Видавництво Львівської політехніки, 2021. – 264 c. Jeff Heaton Applications of Deep Neural Networks with Keras / Fall 2022.0. - 577р.
Уніфікований додаток: Національний університет «Львівська політехніка» забезпечує реалізацію права осіб з інвалідністю на здобуття вищої освіти. Інклюзивні освітні послуги надає Служба доступності до можливостей навчання «Без обмежень», метою діяльності якої є забезпечення постійного індивідуального супроводу навчального процесу студентів з інвалідністю та хронічними захворюваннями. Важливим інструментом імплементації інклюзивної освітньої політики в Університеті є Програма підвищення кваліфікації науково-педагогічних працівників та навчально-допоміжного персоналу у сфері соціальної інклюзії та інклюзивної освіти. Звертатися за адресою: вул. Карпінського, 2/4, І-й н.к., кімн. 112 E-mail: nolimits@lpnu.ua Websites: https://lpnu.ua/nolimits https://lpnu.ua/integration
Академічна доброчесність: Політика щодо академічної доброчесності учасників освітнього процесу формується на основі дотримання принципів академічної доброчесності з урахуванням норм «Положення про академічну доброчесність у Національному університеті «Львівська політехніка» (затверджене вченою радою університету від 20.06.2017 р., протокол № 35).