Розробка та оптимізація нейронних мереж для високоточних перетворень обличчя на відео з використанням генеративних моделей, методів глибокого навчання та багатомірної математичної оптимізації
Автор: Міхович Маркіян Назарович
Кваліфікаційний рівень: магістр
Спеціальність: Прикладна математика
Інститут: Інститут прикладної математики та фундаментальних наук
Форма навчання: денна
Навчальний рік: 2024-2025 н.р.
Мова захисту: українська
Анотація: У магістерській роботі досліджено та розроблено систему відновлення мультимедійних даних із використанням генеративних моделей для створення якісного контенту. Метою роботи є автоматизація трансформації голосу, синхронізації губ із мовленням та відновлення обличчя у відео. В роботі застосовано моделі RVC2 для трансформації голосу, Wav2Lip для ліпсингу та GFPGAN для покращення якості обличчя.Дослідження включає аналіз математичних основ моделей, зокрема алгоритмів градієнтного спуску, багатовимірних функцій втрат та генеративних змагальних мереж. Для реалізації системи використано Python, бібліотеки PyTorch і TensorFlow. Проведено навчання голосових моделей, синхронізацію губ та відновлення облич на основі сучасних нейронних технологій.Результати підтверджують ефективність розробленого підходу для створення якісного контенту з мінімальними артефактами. Подальші дослідження можуть бути спрямовані на оптимізацію ресурсів та розширення функціональності для роботи в реальному часі.