Комп'ютерна лінгвістика
Спеціальність: Системний аналіз
Код дисципліни: 6.124.03.E.069
Кількість кредитів: 6.00
Кафедра: Інформаційні системи та мережі
Лектор: д.т.н., доцент Висоцька Вікторія Анатоліївна
Семестр: 6 семестр
Форма навчання: денна
Завдання: Вивчення навчальної дисципліни передбачає формування у здобувачів освіти компетентностей:
компетентності професійного спрямування:
ФКС3.1. Здатність ефективно проводити системний аналіз, здійснювати дослідження, видобування та аналіз даних з різноманітних інформаційних ресурсів на основі математичних моделей і методів науки про дані для процесів підтримки ухвалення рішень.
Результати навчання: У результаті вивчення навчальної дисципліни здобувач освіти повинен бути здатним:
1). Студент повинен знати та розуміти основні означення, твердження та теореми, способи доведення тверджень, галузі та способи застосування набутих лінгвістичних знань опрацювання природної мови з таких розділів:
• опрацювання природної мови;
• нормалізація тексту;
• редагування відстані;
• моделювання мови за допомогою N-грам;
• статистичне опрацювання природних мов;
• фільтрація спаму;
• розроблення пошукових систем;
• класифікація та сентиментизація тексту;
• виправлення орфографії та шумний канал;
• сентимент аналіз;
• ідентифікація сарказму.
2). Підготовлений фахівець повинен вміти застосовувати набуті знання для
• формулювання і розв’язування задач в галузі комп’ютерних наук для опрацювання природної мови,
• конструювання алгоритмів розв’язування прикладних лінгвістичних задач,
• вивчення нових інформаційних технологій опрацювання природних мов,
• побудови математичного опису прикладних лінгвістичних проблем,
• аналізу результатів розв’язування задач опрацювання природних мов.
У результаті вивчення навчальної дисципліни здобувач освіти повинен бути здатним продемонструвати такі результати навчання:
ПРС3.6. Здатність володіти достатніми знаннями математичних моделей і методів для побудови лінгвістичного забезпечення для комп’ютерних систем опрацювання даних для виконання практичних завдань.
Необхідні обов'язкові попередні та супутні навчальні дисципліни: Машинне навчання
Організація баз даних та знань
Об’єктно-орієнтоване програмування
Глибинне навчання
Інновації аналізу даних
Технології великих даних
Короткий зміст навчальної програми: У результаті вивчення курсу «Комп'ютерна лінгвістика» студенти повинні знати методи комп'ютерної лінвістики та вміти їх використовувати при розв’язування наукових та науково-технічних задач із таких галузей як комп’ютерні науки та інформаційні технології.
Опис: 1. Вступ до комп’ютерної лінгвістики та NLP (опрацювання природної мови). Типи NLP додатків
2. Регулярні вирази, нормалізація тексту, редагування відстані. Моделювання мови за допомогою N-грам. Основи статистичної обробки природних мов. Фільтрація спаму. Пошукові системи
3. Наївна Баєвська класифікація та сентиментизація. Статистичні методи. Логістична регресія. Виправлення орфографії та шумний канал. Сентимент аналіз. Ідентифікація сарказму.
4. Векторна семантика та вкладення. Нейронні мережі та моделі нейронних мов. Приховані моделі Маркова. Машинне навчання. Оцінювання есе. Ідентифікація добрих/злих характерів персонажів
5. Розмічування частин мови (part-of-speech tagging). Послідовність обробки з періодичними мережами. Моделі кодера-декодера, увага, та контекстні вставки. Машинний переклад. Нейронний машинний переклад. Виправлення помилок. Узгодження шаблони (патернів)
6. Методика та парсинг безпосередніх складників. Статистичний парсинг безпосередніх складників та залежностей. Стеммінг. Алгоритм Мартина Портера. Перетворення промову в текст , текст у промову
7. Логічне подання сенсу речення. Обчислювальна семантика та семантичний аналіз. Вилучення інформації. Web Mining, Text Mining, Data Minig
8. Сенс слова та WordNet. Маркування семантичної ролі та структура аргументів. Лексикони для сентименту, афекту та конотації
9. Дозвіл кореферентності. Кохерентність дискурсу. Узагальнення тексту. Реферування, анотування та формування дайджетів
10. Формування відповіді на запитання. Діалог систем діалогу та чатботів. Фонетика. Опрацювання мовлення. Розмовні агенти. Системи з навчання мов. Генерування закінчення історії
Методи та критерії оцінювання: Діагностика знань відбувається шляхом оцінювання виконаних лабораторних робіт та екзаменаційного контролю (письмової та усної компоненти) у формі тестових запитань.
Критерії оцінювання результатів навчання: • Поточний контроль (45%): звіти з лабораторних робіт, коди програм на мові R або Python, робота в команді, усна презентація розроблених програм в команді та відповіді на питання від викладача та інших команд.
• Підсумковий контроль (55%, екзамен): письмово-усна форма.
Порядок та критерії виставляння балів та оцінок: 100–88 балів – («відмінно») виставляється за високий рівень знань (допускаються деякі неточності) навчального матеріалу компонента, що міститься в основних і додаткових рекомендованих літературних джерелах, вміння аналізувати явища, які вивчаються, у їхньому взаємозв’язку і роз витку, чітко, лаконічно, логічно, послідовно відповідати на поставлені запитання, вміння застосовувати теоретичні положення під час розв’язання практичних задач; 87–71 бал – («добре») виставляється за загалом правильне розуміння навчального матеріалу компонента, включаючи розрахунки , аргументовані відповіді на поставлені запитання, які, однак, містять певні (неістотні) недоліки, за вміння застосовувати теоретичні положення під час розв’язання практичних задач; 70 – 50 балів – («задовільно») виставляється за слабкі знання навчального матеріалу компонента, неточні або мало аргументовані відповіді, з порушенням послідовності викладення, за слабке застосування теоретичних положень під час розв’язання практичних задач; 49–26 балів – («не атестований» з можливістю повторного складання семестрового контролю) виставляється за незнання значної частини навчального матеріалу компонента, істотні помилки у відповідях на запитання, невміння застосувати теоретичні положення під час розв’язання практичних задач; 25–00 балів – («незадовільно» з обов’язковим повторним вивченням) виставляється за незнання значної частини навчального матеріалу компонента, істотні помилки у відповідях на запитання, невміння орієнтуватися під час розв’язання практичних задач, незнання основних фундаментальних положень.
Рекомендована література: 1. Пасічник В.В. Математична лінґвістика. Книга 1. Квантитативна лінгвістика / В.А. Висоцька, В.В. Пасічник, Ю.М. Щербина, Т.В. Шестакевич // Навчальний посібник з грифом Міністерства освіти і науки, молоді та спорту України. – Львів: видавництво «Новий світ-2000», 2012. – 359 с.
2. Пасічник В. В. Математична лінгвістика. Книга 2. Комбінаторна лінгвістика: навчальний посібник / В. В. Пасічник, Ю. М. Щербина, В. А. Висоцька, Т. В. Шестакевич. – Львів: Видавництво Львівської політехніки, 2019. – 250 c.
3. Victoria Vysotska. Computer linguistics for online marketing in information technology : Monograph. – Saarbrucken, Germany: LAP LAMBERT Academic Publishing, 2018. – 396 p. – ISBN-13: 978-613-9-84601-6, ISBN-10: 6139846013, EAN: 9786139846016. – Book language: English. – https://www.lap-publishing.com/catalog/details/store/gb/book/978-613-9-84601-6/computer-linguistics-for-online-marketing-in-information-technology?search=vysotska. – Published on: 2018-05-30
4. Бісікало О.В. Виявлення ключових слів на основі методу контент-моніторингу україномовних текстів / О.В. Бісікало, В.А. Висоцька // Науковий журнал «Радіоелектроніка. Інформатика. Управління.». – № 1(36). – Запоріжжя: ЗНТУ. – 2016/1. – С. 74-83. – ISSN 1607-3274 (print), ISSN 2313-688X (on-line). – http://ric.zntu.edu.ua/.
5. Литвин В.В. Методи та засоби опрацювання інформаційних ресурсів на основі онтологій: монографія / В.В. Литвин, В.А. Висоцька, Д.Г. Досин. – Львів: ЛА «Піраміда», 2016. – 404 с.
6. Бісікало О.В. Метод лінгвістичного аналізу україномовного комерційного контенту / О.В. Бісікало, В.А. Висоцька // Інформаційні системи та мережі. Вісник Національного університету “Львівська політехніка”, № 854.- Львів 2016 – Стор. 185-204.
7. Висоцька В. А. Методи та засоби функціонування систем підтримки прийняття рішень на основі онтологій: монографія / В.А. Висоцька, Д.Г. Досин, Х.І. Микіч, І.І. Завущак, З.Л. Рибчак. – Львів: Видавництво «Новий світ – 2000», 2019. – 334 с
8. Victoria Vysotska. Internet systems design and development based on Web Mining and NLP : Monograph. – Saarbrucken, Germany: LAP LAMBERT Academic Publishing, 2018. – 316 p. – ISBN-13: 978-3-659-96245-5, ISBN-10: 3659962457, EAN: 9783659962455. – Book language: English. – https://www.lap-publishing.com/catalog/details/store/ru/book/978-3-659-96245-5/internet-systems-design-and-development-based-on-web-mining-and-nlp?locale=gb. – Published on: 2018-03-30.
9. Methods based on ontologies for information resources processing : Monograph / [Vasyl Lytvyn, Victoria Vysotska, Lyubomyr Chyrun, Dmytro Dosyn] // LAP Lambert Academic Publishing. Saarbrucken, Germany. - ISBN-13: 978-3-659-89905-8, ISBN-10: 3659899054, EAN: 9783659899058. - 2016. - 324 с. - Access mode: https://www.lap-publishing.com/catalog/details/store/gb/book/978-3-659-89905-8/methods-based-on-ontologies-for-information-resources-processing?locale=gb.
10. Литвин В.В. Аналіз даних та знань: підручник / В.В.Литвин, В.В.Пасічник, Ю.В.Нікольський. - Львів: „Магнолія 2006”, 2013. - 276 с.
11. Литвин В. В. Глибинне навчання: навчальний посібник / В. В. Литвин, Р. М. Пелещак, В. А. Висоцька. – Львів: Видавництво Львівської політехніки, 2021. – 264 c.
12. Камінський Р. М. Методи та системи штучного інтелекту: навчальний посібник / Р. М. Камінський, Н. Б. Шаховська, В. М. Хавалко, А. М. Худий. – Львів: Видавництво Тараса Сороки, 2021. – 218 c.
13. Андруник В. А. Чисельні методи в комп’ютерних науках. Том 1: навчальний посібник / В. А. Андруник, В. А. Висоцька, В. В. Пасічник, Л. Б. Чирун, Л. В. Чирун. – Львів: Новий Світ – 2000, 2017. – 470 c.
14. Андруник В. А. Чисельні методи в комп’ютерних науках. Том 2: навчальний посібник / В. А. Андруник, В. А. Висоцька, В. В. Пасічник, Л. Б. Чирун, Л. В. Чирун. – Львів: Новий Світ – 2000, 2018. – 536 c.
15. Висоцька В.А., Оборська О.В. Python: алгоритмізація та програмування: навчальний посібник – Львів: Видавництво «Новий Світ – 2000», 2020. – 516 с.
16. Ришковець Ю.В., Висоцька В.А. Алгоритмізація та програмування. Частина 1: Навчальний посібник. – Львів: «Новий Світ - 200», 2018. – 337 с.
17. Ришковець Ю.В., Висоцька В.А. Алгоритмізація та програмування. Частина 2: Навчальний посібник. – Львів: «Новий Світ - 2000», 2018. – 316 с.
18. Висоцька В.А., Литвин В.В., Лозинська О.В, Дискретна математика: практикум (Збірник задач з дискретної математики: Навчальний посібник. – Львів: Новий Світ – 2000, 2019. – 575 стор.
19. Берко А.Ю. Системи електронної контент-комерції. Монографія / А.Ю. Берко, В.А. Висоцька, В.В. Пасічник // Видавництво національного університету “Львівська політехніка”. – Львів 2009. – 612 с.
20. Висоцька В.А. Контент-моніторинг текстової інформації Web-ресурсів / В.А. Висоцька, Л.Б. Чирун, Л.В. Чирун // Mіжнародна наукова конференція “Інтелектуальні системи прийняття рішень та проблеми обчислювального інтелекту (ISDMIT’2015)”, Залізний Порт, Україна. – 25-28 травня 2015. – Стор.36-38.
21. Висоцька В.А. Технології електронної комерції та Інтернет-маркетингу : монографія. – Saarbrucken, Germany: LAP LAMBERT Academic Publishing, 2018. – 288 с. – ISBN-13: 978-613-5-94542-3, ISBN-10: 6135945424, EAN: 9786135945423. – https://www.lap-publishing.com/catalog/details/store/ru/book/978-613-5-94542-3/Технології-електронної-комерції-та-Інтернет-маркетингу?search=978-613-5-94542-3
22. Victoria Vysotska, Vasyl Lytvyn. Web resources processing based on ontologies : Monograph. – Saarbrucken, Germany: LAP LAMBERT Academic Publishing, 2018. – 232 с.
23. Victoria Vysotska, Natalya Shakhovska. Information technologies of gamification for training and recruitment : Monograph. – Saarbrucken, Germany: LAP LAMBERT Academic Publishing, 2018. – 248 p.
24. Lytvyn Vasyl. Big Data analytics ontology / Vasyl Lytvyn, Victoria Vysotska, Oleh Veres, Oksana Brodyak, Oksana Oryshchyn // Technology audit and production reserves. Information and control systems. – Vol. 1, No. 2(39). – 2018. – P. 16-27. – http://journals.uran.ua/tarp/article/view/123612/118528
25. Буров Є.В. Концептуальне моделювання інтелектуальних програмних систем: монографія / Є.В. Буров.– Львів: Вид-во Львівської політехніки, 2012.– 432 с.
26. Берко А.Ю. Системи баз даних та знань. Книга 1. Організація баз даних: навч. посібн. / Берко А.Ю., Верес О.М., Пасічник В.В.– Львів : „Магнолія 2006”, 2011.– 456 с.
27. Пасічник В.В. ВЕБ-технології: підручник / Пасічник В.В., Пасічник О.В., Угрин Д.І. - Львів: „Магнолія 2006”, 2013.- І частина.– 336 с.
28. Верес О.М. Системи баз даних та знань. Книга 2. Системи управління базами даних та знань: навч. посібн. [для студ. вищ. навч. закл.] / Берко А.Ю., Верес О.М., Пасічник В.В. – Львів : „Магнолія 2006”, 2013. – 584 с. — (Серія «Комп’ютинґ»).
29. Верес О. М. Технології підтримання прийняття рішень: навч. посібн. / О.М. Верес; за заг. наук. ред. В.В.Пасічника.– 2-ге вид. – Львів : Вид-во Львів політехніки, 2013. – 252 с. — (Серія «Консолідована інформація», вип.3).
30. Машинне навчання: навчальний посібник / Т.М. Басюк, В.В. Литвин, Л.М. Захарія, Н.Е.Кунанець. – Львів: «Новий Світ-2000», 2019. – 315 с.
31. Басюк Т. М. Мови опису онтологій: навчальний посібник / Т. М. Басюк, В. В. Литвин. – Львів: Видавництво «Львівської політехніки», 2020. – 276 c.
32. Досин Д. Г. Моделі та методи визначення корисності онтологічних знань: колективна монографія / Д. Г. Досин, В. В. Литвин. – Львів: Новий Світ – 2000, 2021. – 251 c.
33. Верес О.М.. Системи баз даних та знань. Книга 1. Організація баз даних та знань: підручник [для студ. вищ. навч. закл.] / Берко А. Ю., Верес О. М., Пасічник В.В. – Львів : „Магнолія 2006”, 2022. – 440 с. — (Серія «Комп’ютинґ»).
34. Верес О.М. Системи баз даних та знань. Книга 2. Системи управління базами даних та знань: підручник / Берко А.Ю., Верес О.М., Пасічник В.В. – Львів : „Магнолія 2006”, 2022. – 470 с.
Уніфікований додаток: Національний університет «Львівська політехніка» забезпечує реалізацію права осіб з інвалідністю на здобуття вищої освіти. Інклюзивні освітні послуги надає Служба доступності до можливостей навчання «Без обмежень», метою діяльності якої є забезпечення постійного індивідуального супроводу навчального процесу студентів з інвалідністю та хронічними захворюваннями. Важливим інструментом імплементації інклюзивної освітньої політики в Університеті є Програма підвищення кваліфікації науково-педагогічних працівників та навчально-допоміжного персоналу у сфері соціальної інклюзії та інклюзивної освіти. Звертатися за адресою:
вул. Карпінського, 2/4, І-й н.к., кімн. 112
E-mail: nolimits@lpnu.ua
Websites: https://lpnu.ua/nolimits https://lpnu.ua/integration
Академічна доброчесність: Політика щодо академічної доброчесності учасників освітнього процесу формується на основі дотримання принципів академічної доброчесності з урахуванням норм «Положення про академічну доброчесність у Національному університеті «Львівська політехніка» (затверджене вченою радою університету від 20.06.2017 р., протокол № 35).