Методи опрацювання великих даних

Спеціальність: Інформаційні системи та технології (освітньо-наукова програма)
Код дисципліни: 7.126.00.O.003
Кількість кредитів: 7.00
Кафедра: Інформаційні системи та мережі
Лектор: д.т.н., професор Берко Андрій Юліанович
Семестр: 1 семестр
Форма навчання: денна
Мета вивчення дисципліни: Мета дисципліни – набуття поглиблених теоретичних та фундаментальних знань для ефективного розв’язування задач опрацювання великих даних під час професійної діяльності у різних галузях або у процесі навчання на ґрунті коректного формулювання задач та аналізу великих даних практичних розв’язання практичних проблем, що передбачає застосування теорій та методів опрацювання великих даних, а також комп’ютерного моделювання інформаційних систем.
Завдання: Вивчення навчальної дисципліни передбачає формування у здобувачів освіти компетентностей: загальні компетентності: ІНТ. Здатність розв’язувати задачі дослідницького та інноваційного характеру у сфері інформаційних систем та технологій. ЗК01. Здатність до абстрактного мислення, аналізу та синтезу. ЗК05. Здатність оцінювати та забезпечувати якість виконуваних робіт у сфері ІСТ. фахові компетентності: СК01. Здатність розробляти та застосувати ІСТ, необхідні для розв’язання стратегічних і поточних задач. СК04. Здатність розробляти математичні, інформаційні та комп’ютерні моделі об’єктів і процесів інформатизації. СК05. Здатність використовувати сучасні технології аналізу даних для оптимізації процесів в інформаційних системах. СК06. Здатність управляти інформаційними ризиками на основі концепції інформаційної безпеки. СК07. Розробляти і реалізовувати інноваційні проекти у сфері ІСТ. СК08. Здатність проводити наукову та науково-педагогічну діяльність у сфері ІСТ.
Результати навчання: У результаті вивчення навчальної дисципліни здобувач освіти повинен бути здатним продемонструвати такі результати навчання: РН05. Визначати вимоги до ІСТ на основі аналізу бізнес-процесів та аналізу потреб зацікавлених сторін, розробляти технічні завдання. РН06. Обґрунтовувати вибір технічних та програмних рішень з урахуванням їх взаємодії та потенційного впливу на вирішення організаційних проблем, організовувати їх впровадження та використання. РН10. Забезпечувати якісний кіберзахист ІСТ, планувати, організовувати, впроваджувати та контролювати функціонування систем захисту інформації. РН12. Планувати та виконувати наукові дослідження у сфері ІСТ, формулювати і перевіряти гіпотези, обирати методи, обґрунтовувати висновки, презентувати результати. РН13. Розробляти і викладати спеціальні дисципліни з інформаційних систем та технологій у закладах вищої освіти. Програмні результати навчання визначені ЗВО РН14. Проєктувати, організовувати впровадження, використання та підтримку розподілених та інтелектуальних інформаційних систем різного роду на основі аналізу організаційних потреб та можливостей.
Необхідні обов'язкові попередні та супутні навчальні дисципліни: Розподілені інформаційні системи Технології інтеграції інформаційних ресурсів Інформаційні технології комп’ютерних мереж
Короткий зміст навчальної програми: Поняття та визначення Великих даних. Розвиток концепції Великих даних. Методики аналізу Великих даних. Технології аналізу Великих даних. Моделі зберігання Великих даних. Модель обчислень MapReduce. Засоби опрацювання Великих даних. Застосування Великих даних у предметних областях.
Опис: 1. Концепція Великих даних Поняття та визначення Великих даних. Властивості Великих даних. Вимоги до Великих даних. Специфіка Великих даних. Класифікація великих даних. Структуровані дані. Джерела великих структурованих даних. Реляційні бази даних у великих даних. Неструктуровані дані. Джерела неструктурованих даних. Роль CMS в управлінні великими даними. Управління різнорідними даними. Інтеграція різних типів даних у середовище великих даних. 2. Еволюція Великих даних. Еволюція управління даними. Етап 1: Створення керованих структур даних Етап 2: Керування веб-сайтами та контентом Етап 3: Управління великими даними Опрацювання великих обсягів даних на MainFrame. Передумови та чинники виникнення напряму Великих даних. Становлення та розвиток технологій Великих даних. Предметні області застосування великих даних. Сучасний стан та перспективи розвитку Великих даних. 3. Методики аналізу Великих даних. A/B тестування. Класифікація. Кластерний аналіз. Краудсорсинг (відбір даних). Зміщування та інтеграція даних. Data mining. Визначення узгоджень(гармонійності) даних. Генетичні алгоритми. Машинне навчання. Опрацювання природної мови. Мережевий аналіз. Оптимізація. Розпізнавання шаблонів. Прогнозне моделювання. Регресійний аналіз. Опрацювання сигналів. Просторовий аналіз даних. Статистика. Імітаційне моделювання (Симуляція). Аналіз часових послідовностей. Вивчення асоціативних в'язків. Вивчення функціональних зав'язків. Вивчення прихованих в'язків. 4. Технології управління Великих даних Операційні бази даних. Реляційні СУБД у середовищі великих даних (реляційна база даних - SQL). Нереляційні СУБД (Бази даних ключ-значення. Бази даних документів. Стовпчикові бази даних. Графічні бази даних. Просторові бази даних ) . Спеціалізовані сховища Великих даних. Потокові дані. 5. Модель обчислень MapReduce Парадигма MapReduce. Походження MapReduce. Принципи функції Map. Принципи функції Reduce. Поєднання функцій Map і Reduce. Оптимізація задач MapReduce. Обладнання / мережева топологія. Синхронізація даних Файлова система MapReduce. 6. Засоби опрацювання Великих даних Система опрацювання великих даних Hadoop. Принципи роботи Hadoop. Розподілена файлова система Hadoop (HDFS). Вершини імен HDFS. Подання даних HDFS. Hadoop і MapReduce. Екосистема Hadoop . Створення ресурсу великих даних з екосистемою Hadoop Засіб управління ресурсами та додатками Hadoop YARN. Засіб зберігання великих даних HBase. Дослідження великих даних Hive. 7. Аналітика великих даних Визначення аналізу великих даних. Використання великих даних для отримання результатів. Основна аналітика. Розширені аналітики. Оперативна аналітика. Описова (дескриптивна) аналітика. Прогнозна (предиктивна) аналітика. Рекомендаційна (прескриптивна) аналітика. Монетизація аналітики 8. Застосування Великих даних у предметних областях. Екологічний моніторинг. Соціальні процеси. Державне управління. Маркетинг. Торгівля. Е-комерція. Медицина. Біржова діяльність. Політика.
Методи та критерії оцінювання: • Поточний контроль (45%): письмові звіти з лабораторних робіт, реферат, усне опитування • Підсумковий контроль (55%, екзамен): письмово-усна форма.
Критерії оцінювання результатів навчання: Поточний контроль –виконання та захист лабораторних робіт, усне та фронтальне опитування Підсумковий контроль: усне опитування, тестовий контроль.
Порядок та критерії виставляння балів та оцінок: 100–88 балів – («відмінно») виставляється за високий рівень знань (допускаються деякі неточності) навчального матеріалу компонента, що міститься в основних і додаткових рекомендованих літературних джерелах, вміння аналізувати явища, які вивчаються, у їхньому взаємозв’язку і роз витку, чітко, лаконічно, логічно, послідовно відповідати на поставлені запитання, вміння застосовувати теоретичні положення під час розв’язання практичних задач; 87–71 бал – («добре») виставляється за загалом правильне розуміння навчального матеріалу компонента, включаючи розрахунки , аргументовані відповіді на поставлені запитання, які, однак, містять певні (неістотні) недоліки, за вміння застосовувати теоретичні положення під час розв’язання практичних задач; 70 – 50 балів – («задовільно») виставляється за слабкі знання навчального матеріалу компонента, неточні або мало аргументовані відповіді, з порушенням послідовності викладення, за слабке застосування теоретичних положень під час розв’язання практичних задач; 49–26 балів – («не атестований» з можливістю повторного складання семестрового контролю) виставляється за незнання значної частини навчального матеріалу компонента, істотні помилки у відповідях на запитання, невміння застосувати теоретичні положення під час розв’язання практичних задач; 25–00 балів – («незадовільно» з обов’язковим повторним вивченням) виставляється за незнання значної частини навчального матеріалу компонента, істотні помилки у відповідях на запитання, невміння орієнтуватися під час розв’язання практичних задач, незнання основних фундаментальних положень.
Рекомендована література: 1. White, Tom // Hadoop: The Definitive Guide // O'Reilly Media, 2009. 2. Hadoop. Apache Software Foundation // http://hadoop.apache.org/ 3. Finley, Klint // Steve Ballmer on Microsoft's Big Data Future and More in This Week's Business Intelligence Roundup // ReadWriteWeb, 2011. 4. Fay Chang, Jeffrey Dean, Sanjay Ghemawat &, etc. // Bigtable: A Distributed Storage System for Structured Data // Google Lab, 2006. 6. Jeffrey Dean, Sanjay Ghemawat // MapReduce: Simplified Data Processing on Large Clusters // Google Inc., 2004. 7. Judy Qiu // Cloud Technologies and Their Applications // Indiana University Bloomington, 2010 8. The Hadoop Distributed File System: Architecture and Design // http://hadoop.apache.org/common/docs/r0.17.2/hdfs_design.html 9. Ralf Lammel // Google’s MapReduce Programming Model — Revisited // Microsoft Corp.
Уніфікований додаток: Національний університет «Львівська політехніка» забезпечує реалізацію права осіб з інвалідністю на здобуття вищої освіти. Інклюзивні освітні послуги надає Служба доступності до можливостей навчання «Без обмежень», метою діяльності якої є забезпечення постійного індивідуального супроводу навчального процесу студентів з інвалідністю та хронічними захворюваннями. Важливим інструментом імплементації інклюзивної освітньої політики в Університеті є Програма підвищення кваліфікації науково-педагогічних працівників та навчально-допоміжного персоналу у сфері соціальної інклюзії та інклюзивної освіти. Звертатися за адресою: вул. Карпінського, 2/4, І-й н.к., кімн. 112 E-mail: nolimits@lpnu.ua Websites: https://lpnu.ua/nolimits https://lpnu.ua/integration
Академічна доброчесність: Політика щодо академічної доброчесності учасників освітнього процесу формується на основі дотримання принципів академічної доброчесності з урахуванням норм «Положення про академічну доброчесність у Національному університеті «Львівська політехніка» (затверджене вченою радою університету від 20.06.2017 р., протокол № 35).