Інженерія систем зберігання та опрацювання даних
Спеціальність: Інженерія програмного забезпечення (освітньо-наукова програма)
Код дисципліни: 7.121.01.E.022
Кількість кредитів: 5.00
Кафедра: Програмне забезпечення
Лектор: д.т.н., проф. Мельник Роман Андрійович
Семестр: 2 семестр
Форма навчання: денна
Завдання: ІНТ. Здатність ефективно розв’язувати спеціалізовані задачі та практичні проблеми інноваційного характеру під час професійної діяльності, пов’язаної зі всіма аспектами виробництва програмного забезпечення від початкових стадій
створення специфікації до супроводу системи після здачі в експлуатацію.
ФКС1.1. Володіння поглибленими знаннями про інформаційні моделі даних та системи, здатність створювати інноваційне програмне забезпечення для зберігання, видобування та опрацювання даних великих обсягів.
Результати навчання: РНС1.1. Вміти застосовувати технології опрацювання та зберігання даних, а також приймання i передавання даних між різними середовищами інформаційної інфраструктури у сучасному світі, в тому числі в розпізнаванні форматів даних та формування звітів у реальному часі.
РНС1.2. Знати алгоритми перетворення даних для виділення об’єктів, їх аналізу і класифікації та вміти використовувати хмарні технології для аналітичних обчислень та зберігання даних.
Необхідні обов'язкові попередні та супутні навчальні дисципліни: Пререквізити: Опрацювання зображень методами штучного інтелекту
Кореквізити: Виконання та захист магістерської кваліфікаційної роботи
Короткий зміст навчальної програми: Дисципліна необхідна для отримання загальних та фахових компетентностей в області алгоритмів та методів опрацювання і зберігання даних. В дисципліні розглядаються основні етапи: аналіз та класифікація, методи зберігання і пошуку. Представлені принципи, методи та алгоритми обчислення характеристик даних, класифікації, методи кластерного аналізу для пошуку даних. Методології проектування програмного забезпечення для опрацювання та зберігання даних в апаратно-програмному середовищі; технології опрацювання та зберігання даних: приймання i передавання даних між різними середовищами інформаційної інфраструктури у сучасному світі, в тому числі в розпізнаванні форматів даних та формування звітів у реальному часі; алгоритми перетворення даних для виділення об’єктів та їх аналізу і класифікації, використання хмарних технологій для аналітичних обчислень та зберігання даних.
Опис: Реляційні моделі даних та СКБД, що їх реалізують. Запити до різних типів джерел даних. Інвертовані індекси. Математичний апарат опису. Операції над даними, їх реалізація. Аналіз даних. Візуалізація даних. Нереляційні моделі даних. Асоціації між записами.
Приклади не реляційних баз даних. MongoDB як поширена БД. Запити до нереляційних баз даних. Пошук джерел за мета
даними. Операції пошуку ключових слів. Опрацювання даних в Mongo DB.
Розрізнені джерела даних, запити, ключові слова, індекси.
Інтеграція даних з різних джерел. Технологія ETL.
Технологія EII. Технологія EAI. Технологія ECM. WEB інтеграція даних Інтеграція інформаційних систем на основі Web-служб. Протоколи служб. Архітектура OLAP-систем. Опрацювання даних з розрізнених джерел в сучасних технологіях та в різних мовах програмування. Модель простору даних Багаторівневі структури.
Приклади систем управління даними на основі MySql для
прямого і програмного використання. Процедурний та
об’єктний підходи. Засоби програмування в СКБД. Алгоритми прискореного пошуку даних. Кластерний аналіз. Приклад зберігання даних у MS SQLServer. Мова запитів,
процедури. Механізми передачі з допомогою мережі. Розподілене зберігання даних. Задачі, переваги, недоліки на прикладах VISA, Mastercard тощо.
Мережі для зберігання даних на прикладах GRID, можливі
архітектури. Зберігання даних у хмарах на прикладі системи Azure. Програмний інтерфейс. Порівняння з іншими технологіями. Зберігання даних у хмарах на прикладі системи AWS від
Amazon. Механізми доступу. Розмірність даних. Приклад зберігання даних у системі VNS. Типи даних, сутності, атрибути. Продуктивність системи.
Методи та критерії оцінювання: 1. Екзаменаційний контроль (письмова та усна компоненти).
2. Усне опитування на заняттях.
3. Тести.
4. Захист контрольних вправ, виконаних вдома
Критерії оцінювання результатів навчання: Поточний контроль (45%): письмові звіти з лабораторних робіт (30%, 3 роботи по 10%), самостійні вправи (15%)
Підсумковий контроль (55 %, екзамен): тестування (50%), усне опитування – (5%)
Порядок та критерії виставляння балів та оцінок: 100–88 балів – («відмінно») виставляється за високий рівень знань (допускаються деякі неточності) навчального матеріалу компонента, що міститься в основних і додаткових рекомендованих літературних джерелах, вміння аналізувати явища, які вивчаються, у їхньому взаємозв’язку і роз витку, чітко, лаконічно, логічно, послідовно відповідати на поставлені запитання, вміння застосовувати теоретичні положення під час розв’язання практичних задач; 87–71 бал – («добре») виставляється за загалом правильне розуміння навчального матеріалу компонента, включаючи розрахунки , аргументовані відповіді на поставлені запитання, які, однак, містять певні (неістотні) недоліки, за вміння застосовувати теоретичні положення під час розв’язання практичних задач; 70 – 50 балів – («задовільно») виставляється за слабкі знання навчального матеріалу компонента, неточні або мало аргументовані відповіді, з порушенням послідовності викладення, за слабке застосування теоретичних положень під час розв’язання практичних задач; 49–26 балів – («не атестований» з можливістю повторного складання семестрового контролю) виставляється за незнання значної частини навчального матеріалу компонента, істотні помилки у відповідях на запитання, невміння застосувати теоретичні положення під час розв’язання практичних задач; 25–00 балів – («незадовільно» з обов’язковим повторним вивченням) виставляється за незнання значної частини навчального матеріалу компонента, істотні помилки у відповідях на запитання, невміння орієнтуватися під час розв’язання практичних задач, незнання основних фундаментальних положень.
Рекомендована література: 1. Дейт К.Дж. Введение в системы баз данных, 8-е издание.: Пер. с англ. . – М.: Изд. Дом «Вильямс», 2017. – 1328 с.
2. Коннолли Т., Бегг К. Базы данных. Проектирование, реализация и сопровождение. Теория и практика, 3-е изд. – М.: Изд. Дом «Вильямс», 2017. – 1440 с.
3. Ramez Elmasri, Shamkant B. Navathe. FUNDAMENTALS OF Database Systems SEVENTH EDITION [Електронний ресурс] – Режим доступу: https://www.auhd.site/upfiles/elibrary/Azal2020-01-22-12-28-11-76901.pdf
4. Distributed Database Management Systems [Електронний ресурс] – Режим доступу:https://cs.uwaterloo.ca/~tozsu/courses/cs856/F02/lecture-1-ho.pdf
5. Distributed DBMS Tutorial [Електронний ресурс] – Режим доступу: https://www.tutorialspoint.com/distributed_dbms/index.htm
Уніфікований додаток: Національний університет «Львівська політехніка» забезпечує реалізацію права осіб з інвалідністю на здобуття вищої освіти. Інклюзивні освітні послуги надає Служба доступності до можливостей навчання «Без обмежень», метою діяльності якої є забезпечення постійного індивідуального супроводу навчального процесу студентів з інвалідністю та хронічними захворюваннями. Важливим інструментом імплементації інклюзивної освітньої політики в Університеті є Програма підвищення кваліфікації науково-педагогічних працівників та навчально-допоміжного персоналу у сфері соціальної інклюзії та інклюзивної освіти. Звертатися за адресою:
вул. Карпінського, 2/4, І-й н.к., кімн. 112
E-mail: nolimits@lpnu.ua
Websites: https://lpnu.ua/nolimits https://lpnu.ua/integration
Академічна доброчесність: Політика щодо академічної доброчесності учасників освітнього процесу формується на основі дотримання принципів академічної доброчесності з урахуванням норм «Положення про академічну доброчесність у Національному університеті «Львівська політехніка» (затверджене вченою радою університету від 20.06.2017 р., протокол № 35).