Технології консолідації даних

Спеціальність: Системний аналіз
Код дисципліни: 6.124.02.E.062
Кількість кредитів: 7.00
Кафедра: Інформаційні системи та мережі
Лектор: Заяць М.
Семестр: 7 семестр
Форма навчання: денна
Мета вивчення дисципліни: Володіння знаннями і розумінням наукових засад створення інтегрованих ресурсів та проведення інтеграції даних з різних джерел
Завдання: • володіння знаннями і розумінням наукових засад створення інтегрованих ресурсів та проведення інтеграції даних з різних джерел; • здатність формувати теоретичні та практичні рішення із створення та наповнення сховищ даних із декількох джерел консолідації; • здатність використовувати знання та навички при написанні сценаріїв з передбаченням контролю непротиріччя даних; • практичне застосовування знань при сегментації даних із використанням кластеризацї об’єктів та інтерпретації карт Кохонена.
Результати навчання: ПР 2.4. Здатність продемонструвати базові знання технологій консолідації даних (процес ETL (extraction, transformation, loading)) для розв’язку завдання отримання даних з різнотипних джерел, їхнього перетворення до вигляду, придатного для зберігання в певній структурі, а також завантаження до відповідної бази або сховища даних.
Необхідні обов'язкові попередні та супутні навчальні дисципліни: • Технології розподілених систем та паралельних обчислень • Інтелектуальний аналіз даних • Методи та засоби інженерії даних та знань • Технології проектування систем бізнес-логіки
Короткий зміст навчальної програми: • здатність формувати теоретичні та практичні рішення із створення та наповнення сховищ даних із декількох джерел консолідації; • здатність використовувати знання та навички при написанні сценаріїв з передбаченням контролю непротиріччя даних; • практичне застосовування знань при сегментації даних із використанням кластеризацї об’єктів та інтерпретації карт Кохонена.
Опис: Інтеграція даних, як етап інженерного проектування. Передумови виникнення інтеграції та основні системи. Задачі інтеграції даних та основні архітектури побудови. Технології та методи інтеграції даних: глобальний (GAV) та локальний (LAV) методи. Підходи до інтеграції даних (консолідація, федералізація, поширення, гібридна та сервісна). Технологія ETL. Технології EII (Enterprise Information Integration) та EAI (Enterprise Application Integration). Business Process Integration (BPI), Application Integration, Data Integration, Standards of Integration. Технологія ECM (Enterprise Content Managemen). Компоненти ECM-рішення (Integrated Document Management (IDM), Web Content Management (WCM), Records Management (RM), Business Process Management (BPM), Workflow Collaboration, Knowledge Management (KM), Digital Asset Management (DAM). Інтеграція інформаційних систем підприємства. Сервіс-орієнтована архітектура інформаційної системи. Варіанти інтеграційних рішень: на рівні даних, на рівні фізичних і програмних інтерфейсів. Засоби інтеграції даних. Інтеграція застосувань на платформах J2EE і MS.NET. Інтеграція з допомогою IBM WebSphere та Oracle Data Integrator
Методи та критерії оцінювання: Діагностика знань відбувається шляхом оцінювання виконаних лабораторних робіт та екзаменаційного контролю (письмової та усної компоненти) у формі тестових запитань.
Критерії оцінювання результатів навчання: • Підсумковий контроль (100%, захист курсової роботи): письмово-усна форма.
Порядок та критерії виставляння балів та оцінок: 100–88 балів – («відмінно») виставляється за високий рівень знань (допускаються деякі неточності) навчального матеріалу компонента, що міститься в основних і додаткових рекомендованих літературних джерелах, вміння аналізувати явища, які вивчаються, у їхньому взаємозв’язку і роз витку, чітко, лаконічно, логічно, послідовно відповідати на поставлені запитання, вміння застосовувати теоретичні положення під час розв’язання практичних задач; 87–71 бал – («добре») виставляється за загалом правильне розуміння навчального матеріалу компонента, включаючи розрахунки , аргументовані відповіді на поставлені запитання, які, однак, містять певні (неістотні) недоліки, за вміння застосовувати теоретичні положення під час розв’язання практичних задач; 70 – 50 балів – («задовільно») виставляється за слабкі знання навчального матеріалу компонента, неточні або мало аргументовані відповіді, з порушенням послідовності викладення, за слабке застосування теоретичних положень під час розв’язання практичних задач; 49–26 балів – («не атестований» з можливістю повторного складання семестрового контролю) виставляється за незнання значної частини навчального матеріалу компонента, істотні помилки у відповідях на запитання, невміння застосувати теоретичні положення під час розв’язання практичних задач; 25–00 балів – («незадовільно» з обов’язковим повторним вивченням) виставляється за незнання значної частини навчального матеріалу компонента, істотні помилки у відповідях на запитання, невміння орієнтуватися під час розв’язання практичних задач, незнання основних фундаментальних положень.
Рекомендована література: 1. Дюваль М. Непрерывная интеграция / М.: Дюваль – М.:Вильямс, 2008. – 240 с. 2. Спирли Э. Корпоративные хранилища данных. Планирование, разработка и реализация / Эрик Спирли – М.: Вильямс, 2008. - 400 с. 3. Браун К. Создание корпоративных Java-приложений для IBM WebSphere / К. Браун, Г. Крейг, Г. Хэстер – M.: КУДИЦ-Образ, 2005. – 860 с. 4. Loshin D. ETL (Extract, Transform, Load) // Business Intelligence. Morgan Kaufmann, 2012. – 400 p. – ISBN 978-0-12-385890-0
Уніфікований додаток: Національний університет «Львівська політехніка» забезпечує реалізацію права осіб з інвалідністю на здобуття вищої освіти. Інклюзивні освітні послуги надає Служба доступності до можливостей навчання «Без обмежень», метою діяльності якої є забезпечення постійного індивідуального супроводу навчального процесу студентів з інвалідністю та хронічними захворюваннями. Важливим інструментом імплементації інклюзивної освітньої політики в Університеті є Програма підвищення кваліфікації науково-педагогічних працівників та навчально-допоміжного персоналу у сфері соціальної інклюзії та інклюзивної освіти. Звертатися за адресою: вул. Карпінського, 2/4, І-й н.к., кімн. 112 E-mail: nolimits@lpnu.ua Websites: https://lpnu.ua/nolimits https://lpnu.ua/integration
Академічна доброчесність: Політика щодо академічної доброчесності учасників освітнього процесу формується на основі дотримання принципів академічної доброчесності з урахуванням норм «Положення про академічну доброчесність у Національному університеті «Львівська політехніка» (затверджене вченою радою університету від 20.06.2017 р., протокол № 35).

Технології консолідації даних (курсова робота)

Спеціальність: Системний аналіз
Код дисципліни: 6.124.02.E.064
Кількість кредитів: 2.00
Кафедра: Інформаційні системи та мережі
Лектор: Заяць М.
Семестр: 7 семестр
Форма навчання: денна
Мета вивчення дисципліни: Володіння знаннями і розумінням наукових засад створення інтегрованих ресурсів та проведення інтеграції даних з різних джерел
Завдання: • володіння знаннями і розумінням наукових засад створення інтегрованих ресурсів та проведення інтеграції даних з різних джерел; • здатність формувати теоретичні та практичні рішення із створення та наповнення сховищ даних із декількох джерел консолідації; • здатність використовувати знання та навички при написанні сценаріїв з передбаченням контролю непротиріччя даних; • практичне застосовування знань при сегментації даних із використанням кластеризацї об’єктів та інтерпретації карт Кохонена.
Результати навчання: ПР 2.4. Здатність продемонструвати базові знання технологій консолідації даних (процес ETL (extraction, transformation, loading)) для розв’язку завдання отримання даних з різнотипних джерел, їхнього перетворення до вигляду, придатного для зберігання в певній структурі, а також завантаження до відповідної бази або сховища даних.
Необхідні обов'язкові попередні та супутні навчальні дисципліни: • Технології розподілених систем та паралельних обчислень • Інтелектуальний аналіз даних • Методи та засоби інженерії даних та знань • Технології проектування систем бізнес-логіки
Короткий зміст навчальної програми: • здатність формувати теоретичні та практичні рішення із створення та наповнення сховищ даних із декількох джерел консолідації; • здатність використовувати знання та навички при написанні сценаріїв з передбаченням контролю непротиріччя даних; • практичне застосовування знань при сегментації даних із використанням кластеризацї об’єктів та інтерпретації карт Кохонена.
Опис: Інтеграція даних, як етап інженерного проектування. Передумови виникнення інтеграції та основні системи. Задачі інтеграції даних та основні архітектури побудови. Технології та методи інтеграції даних: глобальний (GAV) та локальний (LAV) методи. Підходи до інтеграції даних (консолідація, федералізація, поширення, гібридна та сервісна). Технологія ETL. Технології EII (Enterprise Information Integration) та EAI (Enterprise Application Integration). Business Process Integration (BPI), Application Integration, Data Integration, Standards of Integration. Технологія ECM (Enterprise Content Managemen). Компоненти ECM-рішення (Integrated Document Management (IDM), Web Content Management (WCM), Records Management (RM), Business Process Management (BPM), Workflow Collaboration, Knowledge Management (KM), Digital Asset Management (DAM). Інтеграція інформаційних систем підприємства. Сервіс-орієнтована архітектура інформаційної системи. Варіанти інтеграційних рішень: на рівні даних, на рівні фізичних і програмних інтерфейсів. Засоби інтеграції даних. Інтеграція застосувань на платформах J2EE і MS.NET. Інтеграція з допомогою IBM WebSphere та Oracle Data Integrator
Методи та критерії оцінювання: Діагностика знань відбувається шляхом оцінювання виконаних лабораторних робіт та екзаменаційного контролю (письмової та усної компоненти) у формі тестових запитань.
Критерії оцінювання результатів навчання: • Підсумковий контроль (100%, захист курсової роботи): письмово-усна форма.
Порядок та критерії виставляння балів та оцінок: 100–88 балів – («відмінно») виставляється за високий рівень знань (допускаються деякі неточності) навчального матеріалу компонента, що міститься в основних і додаткових рекомендованих літературних джерелах, вміння аналізувати явища, які вивчаються, у їхньому взаємозв’язку і роз витку, чітко, лаконічно, логічно, послідовно відповідати на поставлені запитання, вміння застосовувати теоретичні положення під час розв’язання практичних задач; 87–71 бал – («добре») виставляється за загалом правильне розуміння навчального матеріалу компонента, включаючи розрахунки , аргументовані відповіді на поставлені запитання, які, однак, містять певні (неістотні) недоліки, за вміння застосовувати теоретичні положення під час розв’язання практичних задач; 70 – 50 балів – («задовільно») виставляється за слабкі знання навчального матеріалу компонента, неточні або мало аргументовані відповіді, з порушенням послідовності викладення, за слабке застосування теоретичних положень під час розв’язання практичних задач; 49–26 балів – («не атестований» з можливістю повторного складання семестрового контролю) виставляється за незнання значної частини навчального матеріалу компонента, істотні помилки у відповідях на запитання, невміння застосувати теоретичні положення під час розв’язання практичних задач; 25–00 балів – («незадовільно» з обов’язковим повторним вивченням) виставляється за незнання значної частини навчального матеріалу компонента, істотні помилки у відповідях на запитання, невміння орієнтуватися під час розв’язання практичних задач, незнання основних фундаментальних положень.
Рекомендована література: 1. Дюваль М. Непрерывная интеграция / М.: Дюваль – М.:Вильямс, 2008. – 240 с. 2. Спирли Э. Корпоративные хранилища данных. Планирование, разработка и реализация / Эрик Спирли – М.: Вильямс, 2008. - 400 с. 3. Браун К. Создание корпоративных Java-приложений для IBM WebSphere / К. Браун, Г. Крейг, Г. Хэстер – M.: КУДИЦ-Образ, 2005. – 860 с. 4. Loshin D. ETL (Extract, Transform, Load) // Business Intelligence. Morgan Kaufmann, 2012. – 400 p. – ISBN 978-0-12-385890-0
Уніфікований додаток: Національний університет «Львівська політехніка» забезпечує реалізацію права осіб з інвалідністю на здобуття вищої освіти. Інклюзивні освітні послуги надає Служба доступності до можливостей навчання «Без обмежень», метою діяльності якої є забезпечення постійного індивідуального супроводу навчального процесу студентів з інвалідністю та хронічними захворюваннями. Важливим інструментом імплементації інклюзивної освітньої політики в Університеті є Програма підвищення кваліфікації науково-педагогічних працівників та навчально-допоміжного персоналу у сфері соціальної інклюзії та інклюзивної освіти. Звертатися за адресою: вул. Карпінського, 2/4, І-й н.к., кімн. 112 E-mail: nolimits@lpnu.ua Websites: https://lpnu.ua/nolimits https://lpnu.ua/integration
Академічна доброчесність: Політика щодо академічної доброчесності учасників освітнього процесу формується на основі дотримання принципів академічної доброчесності з урахуванням норм «Положення про академічну доброчесність у Національному університеті «Львівська політехніка» (затверджене вченою радою університету від 20.06.2017 р., протокол № 35).