Теорія інформації
Спеціальність: Комп'ютерні науки (Системи штучного інтелекту)
Код дисципліни: 6.122.13.O.019
Кількість кредитів: 5.00
Кафедра: Системи штучного інтелекту
Лектор: Косаревич Ростислав Ярославович
Семестр: 3 семестр
Форма навчання: денна
Завдання: Вивчення дисципліни передбачає набуття знань щодо сучасних теоретичних та практичних підходів до аналізу інформаційних потоків, дослідження їх вмісту, представлення їх у відповідній формі та вміння застосовувати їх при розробці алгоритмічного та програмного забезпечення.
Вивчення навчальної дисципліни передбачає формування у здобувачів освіти компетентостей.
Загальні компетентності:
ЗК1 - Здатність до абстрактного мислення, аналізу та синтезу.
ЗК2 - Здатність застосовувати знання у практичних ситуаціях.
ЗК3 - Знання та розуміння предметної області та розуміння професійної діяльності.
ЗК7 - Здатність до пошуку, оброблення та аналізу інформації з різних джерел.
ЗК8 - Здатність генерувати нові ідеї (креативність).
ЗК9 - Здатність працювати в команді.
ЗК11 - Здатність приймати обґрунтовані рішення.
Фахові компетентності:
ФК14 - Здатність застосовувати методи та засоби забезпечення інформаційної безпеки, розробляти й експлуатувати спеціальне програмне забезпечення захисту інформаційних ресурсів об’єктів критичної інформаційної інфраструктури.
Результати навчання: ПР1. Застосовувати знання основних форм і законів абстрактно-логічного мислення, основ методології наукового пізнання, форм і методів вилучення, аналізу, обробки та синтезу інформації в предметній області комп'ютерних наук.
ПР5. Проектувати, розробляти та аналізувати алгоритми розв’язання обчислювальних та логічних задач, оцінювати ефективність та складність алгоритмів на основі застосування формальних моделей алгоритмів та обчислюваних функцій.
Необхідні обов'язкові попередні та супутні навчальні дисципліни: пререквізити:
Дискретна математика;
кореквізити:
Теорія ймовірності ;
Математична статистика;
Короткий зміст навчальної програми: На сьогодні виробничі потреби вимагають від фахівців з комп’ютерних наук поглиблених знань у сфері розробки новітніх інформаційних технологій. Широкі можливості комп’ютеризованих засобів збору, опрацювання та представлення необхідної інформації, дають можливість зробити більш ефективним моделювання інформаційних процесів.
Навчальна дисципліна є теоретичною основою для виконання аналітичної частини подальших дисциплін, а також курсових робіт.
Навчальна дисципліна «Теорія інформації» відноситься до циклу загальної підготовки навчальної програми бакалавра за спеціальністю 122 «Комп’ютерні науки».
Опис: Тема 1. Мета та задачі курсу. Основні поняття та визначення. Поняття даних та інформації. Класифікація, властивості даних та інформації.
Тема 2. Властивості інформації. Повідомлення і сигнали. Характеристики і властивості сигналів. Основні параметри сигналів. Інформаційні технології. Мета інформаційної технології.
Тема 3. Інформація та інформаційні процеси. Етапи опрацювання інформації. Теорема відліків Найквіста. Ємність сигналу, ємність каналу зв’язку.
Тема 4. Ентропія. Сумісна ентропія та умовна ентропія. Відносна ентропія та взаємна інформація. Зв'язок між ентропією та взаємною інформацією. Правила ланцюжка для ентропії, відносної ентропії та взаємної інформації.
Тема 5. Теорема про властивості асимптотичної рівнорозподіленості (ВАР). Наслідки ВАP: стиснення даних. Набори великої ймовірності та типові набори.
Тема 6. Приклади кодів. Нерівність Крафта. Оптимальні коди. Межі коду оптимальної довжини. Коди Хаффмана.
Кодування Шеннона-Фано-Еліаса. Генерація дискретних розподілів.
Тема 7. Завадостійке кодування.
Тема 8. Циклічні коди. Твірні поліноми. Кодування та декодування циклічними кодами.
Тема 9. Приклади пропускної здатності каналу. Безшумний бінарний канал. Канал із завадами з перекриванням. Бінарний симетричний канал. Двійковий канал стирання. Симетричні канали. Властивості пропускної здатності каналу. Теорема кодування каналів. Коди з нульовою помилкою. Коди Хеммінга. Пропускна здатність зворотного зв'язку. Теорема Шенона про кодування для каналу з завадами.
Тема 10. ВАP для неперервних випадкових змінних. Відношення диференціальної ентропії до дискретної ентропії. Спільна та умовна диференціальна ентропія. Відносна ентропія та взаємна інформація. Властивості диференціальної ентропії, відносної ентропії та взаємної інформації.
Тема 11. Теорема кодування для гауссових каналів. Канали з обмеженою пропускною здатністю. Паралельні гауссові канали. Канали з кольоровим Гауссовим шумом.
Тема 12. Квантування. Розрахунок функції спотворення. Бінарне джерело. Гауссове джерело. Опис незалежних випадкових змінних Гаусса. Теорема спотворення. Властивості функції спотворення. Обчислення потужності каналу та функції спотворення.
Тема 13. Універсальні коди та пропускна здатність каналу. Універсальне кодування для двійкових послідовностей. Арифметичне кодування. Кодування Лемпеля-Зіва. Оптимальність алгоритмів Лемпеля-Зіва.
Тема 14. Складність за Колмогоровим: визначення та приклади. Складність за Колмогоровим та ентропія. Складність за Колмогоровим цілих чисел. Алгоритмічно випадкові та нескінченні послідовності. Універсальна ймовірність.Принцип мінімальної довжини опису.
Тема 15. Мультикористувацькі Гауссові канали. Мультикористувацький канал доступу. Кодування корельованих джерелю Дуалізм каналів кодування та мультикористувацького доступу.Релейний канал. Кодування джерела з додатковою інформацією. Спотворення з додатково інформацією.
Методи та критерії оцінювання: - поточний контроль (45%): письмові звіти з лабораторних робіт, усне опитування;
- підсумковий контроль (55%, екзамен): письмова компонента (40%), усна компонента (15%).
Критерії оцінювання результатів навчання: Лабораторні роботи - 30 балів
Розрахункова графічна робота - 15 балів
Письмова компонента іспиту - 40 балів
Усна компонента іспиту - 15 балів
Порядок та критерії виставляння балів та оцінок: 100–88 балів – («відмінно») виставляється за високий рівень знань (допускаються деякі неточності) навчального матеріалу компонента, що міститься в основних і додаткових рекомендованих літературних джерелах, вміння аналізувати явища, які вивчаються, у їхньому взаємозв’язку і роз витку, чітко, лаконічно, логічно, послідовно відповідати на поставлені запитання, вміння застосовувати теоретичні положення під час розв’язання практичних задач; 87–71 бал – («добре») виставляється за загалом правильне розуміння навчального матеріалу компонента, включаючи розрахунки , аргументовані відповіді на поставлені запитання, які, однак, містять певні (неістотні) недоліки, за вміння застосовувати теоретичні положення під час розв’язання практичних задач; 70 – 50 балів – («задовільно») виставляється за слабкі знання навчального матеріалу компонента, неточні або мало аргументовані відповіді, з порушенням послідовності викладення, за слабке застосування теоретичних положень під час розв’язання практичних задач; 49–26 балів – («не атестований» з можливістю повторного складання семестрового контролю) виставляється за незнання значної частини навчального матеріалу компонента, істотні помилки у відповідях на запитання, невміння застосувати теоретичні положення під час розв’язання практичних задач; 25–00 балів – («незадовільно» з обов’язковим повторним вивченням) виставляється за незнання значної частини навчального матеріалу компонента, істотні помилки у відповідях на запитання, невміння орієнтуватися під час розв’язання практичних задач, незнання основних фундаментальних положень.
Рекомендована література: 1. Цимбал В.П. Теорія інформації та кодування. – К.: Вища школа, 1992.- 264с.
2. Жураковський Ю.П., Полторак В.П. Теорія інформації та кодування: Підручник. – К.: Вища школа, 2001. – 255 с.
3. Cover Th. M., Thomas J.A. Elements of information theory . Wiley-Interscience, 2006. - 748p.
4. Кузьмин И.В., Кедрус В.А. Теория информации и кодирование.– К. : Вища школа, 1989.
5. Цымбал В.П. Задачник по теории информации и кодированию. –К.: Вища школа, 1976. – 276 с.
Уніфікований додаток: Національний університет «Львівська політехніка» забезпечує реалізацію права осіб з інвалідністю на здобуття вищої освіти. Інклюзивні освітні послуги надає Служба доступності до можливостей навчання «Без обмежень», метою діяльності якої є забезпечення постійного індивідуального супроводу навчального процесу студентів з інвалідністю та хронічними захворюваннями. Важливим інструментом імплементації інклюзивної освітньої політики в Університеті є Програма підвищення кваліфікації науково-педагогічних працівників та навчально-допоміжного персоналу у сфері соціальної інклюзії та інклюзивної освіти. Звертатися за адресою:
вул. Карпінського, 2/4, І-й н.к., кімн. 112
E-mail: nolimits@lpnu.ua
Websites: https://lpnu.ua/nolimits https://lpnu.ua/integration
Академічна доброчесність: Політика щодо академічної доброчесності учасників освітнього процесу формується на основі дотримання принципів академічної доброчесності з урахуванням норм «Положення про академічну доброчесність у Національному університеті «Львівська політехніка» (затверджене вченою радою університету від 20.06.2017 р., протокол № 35).