Теорія інформації
Спеціальність: Комп'ютерні науки (Системи штучного інтелекту)
Код дисципліни: 6.122.13.O.019
Кількість кредитів: 5.00
Кафедра: Системи штучного інтелекту
Лектор: Косаревич Ростислав Ярославович
Семестр: 3 семестр
Форма навчання: денна
Завдання: Вивчення дисципліни передбачає набуття знань щодо сучасних теоретичних та практичних підходів до аналізу інформаційних потоків, дослідження їх вмісту, представлення їх у відповідній формі та вміння застосовувати їх при розробці алгоритмічного та програмного забезпечення.
Вивчення навчальної дисципліни передбачає формування у здобувачів освіти компетентостей.
Загальні компетентності:
ЗК1 - Здатність до абстрактного мислення, аналізу та синтезу.
ЗК2 - Здатність застосовувати знання у практичних ситуаціях.
ЗК3 - Знання та розуміння предметної області та розуміння професійної діяльності.
ЗК7 - Здатність до пошуку, оброблення та аналізу інформації з різних джерел.
ЗК8 - Здатність генерувати нові ідеї (креативність).
ЗК9 - Здатність працювати в команді.
ЗК11 - Здатність приймати обґрунтовані рішення.
Фахові компетентності:
ФК14 - Здатність застосовувати методи та засоби забезпечення інформаційної безпеки, розробляти й експлуатувати спеціальне програмне забезпечення захисту інформаційних ресурсів об’єктів критичної інформаційної інфраструктури.
Результати навчання: ПР1. Застосовувати знання основних форм і законів абстрактно-логічного мислення, основ методології наукового пізнання, форм і методів вилучення, аналізу, обробки та синтезу інформації в предметній області комп'ютерних наук.
ПР5. Проектувати, розробляти та аналізувати алгоритми розв’язання обчислювальних та логічних задач, оцінювати ефективність та складність алгоритмів на основі застосування формальних моделей алгоритмів та обчислюваних функцій.
Необхідні обов'язкові попередні та супутні навчальні дисципліни: пререквізити:
Дискретна математика;
кореквізити:
Теорія ймовірності ;
Математична статистика;
Короткий зміст навчальної програми: На сьогодні виробничі потреби вимагають від фахівців з комп’ютерних наук поглиблених знань у сфері розробки новітніх інформаційних технологій. Широкі можливості комп’ютеризованих засобів збору, опрацювання та представлення необхідної інформації, дають можливість зробити більш ефективним моделювання інформаційних процесів.
Навчальна дисципліна є теоретичною основою для виконання аналітичної частини подальших дисциплін, а також курсових робіт.
Навчальна дисципліна «Теорія інформації» відноситься до циклу загальної підготовки навчальної програми бакалавра за спеціальністю 122 «Комп’ютерні науки».
Опис: Тема 1. Мета та задачі курсу. Основні поняття та визначення. Поняття даних та інформації. Класифікація, властивості даних та інформації.
Тема 2. Властивості інформації. Повідомлення і сигнали. Характеристики і властивості сигналів. Основні параметри сигналів. Інформаційні технології. Мета інформаційної технології.
Тема 3. Інформація та інформаційні процеси. Етапи опрацювання інформації. Теорема відліків Найквіста. Ємність сигналу, ємність каналу зв’язку.
Тема 4. Ентропія. Сумісна ентропія та умовна ентропія. Відносна ентропія та взаємна інформація. Зв'язок між ентропією та взаємною інформацією. Правила ланцюжка для ентропії, відносної ентропії та взаємної інформації.
Тема 5. Теорема про властивості асимптотичної рівнорозподіленості (ВАР). Наслідки ВАP: стиснення даних. Набори великої ймовірності та типові набори.
Тема 6. Приклади кодів. Нерівність Крафта. Оптимальні коди. Межі коду оптимальної довжини. Коди Хаффмана.
Кодування Шеннона-Фано-Еліаса. Генерація дискретних розподілів.
Тема 7. Завадостійке кодування.
Тема 8. Циклічні коди. Твірні поліноми. Кодування та декодування циклічними кодами.
Тема 9. Приклади пропускної здатності каналу. Безшумний бінарний канал. Канал із завадами з перекриванням. Бінарний симетричний канал. Двійковий канал стирання. Симетричні канали. Властивості пропускної здатності каналу. Теорема кодування каналів. Коди з нульовою помилкою. Коди Хеммінга. Пропускна здатність зворотного зв'язку. Теорема Шенона про кодування для каналу з завадами.
Тема 10. ВАP для неперервних випадкових змінних. Відношення диференціальної ентропії до дискретної ентропії. Спільна та умовна диференціальна ентропія. Відносна ентропія та взаємна інформація. Властивості диференціальної ентропії, відносної ентропії та взаємної інформації.
Тема 11. Теорема кодування для гауссових каналів. Канали з обмеженою пропускною здатністю. Паралельні гауссові канали. Канали з кольоровим Гауссовим шумом.
Тема 12. Квантування. Розрахунок функції спотворення. Бінарне джерело. Гауссове джерело. Опис незалежних випадкових змінних Гаусса. Теорема спотворення. Властивості функції спотворення. Обчислення потужності каналу та функції спотворення.
Тема 13. Універсальні коди та пропускна здатність каналу. Універсальне кодування для двійкових послідовностей. Арифметичне кодування. Кодування Лемпеля-Зіва. Оптимальність алгоритмів Лемпеля-Зіва.
Тема 14. Складність за Колмогоровим: визначення та приклади. Складність за Колмогоровим та ентропія. Складність за Колмогоровим цілих чисел. Алгоритмічно випадкові та нескінченні послідовності. Універсальна ймовірність.Принцип мінімальної довжини опису.
Тема 15. Мультикористувацькі Гауссові канали. Мультикористувацький канал доступу. Кодування корельованих джерелю Дуалізм каналів кодування та мультикористувацького доступу.Релейний канал. Кодування джерела з додатковою інформацією. Спотворення з додатково інформацією.
Методи та критерії оцінювання: - поточний контроль (45%): письмові звіти з лабораторних робіт, усне опитування;
- підсумковий контроль (55%, екзамен): письмова компонента (40%), усна компонента (15%).
Критерії оцінювання результатів навчання: Лабораторні роботи - 30 балів
Розрахункова графічна робота - 15 балів
Письмова компонента іспиту - 40 балів
Усна компонента іспиту - 15 балів
Порядок та критерії виставляння балів та оцінок: 100-88 балів - атестований з оцінкою «відмінно» - Високий рівень: здобувач освіти демонструє поглиблене володіння поняттєвим та категорійним апаратом навчальної дисципліни, системні знання, вміння і навички їх практичного застосування. Освоєні знання, вміння і навички забезпечують можливість самостійного формулювання цілей та організації навчальної діяльності, пошуку та знаходження рішень у нестандартних, нетипових навчальних і професійних ситуаціях. Здобувач освіти демонструє здатність робити узагальнення на основі критичного аналізу фактичного матеріалу, ідей, теорій і концепцій, формулювати на їх основі висновки. Його діяльності ґрунтується на зацікавленості та мотивації до саморозвитку, неперервного професійного розвитку, самостійної науково-дослідної діяльності, що реалізується за підтримки та під керівництвом викладача. 87-71 балів - атестований з оцінкою «добре» - Достатній рівень: передбачає володіння поняттєвим та категорійним апаратом навчальної дисципліни на підвищеному рівні, усвідомлене використання знань, умінь і навичок з метою розкриття суті питання. Володіння частково-структурованим комплексом знань забезпечує можливість їх застосування у знайомих ситуаціях освітнього та професійного характеру. Усвідомлюючи специфіку задач та навчальних ситуацій, здобувач освіти демонструє здатність здійснювати пошук та вибір їх розв’язання за поданим зразком, аргументувати застосування певного способу розв’язання задачі. Його діяльності ґрунтується на зацікавленості та мотивації до саморозвитку, неперервного професійного розвитку. 70-50 балів - атестований з оцінкою «задовільно» - Задовільний рівень: окреслює володіння поняттєвим та категорійним апаратом навчальної дисципліни на середньому рівні, часткове усвідомлення навчальних і професійних задач, завдань і ситуацій, знання про способи розв’язання типових задач і завдань. Здобувач освіти демонструє середній рівень умінь і навичок застосування знань на практиці, а розв’язання задач потребує допомоги, опори на зразок. В основу навчальної діяльності покладено ситуативність та евристичність, домінування мотивів обов’язку, неусвідомлене застосування можливостей для саморозвитку. 49-00 балів - атестований з оцінкою «незадовільно» - Незадовільний рівень: свідчить про елементарне володіння поняттєвим та категорійним апаратом навчальної дисципліни, загальне уявлення про зміст навчального матеріалу, часткове використання знань, умінь і навичок. В основу навчальної діяльності покладено ситуативно-прагматичний інтерес.
Рекомендована література: 1. Цимбал В.П. Теорія інформації та кодування. – К.: Вища школа, 1992.- 264с.
2. Жураковський Ю.П., Полторак В.П. Теорія інформації та кодування: Підручник. – К.: Вища школа, 2001. – 255 с.
3. Cover Th. M., Thomas J.A. Elements of information theory . Wiley-Interscience, 2006. - 748p.
4. Кузьмин И.В., Кедрус В.А. Теория информации и кодирование.– К. : Вища школа, 1989.
5. Цымбал В.П. Задачник по теории информации и кодированию. –К.: Вища школа, 1976. – 276 с.
Уніфікований додаток: Національний університет «Львівська політехніка» забезпечує реалізацію права осіб з інвалідністю на здобуття вищої освіти. Інклюзивні освітні послуги надає Служба доступності до можливостей навчання «Без обмежень», метою діяльності якої є забезпечення постійного індивідуального супроводу навчального процесу студентів з інвалідністю та хронічними захворюваннями. Важливим інструментом імплементації інклюзивної освітньої політики в Університеті є Програма підвищення кваліфікації науково-педагогічних працівників та навчально-допоміжного персоналу у сфері соціальної інклюзії та інклюзивної освіти. Звертатися за адресою:
вул. Карпінського, 2/4, І-й н.к., кімн. 112
E-mail: nolimits@lpnu.ua
Websites: https://lpnu.ua/nolimits https://lpnu.ua/integration
Академічна доброчесність: Політика щодо академічної доброчесності учасників освітнього процесу формується на основі дотримання принципів академічної доброчесності з урахуванням норм «Положення про академічну доброчесність у Національному університеті «Львівська політехніка» (затверджене вченою радою університету від 20.06.2017 р., протокол № 35).