Дослідження ефективності моделей відбору інформації в масивах великих даних
Автор: Грицай Андрій Романович
Кваліфікаційний рівень: магістр (ОНП)
Спеціальність: Телекомунікації та радіотехніка (освітньо-наукова програма)
Інститут: Інститут телекомунікацій, радіоелектроніки та електронної техніки
Форма навчання: денна
Навчальний рік: 2023-2024 н.р.
Мова захисту: українська
Анотація: Сучасні інформаційні системи стикаються зі значними проблемами при обробці великих обсягів даних. Обробка великих наборів даних вимагає високої масштабованості системи. Таким чином, система повинна мати можливість ефективно обробляти великі обсяги даних, забезпечуючи високу швидкість і продуктивність навіть при великому навантаженні. Аналітика великих даних вимагає високого рівня захисту від несанкціонованого доступу, витоку інформації та інших загроз безпеці, що включає використання надійних методів шифрування, контролю доступу та моніторингу подій, що має вирішальне значення для забезпечення продуктивності інформаційних систем. Завдання полягає в розробці оптимальних алгоритмів обробки, використанні потужного апаратного забезпечення та реалізації розподілених систем обробки даних. Великі обсяги даних вимагають надійних систем зберігання для забезпечення надійності, масштабованості та швидкості доступу до даних, також необхідно створити ефективний механізм управління даними, щоб забезпечити його організацію, підтримку та управління. Інформаційні системи повинні мати можливість ефективно аналізувати великі набори даних для виявлення важливих зв’язків, тенденцій та ідей, щопередбачає використання різноманітних аналітичних методів та інструментів для отримання корисної інформації з великої кількості матеріалу. Загалом, сучасні інформаційні системи повинні бути готові до вирішення цих завдань, щоб ефективно використовувати великі обсяги даних для прийняття обґрунтованих рішень і вирішення задач [1, 2]. Використовують різні методи та техніки для вирішення завдань інтелектуального аналізу та відбору інформації у наборах великих даних. Наприклад, великі набори даних можна автоматично аналізувати та виявляти шаблони, тенденції та зв’язки за допомогою алгоритмів машинного навчання, таких як класифікація, кластеризація, прогнозування та глибоке навчання. Різноманітність методів аналізу даних, включаючи візуалізацію, статистичний аналіз, аналіз тексту та сегментацію даних, можна використовувати для отримання та інтерпретації інформації з великих обсягів даних. Використання технології обробки природної мови дозволяє аналізувати та розуміти текстові повідомлення, зокрема новини, соціальні мережі, електронні листи тощо, щоб визначати корисну інформацію та визначати ключові теми та повідомлення. Технології обробки великих даних, такі як Hadoop, Spark і Apache Flink, дуже популярні та можуть миттєво та ефективно обробляти, аналізувати та вибирати великі обсяги даних. Алгоритми рекомендацій можна використовувати для надання користувачам персоналізованих пропозицій і рекомендацій на основі їхніх особистих потреб і вподобань. Ці технології та методи допомагають вирішити проблеми інтелектуального аналізу великих даних та ефективного відбору інформації, дозволяючи організаціям приймати обґрунтовані рішення на основі збалансованої та надійної інформації [5, 6]. Методи відбору інформації з великих наборів даних допомагають підвищити ефективність інформаційно-комунікаційних систем на багатьох рівнях. Вибір і аналіз лише необхідних даних допомагає зменшити обсяг інформації, що обробляється, що сприяє збільшенню швидкості системи. Менше даних означає менше обчислень, менше зберігання та передачі даних, що робить інформаційні та комунікаційні системи більш ефективними та продуктивними. Також, вибір інформації може заощадити обчислювальну потужність, місце на сервері та ресурси пропускної здатності мережі. Це може зменшити витрати на підтримку та розвиток інформаційно-комунікаційних систем. Вибираючи та аналізуючи лише найважливіші дані, система дозволяє користувачам приймати розумніші та швидші рішення. Це важливо для таких важливих сфер, як фінанси, медицина чи наука, і дозволяє створювати персоналізовані рекомендації, відповідаючи на індивідуальні запити користувачів і підвищуючи загальну задоволеність користувачів інформаційно-комунікаційними системами. Таким чином, методи відбору інформації у великих масивах даних відіграють важливу роль у підвищенні ефективності інформаційно-комунікаційних систем і роблять їх більш ефективними, економними та більш орієнтованими на користувача. Дослідження існуючих та впровадження нових методів та моделей відбору інформації є актуальною проблемою, вирішення якої сприяє точнішому та швидшому опрацюванню великих даних [7, 8]. Об’єкт дослідження – Відбір інформації Сфера дослідження – Моделі відбору інформації Мета дослідження: Дослідження методів та моделей відбору інформації в масивах великих даних