Дослідження методів формування панорамних зображень
Автор: Цап Сергій Ігорович
Кваліфікаційний рівень: магістр
Спеціальність: Радіоелектронні пристрої, системи та комплекси
Інститут: Інститут телекомунікацій, радіоелектроніки та електронної техніки
Форма навчання: денна
Навчальний рік: 2022-2023 н.р.
Мова захисту: українська
Анотація: Панорамне зображення – це окреме ширококутне зображення середовища навколо камери. Панорами широко використовуються в таких сферах, як робототехніка, комп’ютерне бачення, відеоспостереження та віртуальна реальність. Вони також використовуються у комерційних цілях, таких як розваги, інтерактивне телебачення, нерухомість і віртуальний туризм. [1]. За останні 15 років системи панорамної зйомки значно прогресували. Не тільки фахівці можуть створювати та відображати панорами. Завдяки великій кількості доступного програмного забезпечення [2], кожен, хто має комп’ютер і камеру, може створювати панорами. Для того щоб створити панораму із кількох окремих зображень потрібно провести над ними деякі процеси [3]. Спочатку, за допомогою методів формування знайти ключові точки на цих зображеннях і виділити ті з них, які збігаються між собою на обох зображеннях. Тоді співставити їх між собою за допомогою гомографії та афінних перетворень і отримати одне зображення. Але часто цього буде недостатньо, через можливі відмінності у кольорі, яскравості або у незначній зміні перспективи між зображеннями, які зшивались в одне. У таких випадках буде помітний ефект «мозаїки» [4]. Щоб його прибрати уже на готовій панорамі використовують різні методи корекції кольору та яскравості, а також методи змішування, такі як альф-змішування, або багатосмугового змішування з використанням пірамід Гауса та Лапласа. До основних методів формування панорамних зображень належать: SIFT, SURF, ORB, BRISK та AKAZE [3,5]. Ці методи мають свої алгоритми пошуку ключових точок для подальшого зіставлення їх між собою. В основному вони базуються на пошуку особливих точок, пропускаючи пікселізображення через певні фільтри таким чином шукаючи максимальні зміни градієнта яскравості, або контрасту. Для геометричної корекції зображень використовують методи RANSAC та PROSAC [6]. Алгоритм RANSAC – ітеративний метод оцінки параметрів моделі на основі випадкових вибірок. PROSAC – алгоритм консенсусу прогресивної вибірки. Він використовує лінійне впорядкування, визначене на наборі відповідностей функцією подібності, яка використовується для встановлення попередніх відповідностей. Метою роботи є дослідження процесу формування панорамного зображення з фрагментів. Об’єкт дослідження – процес формування панорамних зображень з фрагментів. Предмет дослідження - алгоритм створення панорамних зображень за допомогою програмних засобів. Дана магістерська кваліфікаційна робота присвячена дослідженню методів формування панорамних зображень. Оглянуто такі методи формування зображень: SIFT, SURF, ORB, BRISK, AKAZE та описано їхні алгоритми роботи. Розглянуто програмні пакети для роботи з панорамними зображеннями та вибрано бібліотеку OpenCV для подальшої роботи. На її основі написана програма на мові Python для проведення експериментів. За результатами цих експериментів зроблено висновки щодо ефективності методів, їх порівняння між собою. По продуктивності найкращим виявився BRISK, у нього найбільша кількість знайдених точок і найменший відносний час на їх пошук. А по швидкості – ORB. Він перевершує своїх конкурентів по часу знаходження більш ніж у два рази. Але при цьому точок він знаходить найменше з усіх. Погіршення якості зшитих зображень при цьому не помічено. Також дано рекомендації щодо покращення отриманих в результаті експерименту зображень.Ключові слова: панорама, OpenCV, корекція, методи узгодження, ключові точки. Перелік використаних літературних джерел. 1. Gledhill, D., Tian, G. Y., Taylor, D., & Clarke, D. (2003). Panoramic imaging—a review. Computers and Graphics, 27(3), 435- 445. https://doi.org/10.1016/S0097-8493(03)00038-4 2. Huang, Ho Chao and Yi-Ping Hung. “Panoramic Stereo Imaging System with Automatic Disparity Warping and Seaming.” Graph. Model. Image Process. 60 (1998): 196-208. 3. Szeliski R. Computer Vision: Algorithms and Applications. New York: Springer-Verlag, 2010. 812 p. 4. Steedly D., Pal C., Szeliski R. Efficiently Registering Video into Panoramic Mosaics // Tenth IEEE International Conference on Computer Vision, 2005. Vol. 2. P. 1300–1307. 5. Rublee E., Rabaud V., Konolige K., Bradski G. ORB: An efficient alternative to SIFT or SURF // Proceedings of the 2011 International Conference on Computer Vision, 2011. P. 2564-2571. 6. Куцаченко Н. Г. Сравнение алгоритмов трекинга движения при реализации средствами OpenCV, Системний аналіз та інформаційні технології: матеріали 19-ї Міжнародної науково-технічної конференції SAIT 2015, Київ 22-25 червня 2017 р.