Нейро-математичний підхід для виявлення змін планів у відеопослідовностях

DOI: 10.31673/2412-9070.2024.062091

Анотація

Виявлення зміни плану (shot) у візуальних медіа відіграє важливу, фактично вирішальну роль у різних сферах, включаючи кіно, відеоспостереження та організацію цифрового контенту. Традиційні математичні алгоритми мають недостатню точність при аналізі сучасного відеоконтенту, що спонукає до дослідження підходів штучного інтелекту. У цій статті представлено дослідження алгоритмів виявлення зміни кадру, що охоплює традиційні математичні методи та застосування нейронних мереж. Була проведена серія експериментів та досліджено ефективність математичного підходу, заснованого на гістограмах у комбінації з рекурентними нейронними мережами. У результаті експериментів було визначено, що рекурентні нейроні мережі в комбінації із трансформацією даних за допомогою математичних підходів досягають високої точності навіть для відеоконтенту з складними переходами планів. Отримані результати свідчать про ефективність поєднання математичних підходів з нейронними мережами та їх актуальність до вирішення складних задач пов’язаних з обробкою відеоконтенту.
Ключові слова: нейронна мережа, рекурентна нейронна мережа, аналіз, відеоконтент, обробка інформації, штучний інтелект.

Список використаної літератури

1. Lin, Weiyao & Sun, Ming-Ting & Li, Hongxiang & Hu, Hai-Miao. (2010). A New Shot Change Detection Method Using Information from Motion Estimation. 264-275. 10.1007/978-3-642-15696-0_25.
2. Souček, Tomáš & Lokoč, Jakub. (2020). TransNet V2: An effective deep network architecture for fast shot transition detection.
3. Lindemann, Benjamin & Maschler, Benjamin & Sahlab, Nada & Weyrich, Michael. (2021). A survey on anomaly detection for technical systems using LSTM networks. Computers in Industry. 131. 103498. 10.1016/j.compind.2021.103498.
4. W. Zhu et al., "AutoShot: A Short Video Dataset and State-of-the-Art Shot Boundary Detection," 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), Vancouver, BC, Canada, 2023, pp. 2238-2247, doi: 10.1109/CVPRW59228.2023.00218.
5. H. Abdulhussain, Sadiq & Ramli, Abd Rahman & Saripan, M Iqbal & Mahmmod, Basheera & Al-Haddad, Syed Abdul Rahman & Jassim, Wissam. (2018). Methods and Challenges in Shot Boundary Detection: A Review. Entropy. 20. 10.3390/E20040214.
6. Park, Soyoung & Son, Jeongwoo & Kim, Sun-Joong. (2016). Study on the effect of frame size and color histogram bins on the shot boundary detection performance. 1-2. 10.1109/ICCE-Asia.2016.7804726.
7. Zedan, Ibrahim & Elsayed, Khaled & Emary, Eid. (2016). Abrupt Cut Detection in News Videos Using Dominant Colors Representation. 10.1007/978-3-319-48308-5_31.
8. Mas, Jordi & Fernandez, Gabriel. VIDEO SHOT BOUNDARY DETECTION BASED ON COLOR HISTOGRAM.
9. Mohanta, Partha & Saha, Sanjoy & Chanda, Bhabatosh. (2012). A Model-Based Shot Boundary Detection Technique Using Frame Transition Parameters. Multimedia, IEEE Transactions on. 14. 223-233. 10.1109/TMM.2011.2170963.
10. Huan, Zhao & Xiuhuan, Li & Lilei, Yu. (2008). Shot Boundary Detection Based on Mutual Information and Canny Edge Detector. 1124-1128. 10.1109/CSSE.2008.939.
11. Joyce, Robert & Liu, Bede. (2006). Temporal Segmentation of Video Using Frame and Histogram Space. Multimedia, IEEE Transactions on. 8. 130 - 140. 10.1109/TMM.2005.861285.
12. Shaldenko, O., & Zdor, K. (2024). Neuro-mathematical fusion for shot change detection in video sequences. Actual Issues of Modern Science. European Scientific e-Journal, 29, 15-24. Ostrava: Tuculart Edition, European Institute for Innovation Development.