Упровадження Kubeflow MLOps у розподілені інформаційні системи мобільних агентів із підвищеною функціональною стійкістю

DOI: 10.31673/2412-9070.2023.062836

Анотація

Наразі машинне навчання є одним з основних інструментів для розв’язання складних завдань у різних сферах діяльності. Популярність машинного навчання спричинена такими факторами, як доступ до великих наборів даних, невисока ціна обчислювальних ресурсів, наявні сервіси на основі хмарних технологій, швидкий прогрес у сферах штучного інтелекту. Для розроблення, тестування та підтримання інфраструктури системи з даними застосовуються, зокрема, концепції машинного навчання та процесів (Machine Learning and Operation, MLOps) із набором технік для імплементації та автоматичної неперервної інтеграції. Концепцію MLOps розглянуто як інструменти Kubeflow-cloud native — системи з відкритим кодом, що працює на платформі Kubernetes. Досліджено можливості використання підходу MLOps для поліпшення процесів розроблення інформаційних систем машинного навчання. Спроєктовано розподілену інформаційну систему на основі мобільних агентів, якими виступають безпілотні літальні апарати (БпЛА), та коротко описано їх потенційну практичну реалізацію за умов реального часу.
Продемонстровано, що написання коду моделі — це не тільки невелика частина серед задач машинного навчання, що впливає на потребу в автоматизації, це наявність повноцінного конвеєра неперервної інтеграції та доставляння застосунку до кінцевого користувача. Проведені дослідження показали, що Kubeflow становить набір різноманітних компонентів із відкритих джерел, що мають високий рівень інтеграції між собою через платформу Kubernetes. Це дає їм змогу бути запущеними на різноманітних пристроях, зокрема на таких мобільних агентах, як БпЛА.
Запропоновано та обґрунтовано використання Мesh-мереж для підвищення функціональної стійкості розподіленої інформаційної системи мобільних агентів. Було спроєктовано архітектуру концепції системи на базі дистрибутива Kubernetes k3s, що дає можливість працювати в парадигмі крайових (Еdge) обчислень.

Ключові слова: Kubeflow; Kubernetes; MLOps; мобільні агенти; постійне навчання; машинне навчання; Mesh-мережа; системи керування; ефективність керування; розподілена інформаційна система.

Список використаної літератури
1. Aykol M., Herring P., Anapolsky A. Machine learning for continuous innovation in battery technologies // Nat. Rev. Mater. 2020. 5, 10. Р. 725–727.
2. Application of Machine Learning in Industry 4.0 / Mahendra Kumar Gourisaria, Rakshit Agrawal, G. M. Harshvardhan [et al.] // Machine Learning: Theoretical Foundations and Practical Applications. Springer. 2021. Р. 57–87.
3. De Las Heras A., Luque-Sendra A., Zamora-Polo F. Machine learning technologies for sustainability in smart cities in the post-covid era // Sustainability. 2020. 12, 22. Р. 9320.
4. Kshetri Nir. Blockchain’s Roles in Meeting Key Supply Chain Management Objectives // International Journal of Information Management. 2018. 39. Р. 80–89. URL: https://doi.org/10.1016/j.ijinfomgt.2017.12.005.
5. Li Y., Wang B. A study on customer churn of commercial banks based on learning from label proportions // In Proceedings of the 2018 IEEE International Conference on Data Mining Workshops (ICDMW), Singapore, 17–20 November 2018. IEEE: Piscataway Township, NJ, USA. Р. 1241–1247.
6. Zhang B., Shi H., Wang H. Machine Learning and AI in Cancer Prognosis, Prediction, and Treatment Selection: A Critical Approach // Dove Medical Press. 2023. Vol.16. P. 1779–1791.
7. Кузьміч М. Ю., Гордієнко Т. Б. Застосування інструменту kubeflow для інтеграції машинного навчання і штучного інтелекту в безпілотних літальних апаратах // Телекомунікаційні та інформаційні технології. 2023. Вип. 3 (80). С. 65–78.
8. Machine Learning: The High-Interest Credit Card of Technical Debt / D. Sculley, G. Holt, D. Golovin [et al.] // SE4ML: Software Engineering for Machine Learning (NIPS 2014 Workshop). 2014.
9. Kreuzberger D., Kühl N., Hirschl S. Machine Learning Operations (MLOps): Overview, Definition, and Architecture.
10. Hidden Technical Debt in Machine Learning Systems / D. Sculley, G. Holt, D. Golovin [et al.] // Part of Advances in Neural Information Processing Systems 28 (NIPS 2015).
11. Justin J. Boutilier, Timothy C. Y. Chan. Introducing and Integrating Machine Learning in an Operations Research Curriculum: An Application-Driven Course // INFORMS Transactions on Education. 2023. Vol. 23, 2. P. 64–83.
12. Fiebrink R. Machine Learning Education for Artists, Musicians, and Other Creative Practitioners // ACM Transactions on Computing Education. 2019. Vol. 19, 4. Art. No. 31. P. 1–32.
13. Elmachtoub A. N., Grigas P. Smart. Predict, then Optimize // Management Science. 2022. Vol. 68, 1. P. 9–26.
14. Mišić V. V., Perakis G. Data analytics in operations management: A review // Manufacturing Service Operations Management. INFORMS. 2020. 22 (1). P. 158–169.
15. Hazzan O., Mike K. Core Concepts of Machine Learning. Guide to Teaching Data Science. 2023. P. 209–22.
16. An automatic model management system and its implementation for AIOps on microservice platforms / Ruibo Chen, Yanjun Pu, Bowen Shi, Wenjun Wu //The Journal of Supercomputing. 2023, 79, P. 11410–11426.
17. Haoyu Cai, Chao Wang, Xuehai Zhou. Deployment and verification of machine learning tool-chain based on kubernetes distributed clusters // CCF Transactions on High Performance Computing. 2021. 3. P. 157–170.
18. Implementing a Network-Aware Kubernetes Scheduler on top of a Mesh Network / J. Moeyersons, B. Stamper, B. Volckaert, F. De Turck // IEEE Cloud Summit. 2022.
19. Яровий О. В., Завгородній В. В. Розробка системи керування мобільними агентами // Таврійський науковий вісник. Серія: Технічні науки. 2023 (3). С. 29–36. URL: https://doi.org/10.32782/tnv-tech.2023.3.4
20. Kubeflow. Kubeflow Architecture. URL: https://www.kubeflow.org/docs/started/architecture/
21. IEEE 802.11s Mesh Networking.
22. Документи KubeEdge. URL: https://kubeedge.io/.
23. Документи k3s. URL: https://k3s.io/.
24. Документи microk8s. URL: https://microk8s.io/.
25. Документи Edgemesh. URL: https://edgemesh.netlify.app/guide/ha.html#introduction-to-basic-principles.