Розробка баз знань з доповненою генерацією з використанням базових моделей штучного інтелекту
DOI: 10.31673/2412-9070.2024.050247
Анотація
Тенденції глобального технологічного зростання, здешевлення обчислювальних потужностей та постійне збільшенням обсягів даних, якими потрібно управляти та обробляти, вимагають переосмислення та вдосконалення методів і підходів до управління цими даними. В той же час, розвиток технологій штучного інтелекту, алгоритмів машинного навчання (з англ. Machine Learning, ML) та обробки природньої мови (з англ. Natural Language Processing, NLP) дали змогу істотно спростити методи і підходи до управління даними та взаємодії з ними, а також автоматизувати процеси і рутинні задачі, які обробляють ці текстові дані.
У статті висвітлено теоретичні аспекти та принципи побудови баз знань з використанням семантичного пошуку (або пошуку подібностей) та генеративного доповнення на основі базових моделей штучного інтелекту (з англ. Foundation Models). У даному дослідженні розглянуто основні принципи алгоритму роботи пошуку подібностей, який є фундаментальною функціональною складовою частиною баз знань та його реалізація за допомогою векторних баз даних. У статті також розглянуто практичний приклад реалізації такої бази знань на основі керованого сервісу Bedrock. Приведено ситуаційні приклади для організації даних у вигляді баз знань, які можна використовувати у прикладних проєктах для автоматизації та вдосконалення процесів, які оперують з текстовими даними. Запропонований варіант реалізації бази знань можна використовувати як основу для розробки інтелектуальних чат-ботів із знанням предметної області для автоматизації систем підтримки користувача.
Ключові слова: база знань, генерація з доповненням, штучний інтелект, генеративні базові моделі штучного інтелекту, пошук подібностей, семантичний пошук, векторні бази даних.
Список використаної літератури
1. Roie Schwaber-Cohen. What is a Vector Database & How Does it Work. Pinecone. Cited on 18 November 2023. URL: https://www.pinecone.io/learn/vector-database
2. Lewis, Patrick; Perez, Ethan; Piktus, Aleksandra; Petroni, Fabio; Karpukhin, Vladimir; Goyal, Naman; Küttler, Heinrich. Retrieval-augmented generation for knowledge-intensive NLP tasks Advances in Neural Information Processing Systems 33. 2020. URL: https://proceedings.neurips.cc/paper/2020/hash/6b493230205f780e1bc26945df7481e5Abstract.html
3. Radford, A., Narasimhan, K., Salimans, T., & Sutskever, I. Improving Language Understanding by Generative Pre-training. OpenAI. 2018. P. 2-6 URL: https://hayate-lab.com/wpcontent/uploads/2023/05/43372bfa750340059ad87ac8e538c53b.pdf
4. Brown, T. B., et al. Language Models are Few-Shot Learners. 2020. P. 7-12, 26-37. URL: https://arxiv.org/pdf/2005.14165
5. Dodge, J., et al. Fine-Tuning Language Models from Human Preferences. 2020. P. 2-4, 11-12. URL: https://arxiv.org/pdf/1909.08593
6. Boxi Cao, Hongyu Lin, Xianpei Han, Le Sun, Lingyong Yan, Meng Liao, Tong Xue, Jin Xu. Knowledgeable or educated guess? revisiting language models as knowledge bases, 2021. URL: https://arxiv.org/pdf/2106.09231
7. Chalmers, D.J. Could a large language model be conscious? 2023. URL: https://arxiv.org/pdf/2303.07103
8. Manaal Faruqui and Chris Dyer. Improving vector space word representations using multilingual correlation. In Proceedings of EACL, 2014. URL: https://aclanthology.org/E14-1049.pdf
9. Andriy Mnih and Yee Whye Teh. A fast and simple algorithm for training neural probabilistic language models. In Proceedings of ICML, 2012. P. 6-7. URL: https://icml.cc/2012/papers/855.pdf
10. Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space, 2013. P. 2-8. URL: https://arxiv.org/pdf/1301.3781
11. Ronan Collobert and Jason Weston. A unified architecture for natural language processing: deep neural networks with multitask learning. In Proceedings of ICML, 2008. URL: https://ronan.collobert.com/pub/matos/2008_nlp_icml.pdf
12. Joseph Turian, Lev Ratinov, and Yoshua Bengio. Word representations: a simple and general method for semi-supervised learning. In Proc. of ACL, 2010. URL: https://aclanthology.org/P10-1040.pdf
