Оптимізація SSL нейромереж за допомогою реляційних та векторних баз даних

Анотація

Сучасний розвиток систем комп'ютерного зору (Computer Vision) та впровадження новітніх архітектур глибокого навчання, зокрема Vision Transformers (ViTs), вимагає доступу до величезних масивів розмічених даних. Це створює вузьке місце (annotation bottleneck), яке суттєво обмежує масштабованість проєктів штучного інтелекту через високу вартість та тривалість ручної розмітки. Self-Supervised Learning (далі SSL) пропонує ефективне вирішення цієї проблеми, дозволяючи моделям самостійно формувати семантичні репрезентації з нерозмічених даних. Проте, практичне застосування SSL стикається з серйозною інфраструктурною перешкодою: традиційні підходи, орієнтовані на файлові системи, генерують критичні затримки вводу-виводу (I/O). Необхідність постійного зчитування тисяч дрібних файлів перевантажує центральний процесор і призводить до простою графічних прискорювачів (GPU «starvation»), різко знижуючи загальну ефективність. У цій статті пропонується інноваційна дата-центрична архітектура, яка докорінно змінює парадигму підготовки даних для SSL. Замість експорту даних у зовнішні Python-середовища, пропонується інтегрувати логіку формування навчальних вибірок безпосередньо в систему управління базами даних (СУБД). Ключовим елементом рішення є використання векторних баз даних та алгоритмів ієрархічного індексування (графів HNSW) для динамічного пошуку найближчих сусідів. Це дозволяє миттєво генерувати високоякісні «складні негативні приклади» (hard negatives), які є критично важливими для ефективного контрастивного навчання ViT. Результати демонструють, що такий підхід усуває I/O-вузьке місце, знижуючи навантаження на процесор на 60-70%. Динамічний підбір складних прикладів засобами БД кардинально покращує збіжність моделі та суттєво підвищує кінцеву точність класифікації без збільшення витрат на GPU. Запропонована інтеграція векторного пошуку доводить, що оптимізація інфраструктури даних є настільки ж важливою, як і вдосконалення архітектури нейромереж, відкриваючи нові можливості для індустрії.

Ключові слова: SSL, комп'ютерний зір, Vision Transformers, векторні бази даних, внутрішньобазове машинне навчання, HNSW, дата-центричний підхід.