Проблема семантичних протиріч у великих обсягах даних

DOI: 10.31673/2412-9070.2022.033133

Анотація

Розглянуто проблему усунення надмірності семантично близької текстової інформації на основі латентно-семантичного аналізу та одного з алгоритмів нечіткого висновку. Дано опис латентно-семантичного аналізу як способу виявлення семантичної близькості документів. Сформульовано варіант правил нечіткого висновку щодо розв’язання завдання усунення надмірності семантично близької інформації. Запропоновано оцінити ступінь впливу модуля усунення протиріч на оперативність функціонування інформаційних систем.

Ключові слова: латентно-семантичний аналіз; усунення надмірності; правила нечіткого висновку; семантично близька текстова інформація.

Список використаної літератури
1. Шрам Г. Оптимальне використання ресурсів пам’яті // Журнал мережних рішень LAN. 2011. № 3.
2. Щербінін А. Рішення щодо дедуплікації даних // Storage News. 2008. № 2. С. 2–7.
3. Хорошилов А. А. Методи автоматичного встановлення смислової близькості документів на основі їх концептуального аналізу // Праці 15-ї всерос. наук. конф. «Електронні бібліотеки: перспективні методи та технології, електронні колекції». Ярославль, 14–17 жовтня 2013 р. Секція 6.
4. Штовба С. Д. Введення в теорію нечітких множин та нечітку логіку. Вінниця: Вид-во Вінницького держ. техн. ун-ту, 2001. 198 с.
5. Інтелектуальне інформаційно-керівне середовище для організації перевезень та транспортного обслуговування // Праці 2-ї наук.-техн. конф. «Інтелектуальні системи управління залізничним транспортом». М., 15–16 листопада 2012 р. С. 66–72.
6. Кураленок І. Є., Некрестьянов І. С. Автоматична класифікація документів на основі латентно-семантичного аналізу // Праці 1-ї всерос. наук.-метод. конф. «Електронні бібліотеки: перспективні методи та технології, електронні колекції». СПб, 1999. C. 89–96.
7. Landauer T., Foltz P., Laham D. An introduction to Latent Semantic Analysys // Discourse Processes, 1998. 25. Р. 259–284.
8. Хомоненко А. Д., Краснов С. А. Застосування методів латентно-семантичного аналізу для автоматичної рубрикації документів // Вісті ПГУПС. 2012. №2 (31). С. 124–132.
9. Агєєв М. С., Добров Б. В., Лукашевич Н. В. Автоматична рубрикація текстів: методи та проблеми // Навч. записки Казан. держ. ун-ту. Фізико-математичні науки. 2008. Т. 150. Кн. 4. С. 25-40.
10. Войцеховський С. В., Хомоненко А. Д. Виявлення шкідливих програмних впливів на основі нечіткого висновку // Проблеми інформаційної безпеки. Комп’ютерні системи. 2011. № 3. С. 81–91.