Search for synonyms in Wikipedia - Science Library

- 26 -
1.1 Основные алгоритмы поиска похожих интернет
страниц, поиска слов близких по значению, вычисления
меры сходства вершин графа
Алгоритмы, выполняющие поиск похожих документов и близких по
значению слов, можно условно 1 разделить на группы: 2
1. поиск на основе анализа ссылок (вычисления на графах)
i. ссылки заданы явно гиперссылками (HITS [125], PageRank [85],
[102], ArcRank [174], Green [145], WLVM [134]);
ii. ссылки нужно построить 3 (Similarity Flooding [132], алгоритм
извлечения синонимов из толкового словаря [84], [83], [174]);
2. поиск на основе анализа текста:
iii. статистические алгоритмы (ESA [103], сходство коротких
текстов [159], извлечение контекстно связанных слов на основе
частотности словосочетаний [146]);
iv. автоматическое понимание текстов 4 ;
3. поиск на основе анализа и ссылок и текста [81], [129] 5 .
Для уточнения результатов поиска могут использоваться данные о
семантически близких словах из тезаурусов Роже, WordNet, Moby,
Викисловаря и др.
Входными данными могут быть [106]:
i. запрос, состоящий из ключевых слов, тогда будет выполняться поиск
документов, похожих на запрос;
1 Практическая реализация может объединять возможности разных подходов.
2 См. также обзор и классификацию методов и приложений вычисления сходства коротких текстов в [147].
3 Для определения силы связи между словами по совместной встречаемости в документах либо в общем
контексте — могут использоваться специальные алгоритмы [40].
4 На сегодняшний момент, автору не встретились работы, посвящённые поиску семантически близких
слов с помощью систем автоматического понимания текстов (АПТ). О системах АПТ см. в [41].
5 В работе [129] предложена мера вычисления семантического сходства интернет страниц на основе учёта
и ссылок, и текста. Сходство текста вычисляется с помощью TF (формула косинусного коэффициента).
Сходство ссылок вычисляется с помощью формулы «частота ссылок – обратная частота документов» (то
есть в формуле TF-IDF документы оставили, а слова заменили на ссылки).