Search for synonyms in Wikipedia - Science Library

- 34 -
вес). Вычисления проводились на английском словаре Вебстера.
Построенный граф содержал 112 169 вершин, 1 398 424 рёбер.
Алгоритмы статистического анализа текста: ESA, поиск
контекстно-связанных слов
Алгоритм ESA
В работе [103] авторы описали алгоритм ESA, позволяющий представить
значение любого текста в терминах концептов ВП. 1 Оценка эффективности
метода выполнена за счёт автоматического вычисления степени
семантической связи между фрагментами текста произвольной длины на ЕЯ.
Для ускорения работы построили инвертированный индекс: слову
соответствует список концептов, в статьях которых оно появляется. Была
выполнена предобработка концептов ВП:
• удалили концепты, которым соответствуют небольшие статьи
(меньше 100 слов, меньше 5 исходящих и входящих ссылок);
• удалили стоп-слова и редкие слова;
• получили леммы слов (тексты на английском языке).
В алгоритме ESA на вход подаются два текста. По ним строятся два вектора
из концептов ВП следующим образом. По фрагменту текста (1) строится
вектор по TF-IDF схеме, (2) из инвертированного индекса выбираются
концепты и объединяются во взвешенный вектор 2 . Произведение этих
векторов и даёт вектор концептов ВП релевантных фрагменту текста. Для
сравнения текстов сравнивают два вектора, например, с помощью
косинусного коэффициента.
Эксперименты в работе [103] показали преимущество ESA в точности
поиска семантически близких слов в ВП по сравнению с алгоритмами поиска
1 ESA – это аббревиатура от «Explicit Semantic Analysis» (явный семантический анализ). Название выбрано
в противовес «скрытому семантическому анализу» (LSA), поскольку в ESA концепт – это название
статьи. То есть концепты явные, формулируются человеком, легко объяснить их значение.
2 Причём связь слова и концепта не указывается, если концепты получили небольшой вес для данного
слова. Для вычисления взвешенного вектора используется параметр k – запись в инвертированном
индексе, указывающая на степень связи слова и концепта. Из статьи [103] не ясно, как вычисляется эта
степень связи слова и концепта, возможно, как (1) относительное число повторов слова в статье,
(2) позиция в тексте (чем ближе к началу статьи, тем больше вес).