Search for synonyms in Wikipedia - Science Library

- 30 -
Алгоритм WLVM
Алгоритм векторной модели ссылок Википедии (англ. Wikipedia Link Vector
Model или WLVM) вычисляет сходство двух статей ВП на основе
содержащихся в них ссылок [134]. Алгоритм включает шаги:
1. по заданному термину получить все статьи ВП с похожими
заголовками;
2. обработать ссылки (разрешить «редиректы» 1 ; для ссылок на страницы
«дизамбиги» 2 взять все ссылки, перечисленные на «дизамбигах»);
3. подсчитать вес ссылок (см. ниже);
4. построить вектор (исходящих) ссылок для каждой страницы;
5. из множества пар статей (для двух терминов) выбираются наиболее
похожие, то есть с наименьшим углом между векторами ссылок.
Семантическое сходство двух страниц ВП определяется углом между
векторами ссылок этих страниц. Сходство будет выше, если обе страницы
ссылаются на страницу, на которую мало ссылаются другие страницы.
Вес ссылки с исходного документа на целевой определяется по правилам:
• 1 или 0, если есть или нет такая ссылка в исходном документе;
• обратно пропорционально общему числу ссылок на целевой
документ.
А именно, вес ссылки w со страницы a на страницу b рассчитывается по
t
формуле: w a b=∣ab∣⋅log∑
∣x b∣
t
x=1
, где t — общее число страниц в ВП.
Для оценки алгоритма использовался тестовый набор 353-TC. 3 Была
предпринята малоуспешная попытка автоматически выбирать верное
значение для ссылок на многозначные статьи: коэффициент корреляции
Спирмена с эталонным набором оказался равным 0.45, при разрешении
1 «Редирект» – это страница-перенаправление; «разрешить редирект» означает подменить ссылки x→y→z
на x→z, спрямляя путь до целевой статьи.
2 «Дизамбиги» – статьи Википедии, содержащие перечисление значений. Создаются для многозначных
терминов, см., например, статью «Лемма».
3 Тестовый набор подробно описан на стр. 127. Сравнение результатов работы алгоритма WLVM с
другими см. в табл. 4.6 на стр. 130.