Search for synonyms in Wikipedia - Science Library

- 36 -
Рис. 1. Пример, иллюстрирующий разницу между мерами AI и AC. Значение AI в
случаях (a) и (b) остаётся постоянным, но значение AC в случае (a) больше,
поскольку в (b) больше вершин, не имеющих похожих вершин [146]
Можно упомянуть ещё ряд статистических алгоритмов для вычисления
семантической близости слов: LSA [100], PMI-IR [180].
Метрики
Выделяют несколько способов определения похожих документов 1 [53].
Полагаем, что документы и запросы представляются с помощью индексных
терминов или ключевых слов. Обозначим посредством символа |.| – размер
множества ключевых слов, представляющих рассматриваемый документ.
Простой коэффициент соответствия ∣X ∩Y ∣ показывает количество
общих индексных терминов. При вычислении коэффициента не берутся в
рассмотрение размеры множеств X и Y.
Таблица 1.1
Коэффициенты сходства для документов, для ключевых слов [53]
Формула
∣X ∩Y ∣
∣X ∣∣Y ∣
∣X ∩Y ∣
∣X ∪Y ∣
∣X ∩Y ∣
∣X ∣ 1/ 2 ⋅∣Y ∣ 1/2
Название
Коэффициент Дайса (dice)
Коэффициент Джаккарда (jaccard)
Косинусный коэффициент
1 Речь идёт о текстовых документах, а не о интернет страницах, то есть нет ссылок. Документам можно
поставить в соответствие вершины графа. Если степени сходства документов сопоставить расстояние
между вершинами, то более похожим документам будут соответствовать более близкие вершины.