Search for synonyms in Wikipedia - Science Library

- 38 -
3. Учёт частотности слов и расстояния в таксономии
res c 1,
c 2
=max C ∈S c 1, c 2
[−logP C ] Расстояние res [151], [152]
2∗log P c
lin c 1,
c 2
=
0
log P c 1
log P c 2
Расстояние lin 1 [128]
4. Учёт пересечения текста
пересечение текста (глоссы WordNet) Lesk, 1986 [74]
extended gloss overlap – пересечение глосс с учётом глосс
соседних концептов WordNet
relate gloss /text
t 1,
t 2
=tanh
overlap t 1,
t 2
length t 1
length t 2
Banerjee & Pedersen, 2003
[75]
[173]
Расстояние Google – это мера семантической связности, вычисленная на
основе числа страниц, полученных с помощью поисковика Google для
заданного набора ключевых слов. В таблице приведена формула вычисления
нормализованного расстояния Google (NGD) для двух слов: x и y, где М – это
общее число веб-страниц, проиндексированных Google; f(x) и f(y) – число
страниц, содержащих ключевые слова x и y, соответственно; f(x, y) – число
страниц, содержащих сразу и x, и y. Если x и y на всех страницах встречаются
вместе, то полагают NGD=0, если только по отдельности, то NGD=∞.
Выделим класс метрик, вычисляющих сходство на основе данных
таксономии (табл. 1.2). Данные метрики используются для вычисления
сходства концептов WordNet [74], [99], [128], [151], [152], [186],
GermaNet [139], ВП [173].
В книге [99] Leacock и Chodorov предложили вычислять близость
концептов как расстояние между концептами в таксономии,
нормализованное за счёт учёта глубины таксономии. В формуле
lch c 1,
c 2
=−log length c 1,c 2
2D
, функция length(c 1 , c 2 ) – это число вершин
вдоль кратчайшего пути между вершинами c 1 и c 2 ; D – максимальная глубина
таксономии. В работе [99] авторы рассмотрели только одно отношение is-a и
только между существительными.
1 Данная метрика получила развитие в работе [146], см. метод извлечения контекстно связанных слов,
стр. 35.