Search for synonyms in Wikipedia - Science Library

- 6 -
(similarity search) включает такие (на первый взгляд разные, но общие по
способам решения) задачи, как поиск похожих текстовых документов, поиск
семантически близких слов, поиск похожих вершин графа. Анализ работ в
области вычислительной лингвистики показал большое разнообразие
алгоритмов, предлагающих решение этих задач (алгоритм HITS [125],
алгоритм PageRank [85] (и его модификация Green [145]), алгоритм
распределения рангов ArcRank [174], ESA [103], алгоритм извлечения
синонимов из толкового словаря [174], метод извлечения контекстно
связанных слов [122], [146] и др.). Поиск похожих документов также может
являться подэтапом алгоритма поиска документов по запросу [22].
Объектом исследования является синонимия и семантическая близость
слов. Два текста связаны гиперссылкой, если один документ упоминает ( то
есть ссылается на) другой текст. Тематическая направленность каждого
текста определена экспертом, который присваивает одну или несколько
категорий тексту 1 .
Под семантически близкими словами подразумеваются слова с близким
значением, встречающиеся в одном контексте. Более строго и формально
семантически близкие слова определяются ниже через понятия авторитетных
и хаб-страниц 2 . Представляемая в работе программная система поиска
семантически близких слов относится к семантическим 3 , поскольку
1 Связь, осуществляемая гиперссылкой, не имеет семантики, то есть не описывает смысла этой связи (см.
[44], а также http://ru.wikipedia.org/wiki/Семантическая_сеть). Однако категории представляют
однородную (один тип отношений – родо-видовые) бинарную (связаны два объекта) семантическую
сеть. Иной подход предлагается в работе [54], где семантические элементы считаются семантически
связанными, если они связаны отношением «ссылается». Семантическими элементами названы
дидактические единицы контента, например «лекция», «определение», «теорема», «термин».
2 См. определения авторитетных и хаб-страниц в главе 1 в подразделе «Алгоритм HITS» на стр. 27, см.
также подраздел «Поиск синонимов с помощью HITS алгоритма» на стр. 74. Заметим, что слов хаб
встречается в отечественной научной литературе, например, «термин-хаб» в работе [11].
3 «Семантическими принято считать системы, в которых в процессе анализа содержания текста делаются
попытки учесть не только лингвосемантические, но и логико-семантические отношения между
языковыми объектами. Кроме того, контекст, определяющий лингвосемантические отношения и в
обычных системах синтаксического анализа не выходящий за пределы предложения, в семантических
системах распространяется на уровни дискурса и текста. Наконец, предполагается, что система
семантического анализа должна учитывать как сведения о данной предметной области, так и её связи с
внешним миром в целом» [30].