Search for synonyms in Wikipedia - Science Library

Оглавление
ВВЕДЕНИЕ......................................................................................................................................5
ПОЛОЖЕНИЯ, ВЫНОСИМЫЕ НА ЗАЩИТУ...............................................................................................19
1. АНАЛИЗ ПРОБЛЕМЫ АВТОМАТИЧЕСКОЙ ОБРАБОТКИ ТЕКСТА И ПОИСКА
СЕМАНТИЧЕСКИ БЛИЗКИХ СЛОВ......................................................................................20
Проблема синонимии.............................................................................................................20
1.1 ОСНОВНЫЕ АЛГОРИТМЫ ПОИСКА ПОХОЖИХ ИНТЕРНЕТ СТРАНИЦ, ПОИСКА СЛОВ БЛИЗКИХ ПО ЗНАЧЕНИЮ,
ВЫЧИСЛЕНИЯ МЕРЫ СХОДСТВА ВЕРШИН ГРАФА......................................................................................26
Алгоритмы анализа гиперссылок: HITS, PageRank, ArcRank, WLVM..............................27
Алгоритмы построения и анализа ссылок: Similarity Flooding, алгоритм извлечения
синонимов из толкового словаря и другие...........................................................................31
Алгоритмы статистического анализа текста: ESA, поиск контекстно-связанных
слов..........................................................................................................................................34
Метрики.................................................................................................................................36
1.2 СИСТЕМЫ И РЕСУРСЫ ДЛЯ ОБРАБОТКИ ТЕКСТА................................................................................42
GATE.......................................................................................................................................42
Проект Диалинг.....................................................................................................................44
Тезаурусы WordNet, РуТез, Викисловарь.............................................................................45
Вики-ресурсы..........................................................................................................................51
Корпус текстов вики-ресурса Википедия...........................................................................53
Другие системы.....................................................................................................................55
1.3 СИСТЕМЫ И СПОСОБЫ ГРАФИЧЕСКОГО ПРЕДСТАВЛЕНИЯ ТЕЗАУРУСОВ И РЕЗУЛЬТАТОВ ПОИСКА...............56
1.4 ПОСТАНОВКА ЗАДАЧИ ИССЛЕДОВАНИЯ...........................................................................................62
ВЫВОДЫ ПО ГЛАВЕ 1.......................................................................................................................64
2. МЕТОДОЛОГИЧЕСКОЕ И МАТЕМАТИЧЕСКОЕ ОБЕСПЕЧЕНИЕ ДЛЯ
ПОСТРОЕНИЯ СПИСКОВ СЕМАНТИЧЕСКИ БЛИЗКИХ СЛОВ В КОРПУСЕ
ТЕКСТОВЫХ ДОКУМЕНТОВ С ГИПЕРССЫЛКАМИ И КАТЕГОРИЯМИ.................66
2.1 ПОДХОД К ПОИСКУ СЕМАНТИЧЕСКИ БЛИЗКИХ СЛОВ.........................................................................66
2.2 HITS АЛГОРИТМ (ФОРМАЛИЗАЦИЯ, АНАЛИЗ, ПОИСК СИНОНИМОВ)....................................................69
Формализация задачи............................................................................................................69
Дополнительные замечания..................................................................................................71
Тематическая связность авторитетных страниц...........................................................73
Применение способов оценки результатов поиска в Интернет к HITS алгоритму......73
Поиск синонимов с помощью HITS алгоритма...................................................................74
2.3 АДАПТИРОВАННЫЙ HITS АЛГОРИТМ, ВКЛЮЧАЮЩИЙ АЛГОРИТМ ИЕРАРХИЧЕСКОЙ КЛАСТЕРИЗАЦИИ......76
Формализация понятия «похожие вершины» графа.........................................................76
Адаптированный HITS алгоритм........................................................................................77
Кластеризация на основе категорий статей....................................................................81
Варианты объединения результатов АHITS алгоритма и алгоритма кластеризации.85
Временная сложность алгоритма......................................................................................85
Эвристика: фильтрация на основе категорий статей....................................................86