More documents

Recommendations

Info

Одной из главных задач в построении дискурсной структуры является определение набора риторических отношений между элементарными текстовыми единицами или частями предложений. На данный момент большинство исследователей считают, что решить эту задачу можно только с использованием глубокого семантического анализа текста [3]. В данной статье предлагается альтернативный подход к решению этой задачи: на основе анализа ключевых фраз. Такой подход представляется разумным ввиду отсутствия полных баз знаний, соответствующих словарей для русского языка, а также ввиду необходимости иметь специалистов в конкретной области. Построение дискурсной структуры текста предполагает выполнение двух основных этапов: определение риторических отношений внутри исходного текста и собственно построение дискурсного дерева. Выходом первого этапа и одновременно входными данными для следующего является набор риторических отношений. Процесс определения риторических отношений начинается с разбиения текста на ЭТЕ. В качестве индикатора границ между ними и для определения отношений между ЭТЕ могут эффективно использоваться ключевые фразы. К сожалению, результаты лингвистических исследований в области ключевых фраз не дают никаких рекомендаций на этот счет [4]. В данной статье предлагается следующая схема их использования. Определяется список ключевых фраз, для каждой из них выбирается несколько текстов из корпуса русского языка (информационно-справочная система, основанная на собрании русских текстов в электронной форме), анализируется роль данной ключевой фразы в тексте, в том числе то, какое риторическое отношение она определяет. Результатом применения этой схемы является набор специальных параметров для каждой ключевой фразы, которые содержат информацию о ключевой фразе и о связанном с ней риторическом отношении. Алгоритм определения риторических отношений основан на эмпирических данных, полученных из корпуса, и включает в себя четыре этапа: 1. Разбиение текста на предложения и определения для каждого из них набора ключевых фраз, или дискурсных маркеров. 2. Разбиение каждого предложения на части (ЭТЕ). 3. Определение риторических отношений среди ЭТЕ. 4. Определение риторических отношений для еще несвязанных элементов. Рассмотрим подробно каждый из этих этапов. Первый этап. Определяются регулярные выражения для ключевых фраз. Далее анализируется весь текст целиком и запоминается расположение ключевых фраз и других орфографических маркеров в тексте. Пример регулярных выражений для текста: Вчера делегаты выбрали нового представителя. Хотя Иванов получил только 24 голоса, он выиграл выборы. Затем участники аплодировали в течение трех минут. Последующие дискуссии были короткими из-за предстоящей встречи. Но срочные вопросы смогли разрешить – к примеру, строительство новой дороги, представлен в табл. 1, а их семантика – в табл. 2. 26
Таблица 1 Таблица 2 Маркер Регулярное выражение Символ Семантика Although [\s\t\n]Хотя(\s|\t|\n) \s пробел Then [\s\t\n]Затем(\s|\t|\n) \t Знак табуляции Because [,][\s\t\n]из[\s\t\n]-[\s\t\n]за(\s|\t|\n) \n Знак новой строки But [\s\t\n]Но(\s|\t|\n) [e] Может быть, а может и нет For example [,][\s\t\n]+к[\s\t\n]+примеру(\s|,|\t|\n) () Группировка COMMA ,(\s|\t|\n) a | b Альтернативы OPEN_PAREN [,][\s\t\n]+( e+ Один или более раз CLOSE_PAREN )(\s|\t|\n) e* Ноль или более раз DASH [,][\s\t\n]+–(\s|\t|\n) e{n,} По крайней мере n раз END_SENTENCE (“.”)((“?”)(“!”)(“.””)(“?””)(“!””)) BEGIN_PARAGRAPH \s*((\n\t[\s\t]*)|(\n[\s\t\n]{2,})) Второй этап. Анализатор текста обрабатывает его слева направо по предложениям и выполняет действия, связанные с набором маркеров. То есть входными данными являются предложение со связанным с ним набором потенциальных дискурсных маркеров, а выходом – то же предложение, разбитое на части, с установленными реальными дискурсными маркерами (сигнализирующими о риторическом отношении). Итак, алгоритм имеет на входе предложение и массив маркеров, которые есть в предложении. Каждый маркер содержит следующую информацию: • действие анализатора; • позиция ключевой фразы в предложении. Главное преимущество этого алгоритма в его скорости: он линеен по отношению к размеру входного текста. Имеется ряд ограничений ввиду того, что он использует только ключевые фразы для анализа текста, то есть поверхностные методы, и не может правильно определить границы ЭТЕ там, где необходима еще и семантическая информация о тексте. Третий этап. На предыдущем шаге были определены ЭТЕ и связанный с ними набор дискурсных маркеров, которые являются входными данными для данного этапа – этапа определения риторических отношений. Алгоритм пробегает по всем ЭТЕ и для каждого маркера строит дизъюнктивное множество отношений, о которых сигнализирует текущий маркер. Дизъюнктивное множество отношений является исключающим, так как любое отношение из него может быть использовано только один раз. Допустим, к примеру, что алгоритм обрабатывает i-ю единицу из последовательности и что она содержит маркер, который сигнализирует о риторическом отношении, связывающем текущий элемент с элементом ДО, являющимся сателлитом. Тогда результатом будет декартово произведение {i, i + 1, …, i + Dist_sal(m)} × {i – Max(m), i – Max(m) + 1, ..., i – 1}, где Dist_sal(m) означает поле «Distance to salient unit», полученное из корпуса, а Max(m) – поле «Clause distance», если элементами отношения являются части предложений, и «Sentence distance» – если элементами отношения являются предложения. Графическое представление этих пар элементов показано на рис. 1 (пары разделены пунктирной линией). Алгоритм автоматически строит дизъюнктивные гипотезы из множества всех пар декартова произведения. Входными данными являются набор ЭТЕ и список соответствующих дискурсных маркеров, а выходными – список дизъюнктивных отношений, которые лежат между ЭТЕ. Наличие дизъюнктивных отношений связано с тем, что не всегда ключевая фраза может однозначно сигнализировать об одном риторическом отношении. 27
Page 1 and 2: 7’2008 Известия СПбГ
Page 3 and 4: РАДИОЭЛЕКТРОНИКА И
Page 5 and 6: Тогда k E( z, t) = exE e ,
Page 7 and 8: (f 2 = 16.8 ГГц) выражен
Page 9 and 10: сферических резона
Page 11 and 12: новная мода, формир
Page 13 and 14: ФИЗИКА ТВЕРДОГО ТЕ
Page 15 and 16: v 3 1 р , мкм/мин 0.12 0.10
Page 17 and 18: 0 100 мкм 0 100 мкм а Рис
Page 19 and 20: ИНФОРМАТИКА, УПРАВ
Page 21 and 22: Сеть собирается из
Page 23 and 24: шей степени паралл
Page 25: АВТОМАТИЗАЦИЯ И УП
Page 29 and 30: Обстоятельство Про
Page 31 and 32: • S(l, h, tree (...), R lh ) ра
Page 33 and 34: Рассмотрим пример
Page 35 and 36: ЭЛЕКТРОТЕХНИКА УДК
Page 37 and 38: Получить простые р
Page 39 and 40: Заводом-изготовите
Page 41 and 42: В качестве регулят
Page 43 and 44: сопротивлениями R f
Page 45 and 46: функции L s1 (f) на выс
Page 47 and 48: Токи в роторе по ос
Page 49 and 50: ток, n - частота вращ
Page 51 and 52: Таблица 2 Влияние п
Page 53 and 54: ПРИБОРОСТРОЕНИЕ И
Page 55 and 56: технику доставки и
Page 57 and 58: Излучение лазера п
Page 59 and 60: УДК 681.883.67.001.24 С. И. К
Page 61 and 62: биться довольно су
Page 63 and 64: БИОТЕХНИЧЕСКИЕ СИС
Page 65 and 66: P P 1 Рис. 2 1 3 2 4 5 Рис. 3
Page 67 and 68: СОВРЕМЕННЫЕ ТЕХНОЛ
Page 69 and 70: Поддерево «Получен
Page 71 and 72: нову предметной он
Page 73 and 74: ЭКОНОМИКА И МЕНЕДЖ
Page 75 and 76: Следует отметить, ч
Page 77 and 78:
Но вернемся к отече
Page 79 and 80:
УДК 658.562:65.012.226 ПРОЦ
Page 81 and 82:
доставляемых услуг
Page 83 and 84:
гулирования качест
Page 86 and 87:
Деятельность и про
Page 88 and 89:
ИСТОРИЯ НАУКИ, ОБРА
Page 90 and 91:
общества Русских э
Page 92 and 93:
«Telefunken», позже их с
Page 94 and 95:
ГУМАНИТАРНЫЕ НАУКИ
Page 96 and 97:
шесть раз больше, ч
Page 98 and 99:
к внедрению, внедря
show all

2008(â7) - Ð¡Ð°Ð½ÐºÑ-ÐÐµÑÐµÑÐ±ÑÑÐ³ÑÐºÐ¸Ð¹ Ð³Ð¾ÑÑÐ´Ð°ÑÑÑÐ²ÐµÐ½Ð½ÑÐ¹ ...

Create successful ePaper yourself

Delete template?

Save as template?

2008(â7) - Ð¡Ð°Ð½ÐºÑ-ÐÐµÑÐµÑÐ±ÑÑÐ³ÑÐºÐ¸Ð¹ Ð³Ð¾ÑÑÐ´Ð°ÑÑÑÐ²ÐµÐ½Ð½ÑÐ¹ ...