Le résumé automatique de textes - LaLIC - Université Paris-Sorbonne

Chapitre 5 : Evaluation et bilan de la tâche de résumé automatique
Chapitre 5 : Evaluation et bilan de la tâche de
résumé automatique
1. EVALUATION DU RÉSUMÉ AUTOMATIQUE À PARTIR D’EXCOM.................................. 297
1.1. L’ÉVALUATION DE RÉSUMÉS PRODUITS AUTOMATIQUEMENT ............................................ 297
1.1.1. Présentation .............................................................................................................. 297
1.1.2. Les méthodes intrinsèques......................................................................................... 298
1.1.3. Les méthodes extrinsèques ........................................................................................ 299
1.1.4. Conclusion................................................................................................................. 300
1.2. 1ÈRE ÉVALUATION ............................................................................................................. 301
1.2.1. Présentation du protocole ......................................................................................... 301
1.2.2. Analyse des résultats ................................................................................................. 302
1.3. 2ÈME ÉVALUATION............................................................................................................. 306
1.3.1. Présentation du protocole ......................................................................................... 306
1.3.2. Analyses des résultats................................................................................................ 307
2. BILAN ET REMARQUES................................................................................................................ 311
2.1. BILAN GLOBAL DES DEUX ÉVALUATIONS ........................................................................... 311
2.2. INTÉRÊT DE NOTRE APPROCHE PAR ANNOTATION DISCURSIVE AUTOMATIQUE................... 313
2.2.1. Annotation par la méthode d’exploration contextuelle ............................................. 313
2.2.2. Concordances avec certaines opérations et stratégies cognitives............................. 315
2.2.3. Indépendance par rapport au domaine ..................................................................... 317
2.2.4. Catégorisation discursive des informations textuelles .............................................. 318
Dans ce chapitre, nous commencerons par expliquer en quoi consiste l’évaluation
dans le domaine du résumé automatique, en présentant brièvement ses principales
méthodes. Nous passerons ensuite à l’analyse de deux évaluations qui permettront de
positionner des résumés produits selon notre approche, comparativement à d’autres
élaborés par des humains ou des logiciels professionnels. Enfin, nous ferons le bilan de
ces deux évaluations, et nous conclurons ainsi en insistant sur certains avantages de
notre approche par rapport à d’autres, en fournissant quelques éléments importants qui
les justifieront.
296