Le résumé automatique de textes - LaLIC - Université Paris-Sorbonne

Chapitre 3 : L’annotation discursive à partir d’EXCOM
Nous allons premièrement commenter les résultats quantitatifs obtenus puis nous
analyserons d’une manière qualitative les phénomènes de silence et de bruit (par rapport
aux valeurs de rappel et de précision).
Nous obtenons des résultats majoritairement satisfaisants dans le rappel comme
dans la précision. La majorité des catégories ont un rappel supérieur à 70% et une
précision supérieure à 75%, deux catégories ont un rappel inférieur à 50% (40%) et
seulement trois sont inférieures à 70% pour la précision (aucune n’est inférieure à 60%).
Ces résultats sont à juger en fonction des problèmes linguistiques et de traitements
auxquels nous sommes confrontés et que nous considérerons dans la suite de cette
partie. Cela montre toutefois bien la difficulté, même en présence de marques de
surface, de pouvoir annoter automatiquement avec fiabilité des textes, que pourtant
nous, humains, nous analysons assez aisément.
Dans le cadre de la fouille de textes, l’objectif n’est pas d’annoter la totalité du
texte, seulement une partie pouvant être pertinente. On cherche à fournir aux utilisateurs
des segments, bien sûr pertinents par rapport à leurs requêtes, mais aussi fiables quant à
leur annotation. Par conséquent, la qualité des valeurs de précision nous semble ici plus
fondamentale que celle du rappel. Toutefois, en prenant en compte ce choix en faveur
de la précision dans la construction préalable des ressources (par l’élimination de
marqueurs peu fiables par exemple), les valeurs de précision pour l’ensemble des textes
sont accompagnées de valeurs assez proches pour le rappel (malgré tout un peu plus
faible en moyenne). Ceci montre que le choix de l’une ne semble pas avoir altéré
significativement les résultats de l’autre même si ce choix a agi comme même (nous
allons l’expliquer).
En ce qui concerne les catégories prises séparément, des variations significatives
entre les valeurs expriment la nature différente des marques linguistiques appartenant à
chacune d’elles. Certaines catégories, comme les reformulations, les conclusions, ou
encore les hypothèses, disposent de marques relativement fiables et en nombre limité
(par exemple l’indicateur nous supposons renvoie avec une grande certitude à une
hypothèse de l’auteur), tandis que d’autres catégories, comme les méthodes ou même
les présentations thématiques, renferment des marques plus indéterminées et plus
dépendantes du contexte textuel ce qui rend plus difficile la constitution des ensembles
de marques de ces catégories (par exemple, nous allons voir est un indicateur faible
dans le cas des présentations thématiques et nécessitent une exploration contextuelle, or
250