Le résumé automatique de textes - LaLIC - Université Paris-Sorbonne

Chapitre 3 : L’annotation discursive à partir d’EXCOM
linguistiques dans un segment textuel, c’est-à-dire sans indices ou justification
matérielle, est beaucoup plus soumise à l’appréciation du sujet qui annote. Ici,
l’évaluation consiste effectivement à évaluer notre approche de l’annotation qui repose
uniquement sur le repérage de traces en surface dans les textes. Nous évaluons bien ce
que le système annote par rapport à ce qu’il pourrait annoter théoriquement par une
analyse de surface, c’est-à-dire par rapport à des segments où il y a la présence de
marques linguistiques plus ou moins ambiguës et associées aux catégories discursives
que nous recherchons. La prise en compte des segments ne comportant pas d’indices
matériels pour justifier leurs valeurs discursives serait intéressante dans le cadre d’une
évaluation plus générale des systèmes reposant sur la recherche de marques, car elle
permettrait de montrer les limites de leur approche. Cependant ceci sort du cadre de
notre travail, et nous ne cherchons pas à montrer de telles limites qui dépendent de trop
nombreux paramètres.
5.2. Résultats
Nous présentons dans les tableaux 4 et 5 qui suivent les taux de rappel et de
précision calculés sur l’ensemble des textes et en fonction des catégories discursives
(nous renvoyons à l’annexe 2 pour le détail des valeurs de chaque texte ; par ailleurs, la
catégorie des conséquences n’a pas été retenue ici à cause de sa trop grande fréquence,
ce qui n’avait plus de pertinence 50 ). Notons que ce sont des moyennes générales sur le
nombre d’occurrences totales dans les 20 textes.
La variation des valeurs de rappel et de précision d’un texte à un autre est dans
certains cas relativement importante. En effet, ceci traduit la très grande variabilité de
formes que prennent les textes même dans un corpus commun. Chaque texte étant
différent (par son thème, son style, sa stratégie discursive et argumentative, etc.), les
marques de surface sont rarement les mêmes d’un texte à un autre, et on ne peut
observer dans aucun cas une convergence des valeurs d’un texte à un autre autour de
seuils.
50 Il aurait fallu ne prendre en compte que certains types de conséquences moins fréquentes (et plus
pertinentes dans notre étude) comme celles en rapport direct avec le document en cours (En conséquence,
cet article…), cependant cela aurait compliqué la validation.
248