Le résumé automatique de textes - LaLIC - Université Paris-Sorbonne

Chapitre 3 : L’annotation discursive à partir d’EXCOM
psychologie, etc.) issus de la base d’articles en ligne de l’Institut Jean Nicod. Nous
faisons ces remarques tout simplement pour informer le lecteur que les ressources qui
vont être exploitées ici ne se sont pas élaborées uniquement dans le cadre restreint des
corpus que nous retenons ici pour l’évaluation. Les ressources ont été généralisées le
plus possible pour ne pas les faire dépendre d’un corpus, la validation va nous permettre
de vérifier si ce choix convient bien.
Protocole
Notre protocole consiste en un calcul sur chaque texte des valeurs de précision et
de rappel pour chaque catégorie discursive intervenant dans l’annotation ainsi que pour
l’ensemble de toutes les catégories intervenantes. Rappelons comment sont calculés les
taux de précision et de rappel mis dans le cadre de notre évaluation :
a : Nombre d’annotations correctes attribuées automatiquement.
b : Nombre d’annotations attribuées automatiquement
c : Nombre d’annotations correctes attribuées manuellement
Précision (%) = (a / b) * 100
Rappel (%) = (a / c) * 100
Le calcul du rappel nécessite donc d’avoir annoté manuellement les vingt textes
avec les mêmes catégories discursives qui ont été lancées automatiquement sur les
textes.
Nous ferons remarquer un point important de l’évaluation qui porte sur
l’annotation manuelle des vingt textes. Nous avons annoté uniquement les segments
comportant des marques linguistiques explicites pouvant justifier la valeur discursive
qu’on leur affecte. Nous considérons que cette approche est assez objective et peu
soumise au jugement de celui qui annote, en raison de la présence d’indices matériels
communément admis comme étant associés à des fonctions textuelles précises
(représentatives de catégories discursives). Une annotation sans référence à des marques
247