Le résumé automatique de textes - LaLIC - Université Paris-Sorbonne

Chapitre 5 : Evaluation et bilan de la tâche de résumé automatique
correctement à leur fonction communicative, mais cette méthode ne permet toutefois
pas de valider l’apport informatif et la pertinence de leur contenu. Un résumé peut ainsi
être très bon du point de vue de sa lisibilité, sans problèmes de cohésion ni de
cohérence, mais totalement insuffisant pour ce qui est de l’apport informatif de son
contenu. Par ailleurs, une autre catégorie de méthodes intrinsèques consiste à comparer
les résumés machines à des données attendues en sortie, telles qu’un ou plusieurs
résumés de référence, ou encore des phrases pertinentes choisies par des sujets humains
devant être contenues dans le résumé. On utilise pour cela un ensemble d’outils
d’estimation, comme les taux de précision ou de rappel, qui permettent d’analyser de
manière quantitative les résumés machines aux données de références. Le calcul de ces
valeurs quantitatives, effectué sur la base de comparaison entre le résumé machine et les
données de référence, peut être automatisé. Cette automatisation permet alors un gain de
temps considérable dans la phase d’évaluation d’un système. Enfin, une autre grande
catégorie de méthodes intrinsèques évalue les résumés machines en prenant en compte
les textes qui sont à la source du traitement. La pertinence et l’apport informatif d’un
résumé sont alors évalués en rapport avec le texte source et non pas sur des éléments de
référence choisis arbitrairement, comme dans les méthodes précédentes.
1.1.3. Les méthodes extrinsèques
Les méthodes extrinsèques cherchent à évaluer un résumé en fonction de l’utilité
et de la capacité qu’il apporte à effectuer certaines tâches. A la suite de la lecture d’un
résumé par un sujet, on demande à ce dernier d’exécuter certaines tâches à partir de
celui-ci dans l’objectif de voir comment seront affectées ces exécutions suivant la
qualité du résumé. Il faut ainsi dans ce type d’évaluation proposer des tâches dont la
bonne réalisation dépend de la bonne construction du résumé, aussi bien dans sa forme
que dans son contenu. Bien souvent, un type de tâche que l’on demande au lecteur du
résumé est de répondre à certaines questions en rapport avec le texte source. Un résumé
est alors considéré comme efficace s’il permet à son lecteur de répondre aussi bien au
questionnaire que d’autres lecteurs qui ont lu le texte source, ou que s’il avait le texte
source en libre consultation. Par exemple, si un résumé indicatif ou informatif construit
à un taux de 10% permet de répondre à un ensemble de questions qui couvrent 80% du
sujet traité dans le texte, la qualité de celui-ci est très bonne puisqu’il satisfait de
299