Le résumé automatique de textes - LaLIC - Université Paris-Sorbonne

Chapitre 5 : Evaluation et bilan de la tâche de résumé automatique
sélectionnées également par des humains, conditions liées à la bonne application d’une
tâche impliquée par le résumé (questions-réponses…), etc. Il devient alors très difficile
de juger qu’un élément de référence est meilleur qu’un autre. Les éléments de référence
sont conditionnés par la subjectivité dépendante de nombreux paramètres des sujets
humains qui servent généralement de producteurs de ces éléments de référence. Si l’on
prend le cas des résumés humains comme référence pour une évaluation, qu’ils soient
construits par abstraction ou par extraction, ils peuvent être très variables dans les deux
cas, et cela est d’autant plus remarquable que, dans le cas des résumés par extraction
produits par des humains, le taux de recouvrement est relativement faible, surtout si l’on
augmente le nombre de sujets. Par exemple, [IBM 1962] ont montré dans une
expérience qu’ils ont menée que six sujets humains ont en moyenne 1,6 phrases en
commun sur des résumés par extractions de 20 phrases qu’ils construisent à partir de
textes. Il en est de même lorsque l’on demande à des sujets de choisir les segments
(phrases ou paragraphes) les plus pertinents d’un texte en les ordonnant, puisque la
pertinence peut dépendre de l’intérêt que peut porter le sujet sur tel thème, dépendre des
conditions initiales qui sont demandées aux sujets, etc. Toutefois, les études sur
l’évaluation de résumés produits automatiquement sont très actives, et elles tentent de
parvenir par différentes façons à une évaluation juste des systèmes de résumé
automatique. On dégage ainsi deux grands courants d’évaluation, qui regroupent pour le
premier les méthodes intrinsèques et pour le second les méthodes extrinsèques. Nous
allons les décrire brièvement pour en donner un aperçu préalable, avant d’exposer notre
propre évaluation. Nous renvoyons le lecteur à différents articles pour un
approfondissement de ce domaine qu’est l’évaluation de résumés ([Mani 1998], par
exemple).
1.1.2. Les méthodes intrinsèques
Les méthodes intrinsèques ont pour objectif d’évaluer les résumés machines
d’après leurs propriétés et leur contenu. On peut ainsi évaluer les résumés produits par
abstraction comme par extraction à travers leur lisibilité, notamment à partir de
l’énumération du nombre de relations anaphoriques « brisées », ou à partir d’autres
problèmes de cohésion. Ce premier type de méthode est particulièrement utile pour
vérifier la bonne lisibilité des résumés, cette lisibilité étant nécessaire pour répondre
298