Le résumé automatique de textes - LaLIC - Université Paris-Sorbonne

Chapitre 5 : Evaluation et bilan de la tâche de résumé automatique
2. Bilan et remarques
2.1. Bilan global des deux évaluations
Nous allons essayer ici de tirer certaines conclusions qui peuvent découler de
l’analyse commune des deux évaluations.
La première évaluation nous a permis de comparer les contenus de chaque
résumé, alors que dans la seconde, les étudiants ont analysé principalement la cohérence
et la cohésion de chaque résumé, et moins la pertinence des informations qui pouvaient
être à l’intérieur. Effectivement, si on reprend les valeurs de précision et les deux
valeurs de rappel (sur l’union et l’intersection) obtenues lors de la première évaluation
comparativement à des résumés humains (voir les tableaux 9, 10 et 11 ci-dessous), la
variation de ces valeurs entre les résumés logiciels est considérable, pour la précision
comme pour le rappel. Notre application a produit des résumés qui ont une précision et
un rappel bien supérieurs dans certains cas à Copernic Summarizer, et surtout à
AutoSummarize, or ces fortes variations ne sont pas apparues distinctement dans la
deuxième évaluation. Encore une fois, les étudiants se sont beaucoup plus attachés dans
la deuxième évaluation à estimer la cohérence et la cohésion des résumés à partir d’une
lecture normale, sans faire garde aux informations pertinentes qui auraient pu s’y
trouver et qui auraient pu mieux distinguer les résumés. Il semble ainsi qu’il n’ait pas
été facile pour les étudiants de bien noter et différencier les résumés ce que révèlent les
écarts de résultats en moyenne peu importants. De plus dans la majorité des cas, les
étudiants n’ont pas été unanimement d’accord pour noter de la même façon un résumé.
Tout cela montre bien que les étudiants se sont attachés à des aspects difficiles à évaluer
(cohérence, cohésion, etc.) pour de tels résumés. Effectivement, tous les résumés étant
ici produits par extraction (logiciels et humain), ils font apparaître naturellement de
nombreux problèmes de cohérence et de cohésion qui masquent au lecteur dans
l’évaluation une partie de l’apport informatif du contenu des résumés. Cette constatation
montre l’importance que peut avoir pour un lecteur la texture des résumés produits
automatiquement. La bonne composition des résumés en informations pertinentes
(d’après la première évaluation) n’assure pas forcément toujours de bons résultats dans
311