Le résumé automatique de textes - LaLIC - Université Paris-Sorbonne

Chapitre 5 : Evaluation et bilan de la tâche de résumé automatique
A la suite de la construction des extraits par les étudiants, nous obtenons pour le
recouvrement entre chaque extrait d’un même texte un taux moyen de 33,12%.
Globalement dans notre étude, deux étudiants résumant un même texte sont en accord
environ pour une phrase sur trois parmi celles qu’ils ont sélectionnées. Nous trouvons
ainsi une valeur moyenne qui semble rester en accord avec les résultats généralement
obtenus dans ce type d’étude.
A côté de ces résumés construits par les étudiants, nous constituons sur les mêmes
textes l’ensemble des résumés produits automatiquement, à partir de notre approche
présentée précédemment, mais aussi à partir de trois applications de résumé
automatique que nous retenons 61 . Ces trois applications correspondent à des logiciels
professionnels offrant une fonction de résumé automatique sur les textes en français. Le
premier correspond au résumeur AutoSummarize de l’entreprise Microsoft fournit dans
le logiciel Word (méthode Document.AutoSummarize version 2005), le second
Copernic Summarizer de l’entreprise Copernic, et le dernier SubjectSearchSummarizer
(SSSum) de Kryloff Technologies 62 .
1.2.2. Analyse des résultats
A partir de ces deux ensembles de résumés produits par extraction, l’un par des
sujets humains, l’autre par des systèmes logiciels, nous pouvons alors calculer et
commenter un certain nombre de résultats (nous renvoyons le lecteur à l’annexe 3 pour
la consultation de tous les extraits, humains et machines, produits lors de cette
évaluation).
Nous calculons alors en fonction des extraits de référence les valeurs de précision
de chaque résumé produit automatiquement. La précision correspond au rapport du
nombre de phrases d’un extrait qui est retenu par un sujet humain sur le nombre de
61 Ces trois applications de résumé automatique correspondent à celles qui nous étaient disponibles lors
des deux évaluations, et aussi qui fonctionnaient correctement sur des textes français (certains n’étant pas
encore fiables dans cette langue).
62 Nous renvoyons au chapitre 2 pour une présentation plus détaillée de ces logiciels de résumé
automatique.
302