Mémoire (.pdf) - Université Paris 8

DESS HANDINouvelles Technologies et Handicaps Sensorimoteurs« Etude croisée en linguistique et en traitement d’image.Application à un corpus de LSF. »MARTIN EmilieDirectrice de stage : Braffort AnneliesEntreprise : Laboratoire LIMSI / CNRSLieu du stage : Université Paris-Sud, OrsayCoordonnateur:J. LOPEZ KRAHE Paris, Septembre 20051

Table des matièresREMERCIEMENTS ............................................................................................................................................ 4INTRODUCTION................................................................................................................................................. 5CHAPITRE 1- PRESENTATION GENERALE................................................................................................ 7I) LE LIMSI / CNRS ........................................................................................................................................... 71) Présentation du laboratoire ................................................................................................................. 7a) Le CNRS.......................................................................................................................................................... 7b) Le LIMSI ......................................................................................................................................................... 7c) Organigramme ................................................................................................................................................. 8II) L’EQUIPE « GESTE »....................................................................................................................................... 91) Présentation de l’action thématique .................................................................................................... 92) Les projets en cours ............................................................................................................................. 9a) Les projets actuels............................................................................................................................................ 9b) Les projets les plus récents............................................................................................................................. 11CHAPITRE II- LE PROJET LS-COLIN ........................................................................................................ 12I) PRESENTATION .............................................................................................................................................. 12II) L’ACTION LS-COLIN .................................................................................................................................. 121) Objectifs ............................................................................................................................................. 122) Réalisation du corpus......................................................................................................................... 13a) Caractéristiques principales ........................................................................................................................... 14b) Conditions techniques.................................................................................................................................... 14c) Les locuteurs.................................................................................................................................................. 16d) Les supports d’images et consignes ............................................................................................................... 16e) Système de transcription ................................................................................................................................ 193) Le travail de transcription ................................................................................................................. 24CHAPITRE III – THEORIES LINGUISTIQUES SUR LA LSF................................................................... 25I) TYPOLOGIE DES GESTES................................................................................................................................. 251) Continuum de Kendon........................................................................................................................ 252) Classification de McNeill................................................................................................................... 26II) LANGUES DES SIGNES ET ICONICITE.............................................................................................................. 271) Notions fondamentales....................................................................................................................... 272) Iconicité ............................................................................................................................................. 28III) NON PRISE EN COMPTE DE L’ICONICITE DANS LA LANGUE DES SIGNES ........................................................ 28IV) THEORIE DE CUXAC.................................................................................................................................... 291) Le modèle........................................................................................................................................... 29a) La visée illustrative ........................................................................................................................................ 31b) Visée non illustrative ..................................................................................................................................... 33c) Apports du modèle......................................................................................................................................... 34CHAPITRE IV- TRAVAIL REALISE ............................................................................................................. 35I) OBJECTIFS DE TRAVAIL.................................................................................................................................. 351) Définition du sujet.............................................................................................................................. 352) Contexte ............................................................................................................................................. 35a) Thèse de Marie-Anne Sallandre..................................................................................................................... 35b) Thèse de Ryan Cassel .................................................................................................................................... 38II) LES VIDEOS .................................................................................................................................................. 40III) L’ANNOTATION........................................................................................................................................... 411) Choix du logiciel................................................................................................................................ 41a) Présentation.................................................................................................................................................... 41b) Choix des pistes ............................................................................................................................................. 43c) Le fichier de spécification.............................................................................................................................. 442) Explication détaillée du fichier XML ................................................................................................. 44a) Les valeurs ..................................................................................................................................................... 45b) Les pistes ....................................................................................................................................................... 46c) Aperçu sous ANVIL ...................................................................................................................................... 482

IV) LES DONNEES NUMERIQUES........................................................................................................................ 48CHAPITRE V- ANALYSES .............................................................................................................................. 51I) FAUX POSITIFS............................................................................................................................................... 51II) « STYLE D’EXPRESSION EN LSF »................................................................................................................ 511) Objectif............................................................................................................................................... 512) Résultats............................................................................................................................................. 51III) ANALYSE DES STRUCTURES HORS VISEE ILLUSTRATIVE.............................................................................. 531) Hypothèses de départ......................................................................................................................... 532) Résultats :........................................................................................................................................... 54a) Recueil des données....................................................................................................................................... 54b) Nature des entités repérées............................................................................................................................. 56c) Récurrence des courbes.................................................................................................................................. 59IV) ANALYSES DES STRUCTURES DE GRANDE ICONICITE (SGI)......................................................................... 601) Objectifs ............................................................................................................................................. 602) Résultats............................................................................................................................................. 62a) Type de transferts détectés............................................................................................................................. 62b) Prise de vue.................................................................................................................................................... 62c) Récurrence des courbes.................................................................................................................................. 63d) Transferts et courbes ...................................................................................................................................... 64e) Bilan............................................................................................................................................................... 64CHAPITRE VI- CONCLUSIONS..................................................................................................................... 65I) PERSPECTIVES ............................................................................................................................................... 65II) LES APPORTS PROFESSIONNELS .................................................................................................................... 66III) LES APPORTS PERSONNELS.......................................................................................................................... 66BIBLIOGRAPHIE.............................................................................................................................................. 68ANNEXE A : LES SUPPORTS DE RECITS IMAGES.................................................................................. 70ANNEXE B : LISTE DES ABREVIATIONS................................................................................................... 72ANNEXE C : GRILLE DE TRANSCRIPTION ET D’ANALYSE................................................................ 74ANNEXE D : EXEMPLES CONCRETS DE STRUCTURES DISCRETES................................................ 76ANNEXE E : EXEMPLES CONCRETS D’UTILISATION DE SGI............................................................ 77ANNEXE F : RESULTATS BRUTS DU CORPUS LS-COLIN, RECITS DU CHEVAL ........................... 80ANNEXE G : REPARTITION PAR LOCUTEUR DES POURCENTAGES PAR VISEES, DISCOURSDU CHEVAL....................................................................................................................................................... 813

RemerciementsJe souhaite tout d’abord remercier Madame Annelies Braffort qui m’a permis d’effectuer cestage au sein du laboratoire du LIMSI / CNRS mais également pour son soutien, sa confianceet l’autonomie qu’elle m’a octroyée.Je remercie également Monsieur Jaime Lopez-Krahe mon directeur de DESS.Mes remerciements se tournent également vers tous les membres de l’équipe Geste qui m’ontfait partager leurs connaissances et leurs travaux dans les domaines de l’informatique et de laLSF.Je tiens à remercier tout particulièrement Monsieur Jérémie Segouat, pour son encadrement,l’aide qu’il m’a apportée et surtout pour sa grande patience.Un grand merci à Mademoiselle Marie-Anne Sallandre, maître de conférence en linguistiqueà Paris 8, pour son aide et ses réponses à mes multiples questions de tout ordre. La lecture desa thèse m’a beaucoup appris.Mes remerciements vont également à Mr Ryan Cassel, doctorant en traitement d’image auLIMSI avec qui j’ai pu mener à bien ce travail.Je remercie également les membres du LIMSI pour leur aide et leur bonne humeur,Guillaume, Thomas, Antoine, Nicolas (les deux), Cyril et Alexandre.4

IntroductionMon stage au sein du LIMSI s’est déroulé du 15 mars au 9 septembre 2005, sur lecampus d’Orsay dans l’Essonne.L’objectif du stage était d’étudier le corpus LS-COLIN en reprenant les différentescatégories de structures de la LSF, mises en exergue dans la thèse de Marie-AnneSallandre, Maître de conférence à l’Université de Paris 8 et en travaillant égalementen collaboration avec Ryan Cassel, doctorant en traitement d’image au LIMSI.Il s’agissait donc d’annoter le corpus vidéo de LSF, à l'aide d’un logiciel spécifique(ANVIL), avec deux types d’annotations :- des annotations linguistiques extraites de la thèse de Marie-Anne Sallandre- des annotations numériques, fournies par Ryan Cassel.L’hypothèse de travail visait à montrer si le traitement d’image pouvait détecterautomatiquement des phénomènes linguistiques ou non.Dans cette logique, mon rapport se compose de six grandes parties.La première partie consiste à présenter de manière générale le laboratoire d’accueil,ainsi que l’action thématique dans laquelle j’ai été intégrée.La seconde partie fournit une description du projet LS-COLIN, son objectif, laréalisation du corpus et le mode de transcription.Dans la troisième partie, il s’agit de dresser de façon succincte et non exhaustive uneliste des grandes théories linguistiques de la LSF et plus précisément la théorie deC.Cuxac sur l’iconicité de la Langue des Signes Française.La quatrième partie présente mon travail au sein du LIMSI, l’objectif de travail, lechoix du logiciel, les méthodes utilisées.Dans une cinquième partie, je rends compte des différents résultats de mes analyses,en essayant de répondre aux hypothèses émises.5

Dans la dernière partie, je traite des conclusions générales telles que les perspectives,les apports professionnels qu’a pu fournir mon travail au laboratoire mais égalementles apports personnels d’un tel stage.6

Chapitre 1- Présentation généraleI) Le LIMSI / CNRS1) Présentation du laboratoirea) Le CNRSLe CNRS (Centre National de Recherche Scientifique) est un établissement publicnational à caractère scientifique et technologique, doté de la personnalité civile etl’autonomie financière. Il est placé sous la tutelle du Secrétaire d’état de la Recherche.Crée en 1939, il est issu de la transformation et de la fusion progressive d’organismescrées depuis le début du siècle et consacrés à la recherche fondamentale et à larecherche appliquée. Il a connu un essor important dès 1959.Premier organisme français de recherche fondamentale, le CNRS couvre l’ensembledes domaines de la science. Il est composé de différentes unités de recherches,propres et associées, réparties sur l’ensemble du territoire français. Le CNRS secompose du CNRS proprement dit et de deux instituts nationaux : l’INAG (InstitutNational de l’Astronomie et de la Géophysique) et l’IN2P3 (Institut National dePhysique Nucléaire et de Physique des Particules).Le plateau du Moulon est l’une des plaques tournantes de la recherche dans la régionparisienne. En effet, sur ce site on trouve l’Université de Paris Sud (Orsay), Supélec,l’école Polytechnique, SupOptique, des centres de recherches : INSERM, INRA, CEAet CNRS.b) Le LIMSILe LIMSI (Laboratoire d’Informatique pour la Mécanique et la Science de l’Ingénieur)est une Unité Propre de Recherche du CNRS, associée aux universités Pierre et Marie7

Curie (Paris-6) et Paris Sud (Paris-11). Il mène des recherches pluridisciplinaires enMécanique et Energétique et en Sciences et Technologies de l'Information et de laCommunication, couvrant un large spectre disciplinaire allant du "thermodynamiqueau cognitif", en passant par la mécanique des fluides, l'énergétique, l'acoustique et lasynthèse vocale, le traitement de la langue parlée et du texte, la vision, la réalitévirtuelle et le geste.Le LIMSI est structuré en deux départements « Mécanique-Energétique » et« Communication-Homme-Machine » qui sont eux-mêmes composés de plusieursgroupes de recherche. Il compte en permanence 300 personnes environ, toutesactivités confondues.c) Organigramme8

II) L’équipe « Geste »1) Présentation de l’action thématiqueL'action thématique Geste du département Communication Homme Machine duLIMSI, a été créée en mai 2004. Ses activités de recherches sont essentiellementconsacrées au traitement des données gestuelles 3d (corps, bras et mains, visage etregard), à leur analyse, leur compréhension et leur génération automatique.La spécificité de son approche est de considérer simultanément les aspects langage etimage, abordés à tous les niveaux (traitement bas niveau, lexique, syntaxe,sémantique). Côté langue, elle s'intéresse à la Langue des Signes Française (LSF) etaux gestes coverbaux. Côté « langage », elle s'intéresse aux gestes sportifs et auxgestes de commande de type IHM. Côté image, elle s'intéresse aux informationsspatio-temporelles véhiculées par les gestes et à leur iconicité.2) Les projets en coursParmi les différents sujets traités par l’équipe, on trouve des études portant sur :- les représentations sémantiques, pour modéliser les aspects spatiaux de la LSFou pour proposer des modèles de haut niveau, pour une génération automatiquede séquences,- l'annotation de corpus vidéo de LSF et la réalisation d'un logiciel d'annotationincorporant des modules de traitement d'images et de représentations spatiales,en collaboration avec l'IRIT et Paris 8,- l'animation d'avatars signants, par des techniques de capture de mouvement,d'import d'animation en 3d et de programmation.a) Les projets actuelsReconnaissance et interprétation de gestes- reconnaissance de gestes bi-manuels, pour la LSF et la RV.9

Reconnaissance de gestes bi-manuels- reconnaissance de séquences de gestes sportifs (trampoline).Représentations des connaissances- projet RIAM LS-Script : formes graphiques de la LSF.- analyse sémantico-cognitive d’énoncés en LSF, pour une générationautomatique de séquences gestuelles.Annotation de corpus vidéo- réalisation d'un logiciel d'annotation de corpus vidéo de LS incorporant descomposants de traitement d'images et de représentations spatiales, encollaboration avec l'IRIT et Paris 8 (suite du projet LS-COLIN et de l'AS-IG).Suivi du regard10

Animation d'avatarOCTOPUS : plate-forme d'animation d'humains virtuels :- la capture du mouvement des deux mains/bras, pour l'animation en RV et enLSF (gants numériques, capteurs de positions),- la programmation de différents types d’expressions du visage.- l'import d'avatars et d'animations au format 3dsAnimation d’avatarb) Les projets les plus récents- AS-IG : Action Spécifique STIC "Interaction Gestuelle".- LS-COLIN : "Langues des Signes - COgnition, Linguistique, INformatique"Elaboration d'un corpus de Langue des Signes Française (LSF) en vue d'étudespluridisciplinaires.11

Chapitre II- LE PROJET LS-COLINUn des projets récemment terminés a initié la collaboration entre chercheurs enlinguistique et en informatique dans le domaine de la LSF.I) PrésentationLe projet LS-COLIN : « Langues des signes : Analyseurs privilégiés de la faculté delangage ; apports croisés d’études linguistiques, cognitives et informatiques(traitement et analyse d’image) autour de l’iconicité et de l’utilisation de l’espace »est né en 1999 d’une Action Concertée Incitative (ACI) de recherche lancée par leMinistère de l’Education Nationale, de la Recherche et de la Technologie, appelée« Cognitique ». [Rapport final LS-COLIN, 2002]Le but de cette action était d’accompagner l’essor considérable des sciences de lacognition en encourageant des collaborations entre les diverses disciplinesconcernées : neurosciences, psychiatrie, psychologie, linguistique, philosophie,anthropologie, informatique, mathématiques, logique, robotique…Le projet LS-COLIN regroupe des équipes des universités de Paris 8 (Sciences duLangage), Paris 4 (CAMS-LaLIC) et Toulouse 3 (IRIT-TCI) et du CNRS (LIMSI). Laresponsabilité scientifique a été assurée par Christian Cuxac, linguiste, professeur àParis 8. Le projet a débuté au cours de l’année 2000 et s’est achevé à la fin de l’année2002.II) L’action LS-COLIN1) ObjectifsLes analyses linguistiques des langues des signes sont difficiles à mener à cause de latranscription linguistique et de l’étiquetage informatique des séquences vidéo.12

Effectivement, on se heurte à des difficultés spécifiques telles que la« quadridimensionnalité » (les trois dimensions de l’espace ajoutées au temps) dusupport et la simultanéité des paramètres sémiotiques (signes manuels, mimiquefaciale, regard, mouvements du corps et du visage).De plus, pour les chercheurs concernés par le traitement d’image, l’analyse desséquences vidéo des locuteurs en LS présente l’intérêt spécifique de se pencher surdes images véhiculant un sens explicite et produites en appliquant les règles d’unegrammaire.Ce projet, issu de la rencontre de ces disciplines, s’est réalisé en trois temps :- recensement des différentes démarches d’analyse d’un corpus de LS, desformalismes existants ainsi que des environnements informatiques les mettanten œuvre.- élaboration d’un corpus vidéo de locuteurs en LS sans précédent sur le planinternational, suffisamment vaste pour vérifier les hypothèses des linguistessur les langues des signes et pour un corpus de référence, utile à descommunautés scientifiques diverses.- création d’un éditeur de partition ajusté aux besoins des linguistes et desinformaticiens en tenant compte des différentes approches.2) Réalisation du corpusL’objectif principal de travail, était la réalisation d’un corpus vidéo ainsi qu’unéditeur de partition. Les travaux concernant la réalisation du corpus d’une part etceux concernant la réalisation de l’éditeur de partition ont été menés non pas enparallèle mais conjointement, l’une permettant l’avancée de l’autre et vice-versa.[Sallandre, 2003]13

a) Caractéristiques principalesIl s’agissait de permettre aux linguistes de mettre en évidence l’iconicité de la languedes signes et sa grammaire spatiale et d’apporter un support de qualité auxinformaticiens spécialisés dans le traitement d’image.Dans le cadre d’une convention avec l’INJS de Paris, en octobre 2001, précisant lestermes de locations des moyens matériels et humains, l’enregistrement a eu lieu sousla maîtrise des techniciens du studio Photo et Vidéo de l’INJS qui pratiquent la LSF.b) Conditions techniquesL’enregistrement s’est effectué en janvier 2002 à l’INJS de Paris avec d’une part lestechniciens du Studio Photo, d’autre part les équipes de Paris 8, du LIMSI et del’IRIT.Voici la configuration technique retenue pour la réalisation du corpus:- trois caméras numériques professionnelles, une de face en plan américain, unede face en contre-plongée située à 2m devant le locuteur et 0.75m de hauteur,la dernière au dessus du locuteur.- six projecteurs avec des réflecteurs de part et d’autre du locuteur pourminimiser les ombres.- un fond bleu, sur lequel les locuteurs sont tous vêtus d’un pull noir.14

Gros plan Plan américain Vue de dessusRéalisation du corpus avec les trois camérasLe studio d’enregistrement de l’INJS15

c) Les locuteursPour le recrutement des locuteurs, environ trente-cinq personnes de toute la Franceont été contactées, treize ont répondu positivement. De plus, neuf des treizepersonnes retenues avaient suivi pendant un an une formation en linguistique et enpédagogie de la LSF dispensées par les linguistes de Paris 8. De ce fait, leursconnaissances théoriques et pratiques en linguistique ont renforcé leur intérêt et leurmotivation pour le projet.Voici les données concernant les locuteurs :Informations générales sur les locuteurs*La latérisation indique si le locuteur est droitier (1), gaucher (2) ou ambidextre (1-2)Tous les locuteurs sont sourds de naissance, ils exercent pour une grande partied’entre eux, le métier de professeur de LSF, ils ont ainsi de très bonnes connaissancesmétalinguistiques et sont habitués à la caméra.d) Les supports d’images et consignesPour la réalisation de ce corpus, les linguistes ont présenté aux locuteurs deux récitsen images de genre narratif. Le texte narratif appelé aussi récit est une histoire quipeut être réelle ou fictive : récit d'aventures, récit historique, récit merveilleux... Il est16

aconté par un narrateur soit à la 1 ère (je) ou 3 ème personne (il, elle), selon qu'il est ounon impliqué dans le récit.Les deux récits sur images utilisés sont identiques sur différents points. En effet, ils’agit de récits courts (5 images pour le récit du cheval et 6 pour celui des oiseaux)représentés par des images toutes en noir et blanc d’une grande simplicité. Aucuntexte n’accompagne les dessins. Dans les deux récits, il s’agit d’actions entraînant desdéplacements comme par exemple « gambader, galoper, voler, tomber… »Différentes consignes ont été données :- raconter l’histoire en images du cheval- raconter l’histoire en images des oiseaux- s’exprimer sur l’un des deux sujets suivants : les évènements du 11 septembre2001 ou sur le passage à l’euro de 2002- expliquer sa recette de cuisine préférée- pour les locuteurs ayant suivi la formation en linguistique, choisir un thèmedu programme et l’expliquer à la manière d’un cours- raconter de nouveau l’histoire du chevalLe locuteur devait en permanence s’adresser à l’interlocuteur (le linguiste) se situantprès de la caméra principale. Le locuteur préparait sa prestation pendant vingtminutes et allait se faire filmé au studio. Un minimum de vingt minutes depréparation était nécessaire, pour prendre le temps de préparer l’histoire et de bien lamémoriser.Le total des enregistrements est d’environ six heures (deux heures par caméra)réparties en quatre-vingt-dix productions.17

Voici une synthèse des productions par locuteur :LocuteursTOTALdesproductionsRécitducheval1RécitdesoiseauxEuro Evénementsdu 11septembreRecettedecuisineLinguistiqueRécitducheval2TOTALKha 1+1 1+1 1+1 0 1 1 1 9Ste 1 1 0 1 1 1 1 6Jos 1 1 1 1 1 0 1 6Lau 1 1 1 1 1 0 1 6Nas 1 1 0 1 1 0 1 5Ant 1 1 1 1 1 0 1 6Nic 1 1 0 1+1 1 1 1 7Fre 1 1 1 1+1 1 1 1 8Vic 1+1 1 1 0 1 1 1 7Chr 1 1 1 0 1 1 1+1 7Jul 1 1 1 1+1(AZF) 1 0 1 7Hen 1+1 1 0 1+1 1 1 1 8Phi 1+1 1+1 1 1 1 0 1 817 15 10 13(+1) 13 7 14 90Synthèse des productions en LSFBilan :L’analyse linguistique de ce corpus en est encore à ses débuts mais le panel obtenudes productions en LSF est actuellement très satisfaisant et inédit en France. L’un desbuts à atteindre est la mise à disposition des données vers les communautésscientifiques diverses (informatique, linguistique, pédagogie de la LSF,psychologie…). Je tiens à préciser que ce corpus est réutilisable dans le cadre derecherches qu’elles soient ou non réalisées au sein du LIMSI.Cependant, avec le recul, les équipes du projet LS-COLIN ont pu remarquerquelques lacunes concernant ce corpus.Ils ont constaté qu’il manquait certaines informations concernant les locuteurs, plusprécisément l’âge et les conditions d’acquisition de la LSF. Ainsi, ces élémentsauraient pu constituer des données d’explication pour l’analyse des productions etauraient permis une meilleure reproductibilité du corpus. Prenons l’exemple de la18

égion d’origine du locuteur en particulier l’institution scolaire fréquentée quipermettrait de mieux comprendre le style langagier du locuteur. En effet, il existe desvariantes de lexicologie et de morphologie d’une institution de Sourds à une autre. Ilest toutefois possible pour les linguistes de Paris 8 de recueillir ces donnéesultérieurement.Une autre limite de l’enregistrement concerne le fait que le chercheur-locuteur (lapersonne qui interagissait en LSF avec le locuteur sourd tout au long du tournage)n’a pas été filmé (nécessitant l’ajout d’une caméra). Cela aurait permis d’obtenir deséléments d’informations sur l’interaction entre locuteur et interlocuteur.e) Système de transcriptionLorsque l’on s’intéresse à la langue des signes comme l’a fait l’équipe de LS-COLIN,il faut se poser la question de la transcription sur support papier des données vidéo.Il s’agit de garder une trace pour réaliser une analyse quantitative et qualitative de cequi a été filmé. A l’heure d’aujourd’hui, il existe trois types différents de systèmes detranscription : les systèmes d’écriture monolinéaire, les systèmes en partition, et leséditeurs multimédias associant vidéo et transcription.Description :Les systèmes d’écriture monolinéaire sont des systèmes de transcription classiquesbasés sur une décomposition linéaire des signes gestuels en différents paramètrescaractéristiques (configuration, orientation, mimique faciale, emplacement…) et uneécriture de leur forme signifiante par le biais de symboles. Cependant, ces systèmesposent la problématique d’une écriture et semblent insuffisants en terme dereprésentativité. Ils ne permettent pas de transcrire de façon avantageuse lesstructures de grande iconicité, c'est-à-dire qu’ils visent essentiellement à traduire lesénoncés standard composés de signes discrets. De plus, ils ne peuvent pas rendrecompte convenablement de l’utilisation de l’espace de signation.Les systèmes de transcription en partitions sont multilinéaires et permettent à la foisune lecture temporelle d’un paramètre (axe horizontal) et une lecture simultanée (axe19

vertical). Ils représentent un meilleur support d’analyse et de compréhension que lessystèmes d’écriture monolinéaire. Ils sont également économiques puisqu’ilspermettent la transcription d’un paramètre unique, si ce dernier semble pertinent à lacompréhension du sens d’un énoncé, sans perdre en représentativité de phénomènesde l’espace et de l’iconicité.Les éditeurs multimédias sont les logiciels actuellement développés qui associent lavidéo en complément des annotations. C’est le cas des logiciels Signstream,Syncwriter, ANVIL, ELAN. Ils sont disponibles gratuitement ou quasi gratuitementsur Internet. Signstream par exemple fait correspondre chaque énoncé à sa séquencevisuelle et à sa transcription sous forme de partitions en proposant différents champsà l’utilisateur en fonction de la nature des évènements encodés. Dans de tels outils,l’incorporation de la vidéo facilite le processus de segmentation et d’annotation enassurant une meilleure cohésion et transparence des informations retenues, enrendant le travail de transcription moins ennuyeux que celui fait à partir d’unmagnétoscope. Ces systèmes permettent de répondre à différentes problématiquesconcernant le recueil et l’analyse de données comme la vérification, l’accessibilité, lacomparaison ou la recherche d’information.Le but premier des équipes du projet était la création d’un dispositif de type éditeurmultimédia comme ceux évoqués précédemment. Cet éditeur devait pouvoir intégrerdifférents niveaux d’analyse en proposant une meilleure structuration ethiérarchisation des données. Cependant, l’outil envisagé par les informaticiens duprojet LS-COLIN étant encore en cours de développement, les linguistes ontfinalement adopté comme système de transcription, une grille sous EXCEL.La grille proposée fonctionne globalement comme un éditeur. Ce système detranscription utilise de façon élémentaire les fonctions d’Excel. L’axe horizontalreprésente le temps et l’axe vertical contient l’ensemble des paramètres sélectionnés.Il se voulait également le plus simple possible pour faciliter la lecture et le repéragedes photos et extraits vidéo du corpus LS-COLIN, également pour être réutilisablepar d’autres chercheurs (c’est mon cas dans le cadre de ce stage) et pour être20

transportable facilement sur des éditeurs de partitions déjà existants (par exemple auformat XML permettant une exploitation directe sous ANVIL).Détails de la grille de transcriptionLa grille se compose de plusieurs champs qui occupent chacun une ou plusieurslignes.- champ 1 : les informations générales sur la production (titre, prénom dulocuteur, durée du discours, nombre total d’unité…)- champ 2 : le timer (toutes les 10s)- champ 3 : le numéro du signe ou de l’unité- champ 4 : la glose transcrite (signe standard : MAJ ; Structure de GrandeIconicité : min, voir chap. III)- champ 5 : l’étiquetage linéaire indiquant la catégorie du signe ou de lastructure- champ 6 : (deux lignes) les commentaires sur les indices manuels et nonmanuels pertinents- champ 7 : étiquetage vertical des catégories (pour le comptage automatique enfin de transcription)- champ 8 : traduction française des énoncés21

Exemple :Exemple de grille de transcription (début du récit du cheval, 1 ère prise, par Juliette,Chev1_Jul).)Le fait de présenter cette grille de cette manière présente deux avantages :1) permettre au lecteur de vérifier s’il le souhaite le comptage des unités etde lire le tableau récapitulatif en fin de transcription2) le gain de place dans la version imprimée22

Le comptage des unités :Chaque unité est comptée en notant « 1 » dans la case prévue à cet effet (champ 7),ainsi, il est possible d’effectuer une somme automatique de chaque catégorie, dont letableau est visible en fin de transcription. La somme totale des signes doit être égale àla somme des catégories recensées dans la grille. Dans le tableau, le total des effectifsde chaque catégorie (1 ère colonne) est automatiquement converti en pourcentagesdans un deuxième tableau (2 ième colonne)Exemple :Exemple de comptage automatique des unités (chev1_Jul)23

Le comptage des unités a posé quelques problèmes aux linguistes. Le premier qui estlégitime à tout corpus vocal ou signé concerne les signes esquissés et la façon de lescompter. Il s’agit assez souvent d’hésitations qui sont généralement corrigées ensuite.Ces hésitations ne constituent donc pas une unité de sens complète. Cependant, il aquand même un effet de production de sens, on ne peut donc pas le négliger aumoment de la transcription. Elles sont donc comptées.L’importance de la valeur de chaque unité a également posé problème aux linguistes.Si on se place au niveau de la structure, un signe standard n’est pas égal à unestructure de grande iconicité (voir chap. III), la quantité d’information est différenteégalement. Les linguistes ont décidé de coder à la fois les signes lexicaux et lesstructures de grande iconicité sous la forme d’une seule unité. Leur critère principalde définition d’unité était de discerner sur l’image vidéo, un début, une apogée etune fin dans la réalisation d’une unité. Outre le paramètre du mouvement, leparamètre principal comme indice était le regard puisque le clignement des yeuxindique le changement d’unité sémantique.3) Le travail de transcriptionLe travail de transcription d’une partie du corpus s’est vu effectué une première foispar une étudiante sourde en licence de linguistique à Paris 8. Le but de ce travail étaitde permettre aux équipes de recherche en informatique et en linguistique de disposerd’une traduction de base des énoncés en français pour permettre de commencerl’analyse le plus tôt possible. Après une rapide formation, elle a effectué latranscription des deux récits et des « recettes de cuisine ». Toutes les transcriptionsont été réalisées selon la grille de catégories de C.Cuxac (2000).Depuis, ce corpus est utilisé pour différentes études et a été annoté par plusieursétudiants en linguistique mais aucun à l’aide d’un logiciel d’annotation avant cestage.24

Chapitre III – Théories linguistiquessur la LSFAfin de mieux appréhender le type de données qu’un logiciel d’annotation devraitidéalement pouvoir aider à mesurer, les fondamentaux des théories linguistiquesconcernant la LSF sont introduits dans ce chapitre.I) Typologie des gestesLe geste de communication couvre un ensemble de gestes tels que les gestescoverbaux, les gestes de commande, les langues des signes.1) Continuum de KendonLe premier auteur à s’être questionné sur le sujet est Kendon (1988), il propose unetypologie des gestes en faisant l’hypothèse d’un continuum (ensemble des valeursque peut prendre une variable dont les variations sont continues), en fonction del’information que ces gestes transmettent et selon la présence de la parole. Cettehypothèse se présente de cette manière. [Losson, 2000][Gesticulation gestes « quasi linguistiques » pantomime emblèmes signes de la langue des signes]Avec, à chaque étape du continuum:Gesticulation : mouvements spontanés idiosyncrasiques (réaction ou comportementindividuel, propre à chaque homme) des mains et des bras accompagnant la parole.Gestes « quasi linguistiques » : résulte de l'anglais « language-like gestures », ils'agit de gestes faisant partie d'un système de vocabulaire simple.25

Pantomime : gestes sans parole permettant de représenter un objet, un état d'esprit,un événement. La pantomime est utilisée pour raconter des histoires au théâtre oubien dans le jeu de mime.Emblèmes (appelés également gestes symboliques) : ils sont utilisés au sein d'unesociété, pour les membres de laquelle ils ont une signification fixe et communémentacceptée. Par exemple, la « gestuelle des Italiens ».Signes de la langue des signes : une langue composée de gestes, de postures et demimiques faciales possédant des règles et permettant de communiquer de manièrestructurée.En parcourant ce continuum de gauche à droite, nous pouvons apercevoir : 1) laprésence obligatoire de la parole vocale diminue 2) le caractère linguistique quiaugmente.2) Classification de McNeillLes travaux de McNeill complètent la théorie du continuum de Kendon par l’ajoutd’une dimension classificatoire des gestes coverbaux, en tenant compte davantagedes signes de la LS, c'est-à-dire qu’il tente de ne pas faire de distinction trop marquéeentre la gestuelle coverbale et la LS. Selon lui, les gestes sont libres, ils ne sont pasimmuables, ils reflètent la pensée et font donc partie du langage. Dans son ouvrageconsacré aux gestes, l’auteur dresse une classification des types de gestes. Plusieurscatégories apparaissent dans cette classification :- les gestes iconiques : les geste montrent la même action qui est dite par la parole.- les gestes métaphoriques : il s’agit de gestes picturaux, ils décrivent des actions etdes formes dans l’espace. Le contenu pictural sert à présenter une idée abstraiteplutôt qu’un objet ou un évènements concrets.- les « battements » : ils évoquent les pulsations d’une rythme musical.- les gestes cohésifs : ils servent à lier des parties du discours qui sont reliéesthématiquement mais séparées temporellement.26

- les gestes déictiques : il s’agit des pointages qui sont très utilisés dans la narration.Ils indiquent les objets ou évènements du monde concret. [McNeill, 1992]II) Langues des signes et iconicitéLa grande théorie de C.Cuxac porte sur l’iconicité des langues et plusparticulièrement de la Langue des Signes Française.1) Notions fondamentalesTout d’abord, quelques notions fondamentales sont à rappeler en ce qui concernel'iconicité dans les langues vocales (le terme langues vocales est préféré à celui delangues orales, la langue des signes s'exprimant dans la modalité orale du langage).Cette notion d'iconicité a vu ses débuts dans le Cratyle de Platon où Socrate expliquesa position. Selon lui, « pour être juste, le nom doit faire voir la nature de l'objetdésigné ». Il s'agit de mimer par le biais de la voix où l'imitation obtenue ne porte nisur le son, la forme ou la couleur. [Sallandre, 2003]Selon Cratyle, le nom est une image; pour rester image, il ne doit pas être un doubleexact de l'objet; il suffit qu'il en représente l'essentiel.Socrate réplique en montrant que même s'il contient des éléments inconciliables avecla notion qu'il exprime, un nom peut être compris par ceux qui l'emploient. L’usage sesubstitue ici à la ressemblance comme moyen de représenter. Il souhaite que les nomssoient autant que possible semblables aux objets, tout en reconnaissant qu’on doitadmettre une part de convention.Cette théorie nous amène à considérer, la théorie de Saussure du Cours deLinguistique Générale (1916) sur l’arbitraire du signe. L’auteur introduit dans sathéorie les notions de l’arbitraire absolu et de l’arbitraire relatif. Selon lui, seule unepartie des signes de la langue est absolument arbitraire, le reste se distingue par desdegrés dans l’arbitraire.27

2) IconicitéSaussure fut l’un des premiers du fait de sa théorie sur l’arbitraire du signe, à de cefait, discréditer l’iconicité dans la langue, dans la tradition littéraire. Quant à Pierce(1955), même si ses idées allaient dans le sens de celles de Saussure, il a su accorderune certaine importance à la notion d’icône. Il distingue les images iconiques et lesdiagrammes iconiques.Selon lui, un diagramme est un signe complexe, représentant un concept complexe. Ily a donc correspondance entre les parties d’un diagramme et les parties du conceptqu’il représente. L’essence d’un diagramme est que la relation entre ses partiesressemble à la relation entre les parties du concept qu’il représente. Cetteressemblance qui est atténuée justifie l’appellation du diagramme comme une sorted’icône : un icône diagrammatique.D’après M-A Sallandre [Sallandre, 2003], le diagramme désigne « une catégorie designes qui représente les relations, principalement dyadiques (binaires), ouconsidérées comme telles, des parties d’une chose par relations analogiques avec sespropres parties ». En d’autres termes, dans l’iconicité diagrammatique, l’ordre desmots correspond à l’ordre des évènements. Elle est étudiable dans la spatialité, latemporalité et l’actancialité. Les deux types d’iconicité se retrouvent aussi bien dansles unités avec visée illustrative que dans les unités hors visée illustrative. Nousretrouvons une définition détaillée de ces termes dans la partie qui suit.III) Non prise en compte de l’iconicité dans lalangue des signesL’iconicité dans la langue a souvent été dénigrée dans la littérature. [Saussure, 1916]Pierce, fondateur de la sémiotique a accepté cette pensée, tout en accordant uneimportance à la notion d’icône. Selon l’auteur, les icônes représentent les objetsprincipalement par leur similarité avec ceux-ci.28

En réalité, il y a à la fois présence d’images et de diagrammes dans les LS. Leslinguistes de la LS, contrairement à ceux de LV, n’ont jamais eu le choix de dénigrerl’iconicité, tant celle-ci immerge les LS de façon évidente.Stokoe (1960) sera l’un des premier a rejeté cette attitude en prouvant que l’ASL étaitconduit par un système linguistique complet, c'est-à-dire avec une syntaxe, unlexique, une phonologie, une morphologie qui lui sont propres, donc une vraielangue. De nos jours, il est encore difficile de faire comprendre à certains chercheursou même à certains sourds, que la LS est une langue à part entière, tout en étantnettement porteuse d’iconicité.La pensée selon laquelle on laisse de côté l’iconicité n’a pas satisfait certainslinguistes qui voulaient l’étudier.Christian Cuxac est le seul à ce jour, à envisager l’iconicité comme un modeopératoire et non comme une caractéristique langagière. Il en propose un modèle quitente de dissiper la confusion entre arbitraire et caractère non iconique des signes desLV.IV) Théorie de Cuxac1) Le modèleCuxac considère dans ces divers travaux l’iconicité de la langue des signes commeprincipe fondateur à toute description. Dans son modèle, il vise à expliquer lefonctionnement des structures de la LS d’un point de vue synchronique mais aussipar l’origine des signes eux-mêmes, il s’agit d’un modèle sémiogénétique (recherchede l’origine de la création des signes).Cuxac utilise dans sa théorie le terme d’intention sémiotique et lui donne pourdéfinition, le fait de construire du sens pour et avec autrui. Le processus d’iconicisationest le processus par lequel le locuteur va rendre iconique l’expérience. Ce processusdonne accès à une visée illustrative selon laquelle le locuteur vise à reconstituer demanière imagée une expérience vécue ou imagée. Cette visée est due aux29

mécanismes cognitifs qui sélectionnent dans l’expérience ce qui peut ou doit êtreiconicisé et qui le restituent dans la langue, sous forme d’énoncés.Le modèle de Cuxac (1996, 2000) prend son origine dans l’hypothèse qu’unebifurcation s’est produite dans les langues des signes à histoire institutionnellelongue. Voici une définition simple de l’iconicité d’image :« C’est le lien de ressemblance direct, plus ou moins étroit, entre la chose du monde,le référent, et le signe qui s’y rapporte. » [Cuxac, 1996]Il note cependant que cette notion est aussi source de conflit sur l’objet langue :« L’iconicité agit idéologiquement comme un analyseur de positions théoriques dechacun aux notions clés que sont la communication et le langage, à la définition de lalangue qui en découle, comme aux rapports entre sémantique et syntaxe, entrefonctions et structures ». [Cuxac, 1996]Selon Cuxac, le modèle de référence de la bifurcation entre visées est le dessind’enfant, lorsque celui-ci entre dans une optique de dessin réaliste, indice d’uneséparation entre un « dire » conceptuel et un « vouloir montrer » (Thom, 1980). Selonlui, il s’agit bien d’ « un vouloir montrer » ; la visée illustrative de dire « ça s’est passéainsi et je te le montre » est le terme marqué de la bifurcation, une intentionnalité quin’échappe pas à un traitement conscient.Nous pouvons retenir de ce modèle, qu’il y a deux manières de « dire » en LS : « direen montrant » (Structure de Grande Iconicité, panel des structures de transferts) et« dire sans montrer » (lexique standard). Ces deux manières de « dire » sont visiblesgrâce aux deux visées : illustrative (SGI) et non illustrative (signes standard). En voiciun schéma synthétique :30

Schéma synthétique du modèle de CuxacVoici un exemple :La notion de cheval peut être exprimée en LSF au moyen de deux stratégies (quipeuvent de combiner entre elles, selon le choix du locuteur) :- soit par trois transferts de forme successifs : [oreilles + nez + queue, etc.] visée illustrative.- soit par le signe standard [CHEVAL] visée non illustrativea) La visée illustrativeQuelques définitions :Les structures de grande iconicité (SGI), sont les « traces structurales d’un processusd’iconicisation au service d’une visée iconicisatrice (illustrative), lorsque ladimension du « comme ça » est conservée. » Cuxac (1997b, p208)Cuxac a décidé de regrouper la totalité de ces structures sous le terme de transferts.« Les transferts en tant que structures sont le résultat (et la trace) d’opérationscognitives visant à maximiser les ressemblances formelles entre les constructionsréférentielles en langue et l’univers psychique de l’expérience perceptivopragmatique,en un mot, des structures qui donnent à voir en disant. » Cuxac (1996)31

Cuxac utilise deux comparaisons pour qualifier les structures de transferts :- le domaine du « comme ça », qui qualifie les structures de transferts desituation et de forme : pour les transferts situationnels, c’est le mouvement dela main dominante qui montre la façon dont s’est effectué le déplacement d’unactant du procès par rapport à un locatif stable ; pour les transferts de forme,on peut dire qu’ils montrent la forme ou la taille de l’actant : « c’est comme ça,de cette taille là, de cette épaisseur là ». Les marques non manuelles qualifientet référentialisent ces formes : la mimique faciale et le mouvement indiquent sila forme signée par les mains est plate, petite, carrée ou ronde, tandis que leregard, porté sur eux, la référentialise et permet au locuteur de « dire enmontrant ». [Sallandre, 2003]- le domaine du « comme si » qualifie les structures de transferts personnels : lelocuteur fait « comme si » le personnage disait et faisait « ça ». Il se met dans lapeau du personnage, il vit l’expérience de ce dernier.Ces opérations cognitives sont regroupées en trois grands types de transferts :- les transferts de taille et de forme : il s’agit de lieux, personnes ou objetsdécrits par leur taille ou leur forme. On ne trouve pas de procès ni d’actant.- les transferts de situation : c’est le déplacement d’un personnage ou d’un objetselon un locatif qui est stable. La scène est comme vue de loin.- les transferts personnels : il s’agit de prise de rôle avec actant, procès et locatif.Le locuteur joue le rôle du personnage transféré. Il y a incorporation.« Ces structures reproduisent, en mettant en jeu tout le corps du locuteur, uneou plusieurs actions effectuées ou subies par un actant du procès de l’énoncé,humain ou animal le plus fréquemment. Le narrateur « devient » pour ainsidire la personne dont on parle. Pour caractériser ces structures, les sourdsutilisent un signe de leur langue signifiant approximativement « rôle » ou« prise de rôle ». On pourrait les traduire par « (et) voila qu’il est en train de32

faire cela », puisque l’action n’est envisagée que dans le cours de sonaccomplissement. » Cuxac (1993, p 49-50)Ces trois grandes catégories de transferts peuvent de combiner entre elles et on peutainsi trouver : un transfert de situation associé à un transfert personnel qui donne undouble transfert.Autre terme incontournable de la linguistique de la LS, celui du proforme. Ce termeprend son origine avec Friedman en 1975. Selon l’auteur, les proformes désignent lespronoms et les pointages. Cuxac qui s’est inspiré des travaux de Arnheim, Paivo, enmodifie légèrement la définition. Selon lui, le proforme désigne le paramètre manuel« configuration » dans les structures de grande iconicité. Il s’agit d’une formecommune, par exemple la forme plate, mais qui en contexte vise à spécifier uneforme particulière, « cette forme-là ». Voici un exemple de proforme utilisé dans lecorpus :Proforme N utilisé pour la démarche d’un animal, faisant référence aux « pattes du cheval »(Chev1Nas 00’18)b) Visée non illustrativeLa visée non illustrative, l’autre branche de la bifurcation, a permis un accroissementremarquable du lexique standard. Il s’agit des unités significatives discrètes. Encomparaison avec les SGI, le statut d’iconicité à cette branche pose quelquesproblèmes puisqu’elle ne peut être analysée comme traces cognitives de l’intention33

du sujet de créer des messages entretenant un lien de ressemblance avec lesexpériences concrètes ou fictives qu’il transmet. Il y a bien iconicité pour le lexiquestandard, une iconicité qui porte sur au moins l’un des paramètres, parfois plusieurs(ex : configuration + emplacement pour cheval). Cuxac classe ces signes hors viséeselon deux grandes données structurales de la LSF :- L’utilisation congrue de l’espace iconicisé diagrammatiquement pour repérerles rapports sémantiques.- L'agencement signifiant du lexique et la caractéristique moléculaire des signesdits standard qui relève d’une iconicité économiquement « dégradée ». Il fautcomprendre par ce terme que l’un des traits iconiques, ou même tous, peutavoir disparu au fur et à mesure de l’évolution des LS, nous nous plaçons d’unpoint de vue diachronique.c) Apports du modèleVoici les quelques points qui peuvent résumer l’apport du modèle de Cuxac :1- L’iconicité est située non comme outil de description de la LSF mais commeprincipe organisateur, un mode opératoire, un moteur métalinguistique del’analyse.2- L’étude de l’iconicité de la LSF au niveau du discours et non du signe isolé.3- Un mode de classification étudié de la LSF basé sur la prise en compte de soniconicité.4- Ce modèle a également engendré un changement de position, celle depercevoir les LS comme des langues non marquées par rapport au LV.C.Cuxac utilise ce terme en référence à une théorie phonologique, la « théoriedes marques » pour expliquer que les LS offrent de plus vastes objets d’étudeque les LV qui sont limitées de par leur canal audio-oral à une dimensioncontrairement au LS qui offrent un canal à trois dimensions (plus le temps).34

Chapitre IV- TRAVAIL REALISEDans ce contexte théorique, le développement de logiciels dédiés à la LSF nécessitede pouvoir corréler des données linguistiques et des données numériques.I) Objectifs de travail1) Définition du sujetL’objectif de mon stage était :* d’annoter un corpus de LSF, à l'aide du logiciel ANVIL :- des annotations linguistiques extraites de la thèse de Marie-Anne Sallandre.- des annotations numériques fournies par Ryan Cassel.* de confronter ces deux types de données pour observer si le traitement d’imagepermet ou non de détecter automatiquement des phénomènes linguistiquesparticuliers.2) Contextea) Thèse de Marie-Anne SallandreL’ensemble de mes travaux au sein du laboratoire s’appuie sur les recherches deMarie-Anne Sallandre, Maître de conférence en linguistique à Paris 8. Il s’agissait dereprendre les transcriptions réalisées sur le corpus LS-COLIN.Marie-Anne a soutenu sa thèse, Les unités du discours en Langue des Signes Française.Tentative de catégorisation dans le cadre d’une grammaire de l’iconicité, pour le grade dedocteur en Sciences du Langage en décembre 2003.35

La première partie de ses travaux est consacrée à un état de l’art international de lanotion d’iconicité en linguistique des langues vocales et des langues des signes.Dans une seconde partie, elle explicite sa méthodologie de recueil des donnéesauprès de locuteurs sourds adultes, et elle présente son corpus vidéo de LSFcomposé de discours de genres variés (narrations, explications, discoursmétalinguistiques). L’analyse à la fois qualitative (extraits vidéo) et quantitative(traitement statistique de données pouvant être comparées) fait l’objet de la dernièrepartie, le but étant de dégager les proportions et l’ordre d’apparitions des structuresappelées « de grande iconicité », c’est à dire l’éventail des transferts, par Cuxac(2000).De nombreux changements ont été apportés à cette grille après découverte denouvelles structures ne figurant pas dans la grille d’origine. Ainsi, un accroissementdu nombre des catégories, et surtout celles avec visée illustrative a été observable.Voici les tableaux résumant les différentes grilles d’analyse utilisées :Grille originelle (à gauche) et nouvelle grille (à droite)La nouvelle grille se compose à présent de vingt-quatre catégories dont treizenouvelles. En voici une répartition :36

- trois catégories matrices, avec visée illustrative : TTF, TS, TP- une catégorie matrice, hors visée illustrative : signe standard- cinq catégories qui comportent un proforme qui renvoie au signe standard- six catégories de discours rapporté (dr)- six catégories en double transfert (DT)- deux catégories qui contiennent un effet de loupe- trois catégories en Semi-TP (= qui contient un signe standard employé sousvisée mais pas en discours rapporté)- une catégorie pointage qui articule dans l’espace des unités avec et sans viséeou qui a valeur d’anaphore- une catégorie directement liée à la langue écrite dominante, la dactylologieVoici les deux tableaux récapitulatifs des raffinements effectués :Récapitulatif à partir du modèle de Cuxac37

ICONICISATIONTTF TS TdPUnités avec viséeillustrativeUnités horsvisée illustrativeSignesstandardTP TP semi TPdr DTTP clasTP semiTP dr stdDT clasPointagesTP profoTP semi profoTP dr std profoDT profoDactylologieTp loupeTP dr gestDT loupeStéréotype deTPTP dr gest profoDT semiPseudo-TPTP dr GIDT compDT drRécapitulatif du modèle avec les nouvelles catégoriesMon travail de recherche au sein du LIMSI, s’effectuait en collaboration avec RyanCassel, doctorant de troisième année, dont la thèse est axée sur le traitement d’image.b) Thèse de Ryan CasselRyan Cassel, doctorant en informatique, prépare sa thèse au LIMSI depuis octobre2002. Le sujet de son travail porte sur la caractérisation et le suivi des mouvementsacrobatiques par le traitement d’image pour la reconnaissance automatique del’activité de l’athlète. [Cassel &Collet, 2003]L’objectif est de montrer qu’à l’aide d’un code alphanumérique, nous avons lapossibilité de caractériser de très nombreux mouvements acrobatiques. La38

terminologie numérique permet de caractériser chacune des figures exécutées parl’acrobate.Avec des techniques de traitement d’image et quelques outils mathématiques, il estpossible de générer une boite englobante orientée dans laquelle se trouve l’acrobateet plus précisément le trampoliniste.Dans cette boite englobante, il est possible ensuite de calculer la localisation,l’orientation du trampoliniste dans une séquence d’images.La LS exploite la dynamique corporelle (déplacement du corps, mouvement desépaules, de la tête...) pour nuancer ou préciser la structure de la phrase énoncée.Ainsi, en rapport avec l’objectif du stage, Ryan Cassel a donc appliqué sonalgorithme non pas aux mouvements du trampoliniste mais aux mouvements quepouvait effectuer le locuteur du corpus vidéo LS-COLIN afin de pouvoir obtenir desdonnées numériques correspondant à chaque vidéo. Les données fournies par RyanCassel correspondent à celles d’une « boîte englobante » représentant le corps dulocuteur, définie par sa largeur et sa longueur ainsi que par la position (x, y) ducentre de gravité du signeur et l’angle de l’axe de son corps.En voici le schéma explicatif :39

Graphique de représentation des courbesLe carré représente la boite englobante, l’ovale situé à l’intérieur de cette boitereprésente donc le corps du signeur.II) Les vidéosLe corpus LS-COLIN est composé de vingt-deux montages vidéo effectués au LIMSI.Mon premier travail a donc été de regarder avec attention chaque vidéo de chaquehistoire pour chaque locuteur. Le but étant de retenir les plus pertinentes pourl’exercice d’annotation. Les structures du discours sont bien présentes chez tous leslocuteurs mais les différences dans le cadre de leur utilisation dans des activitésnarratives par exemple, le raffinement apporté à partir de cette base structurale variede manière importante d’un locuteur sourd à un autre. Comme dans les languesvocales, il y a de meilleurs conteurs que d’autres.Plusieurs critères étaient à prendre en compte :40

- le choix de l’histoire.- le choix du locuteur.- la méthode personnelle utilisée par le locuteur pour narrer chaque histoire.Je me suis concentrée sur des vidéos de durée assez importante pour disposer d’unmaximum de données, j’ai ensuite retenu des vidéos où le locuteur utilisait unmaximum de structures de grande iconicité (TP, TTF, TS…) afin d’obtenir unmaximum d’éléments à annoter. J’ai tout de même tenu à exploiter des vidéos danslesquelles le locuteur utilisait un grand nombre d’unités discrètes afin de pouvoireffectuer des comparaisons.J’ai également décidé de retenir un échantillon assez divers concernant les histoiresnarrées. J’ai donc annoté plusieurs vidéos de l’histoire du cheval, des oiseaux, desrecettes de cuisine et un bref échantillon des évènements du 11 septembre. Je n’aimalheureusement pas pu analyser toutes les vidéos annotées dans le temps quim’était imparti.III) L’annotation1) Choix du logiciela) PrésentationLe choix du logiciel pour annoter le corpus s’est porté sur le logiciel ANVIL, dans lamesure où l’éditeur de partition envisagé par les linguistes et informaticiens duprojet LS-COLIN n’était pas abouti au moment du stage.La première étape de cette tâche fut la prise en main du logiciel ANVIL mis au pointpar Mikael Kipp au DFKI. Il s’agit d’un outil pour l’annotation audiovisuelle dans lecadre de dialogues multimodaux.Le principe du logiciel est de manipuler un fichier d’annotation. Une annotation estcomposée de pistes qui peuvent former un ensemble que l’on appelle groupe. Cespistes comportent des éléments qui eux même sont composés d’un ou plusieursattributs. [Segouat, 2003]41

Ainsi, l’annotation a lieu sur des couches librement définissables et multiples(« tracks ») en insérant des éléments délimités dans le temps qui possèdent un certainnombre de paires attribut-valeur. Anvil est fortement générique, c'est-à-direutilisable avec différents arrangements d’annotation, il est également : indépendantdu type de plateforme car en Java, basé sur XML et équipé d’une interface graphiqueintuitive.Une explication complète et un mode d’emploi du logiciel sont disponibles sur le sitehttp://www.dfki.de/~kipp/anvil/.Voici un aperçu de l’interface du logiciel :Capture d’écran lors de l’annotation d’une vidéo sous Anvil42

Légende :(1) fenêtre principale : contient les menus de l’application (enregistrer, ouvrir,créer…) et les touches de navigation dans la vidéo (lecture, avancer d’une image,aller à la fin de la vidéo…). Elle donne des informations également sur l’état desauvegarde du fichier en cours.(2) fenêtre de visualisation de la vidéo : elle est munie d’un ascenseur pour régler lavitesse de lecture (d’une image par seconde à une vitesse en temps réel)(3) fenêtre d’édition des attributs : on y voit s’inscrire les valeurs des différentsattributs d’une piste en fonction de la position de la barre de défilement de la fenêtred’annotation ; c’est au moyen de cette fenêtre qu’on affecte une valeur à chaqueattribut de la piste. Elle permet donc de visualiser rapidement la valeur de l’ (des)attribut(s) d’un élément ainsi que les commentaires éventuels. Elle permet égalementd’ajouter, modifier ou supprimer un élément.(4) fenêtre d’annotation : elle est découpée en plusieurs lignes nommées « pistes ».Chaque piste fait partie d’un ensemble nommé groupe. Ceci nous permet de réuniraussi bien visuellement que formellement certains attributs (ex. l’ensemble têteregroupe plus particulièrement les caractéristiques d’inclinaison et d’orientation).Il est possible par clic droit de la souris d’ajouter, modifier ou supprimer un élément,Cette fenêtre permet la navigation dans la vidéo par déplacement du curseur. Ilégalement possible de zoomer sur les éléments annotés.b) Choix des pistesIl m’a fallu alors choisir quel type de fichier de spécification je désirai, c'est-à-dire,qu’il me fallait faire un choix concernant les éléments que je voulais faire apparaîtreet que je voulais de ce fait, annoter. Sur les premières vidéos traitées, j’ai désiré fairefigurer plusieurs éléments concernant le buste, la tête, le regard. J’ai donc commencépar annoter l’orientation et l’inclinaison du buste et de la tête, puis l’orientation duregard. La piste essentielle qui devait apparaître dans toutes mes annotations étaitcelle des transferts. L’objectif de cette démarche était de pouvoir, dans un premier43

temps, observer une corrélation entre les données linguistiques issues de la thèse deMarie-Anne et les éléments cités ci-dessus propres au mouvement du locuteur, lescourbes n’ayant pas été intégrées dès le début du stage (voir chap. V).Cette tâche s’est révélée longue et fastidieuse. J’ai donc décidé de ne faire apparaîtredans mes annotations que les éléments linguistiques, les transferts.c) Le fichier de spécificationChaque fichier d’annotation correspond à fichier « modèle » au format XML.Connaissant par le biais des cours d’informatique du DESS le langage HTML, il a étéplus aisé pour moi de m’accoutumer à ce type de fichier.Il est plus aisé d’utiliser ce type de langage pour plusieurs raisons :- au niveau de la lisibilité, aucune connaissance ne doit théoriquement êtrenécessaire pour comprendre un contenu d'un document XML.- il est extensible, c'est-à-dire qu’il peut être utilisé dans n’importe queldomaine.- sa structure est arborescente, permettant ainsi de modéliser la majorité desproblèmes informatiques.2) Explication détaillée du fichier XMLComme tout fichier XML, la première partie du document (Head) représente lesdifférentes valeurs données. La seconde partie (Body) correspond aux différentespistes. Les pistes servent à définir la structure de l’annotation : que voulons-nousannoter ?Une fois la structure d’annotation mise en place, il faut définir avec quoi nousvoulons annoter, il s’agit des valeurs.44

a) Les valeursLe fichier de spécification nécessaire à l’annotation se compose de différentesvaleurs :- indice de confiance (incertain, sur : rose)- localisation du buste selon le plan sagittal (avant, centre, arrière) et selon leplan frontal (droite, centre, gauche)- orientation du buste (droite, centre, gauche)- localisation de la tête selon le plan sagittal (avant, centre, arrière) et selon leplan frontal (droite, centre, gauche)- orientation de la tête (droite, centre, gauche)- orientation du regard (gauche, centre, droite)- tous les types de transferts (TP, TP prof, TP loupe...). J’ai également ajouté uncode couleur pour pouvoir distinguer les transferts de personnes (TP, TP prof,TP loupe…) des transferts de taille et de situation (TTF, TS).45

) Les pistesLe buste- l’inclinaison suivant : le plan sagittal (a/c/ar), le plan frontal (g/c/d)- l’orientation (d/c/g)La tête- l’inclinaison suivant : le plan sagittal (a/c/ar), le plan frontal (g/c/d)- l’orientation (d/c/g)46

Le regard- l’orientation (droite, centre, gauche)Les transfertsAfin d’afficher les courbes sous Anvil, il a été nécessaire de rajouter quelques lignesde code dans le fichier de spécification.47

c) Aperçu sous ANVILIV) Les données numériquesL’intégration sous Anvil des courbes fournies par Ryan Cassel avait pour but depermettre une meilleure visualisation et de faciliter les analyses. Cependant, leprogramme élaboré par M.Kipp, ne permettait pas d’incorporer ce type de courbes.De ce fait, elles ont été traitées, dans un premier temps sur support papier. Cettetâche, s’est avérée délicate et très longue étant donné le nombre d’éléments fournispour chaque vidéo. Par modification du programme, elles ont très vite été intégréessous Anvil permettant un gain de temps considérable.Voici un exemple de courbes affichées avec le logiciel Scilab :48

Courbe affichée avec Scilab 3.0 (DeFaceChev1Ant.sce)Légende :L’axe des abscisses représente le numéro de l’image.L’axe des ordonnées représente la valeur de la caractéristique mesurée.La courbe turquoise correspond à la variation en longueur de la boite englobante.La courbe rouge correspond à la variation en largeur de la boite englobante.La courbe verte représente l’angle de variation de l’axe du signeur.La courbe noire en x et la courbe bleue en y correspondent à la variation du centre degravité du signeur.Il faut également préciser qu’il existe plusieurs ensembles de courbes (par groupe decinq à chaque fois). Chaque ensemble de cinq courbes correspond à une des vues des49

vidéos. Ainsi, nous avons l’ensemble des courbes correspondant à la vue de dessus(« dessus »), celui correspondant à la vue de face (« face ») et l’ensemble des courbescorrespondant au plan rapproché (appelé ici « tête »). Nous avons ainsi disposé dequinze courbes pour chaque vidéo.50

Chapitre V- ANALYSESI) Faux positifsLa première conclusion qui ressort des analyses est la non présence de faux positifs.C'est-à-dire que la moindre réactivité des courbes indique un évènementlinguistique. Je n’ai pas observé de réactivité dans les courbes lorsqu’il ne se passaitrien linguistiquement. Chaque pic d’activité correspond à un phénomènelinguistique.II) « Style d’expression en LSF »1) ObjectifJ’ai voulu démontrer au cours de mes analyses, que l’utilisation du traitementd’image pouvait permettre de reconnaître la méthode narrative de chaque locuteur.Pour cela j’ai comparé deux vidéos de la même histoire, celle du cheval. J’ai choisideux locuteurs différents. Ces vidéos sont différentes et comparables du fait que leslocuteurs signent la même histoire mais pas de la même façon. En effet, Nas utilise enpartie des SGI (transferts) alors que Laurent utilise plus de structures à visée nonillustrative (standard, pointages…).2) RésultatsSur la vidéo de Nas, pour chaque prise de vue, on observe des variations dans lescourbes mais à des amplitudes moyennes. De plus, les pics observés sont moinsnombreux chez Nas.Sur la vidéo de Lau, on remarque un plus grand nombre de pics à des amplitudes devariations plus élevées.51

Le traitement d’image semble donc être un bon indicateur du style narratif dulocuteur. Il faudrait par la suite confirmer ce résultat en étendant cette observation àtous les locuteurs.Voici les schémas de comparaison :Courbes de la vidéo de Nas.Courbes de la vidéo de Lau.Comparaison d’activité de courbes histoire du cheval52

III) Analyse des structures hors visée illustrative1) Hypothèses de départTout d’abord, j’ai pu remarquer que pour ce type d’unités, la seule courbe restantconstante, sans variation pertinente est celle qui correspond à l’angle de l’axe ducentre de gravité. Nous nous sommes donc focalisés sur les quatre autres courbes.Les hypothèses émises sur ce type d’unités concernaient la nature des unitésrepérées. Nous avons émis l’hypothèse que selon chaque prise de vue, les courbespermettaient de déterminer le type d’unités présentes et perçues par le traitementd’image.En vue de face :- sur la courbe correspondant à la largeur de la boite englobante, les variationstendraient à repérer des entités 1 de grande taille (en largeur).- sur la courbe correspondant à la longueur, les variations tendraient à repérerdes entités de haute taille (en hauteur).En vue de tête :- la première hypothèse serait de supposer que les variations sur les courbes delongueur et de largeur correspondraient à une entité se réalisant au niveau dela tête.En vue de dessus :- les variations sur la courbe de largeur correspondraient à l’utilisation d’uneentité située près ou non du corps.- les variations sur la courbe de la longueur correspondraient à une entité degrande taille.1 J’utilise le terme d’ « entité » pour désigner un élément signé qui occupe un certain espace, il s’agit end’autres termes du signe, qui dans sa réalisation occupe une certaine place dans l’espace de signation.53

Pour vérifier cela, j’ai effectué un relevé à la main des unités repérées par letraitement d’image, pour chaque prise de vue en indiquant à chaque fois surquelle(s) courbe(s) on observait les réactions.Ex : en vue de face, vidéo de Nas, histoire du cheval Type d’unité traduction courbe temps2) Résultats :a) Recueil des donnéesPour me permettre une meilleure visualisation des données, j’ai regroupé lesrésultats dans différents tableaux : un pour chaque prise de vue, donc trois par vidéo.J’y ai mentionné tout d’abord la catégorie de l’unité, s’il s’agit de signes standard, depointages ou de dactylologie (précisons que dans les vidéos traitées, aucun deslocuteurs n’utilise la dactylologie. Apparaît ensuite, les effectifs, c'est-à-dire lenombre d’unités utilisées par catégorie dans toute la production. La troisièmecolonne correspond au nombre d’unités repérées par les courbes pour chaqueproduction et chaque prise de vue. Et enfin, les pourcentages, pour donner le tauxd’unités repérées.Les données comme la catégorie et les effectifs sont issues de la thèse de Marie-AnneSallandre.Concernant les effectifs, pour la ligne total, j’ai effectué un calcul :Effectif total– l’effectif de SGI = effectif des unités discrètes. [Sallandre, 2003]54

Vidéo de Nas :- vue de facecatégorie effectifs Nombre d’unitéspourcentagerepéréesstandard 12 2 16.7pointages 3 2 66.7dactylologie 0 0 0TOTAL 15 4 26.7- vue de dessuscatégorie effectifs Nombre d’unitéspourcentagerepéréesstandard 12 1 8.3pointages 3 2 66.7TOTAL 15 3 20- pour la vue de tête, aucune unité discrète n’est repérée.Vidéo de Lau :- vue de facecatégorie effectifs Nombre d’unitéspourcentagerepéréesstandard 25 11 44pointages 3 0 0TOTAL 28 11 39.3- vue de dessuscatégorie effectifs Nombre d’unitéspourcentagerepéréesstandard 25 10 40pointages 3 0 0TOTAL 28 10 35.7- vue de têtecatégorie effectifs Nombre d’unitéspourcentagerepéréesstandard 25 13 52pointages 3 1 33.3TOTAL 28 14 5055

) Nature des entités repéréesHypothèseSelon mes relevés sur les deux vidéos, l’hypothèse sur la présence d’unité de grandeou/et de haute taille semble se vérifier. Cependant, je tiens à faire remarquer quemes résultats ne sont issus que de l’étude deux vidéos, or, pour la suite il seraitindispensable de se focaliser et d’analyser l’ensemble des vidéos du corpus. J’émetsdonc une certaine réserve sur l’ensemble de mes résultats.ExemplesLorsque le locuteur Lau réalise le signe standard « histoire », on remarque que lacourbe qui réagit à cette action est celle correspondant à la largeur. Selon l’hypothèse,il s’agit donc d’une entité de grande taille. Si on vérifie sur la vidéo, on s’aperçoiteffectivement que la réalisation de ce standard est de grande taille, elle occupe uneplace importante en largeur dans l’espace de signation.Histoire (Chev1_Lau, unité 2)Il en va de même pour le signe « campagne » issu de la vidéo de Nas.Ici, la courbe longueur est réactive, il s’agit donc d’une entité de haute taille. Cela sevérifie sur la photo de l’extrait vidéo.56

Campagne (Chev1_Nas, unité 1)Il est également possible d’obtenir des variations en longueur et largeursimultanément, il s’agit alors d’une entité de grande et haute taille. Voici l’exempledu signe « cheval » réalisé par Lau.Cheval (Chev1_Lau, unité 3)HypothèseL’hypothèse sur la présence d’entité dont la réalisation (ou une partie) se situe prèsou non du corps et/ou la présence d’entité de grande taille, en vue de dessus, semblese vérifier également.57

ExemplesLa réalisation du signe standard « libre » débute près du corps pour finir dansl’espace neutre. La variation en longueur vérifierait donc l’hypothèse avancée.Libre (Chev1_Lau, unité 8)Voici un exemple où il y a variation en longueur et largeur de façon simultanée envue de dessus.La réalisation du signe standard « histoire » correspond à une entité de grande tailleet elle s’effectue également près du corps.Histoire (Chev1_Lau, unité 2)HypothèseL’hypothèse concernant la présence d’entité réalisée au niveau de la tête, se vérifie.Plus précisément, après vérification qu’il s’agit plutôt d’une entité dont la réalisationou une partie de la réalisation (début/fin) s’effectue vers le haut du corps.58

ExempleLe signe standard « oiseau » se réalise près du visage au niveau de la bouche.Oiseau (Chev1_Lau, unité 14)c) Récurrence des courbesEn ce qui concerne la récurrence des courbes, j’ai tenté d’analyser, pour chaquecatégorie d’unités discrètes repérées et pour chaque prise de vue, si les mêmescourbes étaient réactives.Il en est ressorti plusieurs résultats :En vue de face, il semblerait que les courbes qui détectent les unités discrètes soientcelles qui correspondent à la longueur, la largeur et celles qui donnent la position dulocuteur (centre de gravité) donc X et Y.En vue de tête, il s’agirait également des mêmes courbes.En vue de dessus, nous observons seulement des réactions au niveau des courbes delongueur et largeur.Ces résultats sont émis avec une réserve, il faudrait les vérifier sur l’ensemble ducorpus.59

IV) Analyses des structures de grande iconicité(SGI)1) ObjectifsLe premier objectif était d’observer quel(s) type(s) de transferts étai(en)t repéré(s) parles courbes de manière générale.Le deuxième objectif était d’observer en détail, pour chaque transfert et chaque prisede vue, quel type de courbe réagissait.Comme pour les unités discrètes, j’ai effectué un relevé à la main que j’ai ensuiteretranscrit sous forme de tableau.Pour le total des effectifs, j’ai procédé de la même façon que pour les unités discrètes :Effectif total – effectif d’unités discrètes = effectif SGIVidéo de Nas- vue de facecatégorie effectifs Nombre d’unitésrepéréespourcentageTTF 15 4 26.7TP class 38 8 21TP prof 8 5 62.5TP loupe 2 1 50Semi-TP 3 1 33.3TOTAL 140 19 13.660

- vue de têtecatégorie effectifs Nombre d’unitéspourcentagerepéréesTTF 15 12 80TS 6 3 50TP class 38 14 36.9TP prof 8 5 62.5TP loupe 2 2 100TP dr std 38 9 23.7TP dr gest 20 7 35TP dr GI 2 1 50Semi-DT 2 2 100TOTAL 140 55 39.3- vue de dessuscatégorie effectifs Nombre d’unitéspourcentagerepéréesTTF 15 11 73.3TS 6 2 33.3TP class 38 8 21TP prof 8 1 12.5TP loupe 2 1 50TP dr std 38 10 26.3TP dr gest 20 4 20Semi-DT 3 2 66.7TOTAL 140 39 27.8Vidéo de Lau- vue de facecatégorie effectifs Nombre d’unitéspourcentagerepéréesTTF 4 2 50TS 8 4 50TP class 14 6 42.8TP prof 4 1 25DT 2 1 50TOTAL 34 14 41.261

- vue de têtecatégorie effectifs Nombre d’unitéspourcentagerepéréesTTF 4 3 75TS 8 4 50TP class 14 10 71.4TP dr std 1 1 100Semi-TP 1 1 100DT 2 1 50TOTAL 34 20 58.8- vue de dessuscatégorie effectifs Nombre d’unitéspourcentagerepéréesTTF 4 3 75TS 8 6 75TP class 14 7 50TP prof 4 2 50DT 2 1 50TOTAL 34 19 55.92) Résultatsa) Type de transferts détectésSi l’on fait le bilan de ces différents tableaux, on se rend vite compte que tous lestransferts faisant partie de la liste de Marie-Anne Sallandre ne sont pas repérés.Cependant, on obtient quelques résultats : en comparant les tableaux, on s’aperçoitque ce sont généralement les même SGI qui apparaissent dans chaque tableau.En voici la liste : TTF, TS, TP clas, TP loupe, TP profo, semi TP, TP dr gest, TP dr std,TP dr GI, DT, semi DT. C'est-à-dire onze catégories sur vingt-quatre. On remarqueque les trois catégories matrices avec visée illustrative sont repérées.b) Prise de vueOn peut également remarquer que la vue de tête permet un meilleur repérage desSGI. C’est dans cette prise de vue, que les courbes repèrent le plus de SGI. En effet,62

sur la vidéo de Nas, le traitement d’image détecte 39.3% des unités avec viséeillustrative. Sur la vidéo de Lau, elles sont reconnues à 58.8 %.De plus, selon moi, le fait que le pourcentage soit plus élevé sur la vidéo de Lau vientdu fait que le locuteur utilise moins de SGI, de ce fait elles sont mieux repérées. Cetteconclusion demande cependant à être vérifiée dans le reste des productions ducorpus.c) Récurrence des courbesJe me suis intéressée également à la récurrence des courbes pour savoir si pourchaque type de transferts dans telle prise de vue, les réactions (pics) concernaient lesmêmes courbes.Quant aux courbes qui détectent les différents transferts, nous observons plusieursrésultats :Vidéo Nasface tête dessusX Y Longueur Largeur AngleVidéo Lauface tête dessusX Y Longueur Largeur AngleEn vue de face, sur la vidéo de Nas, nous remarquons que toutes les courbesréagissent sur celle de Lau, les résultats sont pratiquement similaires à l’exception dela courbe de l’angle qui ne semble pas réagir.63

En vue de tête, sur les deux vidéos, les courbes qui réagissent sont celles quicorrespondent à la longueur, à la largeur et les courbes X et Y.En vue de dessus, sur les deux vidéos nous retrouvons les mêmes courbes X et Y (ensimultanée ou non), cependant pour la vidéo de Laurent nous constatons la présencedes courbes longueur et largeur.Nous ne pouvons pas en tirer de conclusions pertinentes, il est donc nécessaire pourla suite des recherches d’analyser l’ensemble du corpus pour en affiner les résultats.d) Transferts et courbesComme nous venons de le voir, sur la vidéo de Nasro en vue de dessus, seules lescourbes X et Y présentent des variations. Nous trouvons soit X, soit Y, soit X et Y quiréagissent en simultanée et ce pour tous les transferts détectés dans la narration deNas. Ce phénomène s’applique aux : TTF, TS, TP, TP profo, TP loupe, TP dr gest, TPdr std, DT-semi en vue de dessus.Il semble évident à ce stade du travail que les vidéos analysées ne sont passuffisantes en nombre, il est nécessaire de poursuivre ces pistes de travail surl’ensemble du corpus LS-COLIN.e) BilanSi la plupart des résultats demandent à être confirmés à l’ensemble du corpus, onpeut déjà conclure que, mis à part la courbe indiquant la variation angulaire de l’axedu corps du locuteur, des données assez simples telles que la variation de la taille dela boite englobante et la variation de la position du centre de gravité du locuteur sontdéjà suffisantes pour détecter la présence de phénomènes linguistiques et donnentquelques indications de nature globale sur ce phénomène.64

Chapitre VI- CONCLUSIONSI) PerspectivesMes recherches au sein du laboratoire demandent à être poursuivies afin de pouvoirles vérifier et d’envisager d’autres pistes de travail. Il est, selon moi, possible de sepencher sur plusieurs axes de recherche.En rapport avec mon travail d’annotation, il serait intéressant de pouvoir examiner sitous mes résultats s’appliquent sur chaque vidéo du corpus. En effet, il s’agit d’uncorpus riche en données qui demande de longues heures d’analyse.En parallèle, il me semblerait pertinent d’essayer de travailler plus finement sur letraitement d’image. En effet, le travail de Ryan Cassel est applicable sur d’autresaxes. Il est possible de travailler non pas sur l’ensemble du corps du locuteur maissur des éléments plus fins comme les mouvements de la tête. Il s’agirait alors deréaliser une étude sur l’inclinaison et l’orientation de la tête. Les données ainsirecueillies permettraient de livrer des renseignements sur les mouvements de l’axede la tête comme dans l’application réalisée dans le cadre de ce stage mais au niveaude la tête.De plus, il serait alors envisageable d’obtenir des renseignements quant au regard dulocuteur. Par exemple, si la tête du locuteur est inclinée sur la gauche, nous pouvonsalors en déduire qu’il y a changement de l’axe du regard. Ces éléments pourront peutêtre, alors être corrélés aux données linguistiques, sachant que le regard estsignificatif dans les prises de rôle en LSF.65

II) Les apports professionnelsL’objectif du stage a été atteint et des conclusions positives en sont ressorties. Unefois de plus la collaboration entre informaticiens et linguistes (bien que je ne meconsidère pas comme une spécialiste de la linguistique de la langue des signes) a faitses preuves dans le domaine de la recherche.Le fait que des résultats positifs émergent prouve à nouveau que les rechercheseffectuées dans ce milieu ne sont pas vaines. Il renforce la pertinence des rechercheset l’envie de poursuivre dans cette même direction.De plus ces résultats me donnent, sans aucune présomption, le sentiment d’avoirparticipé, à ma façon, à faire évoluer les recherches dans le domaine de la LSF, sujetd’étude que j’affectionne tout particulièrement.Une fois de plus, par le biais de ces travaux, nous avons pu démontrer que lesnouvelles technologies permettent la mise en place de solutions pour répondre auxbesoins des personnes en situation de handicap, à savoir ici l’avancée de la recherchedans le domaine de la LSF.III) Les apports personnelsGrâce à ce stage, j’ai pu découvrir le monde de la recherche, le travail en laboratoire.J’ai également eu le plaisir de m’intégrer au sein d’une équipe et d’approfondir letravail en groupe, avec ses avantages comme le partage d’expériences et deconnaissances mais aussi ses inconvénients comme les contraintes de temps et lesdivergences d’opinions.J’ai su appliquer mes connaissances acquises au sein du DESS HANDI, notamment ladécouverte des nouvelles technologies comme l’annotation avec le logiciel ANVIL,qui nous avait été présentée lors des cours de Multimodalité du DESS.66

En visionnant le corpus, j’ai eu l’opportunité d’enrichir mon vocabulaire en LSF. Lathèse de Marie-Anne Sallandre, m’a également beaucoup appris sur la linguistiquedes langues des signes.Par le biais du stage, j’ai appris à être autonome, à prendre des décisions quant auxméthodes de travail et le moyen de les appliquer, d’en prévoir les effets et d’éviterde graves aberrations.Ce stage a conforté mon envie de travailler auprès des personnes en situation dehandicap, et plus précisément mon envie de travailler avec des personnes de lacommunauté sourde. J’ai gagné l’envie de les aider sur tout point ; que ce soit leursrevendications quant à la reconnaissance de leur langue, de leur besoins maiségalement la reconnaissance de leurs droits en tant que personnes à part entière.67

BibliographieCASSEL Ryan, COLLET Christophe : « Etude sur le suivi des mouvements en tempsréel d'un trampoliniste par traitement d'image ». LIMSI/CNRS, Université Paris XII,2003.CASSEL Ryan, COLLET Christophe : « Caractérisation et Suivi des MouvementsAcrobatiques pour la Reconnaissance ». LIMSI/CNRS, Université Paris XII, 2003.CUXAC Christian, Fonctions et structures de l’iconicité des langues des signes. Thèse dedoctorat d’Etat. Université Paris 5, 1996CUXAC Christian, La Langue des Signes Française ; les voies de l’iconicité. Faits deLangues n°15-16, Ophrys, Paris, 2000.Equipe LS-COLIN, rédaction collective : Projet LS-COLIN, Rapport de fin de recherche.Ministère de la recherche, Programme Cognitique 2000, septembre 2002.LOSSON Olivier : Modélisation du geste communicatif et réalisation d’un signeur virtuelde phrases en Langue des Signes Française. Thèse de doctorat, Université Lille I, 2000.McNEILL David: So you think gestures are nonverbal. Psychological Rewiew 92, pp.350-371, 1985.SALLANDRE Marie-Anne : Les unités du discours en Langue des Signes Française.Tentative de catégorisation dans le cadre d’une grammaire de l’iconicité. Thèse de doctorat,Université Paris 8, 2003.SALLANDRE Marie-Anne: « Grande iconicité et dynamique des transferts depersonne en Langue des Signes Française », in Actes du colloque Recherches sur laLangue des Signes, pp. 31-42, Université de Toulouse-Le Mirail, novembre 1999.SALLANDRE Marie-Anne: « Va-et-vient de l’iconicité en Langue des SignesFrançaise », A.I.L.E (Acquisition et Interaction en Langue Etrangère) n°15, LesLangues des Signes : une perspective sémiogénétique, pp. 37-59, 2001.SALLANDRE Marie-Anne: « Enjeux épistémologiques et linguistiques de la grandeiconicité en Langue des Signes Française », in Cavé C. et al (ed.) Oralité et gestualité,interactions et comportements multimodaux dans la communication, ORAGE 2001, pp. 301-304, L’Harmattan, Paris, (2001b).68

SAUSSURE Ferdinand de (1976) [1916] : Cours de Linguistique Générale. Paris, Payot.SEGOUAT Jérémie: Etude et modélisation de certains aspects de la structure des énoncésen Langue des Signes Française. Mémoire de DEA en Sciences cognitives, LIMSI /CNRS, Université Paris-Sud, Orsay, (2003).RAYNAUD Mickaël: « Langages pour la représentation du geste : application à ladescription des gestes de personnage virtuels », Laboratoire Valoria, Université deBretagne Sud, 2005.Sites Web consultés :LIMSI / CNRS : http://www.limsi.frLinguistique Paris 8 : http://umr7023.free.frIRIT: http://www.irit.frVISUF: http://www.visuf.comANVIL: http://www.dfki.de/~kipp/anvil/69

ANNEXE A : Les supports de récitsimagésHistoire en images du cheval (Hickmann, 2003)70

Histoire en images de l’oiseau (Hickmann, 2003)71

ANNEXE B : Liste des abréviationsLes principaux sigles- LS : langue des signes- LSF : Langue des Signes Française- ASL : Langue des Signes Américaine- LIBRAS : Langue des Signes Brésilienne- LSQ : Langue des Signes Québécoise- LV : langue vocale- SGI : structure de grande iconicité- GI : grande iconicitéLes catégories de la LSF- TTF : transfert de taille et de forme- TS : transfert de situation- TdP : transfert de personne- TP : transfert personnel- TP clas : transfert personnel classique- TP presc : transfert personnel classique à fonction prescriptive- TP profo : transfert personnel proforme- TP loupe : transfert personnel avec effet loupe- TP stéréotype : stéréotype de transfert personnel- TP dr gest : discours rapporté en transfert personnel avec gestualité coverbale- TP dr gest profo : discours rapporté en transfert personnel avec gestualitécoverbale et proforme- TP dr GI : discours rapporté en transfert personnel avec unité en grandeiconicité- TP dr std : discours rapporté en transfert personnel et signe standard- TP dr std profo : discours rapporté en transfert personnel et signe standard enproforme- TP semi : semi transfert personnel- TP semi profo : semi transfert personnel en proforme- TP pseudo : pseudo transfert personnel- DT clas : double transfert classique- DT presc : double transfert classique à fonction prescriptive- DT profo : double transfert en proforme- DT loupe : double transfert avec effet loupe72

- DT semi : semi double transfert- DT comp : double transfert complexe- DT dr : discours rapporté en double transfert- Std : signe standard- Point : pointage- Dactylo : dactylologie73

Annexe C : Grille de transcription etd’analyse 1Etiquettes/catégoriesdéfinitions1. TTF Lieu, objet ou personne décrits par leur taille ouleur forme2. TS Déplacement d’un objet ou d’un personnage(main dominante) par rapport à un locatif stable(main dominée). La scène est vue comme de loin.3. TP classique Prise de rôle complète, le locuteur-énonciateurs’efface totalement et entre dans la peau dupersonnage (entité) transféré (tout référent animéou non). Toutes les primitives corporelles sontutilisées en rôle.4. TP profo TP avec reprise en proforme, par une ou deuxmains, de la configuration du signe standard del’entité incarnée5. TP loupe TP avec effet de loupe d’une partie du corps trèspetite (souvent la bouche), au moyen des mains,pour reprendre l’action de cette partie du corps.6. TP stéréotype Reprise d’une attitude culturellement marquée(stéréotypée) dans un discours en LSF, poursuggérer l’état mental ou physique dupersonnage, non pour décrire ou simuler.7. TP dr gest Discours rapporté du locuteur en TP avecutilisation de gestes coverbaux conventionnels.8. TP dr gest profo TP dr gest avec une main en maintien deproforme de l’entité incarnée.9. TP dr GI Discours rapporté du locuteur en TP dans lequelle dire est exprimé au moyen d’une SGI.10. TP dr std Discours rapporté du locuteur en TP dans lequelle dire est exprimé en signes standard (que lediscours soit « prononcé » ou en dialogueintérieur).11. TP dr std profo TP dr std avec une main en maintien deproforme de l’entité incarnée.12. TP semi = semi-TP. Dans un discours en grande iconicité,incursion d’un signe standard, pour faire uncommentaire sur un acte ou un sentiment dupersonnage transféré.13. TP semi profo TP semi avec avec une main en maintien deproforme de l’entité incarnée.1 Cette grille est extraite de la thèse de Marie-Anne Sallandre.Les étiquettes de couleur indiquent les catégories nouvellement identifiées.74

14. TP pseudo = pseudo-TP. Une action prototypique est miseen valeur, en grande iconicité, pour décrire ouprésenter un personnage. On a toutes lescaractéristiques du TP mais sans investissementcorporel.15. DT classique Locatif de TS+TP. Les deux transferts sonteffectués simultanément, ce qui produit unmorcellement corporel important.16. DT profo DT avec un TP profo = un TP profo auquel estajouté un locatif.17. DT loupe DT avec un TP loupe = un TP loupe auquel estajouté un locatif.18. DT semi DT avec un semi-TP = un semi-TP auquel estajouté un locatif = un DT dont l’une des mainsest occupée par une configuration d’un signe std.19. DT dr Discours rapporté du locuteur en DT. On spécifieentre parenthèse si le dire est exprimé par unsigne std , un geste coverbal conventionnel ouéventuellement une SGI.20. DT comp DT avec TS complet (locatif+agent exprimé) ou 2TS. NB : ‘comp ‘= ‘complet’, ‘composé’ ou‘complexe’.21. Signe std Signe stabilisé appartenant au lexique de la LSF.22. Pointage Signe manuel (avec index ou main plate)accompagné du regard qui introduit ouréintroduit une référence spatiale et temporelle.(les pointages de référence actancielle, [MOI,TOI…] sont considérés comme des éléments std.23. Dactylologie Mot épélé au moyen de l’alphabet dactylologiquefrançais.24. Autre Catégorie qui n’aurait pas été mise en évidence.Catégorie indéterminée.Tableau récapitulatif – Aide mémoire75

Annexe D : Exemples concrets destructures discrètesExemple de signes standardCampagne (Chev1_Nas, unité 1) Histoire (Chev1_Lau, unité 2)Exemple de pointagesLà (Chev1_Lau, unité 39) Là (Chev1_Nas, unité 15)76

Annexe E : Exemples concretsd’utilisation de SGIExemple de TTFSurface vallonnée (Chev1_Nas, unité 2) Barrière (Chev1_Lau, unité 16)Exemple de TSSauter (Chev1_Lau, unité 22)77

Exemple de TP classiqueGambader (Chev1_Nas, unité 14) Voler (Chev1_Lau, unité 46)Exemple de TP profoExemple de TP loupeCornes de vache (Chev1_Nas, unité 29)Saisir bande avec bouche (Chev1_Nas, unité122)Exemple de TP semiRespirer (Chev1_Nas, unité 118)78

Exemple de TP dr gestExemple de TP dr stdMais (Chev1_Nas, unité 143) Merci (Chev1_Lau, unité 58)Exemple de DTExemple de DT semiBander la jambe (Chev1_Lau, unité 55) Vent (Chev1_Nas, unité 23)79

Annexe F : Résultats bruts du corpusLS-COLIN, récits du chevalEffectifs du récit du ChevalPourcentages du récit du Cheval80

Annexe G : Répartition par locuteurdes pourcentages par visées, discoursdu chevalLau %Unités avec visée sans rôle 19.3Unités avec visée avec rôle 35.5Total des unités avec visée 54.8Unités hors visée 45.2Total 100Nas %Unités avec visée sans rôle 13.5Unités avec visée avec rôle 76.8Total des unités avec visée 90.3Unités hors visée 9.7Total 10081