CODING MANUAL

Manuel de codage
Projet ANR Multimodalité 2005-2009
ANR-05-BLANC-0178-01 et -02
Transcription et annotation
de données multimodales sous ELAN
Rédaction :
Jean-Marc Colletta, Olga Capirci, Carla Cristilli,
Susan Goldin-Meadow, Michèle Guidetti et Susan Levine
Avec la collaboration de :
Magdalena Augustyn, Geneviève Calbris, Valerio De Angelis, Ozlem E. Demir,
Virginie Ducey-Kaufmann, Isabelle Estève, Michel Grandaty, Maria Graziano,
Benedeta Guidarelli, Adam Kendon, Ramona N. Kunene, Lidia Miladi, Agnès Millet,
Saskia Mugnier, Seyda Özçaliskan, Catherine Pellenq, Asela Reig-Alamillo,
Isabelle Rousset, Jean-Pascal Simon et Aurélie Venouil
Contact : Pr. Jean-Marc Colletta,
Laboratoire Lidilem,
Université Stendhal-Grenoble III,
1180, av. centrale, Domaine Universitaire, 38400, St Martin d’Hères, France
Tel : 33.(0)4.76.82.68.43
Mel : jean-marc.colletta@u-grenoble3.fr
Web : http://w3.u-grenoble3.fr/lidilem/labo/web/recherche.php

Projet ANR Multimodalité
ANR-05-BLANC-0178-01 et -02
Sommaire
Le projet ANR Multimodalité 03
Publications – Etat au 31 déc. 2010 – 04
Manuel de codage 05
1. Transcription des paroles 06
2. Annotation des faits linguistiques 07
3. Annotation du récit 15
4. Annotation des explications 21
5. Annotation de la gestualité 22
6. Contrôle des annotations gestuelles 31
7. Codages additionnels 34
Références 39
2

Projet ANR Multimodalité
ANR-05-BLANC-0178-01 et -02
Le projet ANR Multimodalité
En 2005, l’objectif initial du projet « Multimodalité » est de contribuer à une meilleure connaissance du
développement tardif de la parole dans ses aspects pragmatiques, discursifs et gestuels, chez l’enfant au
développement typique comme chez l’enfant au développement atypique, tout en appréciant l’impact de la langue et
de la culture d’origine sur ce développement.
Les connaissances alors disponibles comprennent les observations des gestualistes concernant la multimodalité de
la communication parlée et la complémentarité des signifiants verbaux et gestuels ainsi que des données des sciences
cognitives et des neurosciences suggérant que le sujet, en production comme en compréhension, intègre les
informations auditives (linguistiques et prosodiques) et les informations visuelles (posturo-mimo-gestuelles). On sait
par ailleurs qu’un système geste-parole se met en place chez l’enfant au cours de la seconde année et que les usages de
la gestualité coverbale accompagnant la parole semblent se développer et se diversifier ensuite. Par contre, la manière
dont évolue ce système geste-parole chez l’enfant plus âgé, son devenir dans les conduites langagières complexes
telles les conduites narratives ou explicatives, le rôle de la gestualité dans les acquisitions langagières tardives,
l’influence de la langue et de la culture en la matière, tout cela reste très largement sous-documenté. Afin de parer ces
lacunes, le projet « Multimodalité » réunit des équipes françaises (l’équipe de Jean-Marc Colletta, coordinateur du
projet, à Grenoble 3, et celle de Michèle Guidetti à Toulouse 2), américaine (l’équipe coordonnée par Susan Goldin-
Meadow et Susan Levine à Chicago) et italiennes (Olga Capirci à Rome, Carla Cristilli à Naples) et comporte quatre
volets.
Volet le plus important du projet, le volet développemental repose sur l’observation d’adultes et d’enfants
français à qui on a proposé des tâches narratives et explicatives. Deux corpus ont été collectés : le premier (protocole
1) auprès de 140 enfants âgés de 3 à 11 ans dont les capacités langagières ont été contrôlées ; le second (protocole 2)
auprès de trois groupes d’âges (6 ans, 10 ans et adultes), couplés avec des populations américaines et italiennes (voir
second volet). Les résultats les plus significatifs viennent pour l’instant de l’exploitation du second corpus (120
sujets), où il a été mis en évidence un double effet de l’âge et de la longueur du récit sur la production gestuelle, ainsi
qu’une co-évolution des ressources linguistiques et gestuelles avec une complexité croissante des récits aux plans
syntaxique et discursif et une évolution de la gestualité vers les fonctions de cohésion textuelle et de cadrage
pragmatique.
Second volet du projet, le volet interlangues repose sur l’observation d’enfants français, italiens et américains à
qui on a proposé la même tâche narrative collectée avec le protocole 2, mieux adapté aux différentes langues-cultures
concernées. Le corpus comporte 160 récits d’enfants âgés de 6 ans et 10 ans (80 français, 40 italiens, 40 américains).
Il s’agit d’étudier l’impact respectif de la langue-culture d’appartenance et de l’âge sur la production discursive et
gestuelle. Les premiers résultats font apparaître un effet de l’âge similaire à celui observé dans le volet 1, mais aussi
un effet de la langue-culture avec une gestualité plus prononcée chez les enfants italiens. Des observations plus fines
laissent penser que les différences enregistrées en matière de gestualité ont aussi à voir avec les acquisitions cognitives
et sociocognitives en matière de représentation et de construction référentielle, de savoir-faire conversationnels et de
cadrage pragmatique de l’activité langagière.
Troisième volet, le volet surdité porte sur des observations d’enfants sourds engagés dans les mêmes tâches
narrative et explicative que celles évoquées précédemment. L’objectif est de mieux comprendre les implications de la
multimodalité dans la dynamique des répertoires langagiers, et d’étudier les interactions entre langue et modalité
puisque les deux modalités expressives (vocale et gestuelle) peuvent être investies par le linguistique comme par le
non verbal. Les résultats font clairement apparaître les spécificités du développement langagier de l’enfant sourd, son
habileté à construire son expression à partir de la totalité des ressources disponibles (langue vocale et langue signée,
signaux vocaux et signaux gestuels), et interrogent la validité des outils de description actuels, les procédures
d’évaluation de ses capacités langagières et les pistes didactiques à explorer.
Dernier volet de ce projet, le volet pathologie a été diversement investi par les équipes. Avec les observations
concernant l’enfant cérébro-lésé, l’équipe de Chicago explore les potentialités du geste en matière d’expression et
d’acquisitions linguistiques. Dans la même optique, l’équipe de Grenoble a collecté des données langagières auprès
d’enfants dysphasiques et entend les exploiter prochainement. Enfin, les collègues italiens poursuivent leurs
observations concernant l’enfant présentant un syndrome de Williams et montrent que la gestualité peut refléter ses
difficultés en matière de cognition visuo-spatiale et praxique. La gestualité : simple reflet ou moteur du
développement et des acquisitions ? Certains de nos résultats plaident en faveur de la seconde hypothèse, mais ils
devront être complétés pour que cette hypothèse soit totalement validée.
3

Projet ANR Multimodalité
ANR-05-BLANC-0178-01 et -02
Publications
– état au 31 déc. 2010 –
Capirci, O., Colletta, J.-M., Cristilli, C., Demir, O.E., Guidetti, M. & Levine, S. (2010). L’incidence de la culture et de la langue
dans les récits parlés et les gestes d’enfants français, italiens et américains âgés de 6 et 10 ans. Lidil, 42, “Multimodalité de la
communication chez l’enfant”, 139-158.
Capirci, O., Cristilli, C., De Angelis, V. & Graziano, M. (in press). Developmental aspects of the relationship between speech and
gesture in the construction of narratives. In G. Stam & M. Ishino (eds). Integrating Gestures. John Benjamins.
Colletta, J.-M. (sous presse). Arguments pour une approche paramétrique de l’acte et du texte. Actes du Colloque International
« Enonciation et texte au cœur de la grammaire », Toulouse, 11-13 mars 2009.
Colletta, J.-M. (2010). Unités et structures du texte : l’éclairage de l’étude des textes parlés enfantins. In L.-S. Florea, Ch. Papahagi,
L. Pop & A. Curea (dir.), Directions actuelles en linguistique du texte. Actes du Colloque International « Le Texte : modèles,
méthodes, perspectives», vol. II. Cluj-Napoca, Casa Carti de Stinta : 403-416.
Colletta, J.-M. & Guidetti, M., Eds. (in press). Gesture, special issue on “Multimodality and gesture in communicative
development”.
Colletta, J.-M., Kunene, R.N., Capirci, O., Cristilli, C., Demir, O.E., Guidetti, M. & Levine, S. (in preparation). The effect of
culture, language and age on co-speech gesture production. An investigation on American, Italian and French children’s
narratives.
Colletta, J.M., Kunene, R.,N., Venouil, A., Kaufmann, V. & Simon, J.P. (2009). Multitrack annotation of child language and
gestures, In M. Kipp, J.-C. Martin, P. Paggio, P. & D. Heylen (Eds.), Multimodal Corpora. From Models of Natural
Interaction to Systems and Applications, Springer, LNAI 5509, pp. 54-72.
Colletta, J.-M., Millet, A. & Pellenq, C., Eds. (sous presse). Lidil, 42, « Multimodalité de la communication chez l’enfant ».
Colletta, J.-M., Pellenq, C. & Guidetti, M. (2010). Age-related changes in co-speech gesture and narrative: Evidence from French
children and adults. Speech Communication, 52 : 565-576.
Cristilli, C. (in press). La rilevanza dell'input gestuale in relazione a quello verbale nella comunicazione insegnanti-bambini, in
M.C. Caselli e Emiddia Longobardi (a cura di) Caratteristiche dell’input in condizioni di sviluppo tipico e atipico:
implicazioni per la ricerca e il trattamento, Nucleo monotematico di Psicologia clinica dello sviluppo.
Cristilli, C., Capirci, O. & Graziano, M. (in press). Le funzioni anaforiche della gestualità nel racconto dei bambini. Proceedings of
The 3 rd International Conference “Spoken Communication”, Naples, Italy, 23-25 February, 2009.
Demir, O.E., Levine, S.C. & Goldin-Meadow, S. (in press). Narrative skill in children with early unilateral brain injury. A possible
limit to functional plasticity. Developmental Science.
Estève, I. (2009). Diversité langagière d’une classe d’enfants sourds. In Actes Colloque Enfance et plurilinguisme, 26-27 juin 2008,
Montpellier. http://www.msh-m.fr/article.php3?id_article=709
Estève, I. & Batista, A. (2009). Utilisation et construction de l’espace dans les conduites narratives d’enfants sourds oralisants et
d’enfants entendants. Actes du Colloque pluridisciplinaire Repères et Espace, 27-28-29 avril 2009, Grenoble.
Fantazi, D. (2010). La gestualité cohésive dans les récits d’enfants âgés de 9 à 11 ans. Lidil, 42, “Multimodalité de la
communication chez l’enfant”, 97-112.
Fantazi, D. (2009). Anaphores et chaînes référentielles dans la narration enfantine à l’oral et à l’écrit. Actes du Colloque
AcquisiLyon, 3-4 décembre 2009.
Guidetti, M. & Colletta, J.-M. (2010). Introduction. Gesture, 2 (3), special issue on “Multimodality and gesture in communicative
development”, p.123-128.
Guidetti, M. & Nicoladis, E., Eds. (2008). First Language, 28 (2) “Gestures and communicative development”.
Millet, A. & Estève, I. (2010). Transcribing and annotating multimodality: How deaf children’s productions call into the question
the analytical tools. Gesture, 2 (3), special issue on “Multimodality and gesture in communicative development”, p.298-321.
Millet, A. & Estève, I. (2010). Transcrire et annoter la multimodalité : quand les productions des enfants sourds ré-interrogent les
outils d’analyse. Lidil, 42, “Multimodalité de la communication chez l’enfant”, p.9-34.
Millet, A & Estève, I. (2009). Contacts de langues et multimodalité chez des locuteurs sourds : concepts et outils méthodologiques
pour l’analyse. Journal of language contact Varia 2. 111-133. http://www.jlcjournal.org/.
Reig Alamillo, A. & Colletta, J.-M. (sous presse). Apprendre à raconter, apprendre à commenter. Actes du Colloque International
« Enonciation et texte au cœur de la grammaire », Toulouse, 11-13 mars 2009.
Reig Alamillo, A., Colletta, J.-M. & Kunene, R.N. (2010). Reference tracking in gesture and speech. A developmental study on
French narratives. Rivista di Psicholinguistica Applicata, X, 3: 75-95.
Reig Alamillo, A., Guidetti, M. & Colletta, J.-M. (submitted). Gesture and language in narratives and explanations: the effects of
age and communicative activity on late multimodal discourse development.
Rowe, M. & Goldin-Meadow, S. (2009). Early gesture selectively predicts later language learning. Developmental Science, 12:
182-187.
4

Projet ANR Multimodalité
ANR-05-BLANC-0178-01 et -02
Manuel de codage
1. Transcription des paroles et conventions de transcription
2. Annotation des faits linguistiques (6 étapes)
3. Annotation du récit (5 étapes)
4. Annotation des explications (1 étape)
5. Annotation de la gestualité (5 étapes)
6. Contrôle des annotations gestuelles (2 étapes)
7. Codages additionnels (6 étapes)
La transcription et l’annotation des paroles et des mouvements corporels s’effectuent à l’aide du logiciel ELAN
développé par le Max Planck Institute de Nimègue et téléchargeable gratuitement à l’adresse :
http://www.lat-mpi.eu/tools/elan/
Voici un aperçu de l’interface :
5

Projet ANR Multimodalité
ANR-05-BLANC-0178-01 et -02
1. Transcription des paroles
• Que ce soit pour la tâche narrative ou pour la tâche explicative, la transcription des paroles des locuteurs apparaît
sur deux pistes :
< adulte > < enfant >
• La transcription des paroles est à saisir proposition par proposition ou en deça, mais pas au delà.
Ex. :
« et après l’œuf il a roulé »
« mmhm »
« il a roulé jusqu’à la maison de la souris »
• La transcription est orthographique et présente l’intégralité des propos des locuteurs.
1.1. Conventions relatives aux faits linguistiques
le *bouton = respecter la prononciation exacte de l’enfant (« sèvre » pour « chèvre » ; « bouton » pour « mouton ») et
la *sèvre faire précéder le phonème ou la syllabe qui ne correspond pas à la forme standard d’une *
le mout/ mouton
il rep/ revient = signaler les mots inachevés (mouton, repart) avec un / à la fin du mot
pa(r)ce que
i(l) faut
j(e) me = signaler les phonèmes ou syllabes élidés par des ( )
[sait / ses] = mettre les termes pour lesquels on hésite entre [ ] ; donner les deux possibilités
heu heum mm = hésitations
(xxxx) = noter les termes ou segments impossibles à identifier par des croix : une x par syllabe
{rire} {soupir} = commentaires du transcripteur
NON = utiliser les majuscules pour noter des paroles fortement accentuées ; pas de maj. pour les noms propres
1.2. Conventions relatives aux faits prosodiques
// = signaler les pauses entre les groupes de souffle
? ! = utiliser exclusivement ces deux signes de ponctuation et uniquement lorsque nécessaire, pour signaler une
question ou une exclamation
i’ va::
ben:: = allongements vocaliques
6

Projet ANR Multimodalité
ANR-05-BLANC-0178-01 et -02
2. Annotation des faits linguistiques
Etape 1 : < TDP > segmentation des propos de l’enfant en tours de parole
On annote un nouveau tour de parole lorsque les paroles de l’enfant surviennent :
- lors de la tâche narrative, après une relance de l’adulte ;
- lors de la tâche explicative, après une question (une demande d’explication) ou une relance de l’adulte.
Rappel : dans la tâche de récit, on considère deux types de relances :
1. en cas de silence, de récit trop bref ou de récit synthétique, l’adulte a demandé : « qu’est-il arrivé d’autre ? dis-moi en
plus »
2. lorsque l’enfant est arrivé vers la fin de son récit, l’adulte a demandé : « as-tu fini ? est-il arrivé autre chose ? »
Remarque : dans la tâche de récit, il arrive fréquemment que l’enfant délivre son récit en une seule fois, auquel cas on
annote un seul tour de parole.
7

Projet ANR Multimodalité
ANR-05-BLANC-0178-01 et -02
Etape 2 : < Synt.Prop > segmentation des propos de l’enfant en propositions
Le travail est facilité par la saisie préliminaire des paroles proposition par proposition.
On appelle proposition :
- une prédication assortie de un, deux ou trois arguments (approche logique), ou
- une suite de mots comprenant un verbe assorti de ses satellites en fonction sujet et complément(s) (approche
grammaticale).
Des exemples sont donnés à l’étape 3.
Dans le cas d’une proposition incomplète, on annote celle-ci comme proposition seulement si le locuteur en a
formulé le verbe.
En revanche, à cette étape, on normalise les propos pour permettre le traitement linguistique (segmentation en mots)
:
- suppression des signes non linguistiques tels : / ( ) * ? !
- suppression des commentaires du transcripteur entre crochets { }
- suppression des marques d’hésitation et des allongements vocaliques
- suppression des faux départs lorsqu’il s’agit d’une syllabe, d’un mot ou d’un syntagme
- suppression des reprises lorsqu’il s’agit de la répétition d’un mot ou d’un syntagme
Ex (voir illustration ci-après) :
ha parce que // si l'oeuf i(l) n'arrivait pas >>> ha parce que si l'oeuf il n'arrivait pas
y aurait pas de:: d'histoire dans l(e) dessin animé {rire} >>> y aurait pas d'histoire dans le dessin animé
Remarque : maintien des reprises lorsqu’il s’agit de la répétition d’une proposition entière ou d’une reformulation.
Ex :
Après le maître Gromit enfin le maître de Wallace il dit… >>> Après le maître Gromit enfin le maître de Wallace il dit…
8

Projet ANR Multimodalité
ANR-05-BLANC-0178-01 et -02
Etape 3 : < Synt.Type.Pr > catégorisation des propositions
Par double clic à l’endroit que l’on souhaite annoter, puis clic sur la valeur choisie dans le menu déroulant :
< Phrase nominale > : annotation d’expressions non prédicatives (n’inclut pas les propositions introduites par un
présentatif comme « c’est » ou « il y a »)
Ex : Pas d’exemple dans le corpus français
< Indépendante > : proposition isolée, entourée ou non par des connecteurs (entre parenthèses)
Ex :
il regarde son réveil
(donc) il part
(et) il laisse l’œuf dans le nid
(et) (en fait) l’œuf (après) il tremble
(et) il fait le tour du nid
< Indépendante Prés > : proposition isolée, entourée ou non par des connecteurs (entre parenthèses), introduite par
un présentatif du type « il y a », « c’est », « voici »
Ex :
y a un mouton
c’est une maman oiseau dans un nid
< Principale > : proposition à laquelle se rattache une proposition complétive ou adverbiale
Ex : voir ci-après
< Principale Prés > : proposition introduite par un présentatif du type « il y a », « c’est », « voici » (en gras), à
laquelle se rattache une proposition complétive ou adverbiale (soul.)
Ex :
y a le mouton [qui veut sortir]
c’est une maman oiseau [qui tricote]
< Ct de verbe > : proposition complétive (soul.) dépendant d’un verbe principal (gras)
Ex :
Il dit [je pars demain]
Le maître de wallace il dit [est-ce que tu as eu faim cette nuit]
Sa maman lui dit [de faire attention]
Il dit [qu’il faut {tirer la porte}] (2 prop. Ct de verbe)
Il veut [que Marie mange]
Il demande [si Wallace va partir]
Il a vu [que y a plein de trucs {qui s’est fait croquer}]
Il a appris [à être chasseur]
Il a réussi [à manger]
Il dit [je pense {qu’on va…}] (2 prop. Ct de verbe)
Elle sait [qu’elle a tout son temps]
Je sais plus [ce que c’est]
Ils appellent quelqu’un [pour qu’ils viennent voir {ce qui se passe}]
9

Projet ANR Multimodalité
ANR-05-BLANC-0178-01 et -02
< Ct de phrase > : proposition adverbiale (soul.) dépendant d’une proposition principale (gras)
Ex :
(Et après) [quand il regarde les choses] c’est mangé
(Après) [tellement qu’il a mangé] il s’endort
Je suis sortie [sans qu’il voie]
Elle transporte quelque chose ou je sais pas quoi [pour l’amener à sa grand-mère]
Ils appellent quelqu’un [pour qu’ils viennent voir]
< Ct de Nom > : proposition en fonction épithète ou CDN (soul.) dans un GN sujet ou objet (gras)
Ex :
Les enfants [qui dormaient] n’ont pas entendu…
Il voit quelque chose [qui change]
Ils ont lu le journal [où il y avait marqué l’article]
< Ct de Nom foc. > : proposition en fonction épithète ou CDN (soul.) dans un GN introduit par un présentatif (gras)
Ex :
Il y a le mouton [qui veut sortir]
Il y a le berger avec ses moutons [qui s’arrête au feu]
C’est le loup [qui a gagné]
C’est l’heure [de manger]
Il a vu que y a plein de trucs [qui s’est fait croquer]
< Ct d’adjectif > : proposition en fonction de complément (soul.) d’un adj. attribut (gras)
Ex :
C’était un peu dur (quand-même) [de vérifier]
Je suis content [de te voir]
< Ct d’adverbe > : proposition en fonction de complément (soul.) d’un adverbe (gras)
Ex :
Heureusement [qu’il a été mangé]
< Infinitive > : proposition infinitive (soul.) en fonction de complétive ou d’adverbiale
Ex :
Il est allé dans le ruisseau [chercher une pierre] (infinitive adverbiale)
Il [le] voit [partir] (infinitive complétive)
< Factitive > : proposition infinitive (soul.) en fonction de complétive
Ex :
Il [le] fait [descendre de son lit]
Remarque : on considère qu’on a affaire à une et une seule proposition lorsqu’on a une suite [verbe1 conjugué +
verbe 2 à l’infinitif] (cf. Diessel, 2004) avec :
-emploi d’un auxiliaire d’aspect
Ex :
il va partir du nid
il commence à taper avec son bec
Il se dépêche d’aller à la maison de la grand-mère
- emploi des auxiliaires modaux « pouvoir », « devoir », « vouloir »…
Ex :
elle peut aller manger
le bonhomme pouvait pas attraper ses céréales
l’oiseau veut tout détruire
Elle devait voir sa grand-mère
10

Etape 4 : < Synt.Mots > segmentation en mots
Projet ANR Multimodalité
ANR-05-BLANC-0178-01 et -02
En utilisant la commande « tokeniser l’acteur » du menu « acteur » puis en définissant « Acteur source » et
« Acteur de destination » comme suit :
11

Projet ANR Multimodalité
ANR-05-BLANC-0178-01 et -02
Etape 5 : < Synt.Cat.gr > identification des indices de complexité syntaxique (subordination)
Par double clic à l’endroit que l’on souhaite annoter, puis clic sur la valeur choisie dans le menu déroulant :
On annote :
< ConjSsub > : les conjonctions de subordination et locutions conjonctives telles :
que, quand, comme, à ce que, de ce que, parce que, afin que, alors que, sans que, tout ce que, etc…
< PrRelatif > : les pronoms relatifs :
qui, que, où, dont, etc…
< Prep > : les prépositions et locutions prépositionnelles introduisant un infinitif :
Ex :
Pour mieux te voir
Je te demande de partir
la souris sort afin de le ramener au nid
< Autres.Sub > : les autres subordonnants tels des adverbes, des locutions adverbiales, etc.
Ex :
il va où la plante a été mangée
…
Remarque : lorsque le mot est en deux segments comme « parce que » ou « afin de », on n’annote qu’à un seul
endroit.
12

Projet ANR Multimodalité
ANR-05-BLANC-0178-01 et -02
Etape 6 : < Disc.Cat.gr > identification des connecteurs et des anaphores
Par double clic à l’endroit que l’on souhaite annoter, puis clic sur la valeur choisie dans le menu déroulant :
6.1. Connecteurs : on annote comme < Conn > tous les éléments qui ont un rôle de marqueur de structuration,
d’opérateur logique, chronologique ou spatial, de connecteur argumentatif ou de connecteur reformulatif. Voir des
exemples dans le tableau ci-dessous (extrait de Colletta, 2004).
Les marqueurs de
structuration
Les opérateurs
Les connecteurs
argumentatifs
Les connecteurs
reformulatifs
Ils permettent soit de signaler l'ouverture ou la clôture d'une unité conversationnelle (bon, alors, allez, au fait,
pis, bien, ben, voilà, quoi…), soit d'organiser la progression discursive (d'abord, premièrement, en premier lieu,
pour commencer, deuxièmement, en second lieu, ensuite, dernièrement, en dernier lieu, pour terminer, enfin...).
Ils signalent l'enchaînement des unités dans les séquences explicatives (opérateurs logiques tels si, alors, donc,
parce que, en conséquence…), narratives (opérateurs chronologiques tels et, puis, auparavant, au même
instant, après, ensuite, alors…), descriptives (opérateurs spatiaux tels en haut, au dessus, en bas, au dessous, à
gauche, à droite, plus loin, devant, derrière…).
Ils signalent l'enchaînement des unités dans les séquences oppositives et argumentatives. On distingue les
connecteurs adversatifs (non, par contre, en revanche…), argumentatifs (car, parce que, puisque, en effet,
d'ailleurs…), concessifs (certes, bien sûr, il est vrai que…), contre-argumentatifs (mais, cependant, néanmoins,
pourtant, quand même…), consécutifs (ainsi, aussi, donc, en conséquence…), réévaluatifs (finalement, enfin,
en somme, au fond, bref, décidément…).
Ils signalent l'apparition d'énoncés métadiscursifs (autrement dit, je veux dire, c'est-à-dire, comment dire...).
6.2. Anaphores : on annote tous les éléments qui ont un rôle de reprise d’un référent antérieur. Le fonctionnement
anaphorique (référent en gras, anaphore soulignée) peut être porté par :
< Nom > un nom ou un groupe nominal : la souris… Jerry... la souris Jerry
< Det > un déterminant : un mouton… le mouton… ce mouton
< Pronom > un pronom : un mouton… il ;
il mange les feuilles… et pendant qu’il a fait ça
< PrRelatif > un pronom relatif : y a un mouton qui sort du camion
et là il voit la plante qui a été mangée
< Zero anaphore > : pas d’exemple en français
< Autre > : anaphore portée par un groupe verbal, un adverbe, une proposition, etc.
13

Projet ANR Multimodalité
ANR-05-BLANC-0178-01 et -02
Remarque : dans le cas des possessifs, on peut rencontrer des suites comme « l’oiseau… sa maman ». On ne
considère pas « sa » comme anaphore lors de la première mention du référent « maman ». Lorsqu’il y a redoublement
de la co-référence à l’intérieur d’un même proposition (par double marquage ou focalisation), on n’annote que la
première reprise anaphorique (soulignée) et on ignore la seconde (en italiques) :
Ex :
Wallace… Je sais [que Wallace il adore le fromage]
< Nom >
Le mouton… Le mouton il est en train de…
< Det >
L’oiseau… il picore [tout ce qu’il trouve l’oiseau]
< Pronom > < Pronom >
Remarque : lorsqu’on annote les fichiers correspondant aux explications, on annote comme reprise anaphorique la
première mention d’un référent si et seulement si ce référent a été mentionné explicitement dans la question (ou la
relance) de l’adulte.
Ex :
Adulte : pourquoi le bébé oiseau est content de voir la souris?
Enfant : parce qu’il croit que c’est sa maman
< Pronom >
14

Projet ANR Multimodalité
ANR-05-BLANC-0178-01 et -02
3. Annotation du récit
Etape 1 : < Narration > reprise de la segmentation des propos de l’enfant en propositions
Il suffit de copier les annotations déjà saisies à l’étape 2.
15

Projet ANR Multimodalité
ANR-05-BLANC-0178-01 et -02
Etape 2 : < Episode > catégorisation des propositions en macro-épisodes
Par double clic à l’endroit que l’on souhaite annoter, puis clic sur la valeur choisie dans le menu déroulant :
Liste des macro-épisodes :
Code Description de l’épisode
A
B
C
D
E
F
G
Dans le nid
Du nid au lit
L'éclosion
L'empreinte
Les dégâts
Comment clamer le bébé oiseau
Retour au nid
Remarque : plusieurs propositions peuvent être affectées à un macro-épisode, et inversement, il peut arriver qu’un
macro-épisode ne fasse l’objet d’aucune proposition. Lorsque les propos de l’enfant ne correspondent à aucun macroépisode
identifié : l’enfant évoque des événements hors de l’histoire (cf. ex. ci-après), explique, commente ou
interprète (cf. étape 10), on laisse l’annotation vide en cliquant à l’extérieur du menu déroulant.
Ex :
« ben c’est un pivert enfin une maman pivert qui fait un œuf »
16

Projet ANR Multimodalité
ANR-05-BLANC-0178-01 et -02
Etape 3 : < ElementDuScript > catégorisation des propositions en micro-épisodes
Par double clic à l’endroit que l’on souhaite annoter, puis clic sur la valeur choisie dans le menu déroulant :
Liste des micro-épisodes :
Code Description du micro-épisode
A1 La maman tricote
A2 La maman regarde l'oeuf
A3 La maman tricote
A4 La maman regarde l'heure
A5 La maman pose son tricot
A6 La maman borde l'oeuf
A7 La maman contemple l'oeuf
A8 La maman s'en va
B1 L'oeuf saute
B2 L'oeuf tombe dans la toile d'araignée
B3 La toile se rompt
B4 L'oeuf tombe dans la fleur
B5 La fleur dépose l'oeuf sur la feuille
B6 L'oeuf roule sur la feuille jusqu’à la maison
B7 L'oeuf pousse la porte
B8 L'oeuf roule jusqu'au lit
C1 La souris se retourne sur l'oeuf
C2 L'oeuf réveille la souris
C3 La souris découvre l'oeuf
C4 L'oeuf fait tomber la souris du lit
D1 L'oeuf éclot
D2 Le bébé oiseau court avec sa coquille sur la tête
D3 la souris enlève la coquille
D4 le bébé oiseau court en cercle
D5 Le bébé oiseau prend la souris pour sa mère
D6 Le bébé oiseau fait un câlin à la souris
D7 La souris caresse la tête du bébé oiseau
E1 Le bébé oiseau a vu quelque chose
E2 Le bébé oiseau court et grimpe sur la commode
E3 Le bébé oiseau attaque la commode avec son bec
E4 Le bébé oiseau détruit le pied du lampadaire
E5 La souris veut attraper le bébé et reçoit l'abat-jour sur la tête
E6 Le bébé oiseau fait un trou dans le mur avec son bec
E7 La souris bloque l'oiseau par le bec et vibre
17

Projet ANR Multimodalité
ANR-05-BLANC-0178-01 et -02
E8 La souris pose l'oiseau
F1 La souris a une idée
F2 La souris va chercher quelque chose à manger
F3 La souris tend un morceau de nourriture
F4 Le bébé oiseau mange
F5 La souris tend un autre morceau de nourriture
F6 Le bébé oiseau mange le morceau de nourriture et le bras de la souris
F7 La souris se libère
F8 L'oiseau se retrouve planté
F9 La souris déplante l'oiseau
F10 La souris s'éponge le front et veut s'asseoir
F11 Le bébé oiseau détruit le tabouret et la souris tombe
G1 La souris regarde l'oiseau avec colère
G2 La souris prend le bébé oiseau dans ses bras
G3 La souris emporte l'oiseau dehors
G4 La souris regarde en l'air et cherche en tournant la tête à droite puis à gauche
G5 La souris a vu quelque chose et sourit
G6 La souris monte sur l'arbre jusqu'au nid
G7 La souris met le bébé oiseau au lit
G8 La souris fait au revoir
G9 La souris s'en va
Remarque : plusieurs propositions peuvent être affectées à un micro-épisode, et inversement, il peut arriver qu’un
micro-épisode ne fasse l’objet d’aucune proposition. Lorsque les propos de l’enfant ne correspondent à aucun microépisode
identifié : l’enfant évoque des événements hors de l’histoire, explique, commente ou interprète (cf. étape 10),
on laisse l’annotation vide en cliquant à l’extérieur du menu déroulant.
Ex :
« ben c’est un pivert enfin une maman pivert qui fait un œuf »
Remarque : lorsque les propos de l’enfant correspondent à un micro-épisode identifié sans reprendre mot pour mot à
la formulation proposée, on sélectionne tout de même le micro-épisode correspondant.
Ex :
« heu ben en fait c'est au début un oiseau il tricote » < A1 > : La maman tricote
« après il (l’oeuf) tremble » < B1 > : L'oeuf saute
« et puis il (l’œuf) fait le tour du nid » < B1 > : L'oeuf saute
« et il glisse jusqu'à une feuille » < B5 > : La fleur dépose l'oeuf sur la feuille
…
18

Projet ANR Multimodalité
ANR-05-BLANC-0178-01 et -02
Etape 4 : < ModalitésPragmatiques > catégorisation des propositions en actes de langage
Par double clic à l’endroit que l’on souhaite annoter, puis clic sur la valeur choisie dans le menu déroulant :
On sélectionne :
< raconte > lorsque la proposition reprend le descriptif d’un micro-épisode ou traite de la dimension explicite de ce
micro-épisode : l’enfant raconte l’événement tel qu’il apparaît dans le dessin animé.
DONC : toute proposition ayant été identifiée à l’étape 3 comme correspondant à un micro-épisode est à annoter
avec < raconte >
< explique > lorsque la proposition apporte une précision de nature causale : l’enfant apporte une explication
complémentaire quant à l’événement narré tel qu’il apparaît dans le dessin animé
Ex :
(puis ensuite il essaie de s’asseoir) parce qu’il (Jerry) est fatigué
(il le ramène à son nid) parce qu’il cassait tout
< interprète > lorsque la proposition présente une inférence ou une interprétation concernant la situation ou les
intentions des personnages : l’enfant brode à partir de l’événement, échafaude des hypothèses
Ex :
(puis il regarde son réveil) il s’aperçoit {que c’est l’heure [de partir]} >>> 3 prop. à annoter avec < interprète >
< commente > lorsque la proposition ne traite ni des aspects explicites, ni des aspects implicites du déroulement des
événements mais présente un « commentaire méta-narratif » relatif à un personnage, une action ou un quelconque
aspect de l’histoire, ou un « commentaire para-narratif » relatif à l’action même de raconter l’histoire (jugement,
appréciation personnelle…)
Ex :
il est fou cet oiseau
j’aime bien [quand l’œuf il tombe dans la toile] >>> 2 prop. à annoter avec < commente >
19

Projet ANR Multimodalité
ANR-05-BLANC-0178-01 et -02
Etape 5 : < PlanNarratif > catégorisation des propositions au regard du traitement narratif
Par double clic à l’endroit que l’on souhaite annoter, puis clic sur la valeur choisie dans le menu déroulant :
On sélectionne :
< Premier plan > lorsque la proposition traite du plan événementiel de l’histoire : du déroulement des événements
tels qu’ils apparaissent dans le dessin animé
Ex :
puis i(l) regarde son réveil
< Arrière plan > lorsque la proposition traite de l’arrière-plan de l’histoire : ce peut être au début (macro-épisode A,
micro-épisodes A1, A2, A3 principalement), à la fin (macro-épisode G, micro-épisodes G7, G8, G9 principalement),
ou pendant le récit lorsque le narrateur fournit des éléments de description des situations.
Ex :
heu ben en fait c'est au début un oiseau il tricote
Remarque : Deux cas de figure possibles :
1. le récit est au présent : le passage au premier plan est marqué par l’apparition d’un connecteur introducteur
d’événement (soudain, alors, tout-à-coup, puis)
2. le récit est au passé : on s’appuie sur les temps utilisés : imparfait pour l’arrière-plan, passé composé ou passé
simple pour le premier plan. Attention : l’enfant peut commettre des erreurs d’emploi des deux temps.
On laisse l’annotation vide lorsque la proposition a été annotée avec < commente > à l’étape 10, puisque l’enfant n’est
plus alors dans le récit, explicite ou implicite, de l’histoire.
20

Projet ANR Multimodalité
ANR-05-BLANC-0178-01 et -02
4. Annotation des explications
Etape 1 : < Rep_explication > reprise partielle de la segmentation des propos de l’enfant
Il suffit d’introduire, après chaque question de l’adulte, une brève annotation qui indique s’il y a ou non une réponse
de l’enfant.
On sélectionne < 0 > dans le menu déroulant s’il n’y a pas de réponse ;
On sélectionne < 1 > dans le menu déroulant s’il y a réponse de l’enfant.
21

Projet ANR Multimodalité
ANR-05-BLANC-0178-01 et -02
5. Annotation de la gestualité
Elle est effectuée en parallèle par 2 codeurs indépendants 1 et 2, qui annotent chacun de leur côté
les différentes étapes :
codeur 1
codeur 2
Pour chacune des étapes qui suivent, on trouvera des exemples correspondant aux options des
menus déroulants dans le fichier ELAN « Jonas.CM1.Ma.Tom.eaf ».
On ouvre ce fichier sous ELAN avec les fichiers audio et vidéo correspondants, fichiers qui sont
annexés au présent document dans le dossier « ANR Coding Manual »
22

Projet ANR Multimodalité
ANR-05-BLANC-0178-01 et -02
Etape 1 : < Gestes(Phases) > identification des gestes et annotation des phases gestuelles
1.1. Identification des unités gestuelles
Pour identifier les unités gestuelles qu’il s’apprête à annoter, le codeur prend en compte les trois critères
suivants, auxquels il attribue une valeur entre 0 et 2 :
Si le mouvement est :
- bien repérable : de bonne amplitude, bien marqué par sa vitesse 2
- peu repérable : de peu d’amplitude, peu rapide 0
- entre les deux 1
Si l’emplacement est :
- dans l’espace frontal du locuteur, réalisé pour l’interlocuteur 2
- sur un côté, peu ou pas repérable par l’interlocuteur 0
- entre les deux 1
Si la configuration (dans le cas d’un geste manuel) :
- correspond à une forme de la main précise 2
- correspond à une forme imprécise 0
- est entre les deux 1
On identifie le mouvement comme un geste si la somme des valeurs attribuées est > 3
1.2. Annotation des phases gestuelles
Par double clic à l’endroit que l’on souhaite annoter, puis clic sur la valeur choisie dans le menu déroulant :
On sélectionne une des six valeurs suivantes (voir des exemples dans A. Kendon, 2004, chap.7) :
< stroke > = le geste lui-même, qu’il s’agisse d’un geste manuel ou d’un mouvement de la tête, des épaules ou du
buste.
Remarque : tout stroke correspond à un geste : le nombre de strokes qu’on a annoté doit donc correspondre au
nombre de gestes qu’on a identifié dans la séquence.
< préparation > = le mouvement qui précède un stroke manuel, qui amène la ou les main(s) de leur position initiale
au repos à l’endroit ou démarre le geste.
< retour > = le mouvement qui ramène la ou les main(s) de leur position à la fin d’un stroke gestuel à une position de
repos, identique ou non à la position de repos précédent le geste.
23

Projet ANR Multimodalité
ANR-05-BLANC-0178-01 et -02
< enchaînement > = le mouvement qui amène la ou les main(s) de leur position initiale à la fin d’un stroke gestuel à
l’endroit ou démarre un nouveau stroke gestuel, sans retour à une position de repos entre les deux strokes.
< tenue > = le maintien de la ou des main(s) dans leur position à la fin d’un stroke gestuel, avant une phase de retour
ou d’enchaînement, ou pendant la phase de préparation.
< mixte > = on n’utilise pas cette annotation.
Remarque : contrairement aux mains, l’emplacement de la tête, du buste ou des épaules est fixe (1 degré de liberté en
moins). Les mouvements de la tête, du buste ou des épaules ne peuvent donc être « préparés » au même titre que les
mouvements manuels, et en conséquence, ne peuvent être annotés que comme des strokes.
24

Projet ANR Multimodalité
ANR-05-BLANC-0178-01 et -02
Etape 2 : < Valeur du Geste > attribution d’une fonction au geste
Par double clic à l’endroit que l’on souhaite annoter, puis clic sur la valeur choisie dans le menu déroulant :
On sélectionne parmi les fonctions suivantes :
< Déictique > = geste manuel ou céphalique de pointage dirigé vers un objet présent dans la situation, vers
l’interlocuteur, vers soi-même ou une partie de son corps, ou indiquant la direction dans laquelle se trouve le référent à
partir des coordonnées absolues de la situation.
Ex :
- Le locuteur s’auto-désigne en disant « c’est ce que moi j’ai compris »
Remarque : tous les gestes de pointage n’ont pas de valeur déictique. Un geste de pointage déictique implique nécessairement la
présence du référent ou sa localisation effective à partir de la situation, et ces gestes sont rares dans le corpus. Lorsque le locuteur
pointe en parlant d’un personnage, d’un objet ou d’une localisation interne à l’histoire, le geste n’a pas une valeur déictique, mais
soit une valeur représentationnelle, soit une valeur discursive (plus exactement « anaphorique » dans le cas d’une reprise gestuelle),
cf. les sections < Représentationnelle > et < Discursive >.
Ex :
- Le locuteur pointe devant soi vers le haut en disant : « il (Jerry) monte en haut de l’arbre » (pointage abstrait)
********
< Représentationnelle > = geste de la main ou mimique faciale, associant ou non d’autres parties du corps, qui
représente un objet de l’histoire ou une propriété de cet objet, un lieu, un déplacement, une action, un personnage ou
un attitude, ou qui symbolise, par métaphore ou par métonymie, une idée abstraite.
Ex de gestes représentant des objets, propriétés, lieux, déplacements, actions, personnages du monde concret :
- 2 mains dessinent une forme ovale pour représenter l’œuf
- 2 mains dessinent la forme d’un contenant pour représenter le nid
- Mouvement rapide de la main ou de l’index du haut vers le bas pour représenter la chute de l’œuf (pointage abstrait)
- Mouvement manuel ou céphalique, en direction de la droite, de la gauche, du haut ou du bas pour représenter le -
déplacement d’un objet ou d’un personnage (pointage abstrait)
- Mouvements rapides et répétés de la main en forme de pointe pour représenter le pic-vert en train d’attaquer un objet
- Bras et mains mimant le fait de porter un objet pour représenter Jerry ramenant l’oiseau au nid
- Mouvement rapide d’affaissement de tout le corps pour représenter Jerry tombant par terre
- Regard et mouvement de tête vers le haut pour représenter Jerry cherchant le nid de l’oiseau
…
Ex de gestes symbolisant des idées abstraites :
- Geste manuel ou céphalique de pointage abstrait désignant un point de l’espace sensé représenter un personnage
(l’oiseau, Jerry) ou un objet (le nid, un meuble) de l’histoire (pointage abstrait)
- Mouvement de la main vers la gauche pour symboliser « avant », le passé ou l’accompli, ou vers la droite pour
symboliser « après », le futur ou l’inaccompli
- Mouvement des 2 mains à plat, paumes vers le haut, pour exprimer l’idée de totalité
- Geste céphalique de négation pour exprimer l’ignorance ou l’incapacité d’un personnage
- Geste de la main et des épaules pour exprimer l’impuissance, l’impossibilité d’un personnage de faire quelque chose
...
25

Projet ANR Multimodalité
ANR-05-BLANC-0178-01 et -02
< Performative > = geste qui permet la réalisation non verbale d’un acte de langage non assertif (réponse, question,
demande de confirmation, etc.), ou qui renforce ou modifie sa valeur illocutoire lorsqu’il est verbalisé.
Ex de gestes permettant la réalisation non verbale d’un acte de langage :
- Hochement de tête en guise de réponse affirmative
- Geste manuel ou céphalique en guise de réponse négative
- Haussement des épaules, associé ou non à une mimique dubitative, pour exprimer l’ignorance sans passer par la parole
…
Ex de gestes renforçant la valeur de l’acte exprimé verbalement :
- Vigoureux hochement de tête accompagnant une réponse affirmative
- Vigoureux gestes de négation accompagnant une réponse négative
…
Ex de gestes modifiant la valeur de l’acte exprimé verbalement :
- Lorsque le geste ou la mimique contredit la parole : non attesté dans le corpus de Grenoble
…
< Cadrage > = geste réalisé à l’occasion de la narration (pendant le récit d’un événement, en commentant un aspect
de l’histoire, ou en commentant la narration elle-même) et qui exprime un état émotionnel ou un état mental du
locuteur.
Ex :
- Visage prenant les traits de l’amusement pour exprimer le côté comique d’une situation qu’on rapporte
- Visage prenant les traits du dégoût pour exprimer le côté peu attrayant d’une action qu’on rapporte
- Haussement des épaules ou mimique dubitative pour exprimer l’incertitude de ce qu’on asserte
- Haussement des épaules et/ou mimique d’évidence pour exprimer l’évidence de ce qu’on asserte
- Utiliser les guillemets gestuels pour exprimer de la distance par rapport aux termes qu’on emploie
…
< Discursive > = geste généralement bref qui participe à la structuration de la parole et du discours par l’accentuation
ou la mise en relief de certaines unités linguistiques, ou par la segmentation ou le bornage des propositions ou de
constituants discursifs plus larges, ou qui participe à la cohésion discursive par la mise en relation de ces propositions
ou constituants discursifs à l’aide de gestes anaphoriques ou de gestes accompagnant des connecteurs.
Ex de gestes d’accentuation, de mise en relief :
- Mouvements rythmiques (beats) de la tête ou des mains accompagnant l’accentuation de certains mots ou de certaines
syllabes
- Haussement de sourcils accompagnant l’accentuation de certains mots ou de certaines syllabes
Ex de gestes de segmentation, de bornage :
- Mouvement rapide de la main esquissant le geste de chasser quelque chose pour signifier qu’on change d’épisode ou de
plan, qu’on revient au récit après un commentaire ou inversement
Ex de gestes de cohésion discursive :
- Main dessinant la forme d’un contenant pour symboliser le thème ou le titre de l’histoire
- Main dessinant la forme d’un contenant pour symboliser un épisode de l’histoire
- Geste manuel ou céphalique de pointage abstrait ayant une valeur anaphorique de reprise (désignation d’un point de
l’espace frontal pour référer à un personnage ou un objet préalablement référencé et assigné en un point de l’espace)
- Geste représentationnel ayant une valeur anaphorique de reprise (geste qui reproduit fidèlement ou partialement un
geste préalablement accompli pour désigner un même référent de l’histoire)
- Bref geste manuel ou beat produit en accompagnement d’un connecteur
…
< Interactive > = geste et/ ou regard par lequel le locuteur requiert ou vérifie l’attention de son interlocuteur,
manifeste son attention, ou manifeste qu’il a atteint la fin de son tour de parole ou de son récit.
Ex :
- Mouvement rapide de la main ou de la tête, associé à un regard vers l’interlocuteur pour quêter son attention
- Hochement de tête pendant que l’interlocuteur parle
- Orientation de la tête et du regard vers l’interlocuteur à la fin du tour de parole ou du récit
…
< Enonciative > = geste manuel ou expression faciale qui manifeste que le locuteur cherche un mot ou une
expression.
Ex :
- Froncement de sourcils et regard vers le haut tout en cherchant ses mots
- tapotement des doigts, associé ou non à une mimique de réflexion, tout en cherchant ce qu’on va dire
Remarque : si le geste paraît difficile à catégoriser, s’il paraît remplir deux ou plusieurs fonctions à la fois, on peut l’annoter
comme en laissant l’annotation vide. Mais en règle générale, il est préférable de sélectionner une fonction : la fonction qui
parait dominante.
26

Projet ANR Multimodalité
ANR-05-BLANC-0178-01 et -02
Etape 3 : < Relation Geste/Parole > définition de la relation du geste aux paroles
correspondantes
Par double clic à l’endroit que l’on souhaite annoter, puis clic sur la valeur choisie dans le menu déroulant :
On sélectionne parmi les valeurs suivantes :
< Redondance > = l’information apportée par le geste est identique à l’information linguistique avec laquelle il est en
relation.
Ex :
Hochement de tête en accompagnement d’un « oui » de réponse affirmative
Haussement des épaules en accompagnement d’un « je ne sais pas » ou d’une réponse dubitative
Geste de pointage déictique vers un objet dénommé explicitement
Remarque : cette annotation ne concerne pas les gestes < représentationnels >, car l’information portée par le geste
dit toujours plus que l’information linguistique.
< Complément > = l’information apportée par le geste fournit un complément nécessaire à l’information linguistique
incomplète avec laquelle il est en relation.
Ex :
Geste de pointage en accompagnement d’un adverbe de localisation tel « ici », « là »
Geste de pointage visant à identifier un objet non dénommé explicitement
Remarque : cette annotation ne concerne que les gestes < déictiques >.
< Elaboration > = l’information apportée par le geste précise celle apportée par la parole en spécifiant la modalité
d’une action, la direction d’un mouvement ou la forme et la dimension d’un objet.
Ex :
« elle part »
****** : déplacement de la main gauche vers la gauche, indique la direction du déplacement
« l’œuf bouge »
********** : oscillation de la main qui représente les vibrations de l’oeuf
« l’oeuf bouge vers le bas »
************** : oscillation de la main, auquel s’ajoute un déplacement de la main vers le bas
Remarque : cette annotation ne concerne que les gestes < représentationnels >.
27

Projet ANR Multimodalité
ANR-05-BLANC-0178-01 et -02
< Supplément > = l’information apportée par le geste vient ajouter une signification supplémentaire à celle désignée
par les mots avec lesquels il est en relation.
Ex de geste représentationnel apportant une signification supplémentaire :
- « il essaie d’ sortir »
************ : agite verticalement la main pour représenter le poussin qui bouge à l’intérieur de l’oeuf
- « l’œuf bouge »
********** : oscillation de la main, auquel s’ajoute un déplacement de la main vers le bas
…
Ex de geste performatif apportant une signification supplémentaire :
- Vigoureux hochement de tête accompagnant une réponse affirmative
- Vigoureux gestes de négation accompagnant une réponse négative
…
Ex de geste de cadrage apportant une signification supplémentaire :
- Visage prenant les traits de l’amusement pour exprimer le côté comique d’une situation qu’on rapporte
- Visage prenant les traits du dégoût pour exprimer le côté peu attrayant d’une action qu’on rapporte
- Haussement des épaules ou mimique dubitative pour exprimer l’incertitude de ce qu’on asserte
…
Remarque : tous les gestes de < cadrage > sont à annoter avec < supplément >, sauf s’ils contredisent le message
verbal (cf. annotation suivante).
< Contradiction > = l’information apportée par le geste est non seulement différente de l’information linguistique
avec laquelle il est en relation, mais elle vient contredire celle-ci.
Ex :
Lorsque le geste ou la mimique contredit la parole : non attesté dans le corpus de Grenoble
Remarque : cette annotation ne concerne a priori que les gestes de < cadrage > et les < performatifs >, mais il peut
arriver qu’un geste représentationnel contredise l’information linguistique, comme lorsqu’on parle de trois objets,
mais que le geste symbolise le nombre 2.
< Substitution > = l’information apportée par le geste remplace une information linguistique absente.
Ex :
Hochement de tête en guise de réponse affirmative
Haussement des épaules et mimique en guise d’aveu d’ignorance ou de réponse dubitative
Geste de pointage visant à identifier un objet en l’absence de toute parole
28

Projet ANR Multimodalité
ANR-05-BLANC-0178-01 et -02
Etape 4 : < Relation synchronique > indication relative à l’emplacement temporel du geste
par rapport aux paroles correspondantes
Par double clic à l’endroit que l’on souhaite annoter, puis clic sur la valeur choisie dans le menu déroulant :
On sélectionne parmi les valeurs suivantes :
< Synchrone > = le point de départ du stroke (noté *****) se confond avec le point de départ du segment de parole
correspondant (en rouge souligné), qu’il s’agisse d’une syllabe, d’un mot (nom, verbe, adjectif, connecteur…) ou d’un
groupe de mots (la notation *** correspond à la tenue du geste).
Ex :
Elle part
********
< Anticipe > = le point de départ du stroke précède le point de départ du segment de parole correspondant : le locuteur
fait démarrer son geste avant de parler, ou le fait démarrer sur une information linguistique antérieure à celle
correspondant au geste.
Ex :
Et heu – comme ça ça l’ fait sauter à peu près d’ partout
*******
< Suit > = le point de départ du stroke survient après le point de départ du segment de parole correspondant : le
locuteur fait démarrer son geste après avoir fini de parler, ou le fait démarrer sur une information linguistique
postérieure à celle correspondant au geste.
Ex :
Ça tombe – ça va dessus une toile d’araignée
************************************
29

Etape 5 : < Forme du geste >
Projet ANR Multimodalité
ANR-05-BLANC-0178-01 et -02
Par double clic à l’endroit que l’on souhaite annoter, puis en saisissant les informations souhaitées dans le bloc
encadré :
On donne une brève description du mouvement annoté en se limitant à ses paramètres saillants :
- origine corporelle du mouvement : tête, buste, épaules, 2 mains, main gauche, main droite, index, sourcils, bouche…
- s’il y a déplacement : sens du déplacement (vers haut, bas, gauche, droite, avant, arrière…)
- s’il y a une configuration manuelle bien nette et visible : forme de la main (main à plat, en tranchant, en poing, en
pronation, en supination, doigts en pince, doigts en cercle…)
- le mouvement lui-même : hochement, battement, cyclique, rapide ou non, répété ou non…
30

Principes
Projet ANR Multimodalité
ANR-05-BLANC-0178-01 et -02
6. Contrôle des annotations gestuelles
Le contrôle des annotations gestuelles vise deux objectifs:
- premièrement, examiner les annotations gestuelles réalisées par les deux codeurs indépendants, les valider
ou sélectionner les annotations à valider en cas de désaccord ;
- deuxièmement, mesurer le taux d’accord entre les codeurs.
L’opération de validation ne s’applique qu’aux trois paramètres qui peuvent directement faire l’objet d’une analyse
quantitative : l’identification des gestes, leur valeur ou fonction, et la relation geste/paroles qu’ils manifestent. La
réalisation de cette opération est la tâche d’un troisième codeur, indépendant des deux premiers, qui fixe l’annotation
définitive de ces trois paramètres en utilisant les pistes < Geste(phases)cp >, < Valeur du Geste-cp> et < Relation
Geste/Parole-cp >.
L’opération permettant la mesure du taux d’accord intervient au même moment, et consiste à indiquer s’il y a eu
accord ou désaccord entre les codeurs 1 et 2. On utilise pour cela les pistes < Accord gestes >, < Accord fonction > et
< Accord relation >.
Etape 1 : validation des annotations gestuelles
< Geste(phases)-cp > = Le troisième codeur contrôle et valide l’identification des gestes en recopiant les informations
correspondantes à partir des annotations du premier codeur ou du second codeur.
Annotations du
codeur 1
Annotations du
codeur 2
Validation par
le codeur 3
Deux cas peuvent se présenter :
1. Le codeur 1 et le codeur 2 ont identifié un geste au même endroit de la bande vidéo. Que les frontières des
strokes correspondent totalement ou partiellement (comme dans l’illustration ci-dessus), le codeur 3 recopie
et repositionne les strokes à partir des annotations de l’un ou de l’autre codeur.
2. Seul l’un des deux codeurs a identifié un geste à cet endroit de la bande vidéo (comme pour le premier
stroke annoté par le codeur 1 ci-dessus). Le codeur 3 doit alors arbitrer et décider ou non de la présence d’un
geste. S’il estime qu’un geste a été effectivement produit, il valide l’annotation réalisée par le codeur en
31

Projet ANR Multimodalité
ANR-05-BLANC-0178-01 et -02
question en recopiant et repositionnant le stroke correspondant. S’il n’identifie aucun geste, il s’abstient de le
faire et laisse vide l’emplacement correspondant (ou, comme dans l’illustration ci-dessus, la caractérise
comme une phase préparatoire ou autre).
< Valeur du Geste-cp > = Le troisième codeur contrôle et valide la fonction de chacun des gestes identifiés en
sélectionnant dans le menu déroulant celle sélectionnée par le premier codeur et le second codeur. Comme dans le cas
précédent, il arbitre en cas de désaccord entre le codeur 1 et le codeur 2 en sélectionnant la fonction qui lui paraît la
plus appropriée.
Remarque : lorsqu’un geste a été identifié par un seul des deux codeurs et est validé par le troisième codeur, celui-ci
statue sur la fonction à attribuer à ce geste en respectant ou non la sélection opérée par le codeur 1 ou le codeur 2.
< Relation Geste/Parole-cp > = Le troisième codeur contrôle et valide la relation geste/parole pour chacun des gestes
identifiés en sélectionnant dans le menu déroulant celle sélectionnée par premier codeur et le second codeur. Comme
dans le cas précédent, il arbitre en cas de désaccord entre le codeur 1 et le codeur 2 en sélectionnant le type de relation
geste/parole qui lui paraît le plus approprié.
Remarque : lorsqu’un geste a été identifié par un seul des deux codeurs et est validé par le troisième codeur, celui-ci
statue sur le type de relation geste/parole à attribuer à ce geste en respectant ou non la sélection opérée par le codeur 1
ou le codeur 2.
Etape 2 : accords et désaccords inter-codeurs
< Accord gestes > = on vérifie si le codeur 1 et le codeur 2 ont identifié un geste au même endroit (que les frontières
des strokes correspondent exactement ou non) et on sélectionne « accord » dans le menu déroulant, « désaccord » dans
le cas contraire.
Annotations du
codeur 1
Annotations du
codeur 2
Accord/désaccord
(codeur 3)
32

Projet ANR Multimodalité
ANR-05-BLANC-0178-01 et -02
< Accord fonction > = on vérifie si le codeur 1 et le codeur 2 ont attribué la même fonction à chaque geste identifié et
on sélectionne « accord » dans le menu déroulant, « désaccord » dans le cas contraire.
Remarque : lorsqu’un geste a été identifié par un seul des deux codeurs puis validé par le troisième codeur, on vérifie
si la fonction attribuée au geste par ce dernier correspond à la sélection opérée par le codeur 1 ou le codeur 2 et on
annote « accord » ou « désaccord » en conséquence.
< Accord relation > = on vérifie si le codeur 1 et le codeur 2 ont attribué le même type de relation geste/parole à
chaque geste identifié et on sélectionne « accord » dans le menu déroulant, « désaccord » dans le cas contraire.
Remarque : lorsqu’un geste a été identifié par un seul des deux codeurs puis validé par le troisième codeur, on vérifie
si le type de relation geste/parole attribuée au geste par ce dernier correspond à la sélection opérée par le codeur 1 ou
le codeur 2 et on annote « accord » ou « désaccord » en conséquence.
33

Projet ANR Multimodalité
ANR-05-BLANC-0178-01 et -02
7. Codages additionnels 1
Suivant les propositions de McNeill, Kita, Özyürek et d’autres chercheurs, l’objectif est d’annoter des aspects plus
précis du geste et de la relation geste-parole afin de :
- relever les pointages abstraits ;
- caractériser les gestes représentationnels en fonction de leur référent et du point de vue qu’ils expriment (O-
Vpt / C-Vpt) ;
- étudier le degré de schématisation et d’abstraction présent dans le geste représentationnel : caractériser les
gestes C-Vpt quant au mode d’exécution du mime ; caractériser les gestes O-Vpt quant à la perspective
exprimée ;
- relever les gestes représentationnels et les propositions linguistiques exprimant le déplacement et caractériser
le mode de codage choisi (manner / path ou autre).
Etape 1 : < Pointage abstrait > relevé des pointages abstraits
On annote comme tel tout geste manuel ou céphalique désignant un endroit de l’espace frontal auquel le locuteur fait
correspondre un référent :
- en première mention du référent : geste de localisation dans l’espace frontal, geste indiquant la direction d’un
déplacement ;
- lors du rappel d’un référent : geste à valeur anaphorique ;
- lors d’un pointage sur soi (ma tête, mon bras, etc.) pour représenter un personnage (sa tête, son bras, etc.) :
pointage défini comme « substitutif » ou « par substitution » dans Colletta, 2004.
L’opération s’effectue en cliquant dans le menu déroulant (un seul choix possible).
Remarque : Les gestes de pointage abstrait sont reconnaissables au fait qu’ils ont été préalablement annotés soit
comme ayant une fonction < représentationnelle >, soit comme ayant une fonction < discursive > (dans le cas du
geste anaphorique).
Etape 2 : < Referent > attribution d’un référent à chaque geste représentationnel
On commence par assigner un référent à chaque geste représentationnel : personnage (l’oiseau, l’œuf, la souris…),
action (coudre, rouler, tomber, pousser, percer…), objet (arbre, nid, feuille, maison, lit…) ou autre.
On peut assigner un référent à un geste discursif à condition que celui-ci réalise une anaphore gestuelle (reprise d’un
référent antérieur déjà évoqué gestuellement au cours du même épisode).
1 Dans le cadre du projet Multimodalité qui a servi de cadre à la création de ce manuel d’annotations, ces codages
additionnels ont été décidés a posteriori. Il est parfaitement possible de leur appliquer la même procédure de contrôle
que celle décrite dans la section 6 qui précède.
34

Projet ANR Multimodalité
ANR-05-BLANC-0178-01 et -02
Par double clic à l’endroit que l’on souhaite annoter, puis en saisissant les informations souhaitées dans le bloc
encadré :
Remarque : Les codages qui suivent ne concernent que les gestes du concret susceptibles d’exprimer une perspective
(interne ou externe), autrement dit, les gestes ayant pour référent un personnage du dessin animé (l’oiseau, l’œuf ou la
souris).
Etape 3 : < Voice > caractériser le point de vue exprimé par le geste
Par double clic à l’endroit que l’on souhaite annoter, puis clic sur la valeur choisie dans le menu déroulant :
On sélectionne parmi les valeurs suivantes :
- < C-VPT > lorsque le geste exprime un point de vue interne (mime ou représentation d’un personnage, avec
prise de rôle globale de tout le corps, ou prise de rôle partielle du bras ou de la main).
Ex. : geste qui mime l’action de coudre, les mouvements de l’oisillon à l’intérieur de l’œuf, la souris qui attrape le bec de
l’oiseau ou le porte à son nid…
- < O-VPT > lorsque le geste exprime un point de vue externe (pointage exprimant une localisation ou un
déplacement).
Ex. : geste qui pointe vers le haut lorsqu’il est question de la maman oiseau qui s’envole ; geste qui pointe vers le bas pour
exprimer la chute de l’œuf ; geste de pointage localisant un personnage…
- < Mixt > lorsque le geste combine l’expression de deux points de vue (geste combinant O-Vpt et C-vpt, ou
chimère gestuelle (Parrill, 2009) C-vpt + C-vpt).
Ex. : geste qui combine les deux perspectives : la main gauche pointe vers le haut (le nid) tandis que le bras gauche mime la
souris portant l’oiseau ; la main droite trace le déplacement de l’œuf tandis que la gauche en conserve la forme. Chimère
gestuelle : la main gauche représente le bec de l’oiseau tandis que le bras doit représente le bras de la souris.
35

Projet ANR Multimodalité
ANR-05-BLANC-0178-01 et -02
Etape 4 : < Voice 2 > caractériser le geste C-Vpt quant au mode d’exécution du mime
Par double clic à l’endroit que l’on souhaite annoter, puis clic sur la valeur choisie dans le menu déroulant :
On sélectionne parmi les valeurs suivantes :
- < Body > lorsqu’un geste C-Vpt réalise une prise de rôle globale, mimétique, de tout le corps.
- < Hand > lorsqu’un geste C-Vpt réalise une prise de rôle partielle, et plus schématique, du bras ou de la main.
Remarque : cette annotation apporte une précision sur les gestes exprimant un point de vue interne, et ne concerne
donc que les gestes annotés < C-VPT > ou < Mixt >.
Etape 5 : < Perspective > caractériser le geste O-Vpt quant à la perspective exprimée
Par double clic à l’endroit que l’on souhaite annoter, puis clic sur la valeur choisie dans le menu déroulant :
36

On sélectionne parmi les valeurs suivantes :
Projet ANR Multimodalité
ANR-05-BLANC-0178-01 et -02
- < Inside > lorsque le référent est représenté dans un espace non disjoint des coordonnées spatiales du
locuteur, comme si les référents localisés ou les trajectoires dessinées étaient inclues dans son espace propre.
- < Outside > lorsque le référent est représenté dans un espace disjoint des coordonnées spatiales du locuteur,
comme s’il localisait les référents ou dessinait leurs trajectoires sur un écran placé devant lui ;
Ex. : Un pointage vers le haut pour désigner l’emplacement du nid sera annoté < Outside > si la main reste dans l’espace
frontal du locuteur, mais comme < Inside > si elle s’élève au-dessus de sa tête. Un pointage par substitution vers la tête ou le
bras du locuteur sera aussi annoté comme < Inside >.
Remarque : cette annotation apporte une précision sur les gestes exprimant un point de vue externe, et ne concerne
donc que les gestes annotés < O-VPT > ou < Mixt > (à l’exception des chimères gestuelles).
Etape 6 : relevé des expressions linguistiques et des gestes codant les déplacements des
personnages
< Manner Path Ling > = on annote chaque proposition exprimant le déplacement d’un personnage en sélectionnant
dans le menu déroulant :
- < Path > lorsque la proposition code seulement la direction du déplacement (entrer, sortir, aller dans, aller
vers, monter, descendre, arriver à…) ;
- < Manner > lorsque la proposition code seulement le mode de déplacement (s’envoler, atterrir, rouler,
rebondir, sauter, sautiller, grimper…) ;
- < Both > lorsque la proposition code à la fois la direction et le mode de déplacement (entrer en roulant, rouler
vers, atterrir dans, rebondir sur, marcher vers…) ;
- < Cause > lorsque la proposition code le déplacement d’un personnage comme l’effet d’une cause extérieure
(ramener l’oiseau à son nid, le remettre dans son nid).
37

Projet ANR Multimodalité
ANR-05-BLANC-0178-01 et -02
< Manner Path Gst > = on annote chaque geste représentationnel (ou discursif dans le cas d’une anaphore gestuelle)
exprimant le déplacement d’un personnage en sélectionnant dans le menu déroulant :
- < Path > lorsque le geste code seulement la direction du déplacement (geste de pointage) ;
- < Manner > lorsque le geste code seulement le mode de déplacement (geste mimant l’action de s’envoler, de
rouler, de sauter…) ;
- < Both > lorsque le geste code à la fois la direction et le mode de déplacement (geste combinant pointage et
mime d’action) ;
- < Cause > lorsque le geste code le déplacement d’un personnage comme l’effet d’une cause extérieure (mime
impliquant deux personnages).
38

Projet ANR Multimodalité
ANR-05-BLANC-0178-01 et -02
Références
1. Pour les conventions de transcription : utilisation et adaptation des conventions VALIBEL :
http://valibel.fltr.ucl.ac.be/
2. Pour l’annotation des faits linguistiques (définition de la proposition, catégorisation des propositions, connecteurs
et anaphores) appui sur :
Berman, R.A. & Slobin, D.I. (1994). Relating events in narrative : A crosslinguistic developmental study. Hillsdale, NJ :
Lawrence Erlbaum Associates.
Jisa, H. & Kern, S. (1998). Relative clauses in French children’s narrative texts. Journal of Child Language, 25, 623-652.
Colletta, J.-M. (2004). Le développement de la parole chez l’enfant âgé de 6 à 11 ans. Corps, langage et cognition. Hayen,
Mardaga.
Diessel, H. (2004). The acquisition of complex sentences. Cambridge : Cambridge University Press.
3. Pour l’annotation du récit (épisodes, structures, actes…) appui sur :
Labov, W. (1978). Le parler ordinaire. Paris, Minuit.
Berman, R.A. & Slobin, D.I. (1994). Relating events in narrative : A crosslinguistic developmental study. Hillsdale, NJ :
Lawrence Erlbaum Associates.
Laforest, M., Dir. (1996). Autour de la narration. Laval, Québec, Nuit Blanche Editeur.
4. Pour l’annotation de la gestualité (phases, fonctions, relations geste-paroles…) appui sur :
Colletta, J.-M. (2004). Le développement de la parole chez l’enfant âgé de 6 à 11 ans. Corps, langage et cognition. Hayen,
Mardaga.
Kendon, A. (2004). Gesture. Visible action as utterance. Cambridge. Cambridge University Press.
Özcaliskan, S. & Goldin-Meadow, S (2004). Coding manual for gesture-type & gesture-speech relation. Manuscrit
39