Avances en la Ciencia de la Computación - sitio del laboratorio ...

Estudio sobre el uso de gestos en una interfaz
multimodal hombre-máquina simulada
Luis Villaseñor Pineda & Claudia Vázquez Valerdi
Laboratorio de Tecnologías del Lenguaje
Instituto Nacional de Astrofísica, Óptica y Electrónica
Sta. María Tonantzintla, Puebla, México
villasen@inaoep.mx
Resumen. La nueva generación de interfaces hombre-máquina son las llamadas
interfaces multimodales. En ellas la comunicación con el sistema automático se
realiza gracias a más de un modo de entrada, principalmente la voz y el gesto.
El presente trabajo presenta un estudio empírico sobre el tipo de expresiones
verbales que son acompañadas con indicaciones gestuales en una interfaz
multimodal simulada. Este estudio describe y propone una clasificación del tipo
de expresiones que los usuarios acompañaron de un gesto.
1 Introducción
Entre los proyectos realizados en el Laboratorio de Tecnologías del Lenguaje del
INAOE se estudian los medios para extender la expresividad en la comunicación
hombre-máquina al incluir varios modos de entrada. Lo que se busca es permitir una
comunicación oral apoyada por otros modos de entrada como el ratón o el teclado.
Con este propósito se estudiaron video-grabaciones de sesiones de trabajo entre
dos personas. El corpus utilizado en este estudio es el corpus DIME [Villaseñor et al.
01]. Este corpus multimodal provee información empírica sobre el uso y la
interrelación en los intercambios conversacionales, además de brindar elementos para
el estudio del lenguaje hablado, incluyendo fenómenos comunes como la anáfora, la
elipsis, las expresiones deícticas, etc. La recolección del corpus se realizó mediante el
escenario del Mago de Oz [Dahlbäck et al. 93]. Este escenario consiste de una
persona (el mago) que toma el papel del sistema computacional y de una persona (el
sujeto) a la cual se le solicita la resolución de una tarea con ayuda del mago. La
interacción se lleva a cabo a través de un sistema de audio y computadoras que
permiten observar la tarea realizada por el otro sin contacto visual entre ellos. La
gráfica 1 muestra la plataforma usada para la adquisición del corpus DIME. El corpus
consiste de 31 grabaciones con una duración total de 7 horas 10 minutos (en promedio
14 minutos por grabación).
Los datos aportados por este corpus nos han permitido analizar diferentes fenómenos
en este tipo de interacción [Taylor et al 89]. En particular este estudio se enfoca al
lenguaje no verbal, el cual funcionó para regular, interpretar y retroalimentar el
proceso de comunicación. Por ejemplo en: