RAPPORT D'ACTIVITÉ 2003 - WWW Ircam

RAPPORT DETAILLERECHERCHE ET DEVELOPPEMENTANALYSE ET SYNTHESE DES SONSpar la fusion d'informations multicritères fondées sur le son,le texte et l'image.- Nous avons créé avec le CEA un système de segmentation tempsréel des documents multimedia. Ce système a été testé et ilest en cours d'implantation en C++ ;- Nous avons réalisé une étude approfondie des systèmes desegmentation sémantique et hiérarchique de l'audio, ce qui aabouti a une classification et description intéressante ducontenu audio ;- Nous avons appliqué cette étude à la mise en place d'unsystème de classification de journaux télévisés prenant encompte la multimodalité des documents. (Tests en cours) ;- Nous avons commencé en collaboration avec le CEA un systèmemultimédia de reconnaissance du locuteur pour des videoconférences;- Nous réfléchissons en ce moment à un système declassification et de segmentation multimédia interagissantavec l'utilisateur.Responsable : X. RodetParticipants : B. Delezoide (thèse)Collaborations extérieures : C. Fluhr, P. Hede (CEA)3.3.4 PHASE, Plateforme Haptique d'Application Sonorepour l'Éveil musicalPHASE est un projet RIAM pour la période 2003-2004, auquelcollaborent l'Ircam, le CEA, Haption et Ondim. Il s'agit d'unprojet de recherche, à la fois scientifique et musicale,associé à une production, puisqu'une installation seraprésentée au grand public au Centre-Pompidou en septembre2004. L'objectif du projet est de réaliser un systèmemultimodal de génération sonore et musicale utilisant lacapture du geste en entrée ainsi que des retours haptiques etvisuels. Le terme haptique désigne le retour tactile et leretour d’effort. Ces deux sensations sont importantes pour lecontrôle du geste. La multiplicité des voies de recherche dansce domaine relativement nouveau, associé à la multiplicité desintervenants et de leur culture (musiciens, pédagogues,ergonomes, plasticiens, informaticiens, automaticiens,mécaniciens, etc.) a nécessité une forte prise en compte ducaractère exploratoire du projet pour organiser le travail.Deux aspects sont mêlés dans PHASE : la recherche de modalitésd'interactions et la réalisation du système permettant cesinteractions, dans un contexte expérimental dans un premiertemps, puis de production par la suite. La date butoir de laprésentation au grand public est aussi une contrainteimportante. La recherche porte sur les modalités d'interactionpermettant des manipulations sonores et musicales à partir dugeste. Appelées métaphores, elles décrivent les liens entre lemonde réel et le monde virtuel. L'Ircam s'occupe de ladéfinition des métaphores, ce qui implique des travaux dansplusieurs domaines. Afin d'effectuer les recherches sur legeste et notamment l'extraction de paramètrescaractéristiques, différents outils ont été développés sous laforme de modules intégrables : interface générique de matériel(tablette Wacom, souris, bras haptique), enregistrement etanalyse en temps réel (MAX/MSP) ou hors temps (Matlab). Unegrande partie du travail concerne la recherche de- 96 -