rapport d'activitÃ© 2009 - WWW Ircam

More documents

Recommendations

Info

5 Développer la recherche et les logiciels applicatifsInteraction avec des contenus enregistrés et contrôle gestuel de médiasCaptation et analyse du geste© Hillary Goidell© Florian KleinefennViolon augmentéSystème de visualisation utilisé pour la synthèse sonore par corpus!IRCAM – RAPPORT D’ACTIVITÉ <strong>2009</strong>100
5 Développer la recherche et les logiciels applicatifs■ Modélisation et analyse de flux de donnéessonores et gestuellesReconnaissance d’événements musicauxet de morphologies sonoresLes morphologies sonores sont considérées comme desprofils temporels sur plusieurs flux de descripteurs audio.Nous avons confirmé le potentiel d’une modélisation Markovienneavec états segmentaux pour rendre compte de trajectoiressur des descripteurs unidimensionnels [Bloit09a],puis multidimensionnels [Machart09a]. Les modèles segmentauxsont interprétables, ce qui permet de combinerdes primitives de profils dans une structure de modèledéfinie par un utilisateur [Bloit10a]. Les modèles Markovienssegmentaux s’avèrent particulièrement prometteurs,notamment dans le cas où peu de données d’apprentissagesont disponibles, et pour intégrer d’autres modalités dansun même modèle (mesures gestuelles par exemple). Cettemodélisation est complémentaire à la modélisation Markovienneutilisée par le suivi de geste. Ce travail est égalementvalorisé dans le projet Interlude.Étude des relations entre gestes et sonsLe but général de ce travail est d’étudier les divers typesde similarités qui peuvent être modélisées au niveau signalentre des données de captation gestuelle et des descripteurssonores. En particulier, nous nous intéressons au cas où legeste est exécuté à l’écoute d’un son. Une première étude,se basant sur une méthode de régression linéaire multidimensionnelle,nous a permis d’analyser les stratégies decontrôle virtuel d’un ensemble de candidats soumis à desstimuli sonores [Caramiaux09d]. Une expérience pilote aensuite été réalisée afin d’étudier cette méthode dans uncontexte de reconnaissance de sons abstraits et causaux àpartir de données gestuelles. Un travail théorique a ensuiteété entrepris afin d’introduire une modélisation temporelledes signaux et d’introduire des notions de similaritémorphologique entre des données de captation gestuelleet d’analyse sonore. Une expérience menée conjointemententre l’équipe IMTR et l’équipe PDS est en préparation et apour but la définition de primitives morphologiques sonoreset gestuelles et leur segmentation suivant ces primitives.Étude de la coarticulation gestuelleNotre recherche se concentre sur l’analyse et la modélisationde la coarticulation pour le contrôle du son dans ledomaine musical. En particulier, nous cherchons à identifierles principales sources de variation d’une unité gestuelleisolée – visant la production ou le contrôle d’un événementsonore – lorsqu’il est incorporé dans une séquenced’unités. Un travail d’analyse de données enregistrées ensituation de jeu sur la trompette a révélé trois aspects principaux: l’influence des unités voisines sur les transitionsentre deux unités, la corrélation entre de la dynamique auniveau sonore et les modes de variabilité au niveau moteur(geste), et l’insuffisance des modélisations par combinaisonlinéaire d’unités (Bianco09). Au cours de l’année, nous avonseffectué une campagne de mesure en collaboration avecl’université McGill, afin d’étendre le protocole expérimentalet le nombre de participants. Enfin, nous avons entreprisune étude pilote sur l’analyse de la coarticulation dans différentesmodalités de contrôle qui pourraient être utiliséespour le contrôle de synthèse de la trompette.Reconnaissance du geste expert et contrôle de systèmescomplexesLe travail de thèse de Sarah Fidli Alaoui, démarré enoctobre, est réalisé en collaboration avec le LIMSI. Ce travailpermet de poursuivre nos recherches sur la reconnaissancede geste dans le cas de la danse. En particulier, uneanalyse de mouvements dansés a été réalisée dans le cadrede notre collaboration avec la compagnie Emio Greco | PC.Géométrie de l’information et musiqueCet axe de recherche, issu de la thèse d’Arshia Cont, s’est poursuivi,notamment avec la thèse d’Arnaud Dessein effectuéeen collaboration avec l’équipe Représentations musicales.Reconnaissance incrémentale de sources multiplesL’équipe IMTR, en collaboration avec l’équipe PDS, s’estintéressée à la factorisation en matrice non négative dansun cadre de reconnaissance multisource incrémentale.Cette problématique a été étudiée au cours du stage d’ArnaudDessein, qui a développé des algorithmes de décompositionnon négative parcimonieuse dans un cadre d’optimisationconvexe Les algorithmes développés ont étéappliqués à la transcription de musique polyphonique, latranscription de rythmes de batterie, ainsi qu’à la détectionde sons environnementaux dans des scènes sonorescomplexes. Une évaluation objective a également été réaliséepour la transcription de musique polyphonique et lesrésultats obtenus sont comparables à l’état de l’art, bienque le système soit temps réel. Les résultats ont fait l’objetd’un article soumis à IEEE Transactions on Audio, Speech andLanguage Processing.■ Technologies et paradigmes pour l’interactionSuivi de gesteNous avons poursuivi notre travail sur le suivi de « geste »,qui permet de reconnaître automatiquement des morphologiescontinues, à partir de descripteurs sonores ou dedonnées de captation. Une refonte complète de la programmationdu système a été réalisée dans le cadre du projetSAME (libraire C++ et objet MaxMSP). Une série d’exemplesd’application ont également été réalisés, démontrant lespossibilités de contrôle de vidéos et de sons enregistrés,dont certaines ont été mises en pratique dans le cadre dedanse et installation interactive (if/then installed, FishingGame).IRCAM – RAPPORT D’ACTIVITÉ <strong>2009</strong>101
Page 1:
Rapport d’activitéinstitutde rec
Page 4 and 5:
politique générale...............
Page 7:
1politique générale
Page 10 and 11:
1 politique générale■ Orchestre
Page 12 and 13:
1 politique généraleLE CONSEIL SC
Page 15:
216625 61630,81%Les chiffres clés3
Page 19:
3Un modèle d’innovation :l’art
Page 22 and 23:
3 un modèle d’innovation : l’a
Page 24 and 25:
Page 26 and 27:
Page 28 and 29:
Page 30 and 31:
Page 32 and 33:
Page 34 and 35:
Page 36 and 37:
Page 38 and 39:
Page 41:
4Singularité artistique,démocrati
Page 44:
4 singularité artistique, démocra
Page 47 and 48:
4 singularité artistique, démocra
Page 49 and 50: 4 singularité artistique, démocra
Page 67: 4 singularité artistique, démocra
Page 71 and 72: 5 Développer la recherche et les l
Page 99: 5 Développer la recherche et les l
Page 129: 5 Développer la recherche et les l
Page 133 and 134: 6 les structures de soutienSERVICE
Page 135 and 136: 6 les structures de soutienGÉNÉRA
Page 137 and 138: 6 les structures de soutienrelation
Page 141: 7Annexes
Page 144 and 145: 7 annexes■ DoctorantsYun-Kang Ahn
Page 146 and 147: 7 annexes[Londero09a] Londero A., V
Page 148 and 149: 7 annexesPédagogie■ Stages Ircam
Page 150 and 151:
7 annexes■ Ouvrages scientifiques
Page 152 and 153:
7 annexesMaMuX - « Approche foncto
Page 154 and 155:
7 annexes12 mars, N. Donin et M. Du
Page 156:
mai 2010 • Graphisme Olivier Umec
show all

rapport d'activitÃ© 2009 - WWW Ircam

Create successful ePaper yourself

Delete template?

Save as template?