Untitled - WWW Ircam

4 RECHERCHE ET DÉVELOPPEMENT, L’UMR STMS
culaires. En particulier, nous avons cherché à identifier les
principales sources de variations d’une unité gestuelle isolée
– visant à la production ou le contrôle d’un événement sonore
– lorsqu’il est incorporé dans une séquence d’unités
Ces résultats ont permis de mettre en évidence l’influence
de l’enchaînement des sons sur certains paramètres de
contrôle et de modéliser leurs évolutions temporelles. Les
simulations de cette modélisation ont montré une bonne
corrélation avec les courbes expérimentales. En parallèle,
une étude a été menée sur diverses modalités de contrôle
gestuel qui pourraient être utilisées dans le cas d’un modèle
physique de trompette. Ces études ont amené à définir des
« mapping » aptes à gérer des variations spatio-temporelles
à l’intérieur de la même typologie de contrôle. L’intégration
de ce travail dans le cas de la synthèse par modèle physique
de la trompette devrait permettre d’en améliorer le rendu
sonore.
Reconnaissance du geste et « qualité de mouvement »
Le travail de thèse de Sarah Fdili Alaoui en collaboration
avec le LIMSI permet de poursuivre nos recherches sur la
reconnaissance du geste dans le cas de mouvements dansés
et d’ouvrir à de nouveaux sujets tels que le contrôle gestuel
temps réel de rendu graphique par modèles physiques.
Dans un premier lieu, au travers de l’installation pédagogique
Double Skin Double Mind (DSDM), nous avons conçu un
système d’analyse de mouvement basé sur un vocabulaire
gestuel défini par la compagnie Emio Greco | PC permettant
le contrôle temps réel d’un retour visuel et sonore. Le rendu
graphique est basé sur des modèles physiques masses ressorts.
En particulier, une stratégie de contrôle spécifique a
été développée afin d’établir des correspondances de haut
niveau entre les mouvements du danseur et le rendu graphique.
Ce travail a permis de formaliser une approche qui
prend en compte des « qualités de mouvement » dans l’analyse
du mouvement dansé.
Par la suite, un formalisme IHM (Interfaces Homme Machine)
est proposé pour prendre en compte « les qualités de mouvement
» comme modalité d’interaction en entrée. Pour illustrer
cela, une technique d’interaction a été implémentée avec
Baptiste Caramiaux où un retour visuel réagit à un ensemble
de qualités de mouvement reconnues en temps réel. Cette
fois-ci, la modélisation des qualités de mouvement se fait au
travers de la caractérisation de la dynamique du mouvement,
donc de l’évolution temporelle de certains paramètres gestuels.
Dès lors, les modèles physiques masses ressorts permettent
de différencier certaines dynamiques (oscillatoires/
amorties) et permettent la reconnaissance temps réel des
qualités sous-jacentes.
En parallèle de la reconnaissance du geste dansé et des qualités
de mouvement, nous avons établi au travers d’une collaboration
avec Marion Cavaillé, danseuse du Ballet National
de Marseille, des stratégies de contrôle gestuel temps réel
de rendu graphique par modèles physiques masses ressorts
massifs (plus de 100 000 masses et ressorts).
Les perspectives futures, consistent à lier les aspects d’analyse
de qualités de mouvement par modèle physique masses
ressort et le contrôle de masses ressort pour la synthèse.
Ceci pourrait être dans le but d’établir des stratégies de
contrôle automatique de haut niveau liant les dynamiques
analysées et synthétisées.
Apprentissage automatique interactif
Le travail de thèse de Bruno Zamborlin, mené en co-encadrement
avec l’université Goldsmiths (Royaume-Uni), se focalise
sur l’utilisation de techniques d’analyse et reconnaissance de
geste continu dans un cadre HCI (interaction homme machine)
en utilisant des accéléromètres et des microphones piézoélectriques.
Au travers de retours visuels et sonores en temps réel, l’analyse
de geste sert comme guide pour l’utilisateur non-expert
pour arriver à définir son propre langage d’interaction (interaction
définie par l’utilisateur).
Une partie importante de ce travail est focalisée sur la réalisation
d’interfaces logicielles ad-hoc et l’évaluation de ces
techniques avec différents types des utilisateurs experts
(notamment la collaboration avec le compositeur Lorenzo
Pagliei et le percussionniste Daniel Ciampolini) et nonexperts
(workshops à l’université d’Edinburgh et à celle de
Goldsmiths).
Théorie des graphes pour l’improvisation assistée
par ordinateur
Ce travail de thèse [F. Maniatakos] est effectué en collaboration
avec l’équipe Représentation musicales. Nous référons
le lecteur à leur section pour une description détaillée.
■ Systèmes interactifs basés sur le geste
Projet Interlude
Programme : (ANR ContInt) ; période : déc 08-juillet 11 ;
coordinateur : Ircam
Le but du projet Interlude était de développer des systèmes
interactifs permettant une exploration gestuelle de contenus
musicaux enregistrés. Ce projet ANR, coordonné par l’Ircam,
intègre divers aspects de recherche et développement de
l’équipe IMTR (logiciel et matériel), dont les systèmes de
captation sans fil et la synthèse et le traitement sonore
interactifs (cf. les sections y faisant référence). Les retombées
attendues concernent à la fois la création artistique, la
pédagogie musicale et le domaine des jeux musicaux. Plus
généralement, ce projet vise une communauté d’utilisateurs
en plein essor, composée aussi bien de professionnels que
du grand public, qui s’intéresse à une utilisation gestuelle et
expressive des nouveaux outils numériques.
Ce projet a permis de finaliser des nouvelles interfaces musicales
MO (Modular Musical Objects) qui ont remporté le 1 er
prix du concours international Guthman 2011 des nouveaux
instruments de musique. Ces interfaces ont été présentées
en 2011 lors de plusieurs expositions internationales, dont
« Talk to Me » au MoMa de New York, Objet(s) du numérique
IRCAM – RAPPORT D’ACTIVITÉ 2011
102