Rapport d'activité - WWW Ircam

RAPPORT DÉTAILLÉRECHERCHE ET DÉVELOPPEMENTAPPLICATIONS TEMPS RÉEL1.7.1.3. Suivi de partition polyphoniqueCe travail apporte une extension robuste au système de suivi de partition pour les instrumentspolyphoniques comme le piano et les percussions à claviers. Il est basé sur le nouvelalgorithme de reconnaissance intelligent Factorisation des Matrices Non-négatives (NMF). Desrecherches complémentaires dans ce contexte portent sur une nouvelle architecture dusystème qui intègre un modèle temporel hiérarchique et récursif des Chaînes de MarkovCachées (HMM), pour améliorer et optimiser le décodage en temps réel. En parallèle, unalgorithme de décodage expérimental a été développé, utilisant des algorithmes de filtrageparticulaire.Le projet a impliqué des extensions de la bibliothèque MnM par des algorithmesd’apprentissage et reconnaissance automatique :• mnm.gmmem : algorithme générique de EM (Expectation Maximization) pourl’apprentissage des structures Gaussiennes, connaissant un ensemble de données ;• mnm.nmf : algorithme d’apprentissage pour la Factorisation de Matrices Non-négatives(NMF) destiné au suivi de partition polyphonique ;• mnm.nmd : algorithme d’apprentissage pour la Décomposition des Matrices Non-négatives(NMD) donnant un ensemble de modèles pour la décomposition, destinés à l’observation deshauteurs multiples en temps réel.Participants : A. Cont (thèse), D. Schwarz, N. Schnell.Collaboration interne : R. Müller (équipe Pôle spectacle).Collaboration externe : projet européen i-Maestro.1.7.1.4. Suivi d’exemplesLe suivi de partition, c’est-à-dire le suivi d’une notation discrète et symbolique, trouve seslimites dans des musiques qui emploient des modes de jeux instrumentaux étendus, puisquechaque mode de jeu devrait être modélisé spécifiquement pour la reconnaissance. Pour ce typed'application, un suivi audio d'une exécution enregistrée au préalable, c’est-à-dire unalignement temps réel audio à audio, promet d'être plus adéquat.Dans un premier travail d’exploration sur la pièce pour voix L’Ingenuo de Stefano Gervasoni, lemodèle HMM, pour la reconnaissance de danse et mouvement développé par l’équipe, a étémodifié pour s’appliquer au son. Des enregistrements de référence sont alignés et analysés endescripteurs spectraux de MFCC (Mel-frequency cepstral coefficients) pour définir les étatsd'un HMM et les probabilités d'observation par proximité gaussienne avec les coefficients deréférence.Participants : D. Schwarz, F. Bevilacqua, J. Rachedi (stage).Collaborations internes : T. Goepfer (direction Production), R. Müller (équipe Pôle spectacle).1.7.1.5. Reconnaissance et classification de phonèmesDans le dessein d’implémenter un système de reconnaissance de phonèmes et temps réel, cestage a exploré la possibilité, pour chaque fenêtre d’analyse du signal, de prendre une décisionde classification et de retourner le phonème prononcé. Cette idée se base sur l’hypothèse queles phonèmes sont des états stationnaires, reconnaissables et dissociables à partir descomposants spectraux. Il fallait donc trouver les paramètres optimaux décrivant le signal defaçon non contextuelle. Ainsi, tous les phonèmes perceptiblement reconnaissables par leurdéroulement temporel, typiquement les plosives ou occlusives, ne pouvaient rentrer dans cecadre de travail, dans la mesure où ils contiennent eux-mêmes une succession d’étatsIRCAM 123RAPPORT D'ACTIVITÉ 2005