Conception des modèles d'observation audio temps réel à l ... - atiam

1.3 Modèle d’observation 5FIG. 1.2 – Génération du HMM à partir de la partition.Pour effectuer l’alignement en temps-réel, le suiveur de partition utiliseune variante causale de l’algorithme Viterbi permettant de trouver en tempsréell’état du modèle de Markov auquel correspond le signal sonore reçu enentrée. Il est à noter que le système décrit ici est quelque peu différent dusystème tel qu’il est au moment de l’écriture de ce mémoire, suite à l’ajoutrécent d’un modèle de Markov hiérarchique [3].1.3 Modèle d’observationComme l’a noté dès le début Vercoe, l’une des problématiques liées à lacréation d’un interprète synthétique est de concevoir un programme capabled’écouter le jeu de l’interprète en temps-réel. Dans le système de suivi de partitionde l’Ircam, nous nommons modèle d’observation la partie du système quireçoit en entrée des fenêtres de valeurs du signal et qui en déduit la distributionde probabilité d’appartenance de chaque fenêtre à chacun des trois étatsutilisés dans la modélisation des notes : Attack, Sustain et Rest. Nous distinguonsla problématique de l’observation et celle de l’alignement, et le travailréalisé pendant ce stage porte sur le modèle d’observation.Nous avons vu précédemment que les premières approches historiquesdu suivi de partition étaient uniquement basées sur la détection de la fréquencefondamentale instantanée dans le signal. Les avancées des dernièresannées en matière d’indexation audio ont montré qu’il est possible d’utiliserle paradigme descripteurs/classifieurs habituel en apprentissage statistiquedans le but de catégoriser automatiquement des échantillons sonores. Ce paradigmetrouve une application naturelle dans un modèle d’observation audio.L’idée est d’utiliser des descripteurs audio compatibles avec l’utilisationen temps-réel et des classifieurs rapides dans le but de segmenter automatiquementles notes de l’interprète dans le signal.La figure 1.3 page suivante montre le rôle du modèle d’observation dansle système. Comme son nom l’indique, il observe les fenêtre de signal. Pourchaque fenêtre les valeurs des descripteurs audio utilisés sont calculées, puissont données en entrée à un classifieur qui calcule une distribution de probabilitépar rapport aux trois classes Attack, Sustain et Rest. Enfin, c’est cettedistribution de probabilités qui permet d’effectuer l’alignement en utilisantle modèle de Markov.