Untitled - WWW Ircam

4 RECHERCHE ET DÉVELOPPEMENT, L’UMR STMS
• l’intégration de la connaissance musicale dans les algorithmes
de description de la musique ;
• la simulation temps réel de systèmes physiques audio à
passivité garantie (instruments à vent, circuits électroniques,
etc.) ainsi que leur analyse automatique, leur
optimisation sur des critères de qualité (par exemple,
harmonicité, homogénéité de timbre pour les vents) et la
reproduction d’originaux à partir de mesures effectuées
sur ces systèmes.
■ Représentation, analyse, transformation
et synthèse de signaux audio
Les directions de recherche de l’équipe sur l’analyse, la
transformation et la synthèse fondées sur des modèles ont
été orientées par les problèmes liés à l’analyse des signaux
polyphoniques et à la transformation des signaux.
Représentation de signaux avec résolution de temps
fréquence adaptive
Thèse de M. Liuni (en cotutelle avec l’université de Florence)
Le travail de cette thèse se concentre sur l’analyse et la
synthèse adaptative du son. Les travaux menés en 2011 ont
permis la finalisation des principaux résultats, qui ont aussi
fait l’objet d’une collaboration internationale avec les laboratoires
NuHAG et ARI de Vienne (Autriche) :
• la possibilité de réaliser une représentation du signal qui
varie localement en temps et en fréquence ;
• une méthode de reconstruction parfaite du signal par les
coefficients d’une analyse avec une taille de fenêtre et de
FFT qui s’adaptent automatiquement au cours du temps ;
• deux méthodes de reconstruction qui permettent une
approximation du signal par les coefficients d’une analyse,
avec une taille de fenêtre et de FFT qui s’adapte
automatiquement au cours du temps et en différentes
bandes de fréquence.
Parallèlement, l’étude de mesures de parcimonie d’un spectrogramme
a trouvé une ultérieure application dans la détection
aveugle de changements spectraux ; une méthode a été
implémentée, avec des résultats prometteurs sur la segmentation
automatique d’une voix parlée en temps réel. Une
extension de cette méthode est prévue dans le programme
d’un stage en cours, qui porte sur la détection automatique
de syllabes dans la voix parlée.
Détection des transitions et début des notes
La détection des débuts des notes et des événements transitoires
est une tâche récurrente qui sert dans beaucoup de
contextes musicaux. Par exemple, nous notons le remixage
des débuts des notes dans AudioSculpt mais également
l’extraction des parties percussives de la musique polyphonique.
L’algorithme qui a été développé dans l’équipe est
basé sur une analyse temps fréquence de type TFCT. Il utilise
un modèle statistique cherchant une forte localisation
de l’énergie dans une trame d’analyse pour déterminer les
régions qui représentent des événements de transition. Une
faiblesse de l’algorithme actuel est liée à la détection des
débuts des notes harmoniques avec une attaque lente. En
2011, nous avons donc travaillé sur une extension visant à
améliorer la détection de ces événements : la stratégie est
d’appliquer un traitement spécial pour les « onsets » dont
l’énergie est faiblement concentrée mais qui sont temporellement
synchrones et harmoniquement liés aux zones temps
fréquence touchées. L’algorithme a été évalué à MIREX 2011
et a donné des résultats très satisfaisants : ces performances
ont permis une amélioration de 0.5 % en F-mesure, toutes
tâches confondues, de l’algorithme original.
Séparation de la partie percussive d’un signal de musique
Pour de nombreuses applications, il est utile de disposer
indépendamment de la partie percussive (issue d’instruments
de musique comme les éléments d’une batterie) de
la partie harmonique. Des exemples d’applications possibles
sont le remixage ou la transcription. Pour toutes ces applications,
il est préférable que la séparation soit efficace, ce que
ne proposent pas les algorithmes de l’état de l’art.
En 2010, dans le cadre du stage master Atiam de François
Rigaud, nous avions alors développé un algorithme de séparation
efficace basée sur un modèle temporel des signaux
de batteries. Ce premier algorithme a donné des résultats
très satisfaisants. On note toutefois une insuffisance de
sélectivité lorsque les événements sont très courts, qu’ils
proviennent d’instruments percussifs ou non, ils sont le plus
souvent affectés à la partie percussive.
Pour résoudre ce problème, Tien Ming Wang a proposé une
approche complémentaire considérant cette fois-ci les propriétés
spectrales du son. Grâce à cette approche, les composantes
spectrales en relation harmonique sont détectées
et affectées à la partie non percussive. Avec cette approche
combinée à la première, on note une amélioration considérable
de la sélectivité notamment pour les événements
courts.
Ce nouvel algorithme est en cours d’évaluation, mais nous
savons d’ores et déjà qu’il se compare favorablement à l’état
de l’art et pour un coût de calcul très réduit, ouvrant son utilisation
en prétraitement pour l’extraction d’informations
musicales sur de grandes bases de données.
Estimation des fréquences fondamentales
L’algorithme multi-F0 vise à une transcription automatique
du contenu harmonique d’un signal de musique polyphonique.
Les travaux sur ce problème ont été menés de façon
continue depuis l’année 2008. En 2011, nous avons amélioré
notre base d’évaluation en améliorant la qualité de la
musique synthétisée à partir de partitions MIDI. Du point de
vue algorithmique, nous avons amélioré la performance pour
les signaux multicanaux en établissant la stratégie suivante :
IRCAM – RAPPORT D’ACTIVITÉ 2011
78