RAPPORT D'ACTIVITÉ 2003 - WWW Ircam

RAPPORT DETAILLERECHERCHE ET DEVELOPPEMENTANALYSE ET SYNTHESE DES SONSéquipes. Les travaux de l’équipe partent de l’analyse dusignal audio pour en extraire des informations de tous types,comme la structure d’une œuvre, l’existence de plusieurssources sonores, la nature des instruments et les détails del’interprétation. Il faut noter que ces travaux permettent enparticulier de développer des outils d’aide à l’analysemusicale. Enfin, dans les programmes multimédias, les travauxcommencent à traiter ensemble les différentes modalités, leson comme l’image et le texte.3.3.1 Descripteurs et applications pour le traitementpar le contenu3.3.1.1 Caractérisation des sonsL’étude de la caractérisation des sons a été poursuivie en2003 afin d’en permettre la recherche par similarité et laclassification automatique [Herrera03a]. Un ensemble final dedescripteurs audio a éré constitué (soit 69 familles dedescripteurs pour un total de 513 descripteurs). L’extractionautomatique des descripteurs est scindée en deux modulesdistincts : 1) extraction de descripteurs instantanés, 2)modélisation temporelle des descripteurs instantanés(PeetersCUIDADO03). Le portage des modules en C/C++ a étéeffectué sous forme de librairie dynamique. De nouveauxalgorithmes de classification ont été étudiés afin d’améliorerles performances globales du système. En particulier, unnouvel algorithme très performant permettant la sélectionautomatique des descripteurs pour une taxonomie de classedonnée a été proposée (Inertia Ratio Maximization with FeatureSpace Projection). Plusieurs nouveaux algorithmes declassification ont été développés (classification hiérarchiquegaussienne ou hiérarchique KNN, arbre de décision) et testés.Les performances globales du système ont été testées sur unelarge base de donnée (4500 sons, 27 instruments). Lesperformances obtenues sont supérieures à l’état de l’artactuel [Peeters03c], [Peeters03b]. Les modules declassification (apprentissage/évaluation) ont été portés enC/C++ pour intégration dans la Sound Palette Online deCUIDADO.Responsable: G. PeetersParticipants : G. Peeters, J. Escribe, P. Tisserand, N.Sursock (stage)Collaborations extérieures : S. Dubnov (Université deJérusalem), UPF Barcelone3.3.1.2 Description des sons abstraits : morphologiesUne catégorie de sons reçoit une attention particulière, lessons abstraits, décrits par leurs profils dynamiques,mélodiques et itératifs. Cette étude a été faite encollaboration avec E. Deruty (équipe Design sonore). L’étude aporté sur la description de ces profils directement à partirde l’analyse du signal, sur leur classification automatique enfamilles de profils et sur la recherche par similarité deprofil [Peeters03].Responsable: G. PeetersCollaborations internes : V. Rioux (équipe Perception etcognition musicales), E. Deruty (équipe Design sonore)- 94 -