Conception des modèles d'observation audio temps réel à l ... - atiam

1.4 Descripteurs audio 7– Descripteurs temporels (globaux ou instantanés) Ils sont calculés àpartir de la forme de l’onde ou de l’énergie du signal : temps d’attaque,Temporal Decrease, Temporal Centroid, Effective Duration, Zero-crossingrate, Cross-correlation.– Descripteurs spectraux (instantanés) Ils sont calculés à partir de laSTFT (Short Time Fourier Transform) du signal : Spectral Centroid, Spread,Skewness, Kurtosis, Slope, Decrease, Roll-off point, variation.– Descripteurs harmoniques (instantanés) Ils sont calculés à partir d’unmodèle harmonique du signal : Fréquence fondamentale, Noisiness,Odd-to-Even Harmonic Ratio, Tristimulus, Deviation, Centroid, Spread,Skewness, Kurtosis, Slope, Decrease, Roll-off point, Variation– Descripteurs perceptuels (instantanés) Ils sont calculés en utilisant unmodèle perceptif de l’audition humaine : MFCC, DMFCC, DDMFCC,Loudness, Specific Loudness, Sharpness, Spread, Roughness.Quelques descripteurs classiques pour l’analyse du signal musicalZero Crossing Rate (ZCR) Ce descripteur est la fréquence de passage parzéro du signal sur la fenêtre étudiée. Il est simple à calculer et constitueun bon discriminant pour beaucoup de problèmes de classification d’échantillonssonores.Mel Frequency Cepstral Coefficients (MFCC) Le cepstre d’un signal réelx(t) est une transformation de ce signal du domaine temporel vers un autredomaine temporel, celui des quéfrences. Le cepstre est défini comme étant lerésultat de la transformée de Fourier inverse appliquée au logarithme de latransformée de Fourier du signal :C(τ) = C(x(t)) = FT −1 (log 10 (FT(x(t))))Par application du logarithme, la source (ex : la corde d’une guitare) et lafonction de transfert associée au conduit (ex : l’ensemble de la caisse de laguitare) peuvent être séparés. Ce principe a trouvé sa première applicationdans le traitement de la parole, et il est très utilisé pour le traitement du signalmusical. Les MFCC’s sont les coefficients cepstraux, exprimés dans l’échelle(perceptive) de Mel.Fréquence fondamentale Étant donné l’importance des hauteurs dans lescompositions, la fréquence fondamentale est un descripteur important pourl’utilisation d’algorithmes d’apprentissage dans la segmentation de flux musical.Elle est calculée sur des fenêtre se recouvrant, pour lesquelles une fréquencefondamentale instantanée est extraite.Descripteurs audio et temps-réelLes applications temps-réel imposent deux contraintes fortes sur les systèmesde segmentation basés sur des algorithmes de classification. D’unepart, les descripteurs globaux ne sont pas utilisables car par définition, ils