Reconocimiento automático de emociones utilizando ... - sepln

Procesamiento del Lenguaje Natural, núm. 35 (2005), pp. 13-20 recibido 21-04-2005; aceptado 01-06-2005Reconocimiento automático de emociones utilizando parámetrosprosódicosIker LuengoUPV/EHUAlda. Urquijo s/nikerl@bips.bi.ehu.esEva NavasUPV/EHUAlda. Urquijo s/neva@bips.bi.ehu.esInmaculada HernáezUPV/EHUAlda. Urquijo s/ninma@bips.bi.ehu.esJon SánchezUPV/EHUAlda. Urquijo s/nion@bips.bi.ehu.esResumen: Este artículo presenta los experimentos realizados para identificar automáticamentela emoción en una base de datos de habla emocional en euskara. Se han construido tresclasificadores diferentes: uno utilizando características espectrales y GMM, otro con parámetrosprosódicos y SVM y el último con características prosódicas y SVM. Se extrajeron 86características prosódicas y posteriormente se aplicó un algoritmo para seleccionar losparámetros más relevantes. El mejor resultado se obtuvo con el primero de los clasificadores,que alcanzó una precisión del 98.4% cuando se utilizan 512 componentes gaussianas. Elclasificador construido con los 6 parámetros prosódicos más relevantes alcanza una precisióndel 92.3% a pesar de su simplicidad, demostrando que la información prosódica es de granimportancia para identificar emociones.Palabras clave: Habla emocional, reconocimiento de emocionesAbstract: This paper presents the experiments made to automatically identify emotion in anemotional speech database for Basque. Three different classifiers have been built: one usingspectral features and GMM, other with prosodic features and SVM and the last one withprosodic features and GMM. 86 prosodic features were calculated and then an algorithm toselect the most relevant ones was applied. The first classifier gives the best result with a 98.4%accuracy when using 512 mixtures, but the classifier built with the best 6 prosodic featuresachieves an accuracy of 92.3% in spite of its simplicity, showing that prosodic information isvery useful to identify emotions.Keywords: Emotional speech, emotion recognition1 IntroducciónCon el progreso de las nuevas tecnologías y laintroducción de sistemas interactivos, se haincrementado enormemente la demanda deinterfaces amigables para comunicarse con lasmáquinas. Dado que la voz es el medio decomunicación más natural para los humanos, esnecesario proporcionar a estas interfaces lacapacidad de generar y reconocer el habla. Yase han desarrollado diferentes sistemas de estetipo, desde avatares y modernos juguetesinteractivos a sistemas automáticos de servicioal cliente, y existe una gran labor deinvestigación vinculada a este campo (Hozjan yKačič, 2003)(Petrushin, 2000)(Seppänen,Väyrynen y Toivanen, 2003).Actualmente, uno de los mayores objetivosen este tipo de interfaces es la naturalidad en lacomunicación hombre máquina. Para ello senecesitan sistemas de síntesis de habla de grancalidad y gramáticas de reconocimiento másflexibles. Pero, dado que los humanos tendemosa expresar nuestro estado emocional a través dela voz, este tipo de interfaces naturales necesitatambién tener la capacidad de generar hablaemocional y de reconocer el estado emocionaldel hablante.El objetivo de este trabajo es realizar unaprimera aproximación hacia un sistemaautomático de reconocimiento de emociones eneuskara. Más concretamente, el objetivo esISSN: 1135-5948© 2005 Sociedad Española para el Procesamiento del Lenguaje Natural

Reconocimiento automático de emociones utilizando parámetros prosódicosse ha utilizado únicamente la primera parte dela base de datos que tiene textos comunes, yaque es la que contiene estilo neutro.El corpus correspondiente a esta parte de labase de datos contiene números, palabrasaisladas y frases de distinta duración. La Tabla1 muestra un resumen de este contenido. Entotal se dispone de 97 grabaciones para cadaemoción con una duración global de unos sieteminutos por emoción.V/UVEnergíaPitchVADCálculologaritmoCálculovelocidad yaceleraciónEstadísticas86característicasTipo de elemento CantidadNúmeros aislados 21Palabras aisladas 21Frases enunciativas cortas 10Frases interrogativas cortas 5Frases enunciativas medias 22Frases interrogativas medias 8Frases largas 10Total de elementos por emoción 97Tabla 1: Cantidad y tipo de los elementos de labase de datos por emoción3 Extracción de los parámetrosprosódicosEs conocido que existe una relación entre lainformación prosódica y la expresión deemociones en el habla y que rasgos como laintensidad, la curva de frecuencia fundamental,la velocidad de locución son característicasimportantes en la discriminación de emocionesen la voz (Iriondo et al., 2000)(Lay Nwe, WeiFoo y De Silva, 2003) (Montero et al.,1999)(Mozziconacci, 2000).Para este primer experimento sólo se hanutilizado características relacionadas con elpitch y la energía. En la Figura 2 se muestra elproceso de extracción de estas características.Las curvas de entonación y energía se extraende las grabaciones, tanto en escala lineal comologarítmica. Se calculan las curvas de primera ysegunda derivada, ya que la velocidad decambio del pitch y la energía puedeproporcionar nueva información que sea útilpara el reconocimiento. Finalmente se calculandistintos parámetros estadísticos a partir detodas estas curvas, utilizando la información deactividad vocal (VAD) y la de sonoridad(U/UV), ambas obtenidas asimismo a partir delas grabaciones.Figura 2: Diagrama de extracción de lascaracterísticas prosódicas3.1 Obtención de la curva deentonaciónUtilizando la señal del laringógrafo, se obtuvouna curva de entonación con una gran precisiónpara cada una de las frases. Los valores de pitchse calcularon como la inversa del tiempo quetranscurre entre dos instantes consecutivos decierre de la glotis. Las curvas de entonación seestimaron con una frecuencia de muestreo de1 kHz, es decir, se obtuvo una muestra de pitchcada milisegundo.La información de sonoridad (V/UV) seextrajo detectando los segmentos en los queexistía información de cierre de la glotis y losque carecían de esta información.3.2 Obtención de la curva de energíaLas grabaciones se analizaron con ventanas de25 ms, cada 10 ms y se calculó el valor mediode la potencia de cada trama enventanada. Esteproceso proporciona una muestra de potenciacada 10 ms. Todas las curvas se normalizaron alvalor medio del estilo neutro.3.3 Estimación de la actividad vocalPara poder rechazar las tramas en las cuales nohay información vocal, es necesario realizar undetector de la actividad vocal (Vocal ActivityDetector, VAD). De este modo, el nivel deruido presente en las tramas de silencio nocorromperá las características calculadas. Seimplementó un VAD basado en el cálculo de ladesviación espectral a largo plazo (Long TermSpectral Deviation, LTSD) entre las tramasvocales y las de ruido. El sistema implementadoestá basado en el presentado por Ramírez et al.(2004), en el que se utiliza un umbral dedecisión adaptativo para conseguir la mayoreficiencia para cada nivel de ruido.15

I. Luengo, E. Navas, I. Hernáez, J. Sánchez3.4 Estimación del Jitter y el ShimmerEl Jitter y el Shimmer están relacionados conlas microvariaciones de pitch y de las curvas depotencia respectivamente. Por lo tanto puedenser estimadas a partir de la velocidad de cambiode la pendiente de estas curvas. En este trabajo,el Jitter y el Shimmer se han estimado como elnúmero de cruces por cero de las curvasderivadas. El resultado se normalizó al númerode tramas utilizadas para el cálculo (tramassonoras para el Jitter y tramas con actividadvocal para el Shimmer), para tener en cuenta laduración de la frase.3.5 Cálculo de las característicasprosódicasComo no existe un conocimiento a priori de lascaracterísticas que van a proporcionar un mejorresultado en el reconocimiento de emociones,se consideró más adecuado calcular un grannúmero de parámetros diferentes y descartarposteriormente aquéllos que resultaranredundantes.Una vez se han obtenido las curvas de pitchy energía, así como sus primeras y segundasderivadas, se calcularon distintos parámetrosestadísticos para cada una de ellas:• Valor medio• Varianza• Valor máximo• Valor mínimo• Rango• Sesgo• KurtosisEl cálculo de las características relacionadascon el pitch se realizó teniendo en cuentaúnicamente las tramas en las que existía valorde pitch y descartando las tramas sordas. Demanera similar, las características relacionadascon la energía se calcularon utilizando sólo lastramas para las cuales el VAD detectó actividadvocal.Para cada frase se obtuvieron 12 curvas(pitch, energía, sus versiones logarítmicas y laprimera y segunda derivada de cada una deellas) y para cada curva se calcularon los sieteparámetros estadísticos mencionados. De estemodo se obtuvieron 84 características para cadafrase. Añadiendo el Jitter y el Shimmer seobtienen los 86 parámetros prosódicos por frasefinalmente utilizados en los experimentos.4 Experimentos y resultadosSe han realizado tres experimentos declasificación diferentes: el primero de ellos, conun sistema GMM tradicional y característicasespectrales; el segundo, con SVM ycaracterísticas prosódicas y el último con unsistema GMM y características prosódicas.La precisión de cada sistema se calculó conuna prueba Jack-knife. Primeramente, las frasesde cada emoción se aleatorizaron y después sedividieron en cinco grupos. Esta aleatorizaciónasegura que los bloques estén equilibrados, yaque la base de datos contiene diferentes tipos deelementos (desde palabras aisladas a frases delarga duración). Se entrenaron cinco sistemasdiferentes y se realizaron cinco tests siguiendoun método de validación cruzada (crossvalidation).Cuando se completaron los cincotests, se calculó la matriz general de confusióny la tasa de precisión global. Esta precisión seestimó como la razón del número de frasescorrectamente clasificadas al número total defrases presentes en los tests.4.1 GMM con característicasespectralesLas grabaciones de la base de datos seconvirtieron en coeficientes Mel-Cepstrum(MFCC), con primeras y segundas derivadas,utilizando tramas de 25 ms cada 10 ms, ventanaHamming y un factor de preénfasis de 0.97.Para entrenar y probar los GMM se utilizó elsoftware HTKv3 (Young et al., 2000). Elentrenamiento de los modelos de unacomponente se realizó con tres ciclos deentrenamiento de Baum-Welch. Los modelos devarias componentes se entrenaron a partir delconjunto de dos componentes gaussianas, en unproceso iterativo en el cual el número decomponentes gaussianas se incrementa en dos yse aplican dos iteraciones de reestimación deBaum-Welch hasta que se alcanza el númerodeseado de componentes gaussianas.La Figura 3 muestra la precisión obtenida eneste experimento para cada número decomponentes gaussianas. Como era de esperar,la precisión del sistema se incrementa alaumentar el número de componentesgaussianas, hasta que se alcanza el nivel desaturación. La Tabla 2 muestra la matriz deconfusión para el caso de 512 componentesgaussianas.16

Reconocimiento automático de emociones utilizando parámetros prosódicosSALIDAPrecisión100%95%90%85%80%75%70%65%79,4%69,1%90,0%84,5%95,4%96,3%97,2%97,8%98,2%98,4%1 2 4 8 16 32 64 128 256 512Número de componentes gaussianasFigura 3: Precisión en el reconocimiento conparámetros MFCC y GMM, para un númerodiferente de componentes gaussianasENTRADAIra Mied Sor Asc Aleg Tris NeuIra 97 - - - - - 1Mied - 96 - - - - -Sor - 1 97 - - - -Asc - - - 93 - - -Aleg - - - - 93 - -Tris - - - 1 - 97 1Neu - - - 3 4 - 95Prec(%) 100 99.0 100 95.9 95.9 100 97.9realizado tres selecciones de parámetrosconsecutivas, se elimina el parámetro menosútil, es decir, aquél que tras ser eliminadoreduce en menor medida la precisión delclasificador.Los resultados de este experimento semuestran en la Figura 4. Aunque los resultadosque se obtienen utilizando un menor número deparámetros son ligeramente peores que cuandose utilizan los 86, el coste computacionalnecesario para la extracción de los parámetros yel entrenamiento de un sistema de talcomplejidad puede no merecer la pena.Utilizando únicamente 6 parámetros, se obtieneuna precisión del 92.32%, sólo un 1.18% menosque usando los 86 parámetros.Precisión95%90%85%88,2%90,3%91,0%92,3%91,1%91,7%91,7%91,6%Tabla 2: Matriz de confusión con MFCC yGMM de 512 componentes gaussianas80%83,6%2 3 4 5 6 7 8 9 10Número de parámetros4.2 SVM con características prosódicasPara el entrenamiento y las pruebas de los SVMse utilizó la librería de funciones LibSVM(Chang y Lin, 2005). Para la clasificaciónmulticlase se utilizó un kernel gaussiano y unaaproximación uno contra uno.En un primer experimento, se utilizaron las86 características prosódicas calculadas y sealcanzó una precisión total del 93.50%. Detodos modos es de esperar que muchas de estascaracterísticas prosódicas sean redundantes,sobre todo si se considera que en su cálculo sehan utilizado dos versiones diferentes de lasmismas curvas, una en escala lineal y otra enescala logarítmica. Por ello se implementó unsistema de selección de características.Para la selección de las características seutilizó un método wrapper adelante 3-atrás 1.Durante este proceso, en cada paso seselecciona el parámetro que maximiza laprecisión del sistema. Esta precisión se obtieneentrenando un clasificador completamentenuevo con un Jack-knife test. Una vez se hanFigura 4: Precisión del reconocimiento conparámetros prosódicos y SVM, para distintonúmero de parámetrosLa Tabla 3 presenta la matriz de confusiónpara el caso en el que se utilizan únicamente losseis mejores parámetros, que son:• Valor medio del pitch en escala lineal• Valor medio de la energía en escalalineal• Varianza del pitch en escala lineal• Sesgo del pitch en escala logarítmica• Rango del pitch en escala logarítmica• Rango de la energía en escalalogarítmica17

I. Luengo, E. Navas, I. Hernáez, J. SánchezSALIDAENTRADAIra Mied Sor Asc Aleg Tris NeuIra 92 - - 1 2 - -Mied - 94 9 - - - -Sor - 3 88 - - - -Asc - - - 80 - 4 3Aleg 2 - - - 88 - 1Tris 2 - - 10 - 93 1Neu 1 - - 6 7 - 92Prec(%) 94.9 96.9 90.7 82.5 90.7 95.9 94.9SALIDAENTRADAIra Mied Sor Asc Aleg Tris NeuIra 89 2 4 - 4 - -Mied - 90 8 - - - -Sor 1 5 83 - - - -Asc 2 - - 73 14 1Aleg 4 - - - 82 - 8Tris - - - 14 - 83 1Neu 1 - - 10 11 - 87Prec(%) 91.8 92.8 87.4 75.3 84.5 85.6 89.7Tabla 3: Matriz de confusión con SVM y los 6mejores parámetros prosódicos4.3 GMM con característicasprosódicasEn este experimento se utilizó también elsoftware HTKv3 para el entrenamiento y test delos GMM. Debido al uso de un test Jack-knife ya que se obtuvo un único vector decaracterísticas para cada frase, sólo se disponíade unos 80 vectores para el entrenamiento delmodelo. Por ello, dada la falta de material deentrenamiento, se utilizaron modelos de unasola componente gaussiana. Estos modelosfueron creados con tres iteraciones deentrenamiento Baum-Welch.Se realizaron dos experimentos, uno con los86 parámetros calculados y otro sólo con los 6parámetros que dieron mejor resultado en elclasificador SVM. Mientras el sistema con 86parámetros obtuvo una precisión del 84.79%, elde 6 características mejoraba este resultado conuna precisión del 86.71%. Este aumento de laprecisión cuando se utilizan menos parámetrospuede ser debido a que los modelos con muchosparámetros están demasiado adaptados a losdatos de entrenamiento y no son capaces degeneralizar correctamente. La Tabla 4 y laTabla 5 muestran las matrices de confusión enestos dos casos.SALIDAENTRADAIra Mied Sor Asc Aleg Tris NeuIra 88 3 4 1 4 - -Mied 1 89 13 - - 1 -Sor 1 5 78 - - - -Asc 3 - - 76 1 7 2Aleg 4 - - 3 68 - 8Tris - - - 7 - 89 1Neu - - - 10 24 - 86Prec(%) 90.7 91.8 82.1 78.4 70.1 91.8 88.7Tabla 4: Matriz de confusión con GMM y los86 parámetros prosódicosTabla 5: Matriz de confusión con GMM y los 6mejores parámetros prosódicos5 ConclusionesLos resultados de los trabajos dereconocimiento de emociones son difíciles decomparar, porque se utilizan bases de datosmuy distintas. Algunos trabajos utilizan vozactuada, mientras otros recogen emocionesverdaderas; unos utilizan bases de datosmultilocutor y otros no; el conjunto deemociones básicas consideradas no es el mismoen todos los casos…Posiblemente el trabajo de Hozjan y Kačič,(2003) es el más próximo al presentado en esteartículo, ya que se utilizó voz actuada y unúnico locutor, con el mismo conjunto deemociones básicas. En su artículo Hozjan yKačič describen el uso de la base de datosmultilingüe INTERFACE (Tchong et al., 2000)para entrenar y probar un clasificador deemociones dependiente del locutor basado en144 parámetros estadísticos calculados a partirde diferentes características prosódicas.Obtenían una precisión de entre el 60% y el90% dependiendo del idioma considerado,utilizando redes neuronales. Se han realizadootros trabajos de reconocimiento de emocionesentre los cuales cabe destacar los siguientes.Petrushin (2000) alcanza una precisión del63.5% en entornos multilocutor considerandocuatro emociones y estilo neutro en una base dedatos de habla actuada. Utiliza estadísticos deparámetros relacionados con la entonación, laenergía y los formantes de los sonidos de cadafrase. Seppänen, Väyrynen y Toivanen (2003)obtienen una precisión del 80.7% con sólo tresemociones y estilo neutro, calculandoestadísticos de entonación y energía yutilizando la técnica kNN (k Nearest Neighbor).Finalmente, Nogueiras et al. (2001) alcanzan unresultado del 82.5% de precisión en un entornomultilocutor, considerando las mismasemociones que se han tenido en cuenta en18

Reconocimiento automático de emociones utilizando parámetros prosódicosnuestro trabajo. Para ello utilizaron HMM y laevolución temporal de parámetros prosódicos.En cuanto a la capacidad de los parámetrosprosódicos de diferenciar las emociones, apartir de los resultados obtenidos en este trabajoes claro que los clasificadores tradicionalesbasados en GMM y características espectralesalcanzan mejores resultados que los construidoscon parámetros prosódicos. De todos modos, esde remarcar que un clasificador sencillo basadoen SVM con tan solo 6 parámetros prosódicosalcanza una precisión del 92.32%, únicamenteun 6% menos que un sistema GMM-MFCC de512 componentes gaussianas. Este incrementodel error puede ser compensado con lareducción del tiempo de entrenamiento y pruebadel sistema. Además, considerando que ambossistemas utilizan parámetros de distinto tipo, esde esperar que la fusión de ambos proporcionemejores resultados, especialmente, si se trabajaen entornos más complejos, tipo multilocutor,multisesión u otros.Otro aspecto destacable es la incapacidad delos evaluadores para identificar el asco, frente alos resultados obtenidos por los sistemasautomáticos. El asco es una emoción pocofrecuente, para la que los humanos estamospoco entrenados en comparación con otrasemociones más habituales. En otras palabras,para realizar la prueba de evaluación losevaluadores no fueron entrenados previamente,como lo ha sido el sistema automático.Dado que en este trabajo se ha utilizado vozactuada, las emociones pueden estarsobreactuadas, y los resultados de clasificaciónen condiciones reales pueden ser peores. Aunasí, es un buen punto de partida para analizarcómo la información prosódica puede colaboraren las tareas de reconocimiento de emociones.Estos resultados son muy esperanzadores.Como los parámetros prosódicos a largo plazoparecen estar muy poco correlados con lascaracterísticas espectrales a corto plazo(Campbell, Reynolds y Dunn, 2003), es deesperar que el uso combinado de los dos tiposde parámetros reduzca todavía más el error declasificación.Los trabajos futuros incluyen considerarotros parámetros, como la duración de lossonidos para estimar la velocidad de locución.También se realizará fusión de expertos, paraque la información espectral que cambia con eltiempo y los parámetros prosódicos a largoplazo trabajen juntos para reducir el error delsistema.6 AgradecimientosEste trabajo ha sido parcialmente financiado porel Ministerio de Ciencia y Tecnología(TIC2003-08382-C05-03) y la Universidad delPaís Vasco (UPV-0147.345-E-14895/2002).BibliografíaBoula de Mareüil, P., Célérier, P. y J., Toen.2002. Generation of Emotions by aMorphing Technique in English, French andSpanish. En Proceedings of Speech Prosody.páginas 187-190.Burkhardt, F. y W. F. Sendlmeier. 2000.Verification of Acoustical Correlates ofEmotional Speech using Formant-Synthesis.En Proceedings of ISCA Workshop onSpeech and Emotion, páginas 151-156.Campbell, J., Reynolds, D. y R. Dunn. 2003.Fusing High and Low Level Features forSpeaker Recognition, Proceedings ofEurospeech’03, páginas 2665-2668.Cowie, R. y R. Cornelius. 2003. Describing theEmotional States that are Expressed inSpeech. Speech Communication 40(1,2): 2-32.Chang, Ch. y Ch. Lin. 2005. LIBSVM: aLibrary for Support Vector Machines,software disponible enhttp://www.csie.ntu.edu.tw/~cjlin/libsvmHozjan, V. y Z. Kačič. 2003. ImprovedEmotion Recognition with Large Set ofStatistical Features. En Proceedings ofEurospeech’03, páginas 133-136, Ginebra.Iida, A., Campbell, N., Higuchi, F. y M.Yasumura. 2003. A Corpus-based SpeechSynthesis System with Emotion. SpeechCommunication 40(1,2): 161-187.Iriondo, I., Guaus, R., Rodríguez, A., Lázaro,P., Montoya, N., Blanco, J., Bernardos, D.,Oliver, J., Tena, D. y L. Longhi. 2000.Validation of an Acoustical Modelling ofEmotional Expression in Spanish usingSpeech Synthesis Techniques. EnProceedings of ISCA Workshop on Speechand Emotion, páginas 161-166.Lay Nwe, T., Wei Foo, S. y L. De Silva. 2003.Speech Emotion Recognition Using HiddenMarkov Models. Speech Communication41(4): 603-623.19

Montero, J.M., Gutierrez-Arriola, J.,Palazuelos, S., Enríquez, E., Aguilera, S. yJ.M. Pardo. 1999. Emocional SpeechSíntesis: from Speech Database to TTS. EnProceedings of ICPhS’99, páginas 957-960.Mozziconacci, S. 2000. The Expression ofemotion Considered in the Framework of anIntonation Model. En Proceedings of ISCAWorkshop on Speech and Emotion, páginas45-52.Navas, E., Hernáez, I., Castelruiz, A. y I.Luengo. 2000. Obtaining and Evaluating anEmotional Database for Prosody Modellingin Standard Basque. Lecture Notes onArtificial Intelligence 3206: 393-400.Nogueiras, N., Moreno, A., Bonafonte, A. y J.Mariño. 2001. Speech Emotion RecognitionUsing Hidden Markov Models, EnProceedings of Eurospeech’01, páginas2679-2682.Petrushin, V.A. 2000. Emotion Recognition inSpeech Signal: Experimental Study,Development and Application. EnProceedings of ICSLP’00, páginas 222-225,Denver.Ramirez, J., Segura, J., Benitez, C., de la Torre,A. y A. Rubio. 2004. Efficient VoiceActivity Detection Algorithms Using LongTerm Speech Information. SpeechCommunication 42: 271-287.Seppänen, T., Väyrynen, E y J. Toivanen. 2003.Prosody Based Classification of Emotions inSpoken Finnish. En Proceedings ofEurospeech’03, páginas 717-720, Ginebra.Scherrer, K.R.. 2003. Vocal Communication ofEmotion: A Review of Research Paradigms.Speech Communication 40: 227-256.Tchong, C., Toen, J., Kacic, Z., Moreno, A. yA. Nogueiras. 2000. Emotional speechsynthesis database recordings. InformeTécnico. IST–1999–No 10036–D2,INTERFACE Project.Young, S., Odell, J., Ollason, D., Valchev, V. yP. Woodlans. 2000. The HTK book,Cambridge University, Cambridge.I. Luengo, E. Navas, I. Hernáez, J. Sánchez20