TESIS DOCTORAL - Robotics Lab - Universidad Carlos III de Madrid

“empuja” el robot a evitar las situaciones peligrosas. Los detalles y las ventajas de estasemociones en un robot real se muestran empíricamente a lo largo de este libro.El robot decide sus acciones futuras en base a lo que ha aprendido en experienciaspasadas. A pesar de que el contexto actual del robot está limitado a un laboratorio, el robotsocial cohabita con personas en un entorno potencialmente no-determinístico. El robot estáequipado con un repertorio de acciones pero, inicialmente, no sabe qué acción ejecutar nicuando hacerlo. De echo, tiene que aprender la política de comportamiento, esto es, quéacción ejecutar en diferentes configuraciones del mundo (en cada estado) para satisfacerla necesidad relacionada con la motivación más alta. Puesto que el robot aprende en unentorno real interaccionando con distintos objetos, es necesario que este aprendizaje serealice en un tiempo aceptable.El algoritmo de aprendizaje que se utiliza es una variación del conocido Q-Learning, elObject Q-Learning. Mediante este algoritmo el robot aprende el valor de cada par estadoaccióna través de interacción con el entorno. Esto significa, que aprende el valor de cadaacción in cada posible estado. Cuanto más alto sea el valor, mejor es la acción en ese estado.Al inicio del proceso de aprendizaje, estos valores, llamados valores Q, pueden tenertodos el mismo valor o pueden pueden tener asignados distintos valores. En el primer caso,el robot no dispone de conocimientos previos; en el segundo, el robot dispone de cierta informaciónsobre la acción a elegir. Estos valores serán actualizados durante el aprendizaje.La emoción de miedo es especialmente estudiada en esta tesis. La forma de generarseesta emoción (el appraisal) y las reacciones al miedo resultan realmente útiles a la hora dedotar al robot con un mecanismo de supervivencia adaptable y fiable. Esta tesis presenta unrobot social que utiliza un proceso particular para el aprendizaje de nuevos “liberadores”del miedo, es decir, dispone de la capacidad de identificar nuevas situaciones peligrosas.Además, mediante el sistema de toma de decisiones, el robot aprende diferente reaccionespara protegerse ante posibles daños causados por diversos eventos impredecibles. De echo,estas reacciones al miedo son bastante similares a las reacciones al miedo que se puedenobservar en la naturaleza.Otro reto importante es el diseño de la solución: el sistema de toma de decisiones tieneque diseñarse de forma que sea suficientemente flexible para permitir cambiar fácilmentela configuración o incluso para aplicarse a distintos robots.Teniendo en cuenta el enfoque bioinspirado de este trabajo, esta investigación (y muchosotros trabajos relacionados) surge como un intento de entender un poco más lo quesucede en el cerebro. El autor espera que esta tesis pueda ayudar en el estudio de los procesosmentales, en particular aquellos que pueden llevar a desórdenes mentales o cognitivos.viii