III WVC 2007 - Iris.sel.eesc.sc.usp.br - USP

WVC'2007 - III Workshop de Visão Computacional, 22 a 24 de Outubro de 2007, São José do Rio Preto, SP.treinamento, a rede recebe como entrada os compassosextraídos das melodias de treinamento e os padrões dasondulações geográficas.Normalmente um compositor humano primeiroaprende os conceitos necessários para compor umamelodia. E depois, quando for compor sua própriamelodia, pode ser influenciado por sensações ouinspirações. Nesse experimento, esses dois momentosacontecem ao mesmo tempo. A rede está aprendendo ascaracterísticas dos compassos de treinamento junto com ainspiração. Porém, a motivação desse experimentoconsiste em se obter uma composição preliminar, quedeverá então ser analisada e ser o ponto de partida parauma composição final. É como se o compositor somasseao seu conhecimento uma inspiração e compusesse umamelodia, para ser posteriormente analisada eaperfeiçoada, para se tornar a composição final. Esseprocesso é comum em uma composição musical.Além disso, a rede aprende, no seu treinamento, a lidarcom esses padrões de entrada e transformá-los emcompassos musicais.Como geralmente ocorre no treinamento das redesneurais recorrentes, os valores dos neurônios de saída sãocomparados com os valores desejados e retornadosatravés das conexões recorrentes para os neurônios deentrada. No início do treinamento, antes que a rede estejatotalmente treinada, as saídas estão distantes dasdesejadas. Essas saídas incorretas são retornadas para osneurônios de entrada, comprometendo as equações deajuste de pesos [5]. Como tentativa de otimizar esseprocesso, o treinamento nesse experimento foi realizadode duas maneiras diferentes.Na primeira delas, foi realizado o treinamento forçado[13], que consiste em ignorar os valores obtidos pelosneurônios de saída e retornar para os neurônios de entradaos próprios valores desejados. Portanto, ao invés dosvalores obtidos pelos neurônios de saídas seremretornados para os neurônios de entrada, os própriosvalores desejados são retornados, uma vez que essesvalores são conhecidos durante o treinamento [5] [9].Assim, o aprendizado se torna mais eficiente.Durante o treinamento, a rede precisou de menos de 10mil épocas para aprender 10 compassos musicais. Durantea composição, foram utilizados os mesmos padrões deondulações geográficas do treinamento, e a rede foicompondo de acordo com suas próprias saídas. A figura 6mostra a melodia gerada com 10 compassos.Figura 6. Exemplo de melodia geradapelo treinamento forçadoA Figura 7 mostra a melodia obtida pela rede na fasede composição para padrões de entrada de ondulaçõesgeográficas similares com os padrões utilizados notreinamento. Esses padrões foram extraídos de umaimagem com ondulações semelhantes às presentes naFigura 4 (a).Figura 7. Exemplo de melodia geradacom padrões de entrada similares aosutilizados no treinamentoPorém, há duas desvantagens no treinamento forçado[5] [12]. A primeira delas é que ele não é aplicável pararecorrência em neurônios escondidos, uma vez que osvalores desejados não estão disponíveis para essesneurônios. A segunda desvantagem refere-se aocomportamento da rede. Mesmo quando a rede estivertotalmente treinada, suas saídas podem nunca seremexatamente iguais às saídas desejadas. Sendo assim,quando a rede for usada para lidar com novos exemplosdepois de treinada, e sua saída retornada para osneurônios de entrada, essa entrada irá incluir variaçõesque não estavam presentes durante o treinamento.Um segundo treinamento foi proposto nesseexperimento, na tentativa de otimizar essa segundadesvantagem apresentada pelo treinamento forçado. Otreinamento consiste em utilizar uma função deprobabilidade gaussiana em cada neurônio de entrada,com a média sendo o valor desejado de cada neurônio desaída e variância bem pequena. Os neurônios de entradapassam a não receber exatamente os valores desejados acada passo de treinamento e sim um valor aleatóriopertencente a um pequeno intervalo que contém a saída268