Radial Basis Function (RBFs) Introdução

Separabilidade por φ de padrões7Separabilidade por φ de padrões84

Exemplos de separabilidade por φ9Modelo do neurônio escondido105

Neurônios escondidos11Função de base radial gaussiana φ126

Tipos de φ13Exemplo: o problema XOR147

Exemplo: o problema XOR15Aprendizagem em Redes RBFO método de treinamento, como os demais modelossupervisionados, deve reduzir o erro na saída da rede a valoresaceitáveis através da adaptação dos parâmetros livres na redeRBF: centros, larguras dos campos receptivos e pesos entre acamada escondida e a de saída. A aprendizagem pode sersupervisionada, não-supervisionada ou híbrida.O treinamento híbrido combina aprendizagem não-supervisionada(ANS) com supervisionada (AS). Este é o tipo de treinamento maisempregado pois, em geral, não se sabe que saídas se desejampara a camada escondida.– ANS: treina a camada escondida definindo seus parâmetros livres.– AS: determina os valores dos pesos entre as camadas escondida e desaída, considerando constantes os parâmetros já definidos.168

Aprendizagem em Redes RBF Treinamento não-supervisionado– Determinar os valores dos centros por: (a) seleção aleatória; (b)distribuição sobre uma grade regular; (c) técnica deagrupamento (clustering); ou (d) outro algoritmo.– Determinar a largura do campo receptivo através de umaheurística que emprega (a) distância euclidiana média entrecentros; (b) distância euclidiana entre centro e vetor de entrada;(c) distância euclidiana entre centros; ou (d) distância euclidianaentre os centros determinados pelo método k-médias. Treinamento supervisionado– Determinar os pesos por um método que resolva o problema deminimização do erro: (a) método dos mínimos quadrados; (b)método da regra delta; ou (c) matriz pseudo-inversa.17Algoritmos de aprendizado Os parâmetros a serem ajustados são:– centros– espalhamentos– Pesos Há diferentes algoritmos de aprendizagemx 1ϕ 1w 1x 2yϕ m1w m1x m189

Algoritmo de aprendizagem 1 Centros são selecionados aleatoriamente– As localizações dos centros são escolhidas aleatoriamentea partir do conjunto de treinamento Espalhamentos escolhidos por normalização:σ =ϕ iDistância máxima entre dois centros quaisqueri ∈2( x − ti)[ 1, m ]1número de centros⎛ m= exp⎜ −⎝ d12maxx − ti2⎞⎟⎠=d maxm119Algoritmo de aprendizagem 1 Pesos são encontrados através de métodos depseudo-inversawd⎛ m= { ϕji}ϕji= exp⎜−⎝ dj = 1, 2, ..., N , i = 1, 2, ..., mϕϕ= +Pseudo-inversa de ϕResposta desejada12max1xj−ti2⎞⎟⎠2010

Algoritmo de aprendizagem 2 Processo de aprendizagem Híbrido:– Etapa de aprendizagem auto-organizada paraencontrar os centros– Espalhamento escolhido por normalização– Etapa de aprendizagem supervisionada paraencontrar os pesos, usando algoritmo LMS (LeastMean Square)21Algoritmo de aprendizagem 2: CentrosAlgoritmo de agrupamento de K-médias para os centros1 Inicialização: t k (0) random k = 1, …, m 12 Amostragem: retire um vetor x do espaço de entrada C3 Casamento de similaridade: encontrar o centro mais próximok(x) = arg minx(n) − t4 Atualização: ajuste dos centrost k(n+ 1)=k(n)5. Continuação: incremente n de 1,volte para o passo 2 e continueo procedimento até que não sejam mais observadas mudançasnos centrosk[ x(n) −t(n)] sek k(x)tk (n) +ηk=t k(n)caso contrário2211

Algoritmo de aprendizagem 3Aprendizagem supervisionada para todos os parâmetrosutilizando o método do gradiente descendente– Modificando os centrosη∂E∆t j= −t j∂ tjTaxa deaprendizagempara tjFunção de erro12N∑i=1e2i23Algoritmo de aprendizagem 3 Modificando os espalhamentos∆= −σjησ j∂∂Eσ Modificando os pesos da saída∆wij∂E= −ηij∂wjij2412

Estratégias de TreinamentoBusca-se o compromisso entre precisão e generalização.Para tal, duas estratégias de treinamento podem serempregadas: hold-out e validação cruzada(crossvalidation). Hold-out: Neste procedimento o conjunto de padrões édividido em três grupos: treinamento, validação e teste.Cada topologia com seus centros tem seu desempenhotestado com respeito aos três conjuntos.25Estratégias de TreinamentoCross-validation: Nesta estratégia, todos os padrões sãoconsiderados para o treinamento (em geral são poucos).Neste caso, divide-se os padrões em n grupos.Seleciona-se aleatoriamente n-1 conjuntos paratreinamento e testa-se a rede com aquele conjunto quenão foi selecionado.Este processo deve prosseguir até que todos osconjuntos tenham sido usados para testes. A partir daí,calcula-se o erro (E).2613

Comparação com as Redes MLP27Comparação com as Redes MLP2814

Comparação com as Redes MLP29Comparação com as Redes MLP3015

Bibiografia básicaHASSOUN, M. H. (1995). Fundamentals of ArtificialNeural Networks. Cambridge: The MIT Press.31FonteSite do Prof. Aluizio Araújo / CIN - UFPE:http://www.cin.ufpe.br/~aluizioaSite do Profa. Elena Marchiori / Vrije University:http://www.cs.ru.nl/~elenam/Site do Prof. Arthur Braga / DEE - UFC:http://www.dee.ufc.br/~arthurpApplet de simulaçãohttp://lcn.epfl.ch/tutorial/english/rbf/html/index.html3216