algoritmo de aprendizaje acelerado para backpropagation - Fei

40. SBAI-Simpósio Brasileiro de Automação Inteligente, São Paulo, SP, 08-10 de Setembro de 1999
ALGORITMO DE APRENDIZAJE ACELERADO PARA BACKPROPAGATION
Miguel Strefezza Bianco
Universidad Simón Bolivar
Departamento de Procesos y Sistemas
Tf: (02) 906-3327 / 906-33-04. Fax (02) 906-33-03
e-mail: strefeza@usb.ve
Resumen: El entrenamiento de redes neuronales utilizando el
algoritmo de backpropagation es muy utilizado y sufre por
poseer una convergencia asimptótica lenta. En este artículo se
presenta un algoritmo para mejorar y acelerar el algoritmo de
backpropagation mediante un aprendizaje intensivo de las
neuronas. Con estas modificaciones sobre el algoritmo original
se necesitan menos presentaciones de los datos entrada-salida a
las neuronas para su entrenamiento. Se realizan varias
simulaciones con redes neuronales multicapas, en la cual se
compara el algoritmo aquí presentado con el método original y
con otros trabajos. Los resultados muestran una significativa
mejora en la velocidad de aprendizaje de las redes.
Palabras claves: Redes neuronales, backpropagation,
aprendizaje, redes multicapas.
Abstract: The training of neural networks with the
backpropagation algorithm is very used, but it suffers from
slow asymtotic convergence. In this papaer, an algorithm that
improves and accelerate the basíc backpropagation algorithm is
proposed by using intensive learning method for the neurons.
With these modifications on the basic algorithm, the number of
iterations of the input-output data to the networks is reduced.
Many simulations with multilayer networks are carried out, the
results are compared with original method and with other
works. These .results show that there is a significative
improvement of the learning speed ofthe networks.
Keywords: Neural networks, backpropagation, learning,
multilayer networks.
1 INTRODUCCIÓN.
La aplicación de técnicas de inteligencia artificial a diferentes
sistemas se ha incrementado en los últimos aãos ya que éstas
han demostrado ser capaces de producir buenos resultados al
ser utilizadas. Entre éstas se encuentran las redes neuronales,
las cuales han sido utilizadas para reconocimientos de patrónes,
identificación de sistemas, predicción, controI. AI igual las
redes neuronales bilógicas, pueden realizar procesamiento
paralelo, aceptar entradas procedentes de diferentes sensores,
además de poder aprender funciones no Iineales. Además es
importante mencionar que la información que poseen las redes
neuronales no radica en las neuronas sino en la intensidad con
la cual estén interconectadas todas ellas. Las redes neuronales
203
Yasuhiko Dote
Muroran Institute ofTechnology
Division ofProduction and
Information System Engineering
Tf: (81143) 44-4181
e-mail: dote@csse.muroran-it.ac.jp
son estimadores que no necesitan un modelo matemático para
su descripción y tienen la capacidad de poder ser usados en
sistemas donde se .posean problemas de datos incompletos,
perturbados o contaminados con ruido.
Las redes neuronales son entrenadas en gran parte mediante el
método de backpropagation, el cuai es un algoritmo que posee
una convergencia lenta. Para acelerar la convergencia y
mejorar el aprendizaje de éstas, se han realizado . diferentes
investigaciones. Estas técnicas incluyen el algoritmo de
optimización quasi-Newton, Bello(1992), algoritmos que
utilizan información sobre la segunda derivada del error total,
Stefanos et al (1988). También se han planteado métodos
basados en la optimización de la arquitectura de las redes
neuronales, en las cuales son eliminados algunos pesos o
algunas neuronas que carecen de importancia en el aprend izaje,
Karin(1990) Mozer et al (1989). Además de éstos, se han
ptesentado otras modificaciones en el algoritmo Javed et al
(1991) Parker(1987) Ricotti et ai (1988) Wilamows lei et al
(19993) Zhou et aI (1991).
La convergencia dei algoritmo de backpropagation es lento
cuando las neuronas tienen alta ganancia ocuando los estados
entre las neuronas son diferentes. En estos casos, el gradiente
obtenido mediante el algoritmo de backpropagation son
pequenos y el error no se propaga en forma adecuada a través
de la red. Como consecuencia, el proceso de aprendizaje y el
ajuste de los pesos entre las neuronas es lento.
En este trabajo se presenta un algoritmo en el cual se han
realizado varias modificaciones ai método original para así
obtener una mejora de éste, esto se logra mediante un
aprendizaje intensivo de las neuronas y con cambios en la
función de activaci6n. EI resultado es una red en la cual se
necesitan menos presentaciones de los datos entrada-salida
para reducir el tiempo de convergencia.
2 ALGORITMO DE ENTRENAMIENTO
PARA LAS REDES NEURONALES
En este trabajo se entrenan las redes neuronales utilizando el
método de backpropagation, pero ai cual se le han hecho
ciertas modificaciones para incrementar la velocidad de
convergencia Es un método supervisado de aprendizaje en· el
cual la salida deseada es dado ai algoritmo y la diferencia entre
entre este valor y la salida actual es usado para el mecanismo

a) Entrada a la capa escondida o a la capa de salida.
s s s-I
Ij = (1)
f WjiXi
;=1
b) Salida desde la(s) capa(s) escondida(s) y capa de salida.
xj = f(lj)
c) Incremento de los pesos.
.. s s s-I .. s
AWj; =áe jXj +çAw ji(t-l)
donde 11 es el momento.
d) Error en la capa de salida.
= -(d k
e) Error local.
o.
s f(ls)" s+1
ej = j LJek Wkj
k.el
dondej{x) es la funci6n sigmoidal.
40. SBAI - Simpósio Brasileiro de Automação Inteligente, São Paulo, SP, 08-10 de Setembro de 1999
de adaptací õn, siendo basicamente
presentadose varias modificaciones
este algoritmo lento.
como se mencionó
So _ So s
ek - -(dk - xk )lf'(Ik
s g
o
- (dk - xk o »J (8)
anteriormente. Pero alguna de elIas necesitan mucho uso de donde O

40. SBAI - Simpósio Brasileiro de Automação Inteligente, São Paulo, SP, 08·10 de Setembro de 1999
Fig. 3. patrones utilizados para el aprendizaje de las letras.
Tabla 1. Datos de entrada-salida para obtener la función de pertenencia deI error (e) y la
deI cambio del error (ê) respectivamente.
ENTRADA NB NM NS ZO PS PM PB
-3.0 1.0 0.0 0.0 0.0 0.0 0.0 0.0
-2.3 0.7 0.3 0.0 0.0 0.0 0.0 0.0
-104 0.3 0.7 0.0 0.0 0.0 0.0 0.0
-0.7 0.0 l.0 0.0 0.0 0.0 0.0 0.0
-0.5. 0.0 0.7 0.3 0.0 0.0 0.0 0.0
0.0 0.3 0.7 0.0 0.0 0.0 0.0
-0.1 0.0 0.0 1.0 0.0 0.0 0.0 0.0
-0.07 0.0 0.0 0.7 0.3 0.0 0.0 0.0
-0.03 0.0 0.0 0.3 0.7 0.0 0.0 0.0
0.0 0.0 0.0 0.0 1.0 0.0 0.0 0.0
0.03 0.0 0.0 0.0 0.7 0.3 0.0 0.0
0.07 0.0 0.0 0.0 0.3 0.7 0.0 0.0
0.1 0.0 0.0 0.0 0.0 1.0 0.0 0.0
0.3 0.0 0.0 0.0 0.0 0.7 0.3 0.0
0.5 0.0 0.0 0.0 0.0 0.3 0.7 0.0
.0.7 0.0 0.0 0.0 0.0 0.0 1.0 0.0
IA 0.0 0.0 0.0 0.0 0.0 0.7 0.3
2.3 0.0 0.0 0.0 0.0 0.0 0.3 0.7
. 3.0 0.0 0.0 . 0.0 0.0 0.0 0.0 1.0
la capa escondida y se obtuvieron resultados satisfactorios con
.solamente 140 iteraciones. Si comparamos esto con el método
tradicional esto neéesitará unas 7000. En el mejor caso de en
presentado por. Zhou et ai (1991), se necesítaron 1209
iteraciones el caso; en e1 presentado en Javed et ai ( 1991)
unas 250 y de Wilamowski et aI (1993), 500 presentaciones.
Como segundo ejemplo tenemos el problema de simetria, en el
cual se utilizaron 5 neuronas en la capa escondida,
necesitandose 180 iteraciones para el entrenamiento de la red.
Con el método tradicional se necesitan unas 8000, y en e1
mejor caso de Zhou et aI (1991), se necesitaron 1290.
Otro caso que se tomó fue el reconocimiento de letras, se
realizaron experiencias con matrices de ·llx11 y de 5x5,
utilizandose las letras de la "A" hasta la "F', teniendose 5
neuronas en la capa escondida, los patrones utilizados se
observan en la Fig. 3. Para el aprendizaje de estas redes se
205
ENTRADA NB NM ·NS ZO PS PM PB
-004 1.0 0.0 0.0 0.0 0.0 0.0 0.0
-0.34 0.7 0.3 0.0 0.0 0.0 0.0 0.0
-0.26 0.3 0.7 0.0 0.0 0.0 0.0 0.0
-0.2 0.0 1.0 0.0 0.0 0.0 0.0 0.0
-0.16 0.0 0.7 0.3 0.0 0.0 0.0 0.0
-0.09 0.0 0.3 0.7 0.0 0.0 0.0 0.0
-0.05 0.0 0.0 1.0 0.0 0.0 0.0 0.0
-0.035 0.0 0.0 0.7 0.3 0.0 0.0 0.0
-0.015 0.0 0.0 0.3 0.7 0.0 0.0 0.0
0.0 0.0 0.0 0.0 1.0 0.0 0.0 0.0
0.015 0.0 0.0 0.0 0.7 0.3 0.0 0.0
0.035 0.0 0.0 0.0 0.3 0.7 0.0 0.0
0.05 0.0 0.0 0.0 0.0 1.0 0.0 0.0
0.09 0.0 0.0 0.0 0.0 0.7 0.3 0.0
0.16 0.0 0.0 0.0 0.0 0.3 0.7 0.0
0.2 0.0 0.0 0.0 0.0 0.0 1.0 0.0
0.26 0.0 0.0 0.0 0.0 0.0 0.7 0.3
0.34 0.0 0.0 0.0 0.0 0.0 0.3 0.7
004 0.0 0.0 0.0 0.0 0.0 0.0 1.0
necesitaron con el algoritmo propuest 50 interaciones con lo
que obtenia una certeza deI 95% o más en el caso afirmativo y
0.01% o menos para los casos negativos. También se consideró
la presencia de ruido en los patrones de las letras, obteniendose
un 85% o más en los casos afirmativos. Con el algoritmo
original esto necesitaría unas 3000 iteraciones.
Como último caso presentarernos el aprendizaje de funciones
de las pertenencia deI error (e) y deI cambio deI error (6), así
corno de la tab1a de búsqueda utilizada para controladores
borrosos, lo cual puede ser útil en el área de control Hayashi et
aI (1989) Strefezza (1994) Yarnaokaet aI (1990).
Para las funciones de pertenencia, se entrenan dos redes
neuronales, las cuales poseen respectivamente tres capas con 1,
6 y 7 neuronas respectivamente. Esto implica que se están
tornando siete variables borrosas. De igual forma, los datos de
entrada-salida para cada una de las redes se muestran en la

40. SBAI-Simpósio Brasileiro de Automação Inteligente, São Paulo, SP, 08-10 de Setembro de 1999
Tabla 1 respectivamente. EI resultado deI entrenamiento de
estas redes se pueden observar en las Fig. 4 Y Fig. 5
respectivamente. Con :el algoritmo arriba propuesto, se
necesitan menos de 260 presentaciones de los datos entradasalida
para entrenar a cada una de las redes, con el método
tradicional de backpropagarion son necesarias más de 3000
presentaciones. .
En cuanto a la tabla de busqueda, también se utiliza una red
neuronaI de tres capas con 14, 6 y 7 neuronas en cada capa. La
tabla de busqueda utilizada se muestra en la Tabla 2, siendo
utilizados soIamente 1's y O's para su entrenamiento. Con las
ecuaciones modificadas se necesitaron menos de 100
presentaciones de los datos entrada-salida para entrenar esta
Grado de pertenenecia
1.0 deI error
Fig, 4. Función de pertenencía del error (e) obtenida Iuego
de utilizar los datos de la labia 1.
-4.0
Grado de pertenencia
I. o. dei cambio del error
Fig. 5. Función de pertenencia dei cambio error (ti )
obtenida Iuego de utilizar los datos de la tabla 1.
red. EI método convencional necesita más de 3000 para obtener
el mismo resultado.
4 CONCLUSIONES
4.0
Cambio dei crror (xlO' l )
En este trabajo se han entrenado las redes neuronales con un
algoritmo modificado de backpropagation, el cual no es dificil
de implementar ya que no necesita. Este reduce en un gran
porcentaje el número de iteraciones que hay que realizar de
206
Cambio deI Error ( é )
Error(e) NB NM N's ZO PS PM PB
NR NB NB NB NB NB NR NB
NM NB NB NB NM NM NM NM
NS NB NM NM NS NS NS NS
ZO NM NS ZO ZO ZO PS PM
PS PS PS PS PS PM PM PB
PM PM PM PM PM PB PB PN
PB PB PB PB PB PB PB PB
Tabla 2. Tabla de busqueda utilizada para entrenar la red
neuronal.
datos para obtener su convergencia y así reducir el tiempo de
aprendizaje.
Se realizaron experiencias con diferentes tipos de data y de
patrones, además de comparase con otros métodos propuestos
en la literatura, obteniendose resultados satisfactorios.
Comparando con eI algoritmo original. La diferencia entre los
porcentajes de respuesta afirmativa y negativa a la salida de la
red lo suficientemente grande, en casos de entrenamientos de
patrones compuestos de O's y 1's, EI algoritmo presentado
también puede ser utilizado en caso de diseiíar sistemas de
control.
En el algoritmo presentado se deben ajustar ciertas variables
por ensayo y error, al igual que en otros algoritmos, por lo que
siempre existe la posibilidad de saturación de las neuronas
impidiendo un aprendizaje correcto de los patrones presentados
a las redes.
5 REFERENCIAS BIBLIOGRÁFICAS
Bello, M.G.(1992). Enhanced Training AIgorithms, and
integrated training/architecturc selection for Multilayer
Perceptron .Networks. IEEE Transactions on Neural
Networks, VoI. 3, November.
Driankov, D., HeIlendoorn, H. and Reinfrank, M. (1993). An
Introduction to Fuzzy ControI. Springer-Verlag. .
Hayashi, 1., Nomura, H. and Wakami, N. (1989). Artificial
Neural Network Driven Fuzzy Control and its Application
to the Lerarning of Inverted Pendulum System. 3 rtf • IFSA
Congress, Japón (1989). 610-613.
Jang, J.-S.R., Sun,C.-T. and Mizutani, E.(1997l.Neuro-Fuzzy
and Soft Computing. Prentice HaIl, 1997. .
Javed, M.A. and Sanders S.AC (1991).An Adaptive Learning
Procedure for ' Neural Networks In ' engineering
Applications. Intelligent Engineering Systems Through
Artificial Neyral Networks. Dagli, Kimura and Shin
Editors, ASME Press.
Karnin, s,o. (1990). A Simple Procedure for Pruning Back-
Propagation Trained Neural Networks. IEEE Transactions
on Neural Networks, VoI. 1.
Mozer, M.C. and Smolensky, P.(1989). Using Relevance to
Reduce Network Size Automatically. Connection Science,
VaI. 1.
Parker, D. (1987). OptimaI Algorithm for Adaptive Networks:
Second Order Back Propagation, Second Order Direct
Propagation and Second Order Hebbian Learning. ..

40. SBAI - Simpósio Brasileiro de Automação Inteligente, São Paulo, SP, 08-10 de Setembro de 1999
Proceedings of IEEE First International Conference on
Neural Networs, San Diego, USA.
Ricotti, L., Ragazzini, S. and Martinelli, G.(1988). Learning of
Word Stress in a Sub-optimal Second Order
Backpropagation Neural Network. Proceedings of IEEE
Second Intemational Conference on Neural Networs, San
Diego, USA.
Stefanos, K. and Anastassiou D.(1988).Adaptive Training of
Multilayer Neural Networks using a Least-squares
Estimation Technique. Proceedings of the IEEE
0
Intemational Conference on Neural Networks , (1), 383-
390.
Strefezza, M. (1994). Neuro Fuzzy Robust Motion ControI.
Doctoral thesis, Muroran Institute ofTechnology, Japan.
Uchikawa, Y., Horikawa, S. Furuhashi, T. and Okuma,
S.(1990). AFuzzy Controller using a Neural Network and
its capability to Learn Experts Control Rules. Proceedings
ofthe International Conference on Fuzzy Logic and Neural
Networks, Japón. 103-106.
Wilamowski, B.M. and Torvik, L.M.(1993). Modification of
gradient Computation in the Back-Propagation A1gorithm.
Intelligent Engineering Systems Through Artificial Neyral
Networks. Dagli, Kimura and Shin Editors, ASME Press.
Yamaoka, M. and Mukaidomo, M. (1990). A Learning
Method of the Membership Function with Neural
Networks. &h. Fuzzy System Symposium, Japón. 197-200.
.En Japonés.
Zhou, G. and Sun, Y.(1991). A Combined Gradient Learning
algorithm For Multi-layered Neural Networks.
Proceedings ofthe IECON'91. Japón (1991).1492-]495.
207