Acceso al documento en PDF - Biblioteca Nacional de Maestros

Fig. 9. Mínimos locales
de la-función energia.
es un atractor estable formado por partes de las
dos soluciones que son mínimos globales. En Fig.
9 se ilustra este fenómeno en un paisaje de
energía de una sola dimensión para aclarar el
concepto. El peligro consiste en partir de un
estado inicial tal que el atractor que más cerca
se encuentre sea precisamente un mínimo local. La
posición y número de estos estados mezcla de
múltiples soluciones es totalmente desconocida e
incalculable por la naturaleza combinatoria1 de
elevado orden-del problema. Incluso existen otros
mínimos locales. que no están en absoluto
correlacionados con ninguno de los mínimos
globales. Estos estados se llaman spin glass y
son conocidos en la mecánica estadística y los
modelos de Ising e incrementan la magnitud del
problema de llegar a buenas soluciones.
Una vez que se ha llegado a un mínimo local no es posible salir de ahí,
pues es una solución estable y la energía H no decrece más al recalcular. Como
ésta no puede crecer, es imposible salir del mínimo local.
Para sortear esta dificultad se 'recurre a la Teoría del Campo Medio.
Esta es otra herramienta de la mecánica estadística. Aplicándola a las redes
neuronales dice que en un gran sistema, las variaciones inducidas por la
temperatura sobre una neurona pueden ser tratadas como fenómenos transitorios
que no modificarán el comportamiento en estado estable de la red. Los flips
aleatorios de una neurona establecen un cierto Icomportamiento dinámico,
particular a cada caso, pero eventualmente y a pesar de ellos, los valores
medios que posee una neurona S. son independientes del tiempo. Replanteando
la ecuación de recálculo para este campo medio de las 'Salidas neuronales
(S,) = tgh ( +. c o ij.(s j) )
Luego, los mismos estados estables que existían en el modelo de salida
neurona1 de valores discretos continúan existiendo en un modelo que evoluciona..
a partir de valores medios como en la ecuación propuesta, es decir que, Si es
una variable continua entre -1 y +1. Para este tipo de redes también valen
todas las pruebas de monotonicidad decreciente de la energía, estabilidad de
los atractores y existencia de transiciones de fase.
La solución al tema de como salvar los mínimos locales y no quedar
atrapado en ellos la proporciona la temperatura y el carácter alinea1 de la
función sigmoide. La característica esencialmente alinea1 del sistema de
ecuaciones hace que varíe completamente la dinámica de la red pues cuando
evoluciona, ésta lo hace en forma distinta según sea su temperatura, y los
mínimos de energía modifican sus áreas de atracción según ésta. Se van dando
Pequeñas transiciones de fase que hacen desaparecer los atractores de menor
importancia. La demostración matemática de este efecto es bastante ardua,
recurriendo a muchas herramientas de la mecánica estadística,_ como Replica
Trick, aproximaciones 'de Saddle Point, funciones de partición y entropía
[l] [2] . Se exponen, cuatro zonas cualitativamente diferenciadas: En la zona
D, la red neurona1 no admite otra solución que la trivial. Las zonas
corresponden a los ejemplos gráficos de la izquierda de Fig. 10. Aquí, no hay
mínimo algunO ni evolución posible. En la zona C, sólo existen los mínimos
globales, por lo que es deseable ser atraído por ellos, hasta 'caer' al más
profundo de los existentes. En la zona B aparecen los mínimos locales, pero
teóricamente la red debería estar evolucionando ya dentro de un valle global
de modo que se sorteó efectivamente el problema de mínimo local.
Finalmente los spin glass aparecen en zona A. Para esta temperatura, la
solución ya está dada por el mínimo global dominante mientras se evolucionaba
en la zona C. Este descenso de la temperatura en forma gradual y controlada
es conocido como Simulated Annealing en los procesos de optimización.':'
En la gráfica se aprecia la temperatura de Curie para distintos Valores
de a parámetro que indica la heterogeneidad de los pesos de red.
160