Adaptación

Paradigmas de
Computación Inteligente
Curso de Doctorado del Programa
Sistemas Inteligentes y Aplicaciones Numéricas en Ingeniería
Criterios de Calidad para el
Robustecimiento
Tarea Visual en un entorno real
Condiciones “óptimas”
Condiciones que se pueden dar en la realidad

Necesidad de robustez en los sistemas de
visión
Realización de tareas visuales de reconocimiento
siguiendo el criterio de robustez → Cuello de botella
debido a la variación de las imágenes producida por
cambios ambientales.
Sistema de visión → baja estabilidad en su efectividad
en relación con variaciones del entorno
Necesidad de robustez en los sistemas de
visión
Identificar los parámetros de la imagen que afectan al
rendimiento de la tarea e intentar que el sistema tenga
la capacidad de adaptarse a los cambios de estos
parámetros
Variables esenciales: aquellas que se modifican sobre
los datos por acción externa al sistema pero que
influyen en su efectividad

Necesidad de robustez en los sistemas de
visión
Ф = vector de variables esenciales
ξ = medida de efectividad del sistema
Necesidad de robustez en los sistemas de
visión
Introducir un módulo previo que “estabilice el flujo de
las imágenes entrantes” ⇒ Ampliar de manera efectiva
el rango de valores de las variables esenciales en el que
la eficiencia del sistema resulte óptima

RH Regulador homeostático
Q RH Módulo de medida de
calidad de las imágenes a
la salida del regulador
Control Homeostático
SV Sistema de visión
Q SV Módulo de medida
de calidad del
comportamiento del
sistema de visión
Q G Realimentación con medición de calidad
general: Medición directa de la calidad del
sistema de visión, de otras modalidades
sensoriales o de supervisión.
Sistema Adaptativo
Adición de un controlador homeostático al sistema
de visión → Adaptación
¿Qué es un sistema adaptativo?
Un sistema que cambia frente a perturbaciones (p.e. cambios
del entorno) para mantener algún tipo de invariante (p.e.
supervivencia, eficiencia) modificando sus propiedades (p.e.
comportamiento, estructura) o modificando el entorno.
Definición operacional: un sistema que mantiene algún tipo de
invariante respondiendo así a las perturbaciones.

Sistema Adaptativo
¿Es igual un sistema robusto que uno adaptativo?
Sistema Robusto → Posee la capacidad de soportar un
rango de perturbaciones antes de decaer el
rendimiento del agente.
Sistema Adaptativo → Es tolerante a cambios
mediante la monitorización activa de las perturbaciones
y compensa su efectos.
Di Paolo, E. A., (2005). Autopoiesis, adaptivity, teleology, agency. Phenomenology and the Cognitive Sciences,
4(4): 429 - 452.
Tipos de adaptación
Adaptación significa cambios en el sistema, pero no
cualquier cambio:
Diferentes significados
solo cambios adecuados de “adecuado” dan lugar
a diferentes tipos de
adaptación.
dentro de una norma

Tipos de adaptación
Task-based: Cambios que permiten completar una
tarea cuando ésta es modificada. (significado más
usual en sistemas artificiales).
Monkey & Bananas
A hungry monkey is in a room. Suspended from the roof,
just out of his reach, is a bunch of bananas. In the corner
of the room is a box. The monkey desperately wants the
bananas but he can’t reach them. What shall he do?

Monkey & Bananas (2)
After several unsuccessful attempts to reach the bananas,
the monkey walks to the box, pushes it under the bananas,
climbs on the box, picks the bananas and eats them.
The hungry monkey is now a happy monkey.
Tipos de adaptación
Task-based: Cambios que permiten completar una
tarea cuando ésta es modificada. (significado más
usual en sistemas artificiales).
Sub-organismic: Mecanismo dentro del organismo
que mantiene algunas propiedades internas
(homeostasis celular). Puede dar lugar a fenomenos a
nivel orgánico tales como la habituación.

Regulación presión arterial
Regulación nivel de glucosa en sangre

Tipos de adaptación
Task-based: Cambios que permiten completar una
tarea cuando ésta es modificada. (significado más
usual en sistemas artificiales).
Sub-organismic: Mecanismo dentro del organismo
que mantiene algunas propiedades internas
(homeostasis celular). Puede dar lugar a fenomenos a
nivel orgánico tales como la habituación.
Organismic: Cambios que mantienen las propiedades
esenciales del organismo (p.e. los que garantizan la
supervivencia, identidad, autonomía, etc.).
Evolution in action:
Giraffe neck length

Happy Giraffes
Hungry Giraffes

Surviving Giraffes
Tipos de adaptación
Ecológico: Cambios que mantienen determinados
patrones de comportamiento de uno o varios
organismos. Recuperación de invariantes sensoriales
y motoras y de comportamientos habituales.

Tipos de adaptación
Experimento de inversión del campo visual (dcha ↔
izda) realizado por 4 estudiantes durante 35 días.
Sekiyama K, Miyauchi S, Imaruoka T, Egusa H, Tashiro T. (2000). Body image as a visuomotor transformation
device revealed in adaptation to reversed vision, Nature. Sep 21;407; 374-7
Tipos de adaptación
Ecológico: Cambios que mantienen determinados
patrones de comportamiento de uno o varios
organismos. Recuperación de invariantes sensoriales
y motoras y de comportamientos habituales.
Evolutivo: Cambios en la distribución del fenotipo
debido a diferenciaciones en supervivencia o
reproducción. Las nuevas propiedades se pueden
considerar como adaptadas y ocurren a nivel de
poblaciones.

Norma
Para decir que un cambio es adecuado o apropiado es
necesario utilizar un “entorno normativo” donde se
especifican qué cosas están bien y cuáles están mal.
En algunos entornos como escenarios basados en
tareas el “entorno normativo” es definido de forma
arbitraria por el diseñador (norma externa global). En
otros escenarios la situación puede ser más compleja.
Emociones y control homeostático
Antonio Damasio estudia el comportamiento desde el
punto de vista emocional.
Estudio de las emociones como una parte de la
actividad cerebral → lóbulo frontal
Define tres niveles de emociones:
– Primarias → Relacionadas con el sistema
inmunológico y endocrino
–Secundarias → Relacionadas con la expresividad
de las emociones
–Terciarias → Relacionadas con las sensaciones o
afectos
Damasio, Antonio R. (1994). Descartes' Error. New York, NY, USA: G. P. Putnam's Sons.

Emociones y control homeostático
Emociones primarias o innatas
– Encargadas de las decisiones acerca de la
supervivencia del individuo
– Reside en la amígdala.
– Funciones de adaptación y homeostasis
Control homeostático en sistemas artificiales
W. Ross Ashby propone una aproximación operacional
a la adaptación → El organismo no se considera una
máquina con propósito.
Variables esenciales de un organismo están
relacionadas con variables esenciales para la
supervivencia como temperatura corporal, nivel de
glucosa, …
Ashby considera que un comportamiento es
adaptativo si contribuye a mantener las variables
esenciales dentro de los límites tolerables.
Homeostasis es un ejemplo de un mecanismo de bajo
de nivel de auto-corrección.
W. Ashby. (1960) Design for a Brain. Chapman.

Control homeostático en sistemas artificiales
Adaptación sub-organismic ⇒ mantener ciertas
variables internas a unos niveles adecuados cambiando
el comportamiento del sistema → Homeostasis
Control homeostático en sistemas artificiales
¿Dónde implementar el control
homeostático?
Sistema con un nivel alto de complejidad y
que desarrolle su actividad en un entorno
cambiante
Robótica móvil

Control homeostático en sistemas artificiales
AuRA Autonomous Robot Architecture (Arkin & Balch, 1997)
Battery charge
Motor Temperature
Motor Performance
Arkin, R.C., Balch, T.: AuRA: Principles and practice in review. Journal of Experimental and Theoretical
Artificial Intelligence 7 (1997) 175–188
R. Arkin et al., An ethological and emotional basis for human-robot interaction, Special Issue on Socially
Interactiv e Robots, Robotics and Autonomous Systems 42 (3-4) (2003).
reactive deliberative
Arquitectura AuRA

Control Homeostático en sistemas de visión
¿Cómo incluir el concepto de homeostasis en un
Sistema de Visión?
Percepción
Visión Reconstructivista
“Computer vision is the construction of explicit, meaningful descriptions of physical
objects from images” (Ballard & Brown)
Mundo Representación Conocimiento
Imágenes
12.364
ACCIÓN
x
1.788
Percepción
Simbólica
I.A.
D. H. Ballard and C. M. Brown, Computer Vision. Englewood Cliffs, New Jersey: Prentice Halls, Inc., 1982.

Percepción
12.364
x
1.788
Visión Activa
Mundo Representación Conocimiento
Imágenes
Feedback
HARDWARE
ACCIÓN
Aproximaciones en Visión Activa:
Objetivo &
Reacción
Reacci
1.Control de la atención
Feedback
SOFTWARE
Percepción
Simbólica
Limitar la percepción a:
• Zonas de interés de la imagen
• Zonas de movimiento
• Objetos próximos/lejanos
• Un conjunto de pistas útiles para la tarea a resolver
2.Percepción foveal
I.A.
Visión Activa
• Construir un sensor de resolución variable (hardware o software)
3.Control de mirada: estabilización y sacada
• Detección de puntos salientes en la imagen, tracking, estabilización
óptica.
4.Coordinación percepción/acción
• Coordinación mano/ojo
• Recorrer terrenos accidentados

Visión Activa
Paradigma de Visión Activa → observador está
activamente involucrado en el proceso perceptual.
La evolución de paradigma de Visión Activa hacia el
paradigma de Visión como Proceso → estrategias de
percepción están controladas por la interacción del
sistema con entorno para alcanzar un objetivo
específico.
Visión Activa
Sistema de Adquisición en un sistema de visión activa
→ Sistema percepto/efector
Introducir un mecanismo de control homeostático
que actue sobre los parámetros que lo controlan

Adaptación en un Sistema de Visión
Condiciones ambientales inciales E → Parámetros δ
Condiciones cambian a E’ → Parámetros δ’
Adaptación en un Sistema de Visión
Introducir un módulo previo que “estabilice el flujo de
las imágenes entrantes” ⇒ Ampliar de manera efectiva
el rango de valores de las variables esenciales en el que
la eficiencia del sistema resulte óptima

Adaptación en un Sistema de Visión
Efectividad en un sistema de visión se ve afectada
por la calidad de las imágenes
Calidad de las imágenes utilizadas por un sistema de
visión por computador depende de varias elementos
(variables esenciales):
Luminancia
Balance de blanco
Contraste
Tamañode losobjetosde interés
RH Regulador homeostático
Q RH Módulo de medida de
calidad de las imágenes a
la salida del regulador
Control homeostático
SV Sistema de visión
Q SV Módulo de medida
de calidad del
comportamiento del
sistema de visión
Q G Realimentación con medición de calidad
general: Medición directa de la calidad del
sistema de visión, de otras modalidades
sensoriales o de supervisión.

Arquitectura del Control Homeostático
Drives (Velasquez, 1998)
Procesos computacionales
encargados de mantener
cada variable esencial
dentro del regimen
homeostático
Hormonas (Cañamero,1997)
Reflejan el estado global
del sistema
Velasquez, J.D.: Modeling emotion-based decision making. In Cañaamero, D., ed.: Emotional and Intelligent: The
Tangled Knot of Cognition. AAAI Press (1998) 164–169
Cañamero, D.: Modeling motivations and emotions as a basis for intelligent behavior. In Lewis, J., ed. Proceedings
of the First Int. Symposium on Autonomous Agents, New York, ACM Press (1997) 148–155
Sistema Hormonal
Hormonas sintéticas asociadas a cada variable
esencial del sistema
Permite introducir interdependencias entre los
drives
Transformación desde el valor de cada variable al
valor de cada hormona → función sigmoide:
a) igual rango para todas las
hormonas independiente de
la variable asociada
b) definir diferentes
umbrales

Adaptación en un Sistema de Visión
Efectividad en un sistema de visión se ve afectada
por la calidad de las imágenes
Calidad de las imágenes utilizadas por un sistema de
visión por computador depende de varias elementos
(variables esenciales):
Luminancia
Balance de blanco
Contraste
Tamañode losobjetosde interés
Constancia de color
Constancia de luminancia: Una superficie acromática presenta al
humano la misma luminancia indeferente a distintos condiciones
de iluminación.
– Indoor illumination: 100 photons
• Black: 10 photons
• White: 90 photons
– Outdoor Illumination: 10,000 photons
• Black: 1000 photons
• White: 9000 photons
Constancia cromática:

Control de Luminancia
Imagen muy clara Imagen muy oscura
Estimación → Nivel de gris
promedio en un espacio de
color luminancia/crominancia
(HSI, YUV, …)
Control de Luminancia

Imagen se divide en 5 regiones
Control de Luminancia
Asignar diferentes pesos a cada región ⇒
definir distintas estrategias dependiendo de la
tarea en concreto (Visión como Proceso)
L
L
L
uniform
centered
selective
(L0
=
+ L1
+ L2
+ L3
+ L4
)
5
= 0.8L2
L0
+ 0.2
+ L1
+ L3
+ L4
4
L2
= 0.8
+ L4
L0
+ 0.2
2
+ L1
+ L
3
3
≡ Average grey level
on region
Adaptación en un Sistema de Visión
Efectividad en un sistema de visión se ve afectada por
la calidad de las imágenes
Calidad de las imágenes utilizadas por un sistema de
visión por computador depende de varias elementos
(variables esenciales):
Luminancia
Balance de blanco/Constancia de color
Contraste
Tamaño de los objetos de interés
Li
i

Constancia de luminancia:
Constancia de color
Constancia cromática:
– Capacidad de los humanos de percibir el color de una
superficie del mismo color en distintas condiciones de
iluminación: intensidad o temperatura de color.
– El SVH realiza algún tipo de proceso en la escena completa
que nos permite determinar el color aparente de la
superficie.
Constancia de Color
En aplicaciones basadas en color es necesario tener
una determinada constancia de color porque
dependiendo de la temperatura de la fuente de luz
que ilumina la escena, el mismo color puede aparecer
diferente.
Photometer: 1.0, 0.3, 0.3
Fenómeno: Cuadrados de
color con la misma radiancia
de color dan diferentes
percepciones de color bajo
diferentes iluminaciones
White light Colored light
Audience: “Red” Audience: “Blue”

Expermientos de Land’s
Edwin H. Land, "Color Vision and the Natural Image: Part I," in Proceedings of the National Academy of Sciences,
Vol. 45, No. 1, pp. 115-129, January 1959.
Edwin H. Land, "Color Vision and the Natural Image: Part II," in Proceedings of the National Academy of
Sciences, Vol. 45, No. 4, pp. 636-644, April 1959.
Color blanco con diferentes temperaturas
CIE XYZ

Constancia de Color
La constancia del color en el sistema visual humano
→ Control de ganancia en el espacio de conos LMS
[von Kries,1902]
La hipótesis de Von Kries aplicarla a un sistema de
adquisición de imágenes
Hipótesis de Von Kries
Constancia de Color
Si se conoce la iluminación o una parte que es blanca
en la escena se puede calcular

Valor del pixel devuelto por la cámara
R*gain R G
B*gain B
Constancia de Color
Constancia de Color

ed
blue
diff
diff
= green − g
red
= green − g
Grey World Model
blue
⋅ red
⋅ blue
Constancia de Color
Consideración: el promedio de las tres componentes
(RGB) debe ser igual en la imagen
red
blue
diff
diff
→ 0
g
g
Adjusting
→ 0 Adjusting
red
blue
g
g
red
≡ Red gain
≡ Blue gain
Adaptación en un Sistema de Visión
Efectividad en un sistema de visión se ve afectada por
la calidad de las imágenes
Calidad de las imágenes utilizadas por un sistema de
visión por computador depende de varias elementos
(variables esenciales):
Luminancia
blue
Balance de blanco/Constancia de color
Contraste (AutoFocus)
Tamañode losobjetosde interés

Aplicaciones basadas en contornos ⇒ Buen
contraste ⇒ Imagen enfocada.
Autofocus
Autofocus

Recordando:
Al variar el
diafragma se altera
la cantidad de luz
que recibe el sensor
y se modifica la
profundidad de
campo
Cuanto mayor es la
apertura menor es
la profundidad de
campo
Si varía la distancia del objeto a la cámara
Autofocus
Autofocus
Puede ocurrir que quede fuera de la profundidad de
campo
Aparece el objeto desenfocado en la imagen
Actuar sobre el parámetro de focus de la cámara para
enfocar el objeto de interés

Autofocus
Autofocus
Alto contraste en la imagen → Mayor número de
componentes de alta frecuencia en la imagen

Autofocus
Autofocus
Enfoque en cámaras:
Sistemas activos ⇒ Estimar posición del objeto (luz
o ultrasonido) y ajustar la posición de las lentes
Sistemas pasivo ⇒ Se basan en la imagen obtenida
– Región de la imagen a ser enfocada
– “Sharpness function” → medida de nivel de
contraste
– Algoritmo de búsqueda del máximo en la
“sharpness function”

Sharpness Functions (Autofocusing in Computer Microscopy: Selecting the
Optimal Focus Algorithm
YU SUN,STEFAN DUTHALER, AND BRADLEY J. NELSON, 2004)
Sharpness Functions (Autofocusing in Computer Microscopy: Selecting the
Optimal Focus Algorithm
YU SUN,STEFAN DUTHALER, AND BRADLEY J. NELSON, 2004)

Comparación medidas de foco en entornos de
interacción hombre máquina
Comparación de 6 medidas de foco en dos entornos de
interacción:
Scenarios Focus measures
• Tenengrad
• Histogram entropy
• Sum of modified laplacian
• Energy laplace
• Contrast measure
• Bayes spectra entropy
J. Lorenzo, O. Déniz, M. Castrillón and C. Guerra, “Comparison of Focus Measures in Face Detection
Environments” in Proceedings of the Foruth International Conference on Informatics in Control, Automation and
Robotics, Vol. 2, pp. 418-423, May 2007.
Results for Tenengrad measure

Results for Histogram Entropy measure
Results for Constrast measure

Results for SML measure
Results for Energy Laplacian measure

Results for Bayes Spectral Entropy
measure
Autofocus – Búsqueda Máximo
Contrast Two phase Measure AF method Curve
1. Compute contrast measure with β step
2. Fit a quadratic curve with A, B , C points

¿Realmente el control homeostático
mejora la efectividad de un sistema de
visión?
Aplicación Control Homeostático
Condiciones del experimento:
• Entorno de oficina
• Condiciones de luz cambiantes
• Tarea de detección de caras →
ENCARA

• Initial step:
β=25
ENCARA Face Detector Architecture
• First phase
max.=8171125
• Lens pos.=125
• Estimated
max.= 8202766
• Lens pos.=116
• Color blob detection
• Ellipse approximation
• Integral projection
• Eye detection
• Scale and translate to fit a standard
position and size
• Eigeneye test ⇒ PCA projection
and reconstruction →
Reconstruction error
AutoFocus

Face Detection Rate – Luminance and White
Balance
As performance measure for the face detection
task we define the ratio between the number of
images per second and the number of faces
detected in these images
Lights on Lights off Lights on Lights off
Control Homeostático Adaptativo
Lights on Lights off

RH Regulador homeostático
Q RH Módulo de medida de
calidad de las imágenes a
la salida del regulador
No Auto-size
auto-size
Control homeostático
SV Sistema de visión
Q SV Módulo de medida
de calidad del
comportamiento del
sistema de visión
Q G Realimentación con medición de calidad
general: Medición directa de la calidad del
sistema de visión, de otras modalidades
sensoriales o de supervisión.
Face Detection Rate – Size

Aplicación Control Homeostático
Condiciones del experimento:
•Robot móvil
• Condiciones de luz cambiantes: tunel
• Tarea de seguimiento de línea
Arquitectura Control Homeostático

Stress
Sistema Hormonal: Interdependencia entre
Drives
Interdependencias entre drives → Control difuso
IF luminance not in homeostatic regime THEN
increase luminance drive frequency
decrease white balance drive frequency
END
IF luminance in urgent recovery THEN
increase luminance recovery rate
END
IF white balance in urgent recovery THEN
increase white balance recovery rate
END
IF luminance in urgent recovery THEN
decrease robot velocity
END

Sistema Hormonal: Interdependencia entre
Drives
That’s all
folks!