Incertidumbre - Departamento de Inteligencia Artificial

SISTEMAS DE AYUDA A LA
DECISIÓN
Tema 2: Incertidumbre y probabilidad
Concha Bielza
mcbielza@fi.upm.es
Dpto. Inteligencia Artificial, Facultad de Informática
Univ. Politécnica de Madrid
SAD-Concha Bielza-– p. 1

2. INCERTIDUMBRE Y PROBABILIDAD
Sucesos. Espacio muestral. Operaciones con sucesos. [pizarra]
Enfoques de la Probabilidad: frecuentista, clásico, subjetivo.
Axiomas de la probabilidad subjetiva.
Axiomática de Kolmogorov. Propiedades inmediatas. [pizarra]
Resultados básicos con probabilidades: P de la unión,
P marginales, P condicionadas, P de la intersección,
independencia de sucesos. [pizarra]
Árboles de probabilidades. Teorema de la P total. Revisión de
juicios y Th de Bayes
V.a. Esperanza, varianza, cuantiles. [pizarra]
Educción de Probabilidades
SAD-Concha Bielza-– p. 2

Enfoque subjetivo de la P
1 a mitad s.XX. Escuela personalista: asocia la P no con el
sistema en observación sino con el observador del sistema
P como medida personal sobre incertidumbre de suceso, basada
en experiencias previas. Juicio personal, medida del grado de
creencia o convicción respecto a ocurrencia
El mejor enfoque para los propósitos del Análisis de Decisiones
(circunstancias únicas, irrepetibles)
P(roben cuadro Prado), P(acciones suban), P(gane R.Madrid)...
Más general: también experimentos repetitivos y apuestas:
Frecuentista
Subjetivo
P(moneda sale cara)= 1 2
P= 1 2 → moneda no cargada no cargada → P=1 2
P(esa moneda cara ∄ Ahora no creo carg. Luego
próx tirada)= 1 2
SAD-Concha Bielza-– p. 3

Axiomas P subjetiva
Decisor tiene sentimiento inherente de verosimilitud relativa y
puede decir: A más verosímil que B, menos o igual
Relación binaria A B: “A al menos tan verosímil como B”
A1) es un orden débil (transitividad, completitud, consistencia)
A2) Indep de sucesos comunes: si A ∩ C = B ∩ C = ∅, entonces
A B ⇔ A ∪ C B ∪ C
A3) No trivialidad: A ∅, ∀A –P cualitativa–
A4) ∃ experimento de referencia, donde el decisor está preparado
para considerar sus creencias (rueda fortuna)
A5) Continuidad: ∀A, decisor puede identificarlo con suceso
sobre rueda fortuna à t.q. A ∼ Ã
A6) Equivalencia de certidumbres: α(Ω) = 360 o SAD-Concha Bielza-– p. 4

Axiomas P subjetiva (ii)
Si creencias cumplen A1-A6, entonces ∃!P t.q. A B ⇔ P(A) ≥ P(B)
Se dice que P es la distrib. de Prob. subjetiva del decisor;
describe sus creencias
Se construye con P(A) = α(A)
360
Verifica axiomas Kolmogorov.
French (1986) muy basado en DeGroot(1970). Otros sistemas
axiomáticos: De Finetti (1937), Raiffa (1968), Ramsay (1931),
Savage (1954)
SAD-Concha Bielza-– p. 5

Árboles de probabilidades
P(A, B, C) = P(A)P(B|A)P(C|A, B)
P(A, B, C) = P(C)P(B|C)P(A|B, C)
Ciertas direcciones de asignación son más sencillas:
P(síntoma|enfermedad) (dirección causal) más fácil que
P(enfermedad|síntoma)
Ejemplo (libro de texto)
SAD-Concha Bielza-– p. 6

Revisión juicios y Th Bayes
Dependencia entre sucesos puede conducir a modelos más
complejos, pero da la oportunidad de aprender
Proceso de diagnóstico : observaciones que evocan hipótesis ⇒
Recolectar datos (test) ⇒ Revisar creencia en esa hipótesis (con
Th Bayes)
1) P a priori o pre-test: juicio inicial sobre enfermedad
(preguntas, exploración, experiencia, literatura...)
2 a opinión
Heurísticas cognitivas → asignaciones sesgadas
Combinar P objetivas y subjetivas; incluir imprecisión
–ver luego–
SAD-Concha Bielza-– p. 7

Revisión juicios y Th Bayes (ii)
2) Test diagnóstico para reducir incertidumbre
Presente Ausente
Positivo VP FP
Negativo FN VN
Evaluar utilidad del test:
TV P = sensibilidad = P(+|enfermo) = V P/(V P + FN)
TV N = especificidad = P(−|sano) = V N/(V N + FP)
TFN = 1 − sensibilidad
TFP = 1 − especificidad
SAD-Concha Bielza-– p. 8

Revisión juicios y Th Bayes (iii)
Ojo al criterio para definir un resultado como positivo (lo
especifican los laboratorios). Si crece sensibilidad, decrece
especificidad
Intercambiar uno por el otro; ¿qué error es mejor tolerar, FP o FN
Depende de la enfermedad, del propósito del test...
Podemos minimizar % errores: p ∗
razonable si costes de errores son iguales o están
opuestamente relacionados con el n o de errores de
cada tipo
Otros consideran costes en cada clase por mala clasificación
SAD-Concha Bielza-– p. 9

Revisión juicios y Th Bayes (iv)
Otra vista: Curva ROC (Receiver Operating Characteristic)
Usar varios tests y comparar
Usar ROC + discriminatoria
(test2)
En general, considerar costes por cometer errores y otros
factores como riesgos, malestar, demoras...
SAD-Concha Bielza-– p. 10

Revisión juicios y Th Bayes (v)
3) P a posteriori o post-test (Bayes):
SAD-Concha Bielza-– p. 11

Revisión juicios y Th Bayes (v)
3) P a posteriori o post-test (Bayes):
SAD-Concha Bielza-– p. 11

Revisión juicios y Th Bayes (v)
3) P a posteriori o post-test (Bayes):
SAD-Concha Bielza-– p. 11

Revisión juicios y Th Bayes (v)
3) P a posteriori o post-test (Bayes):
SAD-Concha Bielza-– p. 11

Revisión juicios y Th Bayes (v)
3) P a posteriori o post-test (Bayes):
SAD-Concha Bielza-– p. 11

Revisión juicios y Th Bayes (v)
3) P a posteriori o post-test (Bayes):
SAD-Concha Bielza-– p. 11

Educción de probabilidades: Índice
Discretas y continuas
Descomposición y educción
Sucesos muy raros: árboles de sucesos y árboles de fallos
Heurísticas y sesgos
Fases de la educción
Consistencia, coherencia, calibración
Discretización
SAD-Concha Bielza-– p. 12

Educción de probabilidades
Problemas complejos e importantes. Asignaciones probabilísticas
cuidadosas y formales. ⇒ Métodos rigurosos y sistemáticos
Heladas en cosechas ¿protegerlas ← Predicc
meteorológicas (usar gran PC + incert tpo local...)
Catástrofe por terremoto ← Geólogos (.6 en LA en ’88)
Efecto invernadero ¿hacer algo el Gob ← Predicc NASA (.99
en ’88)
2 grupos principales:
1. demandan una respuesta directa del decisor
2. infieren las probabilidades de forma indirecta a partir de
comparaciones
SAD-Concha Bielza-– p. 13

Asignación de P discretas
Asignación directa : preguntar directamente (reflexión) ⇒ simple
y discutible
Asignación basada en apuestas : que le motiven a participar en
ellas ⇒ encontrar cantidades monetarias x, y t.q. que al decisor le
resulte indiferente cualquier lado de la apuesta
Copa Europa Madrid-Barça
Valor esperado apuestas son iguales
Ej: x = 50, y = 90eur ⇒ P(A) = .64
Preguntas sucesivas + y - atractivas
hasta indiferencia
xP(A) − yP(A c ) = −xP(A) + yP(A c ) ⇒P(A) = y
x + y
SAD-Concha Bielza-– p. 14

Asignación de P discretas (ii)
Asignación basada en loterías : cada una puede proporcionar un
premio T o W (sup. T preferido a W ) ⇒ encontrar p en lotería de
referencia t.q. el decisor se sienta indiferente entre ambas loterías
⇒ P(A) = p
Visualizar cualquier valor entre 0 y 1
p = .4 → Prefiero L1
⇓
p >.4, etc.
Comenzar exagerado,
converger lento
Difícil estimar probabilidades muy altas o bajas
–ver luego–
Otros dispositivos (distribución cualitativamente uniforme): urna...
SAD-Concha Bielza-– p. 15

Asignación de P continuas
Métodos anteriores para asignar algunas P acumuladas ⇒
dibujarlas en un gráfico ⇒ ajustar una función (de distribución)
Inversamente: escoger algunas P acumuladas sobre el eje
vertical ⇒ encontrar los valores de la variable asociados (lotería
de referencia está fija). Suele ser: 1 o ) percentiles 5 y 95;
2 o ) cuartiles 1 y 3; 3 o ) mediana
El percentil 0.05 es 1000 unidades
El percentil 0.95 es 9000 unidades
El cuartil 1 es 3500 unidades
El cuartil 3 es 6800 unidades
La mediana es 4600 unidades
Ver Shephard y Kirkwood’94
SAD-Concha Bielza-– p. 16

Otros métodos
Método de la probabilidad [Stäel von Holstein y Matheson’79],
para superar el exceso de confianza en los juicios. Pasos:
1. Establecer recorrido de la variable
2. Imaginar escenarios que podrían conducir fuera del recorrido
3. Actualizar recorrido si procede
4. Dividir recorrido en 6 ó 7 intervalos de aprox. misma amplitud
5. Preguntar por P acumulada en cada intervalo
6. Ajustar curva por puntos asignados
7. Realizar contrastes sobre resultados obtenidos:
(a)
(b)
(c)
Dividir recorrido en 3 intervalos con igual P. ¿Estás igualmente satisfecho
de apostar sobre la cantidad incierta que cae en el intervalo Si no, revisar
Contrastar la moda educida. ¿Es tu mejor conjetura Si no, revisar
¿Es igualmente probable estar dentro y fuera del intervalo
intercuartílico...
SAD-Concha Bielza-– p. 17

Descomposición y educción
Romper la asignación en trozos más manejables, en los que sea fácil
pensar
Pensar cómo se relaciona el suceso con otros sucesos
Ej: En vez de asignar subida de los precios de las acciones, más
sencillo asignar P condicionadas y P de posibles movimientos del
mercado (Th P total)
SAD-Concha Bielza-– p. 18

Descomposición y educción (ii)
Pensar en otros sucesos que pudieran conducir a él (causas)
Ej: Para P(Coche no arranca), asignar P de posibles causas y P
de coche no arranca condicionado a cada posible razón o alguna
combinación de ellas (Th P total varias veces)
P(A) = P(A|C, N)P(C, N) + P(A| ¯C, N)P( ¯C, N)
+P(A|C, ¯N)P(C, ¯N) + P(A| ¯C, ¯N)P( ¯C, ¯N)
P(C, N) = P(C, N|E)P(E) + P(C, N|Ē)P(Ē)
P(C, N|E) = P(C|E)P(N|E)
C y N no funcionan de forma independiente (dep. de E)
9 asignaciones
Pensar en sucesos ocurridos antes del suceso
–ver árboles de fallos
SAD-Concha Bielza-– p. 19

Asignación de P sucesos muy raros
Aplicar enfoque frecuentista es imposible
Sesgos en P subjetivas: noticias sensacionalistas...
Difícil distinguir entre Ps como 0.00001 y 0.001
⇒ Descomponer e identificar factores y caminos hacia el suceso raro:
Árbol de sucesos = Árbol de probabilidades (condicionadas)
P (Catástrofe) =
= P (C 1 ) + P (C 2 )
= (0.01 · 0.2 · 0.1 · 0.1) + (0.01 · 0.8 · 0.05)
= 0.00002 + 0.0004 = 0.00042
Aquí independientes
SAD-Concha Bielza-– p. 20

Asignación de P sucesos muy raros (ii)
Árbol de fallos : comienza en su nivel más alto indicando el fallo y
después va abriendo ramas que describen las causas posibles
P(falle estación de bombeo de oleoducto)
Asignar Ps a hojas
Obtener las Ps de nodos intermedios hasta raíz
Aquí independientes (mutuam.) las del mismo nivel
SAD-Concha Bielza-– p. 21

Heurísticas y sesgos
Falta de datos estadísticos apropiados ⇒ Ps son estimaciones
subjetivas basadas en juicios humanos
¿Somos buenos estimando Ps
[Tversky y Kahneman, en los últimos 30 años] El ser humano utiliza
heurísticas o reglas empíricas en la asignación de Ps (evitando su
complejidad)
⇒ A veces bien, pero pueden conducir a juicios sistemáticamente
sesgados (de distintas formas, dependiendo de la heurística usada)
SAD-Concha Bielza-– p. 22

Heurísticas y sesgos (ii)
Descripción de personalidad escogida al azar de entre 30 ingenieros y 70 sociólogos:
“Tom W. es muy inteligente, aunque le falta verdadera creatividad. Necesita el orden y la
claridad, y sistemas ordenados y pulcros en los que cualquier detalle encuentra su lugar
apropiado. Su escritura es bastante sosa y mecánica, animada ocasionalmente por
juegos de palabras bastante trillados y por flashes de imaginación como de ciencia
ficción. Tiene gran instinto para la competencia. Parece tener poca solidaridad por los
demás y no disfruta relacionándose con otros. Egocéntrico, tiene sin embargo un
profundo sentido moral”
Escrito por psicólogo a partir de tests cuando Tom estaba en el instituto. Ahora es
licenciado. ¿Cuál es tu P de que Tom sea ingeniero
SAD-Concha Bielza-– p. 23

Heurísticas y sesgos (iii)
Heurística de la representatividad , al asignar P(objeto o persona
pertenezca a determinada categoría en una clasificación): se
pregunta cuán representativa comparándola con estereotipo que
tenga de categoría. A + similaridad, P más alta.
Sesgos por:
Ignorar tasas base de cada categoría: incluso cuando la descripción no era
informativa!; Sólo las usaban cuando ∄ descripción
Esperar que las secuencias de sucesos parezcan aleatorias (que
representen las caract de la aleatoriedad) –6 monedas y crees que
P(xccxcx) > P(xxxccc)–
Esperar que el azar se autocorrija –buscar N os o cifras no aparecidos en la
lotería por creer que P más alta (falacia del jugador)–
Insensibilidad al tamaño muestral: LPN conclusiones de muestras pequeñas
Ignorar la regresión a la media: sucesos por encima/debajo de la media
tienden a ser seguidos por sucesos próximos a la media –ventas, pilotos,
test inteligencia, pero “extremos no son seguidos por extremos”–
Falacia de la conjunción: P(A ∩ B) > P(A) si descripción más típica de B
que de A
SAD-Concha Bielza-– p. 24

Heurísticas y sesgos (iv)
Heurística de la disponibilidad : recordar sucesos similares (más
fácil recordar los más frecuentes). Juzgar la P de la ocurrencia
según la facilidad con que viene a mi mente
⇒ Pero Ps altas si son recientes o fácilmente imaginados (con
impresión o impacto, mediatizados...), o raros
Sesgos por:
Facilidad para recordarlo no asociado con la P –en GB, ’96, ancianos
víctimas de crimen violento; en USA, muerte por mordedura de animal–
Facilidad para imaginarlo no asociado con la P –arquitecto y riesgos de
retrasos en el proyecto; en USA, muerte por gripe (70000) más que por
accidente avión–
Correlación ilusoria: fácil imaginar ejemplos de co-ocurrencia de A y B ⇒
sobreestimas P(A ∩ B)
SAD-Concha Bielza-– p. 25

Heurísticas y sesgos (v)
Heurística de anclaje y ajuste : estimaciones comienzan
proponiendo un valor inicial que luego se va ajustando; suele ser
insuficiente para dar P aceptable –ancla: nivel ventas mes pasado–
Sesgos por:
No tener en cuenta de modo adecuado las condiciones futuras
por encima o debajo de tal; afecta también a cantidades–
–¿P está
Sobreestimar P(A ∩ B) al anclarse en la P de uno de los sucesos
individuales –sistema con 7 componentes, cada uno P(funciona)=.9 y es
P(sistema funcione) sólo .48; importante en planificación–
Subestimar P(A ∪ B) por lo mismo –sistema con 7 compon, falla si uno
falla, P(falla)=.10 y es P(sistema falle)=.52; importante en riesgos–
Exceso de confianza al asignar P continuas: intervalo final demasiado
estrecho ⇒ subestimas P de valores extremos –suele ocurrir al empezar
con la Me, y en no expertos–
SAD-Concha Bielza-– p. 26

Heurísticas y sesgos (vi)
Otros sesgos:
Ver asociaciones no existentes entre eventos, al examinar
tablas de contingencia (a mayor primer valor, más ilusión;
resto se ignoran)
Sínt pres
Sínt aus
Enf pres 12 6
Enf aus 6 3
P(Enf pres|sínt pres)=12/18=2/3
P(Enf pres|sínt aus)=6/9=2/3
⇒ Síntoma no tiene efecto en la P(Enf)
SAD-Concha Bielza-– p. 27

Heurísticas y sesgos (vii)
Controversia con todo esto: experimentos en laboratorios
psicológicos y no con problemas de decisión reales, en donde
habría mayor motivación, más conocimiento sobre el problema y
más familiaridad con la estimación de Ps (expertos en vez de
universitarios)
Además, sesgo de citación en la literatura: de 3500 artículos
sobre juicios y razonamiento entre 1972 y 1981 sólo 84 eran
estudios empíricos; de ellos, 47 dieron malos resultados y 37
buenos. Pero los primeros se citaron 6 veces más.
SAD-Concha Bielza-– p. 28

Fases en la educción
[Spetzler y Stäel von Holstein’75] Conducidas por un analista de
decisiones. Protocolo SRI (Stanford Research Institute):
1. Motivación e investigar si decisor quiere introducir sesgos
deliberadamente para beneficiarse (si existen incentivos o está en
juego el prestigio) –sesgos de gestión y de experto–
2. Estructuración: definir y estructurar variables a asignar y escalas.
Descomponerlas Test del clarividente=Asegurarse de que la
vaguedad en la def no contribuye a la incert del decisor
3. Condicionamiento: Explorar cómo asigna Ps, ¿sesgos
4. Codificación, con rueda fortuna...
5. Verificación, contrastando si están reflejadas sus creencias (p.ej.
formas diferentes de preguntar)
–ver [Shephard y Kirkwood’94]–
SAD-Concha Bielza-– p. 29

Consistencia y coherencia
Recomendación clara de utilizar varios métodos diferentes de
educción
Consistencia de los juicios: el analista comprueba que las
asignaciones obtenidas mediante distintos métodos conducen a
las mismas o muy parecidas estimaciones; (preguntar lo mismo de
diferentes formas) ⇒ Si no, re-considerar
Coherencia entre Ps asignadas, e.d. obedezcan leyes de la P
Ej: Asignadas P(A), P(B|A), P(A, B) se debe cumplir
P(A)P(B|A) = P(A, B)
Ej: Asignadas P(A) y P(A c ), debe ser P(A) + P(A c ) = 1
SAD-Concha Bielza-– p. 30

Calibración
Tras estudiar consistencia y coherencia, medir si la frecuencia de
los resultados reales (una vez observados) está próxima a la P
–predicciones meteorológicas: si predicc probabilísticas, frec≃P ⇒ Son mejores
que las técnicas estadísticas objetivas–
Metro que mide 99cm en vez de 100: sus medidas son
consistentes y coherentes, pero no es válida –hace falta
calibración
Válido ⇒ consistente y coherente (condic necesaria)
No siempre puede medirse
Curva de calibración: tendencia a sobreestimar Ps altas y
subestimar Ps bajas; curva difiere para una misma persona
dependiendo del contexto
SAD-Concha Bielza-– p. 31

Problemas grandes
Asignación, almacenamiento y gestión de CPT grandes
Asignación:
Modelos tipo Puerta-OR y Puerta-OR graduada (relaciones
causales);
Aprendizaje de redes Bayesianas
Cópulas: [Clemen y Reilly’99]
Vides: [Bedford y Cooke’93]
Gestión: comprimir/expandir las CPT con muchos padres
[Wang y Druzdzel’2000]; tb árboles de probabilidad, KBM2L...
etc.
SAD-Concha Bielza-– p. 32

Discretización
Para calcular la esperanza con la d. continua, podemos ajustar una
distribución conocida, usar simulación o integración numérica, o
discretizar
Método de Pearson-Tukey extendido: tomar la Me, x .05 y x .95 y
asignarles .63, .185, .185 respect. –sin asignaciones adicionales–
Método de Swanson-Megill extendido: tomar la Me, x .10 y x .90 y
asignarles .40, .30, .30 respect.
SAD-Concha Bielza-– p. 33

Discretización (ii)
Método de las medianas por niveles (bracket medians): partir el
dominio en intervalos [a, b] de igual probabilidad y en cada uno
calcular la Me: m ∗ con P(a ≤ X ≤ m ∗ ) = P(m ∗ ≤ X ≤ b) –intuitivas–
Con 5 intervalos, usaríamos x 0 , x .2 , ..., x 1.0 , y asignaríamos m 1 , ..., m 5 :
Medias por niveles (bracket means): como antes, pero se busca la
media de cada intervalo para ser los puntos discretos
Métodos de intervalos de igual longitud, partiendo el dominio de
las x’s... Cada nivel se aproxima por Me o Media y p i = P(X ∈
intervalo)
SAD-Concha Bielza-– p. 34

Discretización (iii): Cuadratura Gaussiana: [Miller y Rice’83]
SAD-Concha Bielza-– p. 35

Referencias típicas + webs
Morgan y Henrion (1990), French (1986), von Winterfeldt y
Edwards (1986), Watson y Buede (1987), Clemen (1996),
Goodwin y Wright (1998), Plous (1993), Merkhofer (1987),
Marakas (2003)
En
http://dsl.sis.pitt.edu/community_services/other_software.html
se expone la mayoría de los sistemas de modelización
probabilística existentes (y otros sitios, ver la web de la
asignatura)
SAD-Concha Bielza-– p. 36