Perder + Perder = Ganar. Juegos y estrategias paradójicas - RiskLab

Perder + Perder = Ganar.
Juegos y estrategias paradójicas
Juan M.R. Parrondo
Universidad Complutense de Madrid
•Los juegos paradójicos originales.
• Una primera explicación: reorganización de tendencias.
•Una segunda explicación: el efecto ratchet.
• Estrategias bien informadas y estrategias ciegas.
•Conclusiones
Derek Abbott. U. de Adelaide
Borja Jiménez. UCM
Luis Dinís. UCM

Las reglas
Juego A
Juego B
Moneda 1
¿Es X(t) múltiplo de 3?
No
Sí
Moneda 2 Moneda 3
ganar: X(t) = X(t -1) +1
perder: X(t) = X(t -1) - 1
ganar
perder
p 1 =1/2-ε
p 1
1-p 1
p 2 =3/4-ε p 3 =1/10-ε
p 2 1-p 2 p 3 1-p 3
ganar perder ganar perder
ε = 0 ⇒ < X(t) > = constante (juegos justos)
UCM-28-4-00 2

La paradoja
p = 1/2 – ε
p 1 = 1/10 – ε
p 2 = 3/4 – ε
ε = 0.005
Capital medio
2
1.5
1
0.5
0
-0.5
-1
[3,2]
[2,2]
random
[4,4]
Juego A
-1.5
0 20 40 60 80 100
Número de turnos
Juego B
UCM-28-4-00 3

La condición de juego justo
p q p p q
1- q
1- p 1- p 1- q 1- p
q × p × p = (1- q)×(1- p)×(1- p)
Juego B:
Combinación aleatoria:
1/ 2 + 1/10
=
2
6
;
20
1/ 2 + 3/ 4
=
2
5
8
1 3 3 9 1 1
× × = × ×
10 4 4 10 4 4
6 5 5 14 3 3
× × > × ×
20 8 8 20 8 8
Un argumento erróneo
Probabilidad de ganar:
2 1 × p+ × q
3 3
2 3 1 1 16 1
× + × = >
3 4 3 10 30 2
¿El juego B es ganador?
UCM-28-4-00 4

Una primera explicación: reorganización de tendencias
p q p p q
1-q
1-p 1-p 1-q 1-p
La probabilidad de ganar es:
(1 − π ) × p + π × q
0 0
π
0
= probabilidad de que X(t) sea múltiplo de 3
π = =
13
Juego B: p = 3/4, q = 1/10 ⇒ 0
5
0.3846
245
Combinación aleatoria: p = 5/8, q = 6/20 ⇒ π 0
= = 0.3456
709
El juego A disminuye la probabilidad de utilizar la moneda “mala”
UCM-28-4-00 5

Reorganización de tendencias
p q p p q
1-q
1-p 1-p 1-q 1-p
Juego A
Juego B
Moneda 1
p 1
1-p 1
¿Es X(t) múltiplo de 3?
No
Sí
Moneda 2 Moneda 3
5
π
0
= = 0.3846 (sólo B)
13
ganar
p 1 =1/2-ε
perder
p 2 1-p 2 p 3 1-p 3
ganar perder ganar perder
p 2 =3/4-ε
p 3 =1/10-ε
245
π
0
= = 0.3456 (combinación)
709
UCM-28-4-00 6

Juegos independientes del capital
(JMRP, Harmer, Abbott, PRL 11 de dic 2000)
Juego B:
Penúltimo
( t -2)
Último
( t -1)
Prob. de
ganar
Prob. de
perder
perder perder p 0 1-p 0
perder ganar p 1 1-p 1
ganar perder p 2 1-p 2
ganar ganar p 3 1-p 3
p 0 = 9/10 p 1 = p 2 = 1/4 p 3 = 7/10
La moneda “mala”
UCM-28-4-00 7

ε = 0.002
Simulaciones
5
1000
4
3
2
500
1
0
0
-1
-2
0 100 200 300 400 500
-500
0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 5
5000 jugadores 1 jugador
x 10 4
UCM-28-4-00 8

La segunda explicación: el efecto ratchet
U on
Una partícula
browniana en un
potencial intermitente
− L 0 L
U off
U on
Desplazamiento
(Simulación: http://monet.physik.unibas.ch/~elmer/bm/ )
UCM-28-4-00 9

Ratchets discretas y máquinas térmicas
v
v/2
0
q
p
q’
p
q’
p
Dinámica de Metropolis:
p
=
1 −V
/ kT
− V
;
2
q
=
1
2
e
;
q'
=
1
2
e
/ 2
kT
Juego A
Juego B
ε
Temperatura infinita
Temperatura finita
Fuerza externa
UCM-28-4-00 10

POSICIÓN
1000
500
0
-500
-1000
-1500
Alternancia de temperaturas
T= 0.3
T =1
0 20 40 60 80 100
TIEMPO x10 3
V = k = 1 Fuerza externa= - 0.1
UCM-28-4-00 11

Las políticas óptimas a corto plazo pueden
ser peores que las políticas “ciegas”
x
1
x
x
2
N
Una fracción γ de jugadores
Juego B
Juego A
Estrategias:
•Óptima a corto plazo: se elige el juego que
maximiza la probabilidad de ganar en cada turno.
•Periódica: ABBABBABBABB...
•Aleatoria: se elige el juego al azar.
ciegas
UCM-28-4-00 12
Políticas 1

ε = 0.005 γ = 0.5
N= ∞
1.4
1.2
ABBABBABB...
capital
1
0.8
0.6
0.4
0.2
0
-0.2
-0.4
0 20 40 60 80 100
Número de turnos
Aleatoria
Óptima a corto plazo
UCM-28-4-00 13
Sim1

Sim epsilon=0
ε = 0 γ = 0.5
capital
1.8
1.6
1.4
1.2
1
0.8
0.6
0.4
0.2
0
-0.2
0 20 40 60 80 100
ABBABBABB...
Aleatoria
Óptima a corto plazo
Número de turnos
UCM-28-4-00 14

π 0
= fracción de jugadores en la moneda “mala”.
Estrategia óptima: B A
1/3
5/13
π 0
Juego A
Juego B
•Siπ 0 < 5/13, la estrategia óptima elige B y desplaza π 0 hacia 5/13, haciendo
que el sistema sea “menso productivo”.
• Por el contrario, al jugar A con π 0 < 5/13, se reduce la ganancia en un turno
pero se mantiene al sistema en una “región productiva”.
La estrategia óptima “mata a la gallina de los huevos de oro”.
UCM-28-4-00 15
Políticas explicación

ε = 0 γ = 0.5
0.5
0.48
0.46
0.44
capital
0 20 40 60 80 100
Número de turnos
ABBABBABB...
Aleatoria
Óptima a corto plazo
π 0
0.42
0.4
0.38
0.36
0.34
0.32
0 20 40 60 80 100
Número de turnos
Óptima a corto plazo
ABBABBABB...
UCM-28-4-00 16
Políticas

Optimización en teoría de control
yt ()
α
=− x−
ε
xt () =− x+ 1−
α
α(t) = 0 or 1
•OBJETIVO:
encontrar α(t) que
maximiza y(t)
Estrategia óptima: α = 1 α = 0
x
α = 0
α = 1
-1
0
UCM-28-4-00 17

Conclusiones
El resultado de alternar dos dinámicas no es trivial
•Alternancia de ambientes o ligaduras:
• patrones y fases ordenadas (Noise-induced phase transitions)
• aplicaciones a la evolución biológica (?)
• Alternancia de estrategias:
• economía
• alternancia programada: teoría de control estocástica
UCM-28-4-00 18

0.5
0.48
0.46
poblaciones ε = 0.005
"optima"
ABBABB...
aleatoria
0.44
0.42
π 0
0.4
0.38
0.36
0.34
0.32
0 20 40 60 80 100
turno
UCM-28-4-00 19