Filtres particulaires en grande dimension : introduction - Lamfa

Filtres particulaires en grande dimension : introduction
Marc Bocquet
(bocquet@cerea.enpc.fr)
CEREA, École des Ponts ParisTech / EDF R&D
Université Paris-Est et INRIA
M. Bocquet Journée LEFE-ASSIM, Paris, 4 décembre 2009 1 / 19

Filtre particulaires : le principe
Filtre particulaire :une approche naturelle
On cherche à réaliser le programme ultime de l’assimilation de données :
représentation de l’état du système par sa pdf complète p(x) et
assimiler les données par application de la règle de Bayes
p(x|y) = p(y|x)p(x)
. (1)
p(y)
Étant donné la taille des systèmes en jeu, la discrétisation de la pdf est
impossible.
−→ en théorie l’approche Monte Carlo, avec M particules, est la seule possible.
On veut, à la limite asymptotique M → ∞, retrouver l’inférence bayésienne
exacte.
M. Bocquet Journée LEFE-ASSIM, Paris, 4 décembre 2009 2 / 19

Le filtre bootstrap
Filtre particulaires : le principe
C’est simple !
Ensemble de particules : x1 k ,x2 k ,...,xM
k au temps tk·
Échantillonnage de la pdf du système :
Analyse par application directe de Eq.(1) :
Propagation :
C’est beau !
M
pk(xk) ≃ ∑ ω
i=1
i k−1δ(xk −x i k ). (2)
ω i k ∝ ωi k−1 p(yk|x i k ). (3)
x i k+1 = Mk+1(x i k )+w k+1 (ou +w i k+1 ). (4)
Aucune inversion de matrice n’est nécessaire (= EnKF),
Trivialement parallélisable (≃ EnKF),
Les particules sont des solutions pures du modèle (= EnKF).
M. Bocquet Journée LEFE-ASSIM, Paris, 4 décembre 2009 3 / 19

Le filtre bootstrap
Filtre particulaires : le principe
Assez rapidement, l’échantillon s’appauvrit. Il est nécessaire de ré-échantillonner
l’ensemble à partir des poids de chacun des membres.
Ré-échantillonnage probabiliste [Metropolis et Ulam, 1944; Gordon, 1993]
On utilise directement les poids ωi k , i = 1,...,M, comme probabilités
d’occurrence des particules.
−→ échantillonnage classique.
−→ introduit un bruit statistique d’échantillonnage.
Ré-échantillonnage résiduel [Lui et Chen, 1998]
Si la taille de l’ensemble est M, on réalise E[M ωi k ] copies de la particule i.
Il reste un résidu de M ωi k − E[M ωi k ] pour chacune des particules.
On tire le reste des particules à concurrence de M particules selon cette
distribution résiduelle.
−→ Amélioration significative de la performance du filtre bootstrap, mais pas
fondamentale.
M. Bocquet Journée LEFE-ASSIM, Paris, 4 décembre 2009 4 / 19

Le filtre bootstrap
Filtre particulaires : le principe
+
re−échantillonnage
observation
+
k
p −
k+1
p +
k+1
−
k+2
p p
M. Bocquet Journée LEFE-ASSIM, Paris, 4 décembre 2009 5 / 19

Exemples de filtrage particulaire
Des exemples en géophysique
Auteurs modèle nbre de var. taille de l’ens.
Zhou et al., 2006 surface continentale 684 800
Kivman, 2003 Lorenz 63 3 250 −1000
Losa et al., 2003 écosystème 24 1000
van Leeuwen, 2003 KdV 100 250
van Leeuwen, 2003 QG d’océan 2 ×10 5 512
Nakano et al., 2007 Lorenz 95 40 ≥ 10 6
Bocquet, 2008 Lorenz 95 10 10 4
Si ! ça marche, parfois...
−→ Les performances dépendent beaucoup du modèle (de la dynamique).
M. Bocquet Journée LEFE-ASSIM, Paris, 4 décembre 2009 6 / 19

Exemples de filtrage particulaire
Exemple sur un modèle jouet chaotique
Modèle de Lorenz 95
dxn
dt = −xn−2xn−1 +xn−1xn+1 −xn +F (5)
Paramètres originaux : n = 1,...,40, F = 8 [Lorenz et Emmanuel, 1998].
Dynamique très chaotique représentatif d’une bande zonale d’atmosphère.
Système conservatif sauf forçage F et dissipation −xn.
Choix pour les exemples
∆ = 0.05 (6 heures temps réel).
Écart-type des obs. σ = 1.5.
1 site observé sur 2.
EnKF : matrice de covariance des erreurs d’obs. diagonale d’écart-type χ = 1.5.
EnKF : localisation (longueur de corrélation c = 10).
M. Bocquet Journée LEFE-ASSIM, Paris, 4 décembre 2009 7 / 19

Exemples de filtrage particulaire
Exemple Lorenz 95, 10 variables
Analysis rms error
3.2
1.6
0.8
0.4
Bootstrap particle filter
Ensemble Kalman filter
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0
Bootstrap PF noise
EnKF noise
10 100 1000 10000 1e+05
10 100 1000 10000 1e+05
Number of particles
M. Bocquet Journée LEFE-ASSIM, Paris, 4 décembre 2009 8 / 19

Dégénérescence du filtre particulaire
Dégénérescence du filtre particulaire
Très rapidement, et en moyenne, les poids du filtre tendent vers 0 à l’exception
d’une particule ou de quelques particules de poids significatifs.
Frequency
0.15
0.1
0.05
N = 10
N = 20
N = 40
N = 80
0
0 0.2 0.4 0.6 0.8 1
Maximum of weights
Poids maximum d’un filtre bootstrap appliqué à Lorenz 95 (très chaotique) pour
quatre tailles de système : N = 10, 20, 40, et 80.
M. Bocquet Journée LEFE-ASSIM, Paris, 4 décembre 2009 9 / 19

Dégénérescence du filtre particulaire
Dégénérescence du filtre particulaire
Divergence du nombre de particules nécessaires
[Snyder et al., 2008] ont étudié les statistiques du plus grand poids. Il ont démontré sur
un modèle jouet que la taille requise de l’ensemble se comporte comme
M ∼ exp(τ 2 /2), (6)
où τ est la variance de la log-vraisemblance des observations.
−→ se comporte de façon exponentielle avec les dimensions de l’espace des états et de
l’espace des observations.
Malédiction !
Ce comportement est lié au curse of dimensionality [Bellman, 1961].
Un symptôme typique est l’écrasement de l’hypersphère de rayon 1 dans l’hypercube
[−1,1] N . En effet le volume se comporte comme
πN/2 −→ 0. (7)
N2 Γ +1
−→ Dans une analyse en grande dimension, les a priori sur l’ébauche et sur les
observations se chevauchent de moins en moins !
M. Bocquet Journée LEFE-ASSIM, Paris, 4 décembre 2009 10 / 19

Dégénérescence du filtre particulaire
Des filtres à particules sans la limite asymptotique
Filtre avec ré-échantillonnage gaussien
Ré-échantillonnage gaussien complet (identification des premiers et seconds
moments) après chaque analyse [Xiong et al., 2006]
Merging particle filter
Ré-échantillonnage gaussien (identification des premiers et seconds moments)
après chaque analyse à partir de quelques copies d’une même particule [Nakano
et al., 2007].
M. Bocquet Journée LEFE-ASSIM, Paris, 4 décembre 2009 11 / 19

Localisation
Des pistes d’amélioration
Localisation du Filtre de Kalman d’ensemble
Lissage des matrices de covariance par application d’un produit de Schur
avec une fonction à courte portée [Houtekamer et Mitchell, 1998].
Assimilation des observations locales [Ott et al., 2004].
−→ dépend du type de filtre de Kalman d’ensemble (déterministe ou pas, etc.)
−→ Les analyses locales se recollent naturellement.
Localisation d’un filtre particulaire
On peut facilement réaliser une analyse locale −→ poids locaux.
−→ Mais comment recoller les morceaux ?
−→ Quelques tentatives [van Leeuwen, 2006].
M. Bocquet Journée LEFE-ASSIM, Paris, 4 décembre 2009 12 / 19

Des pistes d’amélioration
Sélection des particules par Metropolis-Hastings
En général les particules échantillonnent mal la pdf conditionnelle. On souhaite
alors améliorer la distribution en appliquant une (ou des) itérations MCMC.
−→ ajoute dans le filtre une étape MCMC.
Exemple le plus simple qui utilise une sélection de type Metropolis-Hastings
[Gilks et Berzuini, 1998] : pour i = 1,...,M :
Tirage de ν dans [0,1]
Échantillonnage de x⋆i k ∼ p(xk|xi k−1 ) (re-propagation de la particule)
Si
ν ≤ min 1, p(yk|x⋆i k )
p(yk|ˆx i
, (8)
k)
on accepte la nouvelle particule x ⋆i
k , sinon on garde l’ancienne ˆxi k.
−→ n’est pas sensible au fléau de la dimension !
M. Bocquet Journée LEFE-ASSIM, Paris, 4 décembre 2009 13 / 19

Loi instrumentale
Loi d’importance (lissage)
Des pistes d’amélioration
On considère la trajectoire Xk = {x0,x1,x2,...,xk} conditionnelle à la collection
d’observations Yk = {y 1,y 2,...,y k} jusqu’au temps tk. Alors
pk(Xk|Yk) ≃
M
∑
i=1
ω i kδ(Xk −X i k) avec
M
∑
i=1
ω i k = 1. (9)
On a la liberté de tirer les trajectoires d’une distribution connue qk (quelconque
pourvu que son support contienne celle de pk). Mais les poids doivent être
corrigés pour que la pdf soit toujours représentative de la pdf complète du
système :
ω i k ∝ pk(X i k|Yk)
qk(X i . (10)
k|Yk)
M. Bocquet Journée LEFE-ASSIM, Paris, 4 décembre 2009 14 / 19

Loi instrumentale
Loi d’importance (filtrage)
Des pistes d’amélioration
Avec une dynamique markovienne, et dépendance conditionnelle des observations sur
l’état actuel du système seulement, on factorise p k(X k|Y k) selon
p k(X k|Y k) ∝ p k(y k|x k)p k(x k|x k−1)p k−1(X k−1|Y k−1). (11)
Si on suppose de plus que la loi instrumentale est une loi de filtrage :
Loi de mise à jour des poids :
q k(X k|Y k) = q k(x k|X k−1,Y k)q k−1(X k−1|Y k−1). (12)
ω i k ∝ ωi pk(yk|x k−1
i k )pk(xi k |xi k−1 )
qk(xi k |Xik−1 ,Yk) et
M
∑
i=1
ω i k = 1, (13)
M. Bocquet Journée LEFE-ASSIM, Paris, 4 décembre 2009 15 / 19

Loi instrumentale
Application au filtre bootstrap
Des pistes d’amélioration
La loi candidate est dans ce cas l’opérateur de transition du modèle.
Si
qk(xk|Xk−1,Yk) ≡ pk(xk|xk−1), (14)
alors on retrouve le filtre bootstrap [Gordon et al., 1993], puisque
ω i k ∝ ω i k−1pk(y k|x i k). (15)
−→ Malheureusement, les lois instrumentales, n’écarte pas le le fléau de la
dimension.
M. Bocquet Journée LEFE-ASSIM, Paris, 4 décembre 2009 16 / 19

Des pistes d’amélioration
Particules guidées par des filtres gaussiens
[van Merwe et al, 2000] ont construit un filtre particulaire avec une fonction
d’importance constituées de plusieurs filtres de Kalman.
−→ Contrairement au filtre bootstrap, seules les particules avec une
vraisemblance significative seront échantillonnées.
Si xk et Pk représentent l’analyse d’un filtre gaussien (EKF, UKF, EnKF, ETKF,
etc.), alors
qk(xk|Yk) ≡ n(xk −xk,Pk), (16)
avec n(xk −xk,Pk) ∝ exp − 1
2 (xk −xk) T (Pk) −1 (xk −xk) la pdf de N (xk,Pk),
le filtre gaussien de moyenne xk et de matrice de covariance Pk.
−→ L’idée est d’attacher un filtre gaussien à chaque particule.
−→ Malheureusemet pas adapté aux systèmes de grande dimension.
M. Bocquet Journée LEFE-ASSIM, Paris, 4 décembre 2009 17 / 19

Des pistes d’amélioration
Filtre particulaire guidé par le filtre EnKF (ou autres)
Loi d’importance :
avec
qk(xk|xk−1,y k) ∼ N (Mk(xk−1)+Kk (y k −HkMk(xk−1)),Σk) , (17)
Kk = P f kH T k HkP f kH T −1 k +Rk
(18)
Σk = KkRkK T k +(I −KkHk)Qk(I −KkHk) T . (19)
Approximation implicite dans l’utilisation de P f k dans Kk, car le gain utilise
toutes les particules.
[Papadakis, 2007] propose d’utiliser un EnKF pour guider le filtre. Après
l’analyse, les poids sont mis à jour en utilisant Eq.(17). Mise à jour des poids
après la propagation (∑ M i=1 ωi k = 1) :
M
xk+1 = ∑ ω
i=1
i kxik+1 et P f k+1 =
1
1 − ∑ M i=1 (ωi k )2
M
∑ ω
i=1
i k
x i k+1 −x
k+1 x i k+1 −x T k+1 .
M. Bocquet Journée LEFE-ASSIM, Paris, 4 décembre 2009 18 / 19
(20)

Conclusions
Conclusions
Le filtre particulaire fonctionne sur des cas particuliers géophysiques de
dimension modérée.
Rien ne s’oppose à ce qu’il serve de filtre d’appoint pour un sous-système
(ou sous-domaine) [Spiller et al., 2008].
Fonctionne mal sur des systèmes très chaotiques.
Solutions de long terme (?) :
lois candidates de filtrage gaussien,
localisation,
MCMC −→ présentation de Christophe Baehr.
M. Bocquet Journée LEFE-ASSIM, Paris, 4 décembre 2009 19 / 19