Exposé

More documents

Recommendations

Info

$Corps finis, corps de fractions rationnelles (TD4)$

Agrégation séquentielle de prédicteurs Applications à des données réelles Deux familles d’algorithmes d’agrégation séquentielle Travaux récents et perspectives Exponentielle des gradients Une pondération exponentielle sans gradients La régression ridge Soit un ensemble convexe de prédictions X , l’espace des observations Y et une fonction de perte convexe ℓ : X × Y → R. L’algorithme eg choisit successivement des combinaisons convexes p1, p2, . . . des prédictions des experts et ses pertes sont données par ⎛ ⎞ N ℓt(pt) = ℓ ⎝ ⎠ j=1 pj,t fj,t, yt Chaque pt ne dépend que des (gradients des) pertes passées, p1 = 1/N, . . . , 1/N et la j-ième composante de pt est définie, pour t 2, par une pondération exponentielle, exp −η pj,t = t−1 s=1 ∇ ℓs(ps) j ∇ ℓs(ps) N i=1 exp −η t−1 s=1 i Gilles Stoltz Prédiction avec experts
Agrégation séquentielle de prédicteurs Applications à des données réelles Deux familles d’algorithmes d’agrégation séquentielle Travaux récents et perspectives Exponentielle des gradients Une pondération exponentielle sans gradients La régression ridge Theorem Le regret de eg face à toute combinaison convexe constante q est uniformément borné (en q et en les suites y1, y2, . . .) selon ⎛ ⎞ ⎛ ⎞ n t=1 N ℓ ⎝ j=1 pj,t fj,t, yt ⎠ − n t=1 N ℓ ⎝ j=1 qj fj,t, yt ⎠ ln N η où B est une borne sur les gradients, ∇ℓt B pour tout t. ∞ + ηn 2 B2 Deux éléments de démonstration : par convexité, ⎛ ⎞ ⎛ ⎞ N ℓ ⎝ N ⎠ − ℓ ⎝ ⎠ ∇ ℓt(pt) · pt − q j=1 pj,t fj,t, yt j=1 qj fj,t, yt et l’analyse de ce majorant (linéaire en q) repose sur le lemme de Hoeffding. Gilles Stoltz Prédiction avec experts
Page 1 and 2: Agrégation séquentielle de prédi
Page 29: Agrégation séquentielle de prédi

Exposé

Create successful ePaper yourself

Delete template?

Save as template?