Views
2 years ago

CAp 2009

CAp 2009

CAp

CAp 2009Preuve. Par le Lemme 3, |E σ L(w t ) − L t (w t )| > ε4C . Ainsi,E σL(w t) − L t(w t) < − εε⇒ EσL(wt) − EσLt(wt) < − + Lt(wt) − EσLt(wt)4C 4C⇒ E σL(w t) − E σL t(w t) < − ε4C + 3ε′ (Lemme 2.(d))⇒ E σL(w t) − E σL t(w t) < 0Pour conclure la preuve, il suffit de faire appel au Lemme 2.(b). Puisque E σ L t (w t )est un maximum sur un ensemble constitué de plans sécants de la fonction convexeE σ L(w t ), E σ L t (w t ) est un sous estimateur de E σ L(w t ), ce qui est en contradictionavec la dernière inégalité.□Une première étape pour l’estimation des progrès effectués à chaque itération consisteà évaluer à quel point un nouveau plan sécant viole les contraintes imposées par lesautres plans sécants.Lemme 5Sous les mêmes hypothèses que celles du Lemme 2, si l’équation (8) est vérifiée alors〈a σ w t, w t 〉 + b σ w t− L t (w t ) ≥ ε8C . (9)Preuve. La preuve repose sur le fait que, par définition, ∀t, E σ[〈aσwt, w t 〉 + b σ w t]=E σ L(w t ).|E σ L(w t ) − L t (w t )| ≥ ε4C ⇒ E σL(w t ) − L t (w t ) ≥ε4Cce qui met fin à la preuve.⇒ E σ[〈aσwt, w t 〉 + b σ w t]− Lt (w t ) ≥⇒ 〈a σ w t, w t 〉 + b σ w t− L t ≥(Lemme 4)ε4Cε , (Lemme 2)8CNous avons ainsi une borne inférieure disant à quel point chaque nouveau plan sécantajouté se situe en dessous de L t en w t .Il reste maintenant à borner le nombre d’itérations nécessaires pour atteindre une certaineprécision. A cette fin, nous nous en remettons à un lemme de Franc & Sonnenburg(2008), qui fait usage de l’amélioration effectuée à chaque étape de l’algorithme.Lemme 6 (Franc & Sonnenburg (2008))Soit 〈a wt , w〉 + b wt ) = 0 le nouveau plan sécant satisfaisant l’inégalité〈w t , a wt 〉 + b wt − L t (w t ) ≥ ε C .Alors, l’amélioration de la fonction objectif réduite peut être minoré par{ εG t+1 (w t+1 ) − G t (w t ) ≥ min2 , ε 2 }8C 2 R 3 .□

Algorithme par Plans Sécants pour SVM BruitéesAinsi, le Lemme 6 peut être appliqué directement à l’équation (9). Cela implique, sousles hypothèses { du Lemme 2, qu’à chaque étape le progrès de min w G t (w) est au minimumde min.}ε16 , ε 2512C 2 R 3Initialement, le seul plan sécant est l’hyperplan 0, et donc l’optimum du problèmeréduit est G 0 (w 0 ) = 0. Finalement, sa valeur ne peut être supérieure à G t (0) = C.En conclusion, la somme des améliorations ne peut excéder C, et le nombre maximald’itérations t max est borné supérieurement par :{ }16Ct max ≤ maxε, 512CR3ε 2 . (10)Lemme 7Sous les mêmes hypothèses que dans le Lemme 2, SCPA s’arrête après au plus t maxitérations avec grande probabilité, et l’inégalité suivante est vérifiée :∣∣G CSVM (w t ) − G t (w t ) ∣ ∣ < 3ε4 .Preuve. Immédiate à partir du Lemme 3.(a) et (10).□La dernière étape de cette preuve consiste à prouver le Théorème 1, et donc à montrerque le classifieur produit par SCPA est presque optimal sur les données non bruitées.Preuve du Théorème 1Soit w t = argmin w G t (w) l’optimum de la fonction linéaire par morceau estimée et˜w t = argmin w E σ G t (w) l’optimum de son espérance. D’après le Lemme 7, lorsquel’algorithme s’arrête, on aura :˛˛G CSVM (w t) − G t(w t) ˛ < 3ε4 ⇒ GCSVM (w t) − G t(w t) < 3ε4⇒ G CSVM (w t) − G t( ˜w t) < 3ε4⇒ G CSVM (w t) − E σG t( ˜w t) < 3ε + Gt( ˜wt) − EσGt( ˜wt)4⇒ G CSVM (w t) − E σG t( ˜w t) < 3ε4 + 3ε′ (Lemme 2.(d))⇒ G CSVM (w t) − E σG t( ˜w t) < ε⇒ G CSVM (w t) − G CSVM (w ∗ ) < ε.La dernière ligne provient du fait que EG t est un sous estimateur de G CSVM . Alors, lavaleur optimale de EG t est inférieure à l’optimal de G CSVM .Pour conclure la preuve, nous remarquons que nous avons besoin de considérer uniquementles vecteurs w tels que ‖w‖ ≤ √ 2C. En fait, pour tout vecteur w ′ avec‖w ′ ‖ > √ 2C, G NSVM (w ′ ) > G NSVM (0) et donc w ′ n’est pas un optimum de G NSVM .

guide rando 2009 - Parc naturel régional des Caps et Marais d'Opale
CAP SUR DÉCOUVRARTS - L'Écho de Cap-Rouge
Dossier de présentation - Cap Sciences
Mettez le Cap sur la location avec Rigiflex
du CAP au diplôme d'ingénieur - Onisep
AUX CONFINS DU SPITZBERG - Plein Cap
CAP/DAKAR FORMATION PROFESSIONNELLE
CAP/DAKAR FORMATION PROFESSIONNELLE
Rapport d'activité - Cap Sciences
Programme ici - Cap Sud Voyages