Views
3 years ago

CAp 2009

CAp 2009

CAp

CAp 2009avec ε ′ = min { ε12 , ε24C}etM = (20d + 2) ln 16R2 CL 2 ηK 2 ηε ′ + ln 18δ ,}16Cε, 512CR3εitéra-2{alors, avec probabilité au moins 1 − δ, après au moins t = maxtions de l’Algorithme 1, l’inégalité suivante est vraie∣ GCSVM(w ∗ ) − G CSVM (w t ) ∣ ∣ < εoù w ∗ (resp. w t ) est le minimum de G CSVM (resp. G t ).Selon ce théorème, si la taille de l’échantillon est suffisante, alors, avec grande probabilité,SCPA produit un classifieur arbitrairement proche du classifieur optimal deCSVMnon bruitée après un nombre polynomial d’itérations. Avant de détailler la preuve deconvergence de l’algorithme, il faut remarquer que lorsque le bruit (η + , η − ) est nulalors l’Algorithme 1 revient à l’algorithme plans sécants générique pour CSVM proposépar Joachims (2006).4.3 Preuve du Théorème 1La preuve, qui reprend en partie la structure de la preuve de convergence de OCAS(Franc & Sonnenburg (2008)), repose sur la proximité entre les sous-différentielles deG CSVM et G NSVM et donc entre les plans sécants de G NSVM et ceux de G CSVM . En fait,l’approximation linéaire par morceaux G t doit être proche de la fonction objectif nonbruitée G CSVM si le nombre de plans sécants et la taille de l’échantillon sont suffisantes.Ainsi, le lemme suivant établit que :– G NSVM est un estimateur non biaisé et uniforme de G CSVM– E [〈a σ w ′, w〉 + bσ w ′] est un plan sécant de GCSVM en w ′– Si un échantillon suffisamment grand est disponible alors G NSVM , a σ w, et b σ w sontproches de leurs espérances.Lemme 2Pour toute distribution D sur X × Y, ∀η ∈ N , ∀δ ∈ (0, 1], ∀ε ∈ R + , pour toutéchantillon aléatoire S de n exemples tiré selon D, pour tout vecteur de bruit σ ={σ 1 , . . . , σ n } (de taux (η + ,η − )), ifalors, avec probabilité au moins 1 − δ,n > 32K2 ηL 2 η(1 + 2W R) 2 Mε ′2(a) E σ G NSVM (w) = G CSVM (w), ∀w, ‖w‖ ≤ W(b) E σ a σ w est un sous-gradient of G CSVM en w et G CSVM (w) = E σ [〈a σ w, w〉 + b σ w],∀w, ‖w‖ ≤ Wln 4 δ(c) ∣ ∣G NSVM (w) − G CSVM (w) ∣ ∣ < ε 4, ∀w, ‖w‖ ≤ W(d) |E σ [〈a σ w, w ′ 〉 + b σ w] − 〈a σ w, w ′ 〉 − b σ w| < 3ε ′ , ∀w, w ′ , ‖w‖ , ‖w ′ ‖ ≤ W

Algorithme par Plans Sécants pour SVM Bruitéesavec M et ε ′ définis dans le Théorème 1, et W ∈ R + .Preuve. Nous ne détaillons pas la preuve de ce lemme par manque de place. Cettepreuve repose sur l’utilisation de l’inégalité de concentration de McDiarmid (1989) etsur la complexité de Rademacher (cf. Bartlett & Mendelson (2002)) des séparateurslinéaires.□SCPA est un algorithme itératif, et sa convergence repose sur le fait qu’à chaque étape,l’algorithme progresse vers une solution avec une valeur objectif plus élevée. Concentronsnous maintenant sur les améliorations de l’approximation linéaire par morceauxà chaque itération. D’abord, nous devons étudier les propriétés du critère d’arrêt. SCPAs’arrête lorsque ∣ GNSVM(w t ) − G t (w t ) ∣

guide rando 2009 - Parc naturel régional des Caps et Marais d'Opale
CAP SUR DÉCOUVRARTS - L'Écho de Cap-Rouge
Cap sur ORION - Ratp
Les modules de l'exposition - Cap Sciences
Gastronomie portugaise - Cap Magellan
Le moteur de la Terre - Cap Sciences
Les modules de l'exposition - Cap Sciences
sur les traces de l'homme - Cap Sciences
CAP INVESTORS - F2iC
Roquebrune - Cap - Martin - Leaseback.co.uk
Les modules de l'exposition - Cap Sciences
au temps des mammouths - Cap Sciences