Analyse des deux méthodes de Broyden - Patrick Roux.pdf - CQFD

IntroductionLes méthodes de Broyden sont deux algorithmes permettant de résoudre unsystème de n équations non-linéaires données par une fonction F : R n −→ R n .Or, il se trouve que dans la littérature traitant le sujet, une de ces méthodesest systématiquement appelée la “bonne” méthode de Broyden et l’autre la“mauvaise”. Toutefois, il n’a jamais été démontré que la “bonne” méthodefonctionne réellement mieux que la “mauvaise”.Le but de ce rapport est donc de répondre aux questions suivantes :– La “bonne” méthode fonctionne-t-elle toujours mieux que la “mauvaise”?– Si c’est le cas, pourquoi ?– Si ce n’est pas le cas, dans quelles situations la “mauvaise” est-elle plusperformante que la “bonne”?De par la similarité des deux méthodes, il semble curieux qu’une d’elles fonctionnetoujours mieux que l’autre. Les tests réalisés auparavant étaient peutêtretoujours mieux adaptés à la “bonne” méthode ...C’est cette situation un peu confuse que je vais tenter de clarifier dans cerapport.1

Méthodes de BroydenPour commencer, décrivons ces méthodes.Comme décrit dans l’introduction, les méthodes de Broyden résolvent le systèmed’équations non-linéaires suivant :F (x) = 0 , où F : R n −→ R nEn fait, ce sont des méthodes de type quasi-Newton, c’est-à-dire dérivées dela méthode Newton.Méthode de NewtonLa méthode de Newton a exactement le même but que les méthodes deBroyden.Le développement de la fonction F en série de Taylor d’ordre 1 en un pointx k ∈ R n fournit un modèle linéaire de F autour de x k :En approximant F de la sorte :F (x) = F (x k ) + F ′ (x k )(x − x k ) (1)F (x) = 0 ⇔ F (x k ) + F ′ (x k )(x − x k ) = 0⇔ F ′ (x k )(x − x k ) = −F (x k )⇔ x − x k = −(F ′ (x k )) −1 F (x k )⇔ x = x k − (F ′ (x k )) −1 F (x k )En posant x k+1 = x, on obtient une nouvelle approximation du zéro de F , etdu même coup la récurrence suivante :x k+1 = x k − (F ′ (x k )) −1 F (x k )3

Or : (3) B k+1 − B k = ds T k⇒ B k+1 = B k + ds T k= B k + y k−B k s ks T s T k s k k= B k + (y k − B k s k ) sT ks T k s kC’est la relation récurrente pour B, l’approximation du jacobien.En fait, comme cité dans [2], cette mise à jour de Broyden représente le changementminimal par rapport à B k compte tenu du fait que B k s k = y k , si lechangement est mesuré avec la norme de Frobenius.La preuve de ceci se trouve en [2], lemme 8.1.1 p 171.L’algorithme de la première méthode de Broyden est alors le suivant :Algorithme BGM (Broyden good method) :– donné :– fonction F : R n −→ R n– point initial x 1 ∈ R n– matrice initiale B 1 ∈ M n (R)– pour k de 1 à ... :– résoudre B k s k = −F (x k ) en fonction de s k– x k+1 = x k + s k– y k+1 = F (x k+1 ) − F (x k )– B k+1 = B k + (y k − B k s k ) sT ks T k s kReste à définir un critère d’arrêt, qui sera décrit dans le chapitre “Programmede tests”.Seconde méthode de BroydenReprenons l’équation (2) :y k = B k+1 s k⇔ B −1k+1 y k = s kBroyden considère alors cette fois l’approximation linéaire N suivante :N k (x) = x k + B −1k(F (x) − F (x k))7

On remarque que :a) N k (x k ) = x k + B −1k (F (x k) − F (x k ))= x kb) N k (x k+1 ) = x k + B −1k (F (x k+1) − F (x k ))= x k+1Le calcul de la différence entre deux modèles successifs N k+1 − N k est tout àfait similaire à celui de M k+1 − M k :N k+1 (x) − N k (x) = · · ·= (B −1k+1 − B−1 k)(F (x) − F (x k))Comme pour la première méthode, on peut trouver λ ∈ R et c ∈ R n avecyk T c = 0 tels que :F (x) − F (x k ) = λ(F (x k+1 ) − F (x k )) + c= λy k + cAinsi :N k+1 (x) − N k (x) = · · ·= λ(s k − B −1ky k) + (B −1k+1 − B−1 k )cA nouveau, pour minimiser la norme de cette différence, il faut rendre lesecond terme nul, puisque le premier est déjà déterminé au k e pas. Le raisonnementest alors exactement le même que pour la première méthode.Finalement, la relation pour B −1k+1est la suivante :B −1k+1 = B−1 k+ (s k − B −1ky k) yT kyk T y kLe cheminement est donc exactement le même que pour la première méthode,sauf que les modèles M et N diffèrent : le premier s’inspire de la relationy k = B k+1 s k et le second de s k = B −1k+1 y k.Voici maintenant l’algorithme de la seconde méthode :Algorithme BBM (Broyden bad method) :– donné :8

– fonction F : R n −→ R n– point initial x 1 ∈ R n– matrice initiale B1 −1 ∈ M n (R)– pour k de 1 à ... :– s k = −B −1k F (x k)– x k+1 = x k + s k– y k+1 = F (x k+1 ) − F (x k )– B −1k+1 = B−1 k+ (s k − B −1ky k) yT kyk T y kTout ce raisonnement est tiré de [2].Il existe une variante de chacun des deux algorithmes présentés précédemment.On peut, dans l’algorithme BGM, calculer directement l’inverse de la matriceB k+1 pour ne pas devoir résoudre de système linéaire.Inversément, une variante de l’algorithme BBM consiste à calculer B k+1 puisrésoudre un système linéaire.Voici comment les relations récurrentes sont obtenues :BGM : B k+1 = B k + (y k − B k s k ) sT ks T k s kOn applique alors le lemme de Sherman-Morrison-Woodbury (voir [2] p 188)où : A = B k , u = y k − B k s k , v = s k :B −1k+1= B −1k−1= B −1= B −1k−1= B −1ks T k s k+s T k B−1 k y k−s T k s k(y k−B k s k ) B−1 k(y k − B k s k )s T k B−1 ks T k s k+s T k B−1 k1k− (B −1s T k s k+s T k B−1 k y k−s T k B−1 k B ks kk(B −1k+ (s k − B −1ky k) sT k B−1 ks T k B−1 k y kOn obtient donc l’algorithme suivant :y k − B −1ky k − s k )s T k B−1 kAlgorithme BGM bis (variante de BGM) :– donné :– fonction F : R n −→ R n– point initial x 1 ∈ R n 9B ks k )s T k B−1 k

– matrice initiale B1 −1 ∈ M n (R)– pour k de 1 à ... :– s k = −B −1k F (x k)– x k+1 = x k + s k– y k+1 = F (x k+1 ) − F (x k )– B −1k+1 = B−1 k+ (s k − B −1ky k) sT k B−1 ks T k B−1 k y kAppliquant, comme auparavant, le lemme de Sherman-Morrison-Woodbury àla relation récurrente de l’algorithme BBM, on trouve l’expression suivante :Ainsi :B k+1 = B k + (y k − B k s k ) yT k B ky T k B ks kAlgorithme BBM bis (variante de BBM) :– donné :– fonction F : R n −→ R n– point initial x 1 ∈ R n– matrice initiale B 1 ∈ M n (R)– pour k de 1 à ... :– résoudre B k s k = −F (x k ) en fonction de s k– x k+1 = x k + s k– y k+1 = F (x k+1 ) − F (x k )– B k+1 = B k + (y k − B k s k ) yT k B ky T k B ks kRésuméVoici donc les quatre relations récurrentes pour les matrices B k+1 ou B −1k+1 :BGMB k+1 = B k + (y k − B k s k ) sT ks T k s kBBM bisB k+1 = B k + (y k − B k s k ) yT k B ky T k B ks kB −1k+1 = B−1 kBGM bis+ (s k − B −1ky k) sT k B−1 ks T k B−1 k y kB −1k+1 = B−1 kBBM+ (s k − B −1ky k) yT kyk T y k10

Les deux mises à jour de B k+1 sont similaires, de même que celles de B −1k+1 .La seule différence réside dans le terme fractionnel de droite.Un problème peut toutefois apparaître dans l’algorithme BBM ; en effet, lorsqu’ilse rapproche du ˜x tel que F (˜x) = 0, y T y = ‖y‖ 2 devient très petit, etde ce fait B −1k+1peut prendre des valeurs aberrantes, puisque sa mise à joureffectue une division par un nombre qui tend vers 0.Par contre, ce problème n’apparaît pas dans l’algorithme BGM.C’est peut-être une première explication du fait que la seconde méthode estusuellement qualifiée de “mauvaise”.11

Origine des termes “bonne” et“mauvaise” méthodesComme cité en introduction, une des deux méthodes est systématiquementnommée la “bonne” méthode de Broyden et l’autre la “mauvaise”. L’originede ces termes reste toutefois très mystérieuse.Dans son premier article traitant le sujet (voir [1]) et datant de 1965, Broydenprésente les deux méthodes en les nommant “method 1” et “method 2”.Voici ce qu’il dit au sujet de la seconde méthode :This method appears in practice to be unsatisfactory, it will be discussed nofurther at this stage.[. . . ]While the program was being developed, it became increasingly apparent thatmethod 2 was quite useless.In every case I tried it rapidly reached a state where successive step vectorss i and s i+1 were identical and further progress thus became impossible, andfor this reason it is omitted from the following case histories.Broyden n’effectue donc aucun test sur cette méthode ; c’est probablement delà que sont issus les termes. Je n’ai malheureusement pas réussi à retrouverles articles suivants de Broyden.La question de cette origine a été posée à J.M. Martinez par mail, et voici cequ’il a répondu :In the original paper by Broyden both methods were presented without thedenomination ”good” and ”bad”. They have been known also as ”first” and”second” methods of Broyden respectively.Numerical experiments in the first years after their introduction suggested13

that the ”good” method was far better than the ”bad” method. After that, manyauthors began to call them ”good” and ”bad”.In fact, I do not know exactly whow was the first to publish those names,although I am sure that they were called in that way informally in meetingsand congresses.14

Conjectures de J.M. MartinezJ.M. Martinez est un mathématicien brésilien qui a publié plusieurs articlesconcernant les méthodes de type quasi-Newton et celles de Broyden, tels que[4], [5], [6] et [7].Dans un article datant de 2000 (voir [3]), il pose deux conjectures, censées déterminerdans quels cas la première méthode fonctionne mieux que la seconde.Première conjectureJ.M. Martinez considère le terme B −1k+1 y k−1 − s k−1 dans les deux méthodes :BGM bis : B −1k+1 y k−1 − s k−1 = (B −1k= B −1k= (s k − B −1kBBM : B −1k+1 y k−1 − s k−1 = (B −1k= B −1k+ (s k − B −1ky k−1 + (s k − B −1ky k) sT k s k−1s T k B−1 k y k+ (s k − B −1ky k) sT k B−1 ks T k B−1 k y ky k) sT k B−1 k y k−1s T k B−1 k y k)y k−1 − s k−1− s k−1y k) yT ky T k y k )y k−1 − s k−1y k−1 + (s k − B −1ky k) yT ky yk T y k−1 − s k−1k= (s k − B −1ky k) yT k y k−1yk T y kIl remarque alors que B −1k+1 y k−1 −s k−1 , qu’il appelle “erreur sécante”, est dansles deux cas un multiple de s k − B −1k y k.Selon lui, plus l’erreur séquante est faible, mieux les méthodes de Broydenfonctionnent. Il postule donc que BGM sera plus efficace que BBM si :s T k s k−1∣s T k B−1 ky k∣ ∣∣∣ ∣ < yk T y k−1yk T y ∣ (4)k15

Seconde conjecture de MartinezJ.M Martinez obtient une deuxième conjecture en faisant la même comparaisonsur le terme B k+1 s k−1 − y k−1 .BGM : B k+1 s k−1 − y k−1 = (B k + (y k − B k s k ) sT ks T k s k )s k−1 − y k−1= B k s k−1 + (y k − B k s k ) sT ks T k s k s k−1 − y k−1= (y k − B k s k ) sT k s k−1s T k s kBBM bis : B k+1 s k−1 − y k−1 = (B k + (y k − B k s k ) yT k B ky T k B ks k)s k−1 − y k−1= B k s k−1 + (y k − B k s k ) yT k B ks k−1yk T B ks k= (y k − B k s k ) yT k y k−1yk T B ks k− y k−1A nouveau, B k+1 s k−1 − y k−1 est dans les deux cas le multiple d’un mêmeterme, en l’occurence y k −B k s k . Il postule donc que BGM fonctionnera mieuxque BBM si :s T k s ∣k−1∣∣∣∣ s T k s ∣ < yk T y ∣k−1 ∣∣∣k yk T B (5)ks kDans [3], J.M. Martinez créé un algorithme qui choisit à chaque pas quelalgorithme il utilise en fonction de (4) et (5). Cet algorithme s’est, selon sesdires, révélé plus efficace que BGM et BBM.Pour ma part, ces conjectures ne me semblent pas très significatives. Il n’esten effet pas évident que la taille de l’erreur séquante est seule responsable dubon fonctionnement de l’une ou l’autre méthode.Une analyse géométrique de ces deux conjectures a été réalisée, mais elle n’apas été concluante, c’est-à-dire que les termes des conjectures ne représententrien de vraiment particulier.16

Programme de testsPour tester les deux méthodes de Broyden, j’ai implémenté un programmesur Matlab dont voici le descriptif :Le programme principal, nommé main, spécifie :la fonction F à tester :La liste des fonctions testées se trouve en annexe 1.le point initial x1 :La plupart du temps, le point initial est donné dans la définition de la fonction.Si ce n’est pas le cas, il faut essayer de le fixer ”assez proche” du zérode la fonction, pour que l’algorithme ne diverge pas.la matrice initiale B 1 :La matrice initiale a été choisie comme étant l’identité.le premier critère d’arrêt :Le critère d’arrêt choisi a été la norme de F . Cela semble en effet légitime, carle but est de trouver x tel que F (x) = 0, et de plus F (x) = 0 ⇐⇒ ‖F (x)‖ = 0.L’algorithme s’arrête donc lorsque la norme de F (x) est inférieure à 10 −6(comme Broyden dans [1]).le second critère d’arrêt :Pour prévenir les cas de divergence, l’algorithme stoppe après 500 itérations.Avec ces données, main lance les algorithmes bgm et bbm, qui fonctionnentcomme décrit au chapitre “Méthodes de Broyden” avec les deux critères d’arrêtdéfinis précédemment, et qui calculent de plus les termes des conjectures17

de Martinez.main lance aussi les algorithmes bgm bis et bbm bis, qui fonctionnent commebgm et bbm, mais utilisent respectivement la mise à jour de B −1ket B k .Les différents résultats que peut retourner le programme main sont les suivants:a) Pour les algorithmes bgm et bbm, la suite des x i , F (x i ) et ‖F (x i )‖.b) Les valeurs successives des termes des deux conjectures de Martinez.c) Une synthèse comprenant :– le nom de la fonction– le point initial– la matrice initiale– le nombre d’itérations nécessaires à bgm et à bbm– les zéros trouvés dans les deux cas– les nombres d’itérations et les zéros déterminés par bgm bis et bbm bis,dans le cas où ces derniers ont mieux fonctionné que bgm et bbm respectivement.d) Dans le cas d’une fonction de dimension 2, les graphes des x i et F (x i )successifs dans le plan pour bgm et bbm.18

Fonctions linéairesEtudions pour commencer les deux méthodes sur des fonctions linéaires.Voici les relations récurrentes pour les matrices :BGM : B k+1 = B k + (y k − B k s k ) sT ks T k s k(6)BBM : B −1k+1 = B−1 k+ (s k − B −1ky k) yT kyk T y k(7)On remarque que si on échange les termes y k et s k dans (6), on obtient (7),à ceci près que l’on a des B −1 à la place des B.La première idée a donc été que BBM est en quelque sorte le “symétrique”de BGM, c’est-à-dire que BGM “travaille” sur les x k et BBM sur les F (x k ).Si c’est le cas, la résolution du système F −1 (x) = 0 devrait être similaire àcelle de F (x) = 0. C’est ceci qui est développé par la suite :Soit donc F (x) = Ax une fonction linéaire.Prenons un point initial x 1 et une matrice initiale B 1 .Pour la fonction inverse F −1 (x) = A −1 x, il semble logique de prendre commepoint initial F (x 1 ) = Ax 1 .Quant à la matrice initiale, de manière similaire au point initial, il semble raisonnablede prendre A · B 1 , c’est-à-dire l’équivalent de B 1 du côté de l’imagede F .J’ai testé cette théorie en dimension 2, en explicitant les calculs pendant uneou deux étapes, avec les paramètres suivants :19

( 1 −2F (x) =1 3)( 1x , x 1 =1), B 1 =( 1 00 1Les calculs pour les deux algorithmes se trouvent en annexe 2.Toutefois, en faisant les mêmes calculs pour F −1 , (cf annexe 3), on ne constatehélas aucune similarité entre les deux développements.Les mêmes calculs ont été effectués en prenant les mêmes point ou matriceinitiaux pour F et F −1 , mais cela n’a rien amené de plus.Il semble donc que l’hypothèse de “symétrie” entre BGM et BBM est erronée.En étudiant plus attentivement les relations récurrentes pour B −1k+1cas F (x) = Ax :)dans leF (x k ) = Ax k et F (x k+1 ) = Ax k+1⇒ y k = F (x k+1 ) − F (x k )= Ax k+1 − Ax k= A(x k+1 − x k )= As kBGM bis :BBM :B −1k+1= B −1k= B −1kB −1k+1= B −1k= B −1k= B −1k+ (s k − B −1k+ (s k − B −1ky k) sT k B−1 ks T k B−1 k y kAs k) sT k B−1 k+ (s k − B −1ky k) yT kyk T y k+ (s k − B −1k+ (s k − B −1ks T k B−1 k As kAs k) (As k) T(As k ) T As kAs k) sT k ATs T k AT As kLes deux mises à jour des matrices pour B −1k+1 sont donc les mêmes si AT =B −1k. On constate de plus la même propriété si l’on compare les mises à jourde la matrice B k .En vérifiant ceci avec les calculs (voir en annexe 4), on constate en effet queles deux algorithmes sont dans ce cas exactement les mêmes.En effectuant des tests sur d’autres fonctions linéaires F (x) = Ax, je suisarrivé aux résultats suivants :20

Tout d’abord, si l’on prend pour matrice initiale A −T , les deux algorithmesparviennent systématiquement au zéro de F en un même nombre d’itérations,quelquesoit le point initial choisi.Ensuite, si la matrice initiale est l’identité, les deux algorithmes nécessitent,comme précédemment, le même nombre d’itérations dans la plupart des cas.Toutefois, en testant les méthodes sur de “gros” exemples, tels queF (x) =( 1111 −22221111 3333)x,il s’est avéré que BBM nécessitait plus d’itérations que BGM, et l’écart s’accentuede plus en plus au fur et à mesure que les composantes de la matricesgrandissent.Afin d’étudier les conjectures de Martinez, qui ont notamment été testéesdans le cas linéaire, prenons la même fonction que précédemment :F (x) =( 1 −21 3)( 1x , x 1 =1), B 1 =( 1 00 1)Voici les termes des conjectures à chaque itération :k∣Conjecture 1 Conjecture 2∣ sT k s k−1s T k B−1 k y k∣∣∣ yT k y k−1yk T y k∣∣∣ sT k s k−1s T k s k∣∣ ∣ yT k y k−1 ∣∣yk T B ks k1 0 0 0 02 1.0275 1.9903 0.9932 1.27723 0.0988 0.6881 0.1639 1.40674 2.5170 1.9575 2.5170 1.9575Aucune de ces deux conjectures n’est en fait très significative, puisque pourchacune d’elles, le terme de gauche est tantôt supérieur, tantôt inférieur auterme de droite.21

En fait, le principe des deux conjectures est d’exprimer à chaque pas quelleméthode fonctionnera le mieux à l’itération suivante, mais pas laquelle serala plus rapide sur l’ensemble de la résolution.Ces conjectures ne seront donc pas débattues plus longuement dans ce rapport.22

Tests sur d’autres fonctionsFonctions de Broyden :Voici les résultats des tests effectués sur les fonctions données par Broydendans [1] :fonction nG nBbroyden65 cas5 67 25broyden65 cas6 > 500 > 500broyden65 cas7 > 500 > 500broyden65 cas8 > 500 > 500broyden65 cas9 14 24broyden65 cas10 58 > 500nG = nombre d’itérations nécessaires à BGM ou BGM bisnB = nombre d’itérations nécessaires à BBM ou BBM bisFonctions de Spedicato :La dimension des fonctions issues de [8] étant libre, voici une analyse dequelques-unes d’entre elles prises au hasard, en faisant varier la dimension :23

fonction dimension nG nBspedicato 1 3 49 > 5004 et plus > 500 > 500spedicato 4 2 11 1210 11 1220 12 12100 13 14spedicato 12 5 6 610 6 6100 6 6spedicato 17 3 96 274 et plus > 500 > 500spedicato 20 2 101 143 et plus > 500 > 500La fonction spedicato 17 ne fournit pas les mêmes résultats dans [8]. A cetitre, voici la réponse de son auteur lui-même :The algorithms were programmed by dr. Huang, who was a very bad programmer,[. . . ] so it must be a programming mistake that escaped my attention.La fonction spedicato 26 est intéressante, car pour des dimensions faibles,BGM fonctionne mieux que BBM, mais cette tendance s’inverse lorsque ladimension augmente.Le tableau suivant représente le nombre d’itérations nécessaires à chaque algorithmeen fonction de la dimension du problème.n 5 10 15 20 21 22 23 24 25 30 40BGM 13 19 28 37 40 41 45 45 50 62 90BBM 18 24 32 39 41 42 43 45 47 54 6924

9080nGnB7060504030205 10 15 20 25 30 35 40dimensionFonctions diverses :Voici tout d’abord deux fonctions créées par Martinez, dont le point initialest variable.fonction dimension point initial nG nBmartinez59Pb9 6 (0 . . . 0) T > 501 > 5016 (10 . . . 10) T 88 356 (−50 . . . − 50) T 68 306 (−100 . . . − 100) T 75 31martinez59Pb13 3 (1 1 1) T 9 116 (1 . . . 1) T 19 3010 (1 . . . 1) T 25 533 (0 0 0) T 9 106 (0 . . . 0) T 18 2910 (0 . . . 0) T 23 51Ensuite, voici deux fonctions dont le point initial est variable :25

fonction point initial nG nBroux 1 (0 4) T 30 14(1 1) T 19 9(14 14) T 16 12(−3 − 3) T 11 9(0.5 0.5) T 8 8(100 100) T 8 9(−1 − 1) T 10 11(−7 − 89) T 8 10roux 4 (1 2 1) T 12 > 500(4 0 − 2) T 15 > 500(1 − 1 1) T 16 > 500(100 99 98) T 49 38(890 132 470) T 80 20(89 ′ 000 13 ′ 200 47 ′ 000) T 27 > 500Les fonctions suivantes n’ont ni point initial, ni dimension fixée :fonction dimension point initial nG nBroux 2 5 (1 2 1 2 1) T 32 2510 (1 2 . . . 2 1) T 35 315 (−1 1 − 1 1 − 1) T 21 2510 (−1 1 . . . 1 − 1) T 21 255 (0 8 0 8 0) T 24 2410 (0 8 . . . 0 8) T 25 25roux 3 2 (−1 3) T 4 43 (−4 30 − 2) T 7 44 (−4 3 − 2 1) T 57 45 (−1 3 − 9 8 − 7) T 8 410 (−1 . . . − 1) T 3 3Voici pour finir diverses autres fonctions :26

fonction dimension nG nBbadScale 4 118 1506 286 459dennis 2 13 14fairesBurden413 3 17 15HVF3 2 120 > 500nocedal 2 46 4327

Analyse des résultatsLes conclusions suivantes peuvent être tirées des résultats obtenus.Premièrement, Broyden a du commettre une erreur dans ses tests, car lafonction broyden65 cas5, issue de son propre ouvrage de 1965 ([1]), est plusrapidement résolue par BBM que par BGM.C’est toutefois la seule des fonctions qu’il explicite qui est dans ce cas.En ce qui concerne les fonctions linéaires, les deux méthodes utilisent en règlegénérale un même nombre d’itérations.Toutefois, la seconde méthode présente le défaut d’effectuer une division par‖y k ‖ 2 lors de la mise à jour de la matrice, ce qui pose de gros problèmesd’arrondis sur certaines fonctions.La fonction spedicato 26 est très révélatrice ; elle prouve en effet qu’une mêmefonction peut mieux convenir à une méthode en faible dimension, et moinsbien lorsque cette dimension augmente.La même remarque peut être faite au sujet du point initial : les fonctionsroux 1 et roux 4 en sont à ce titre de très bons exemples.Enfin, les tests effectués sur toutes les autres fonctions montrent que la premièreméthode n’est de loin pas plus efficace que la seconde.29

ConclusionAu vu de ce qui précède, il me semble indéniable que la seule conclusion quipeut être tirée est qu’il n’y a pas de “bonne” et de “mauvaise” méthode deBroyden : toutes deux fonctionnent très bien.Certaines fonctions, comme notamment les fonctions linéaires, sont résoluesplus rapidement par la première méthode, alors que pour d’autres c’est laseconde méthode qui est la plus adaptée.Ce qui a aussi été vu est que les deux méthodes sont très sensibles au choixdu point initial choisi, ainsi qu’à la dimension du problème.Il en est d’ailleurs certainement de même avec le choix de la matrice initiale.En fait, les termes “bonne” et “mauvaise” méthodes sont initialement dus àBroyden, qui a lui-même affirmé que la seconde ne fonctionnait pas bien.Par la suite, les tests effectués étaient très certainement involontairement favorablesà la première méthode, ce qui a renforcé son appellation de “bonne”méthode.Je terminerai en remerciant Michela Spada et Frank Crittin pour leur excellentcoaching durant toute la durée du semestre.31

AnnexesAnnexe 1 : liste des fonctions :broyden65 cas5 à broyden65 cas8 :- origine : [1] p 587- dimension : n- point initial : (−1 . . . − 1) T⎧⎪⎨ −(3 + αx 1 )x 1 + 2x 2 − β si i = 1F i (x) = x i−1 − (3 + αx i )x i + 2x i+1 − β si i = 2 ,. . . , n - 1⎪⎩x n−1 − (3 + αx n )x n − β si i = ncas 5 : α = −0.1 , β = 1 , n = 5cas 6 : α = −0.5 , β = 1 , n = 5cas 7 : α = −0.5 , β = 1 , n = 10cas 8 : α = −0.5 , β = 1 , n = 20broyden65 cas9 :- origine : [1] p 587- dimension : 2- point initial : (−1.2 1) TF i (x) ={10(x 2 − x 2 1) si i = 11 − x 1 si i = 233

oyden65 cas10 :- origine : [1] p 587- dimension : 2- point initial : (15 − 2) TF i (x) ={−13 + x 1 + ((−x 2 + 5)x 2 − 2)x 2 si i = 1−29 + x 1 + ((x 2 + 1)x 2 − 14)x 2 si i = 2spedicato 1 :- origine : [8], fonction 1- dimension : n- point initial : (−1.2 . . . − 1.2 − 1) TF i (x) ={1 − x 1 si i = 110(i − 1)(x i − x i−1 ) 2 si i = 2 ,. . . , nspedicato 4 :- origine : [8], fonction 4- dimension : n (pair)- point initial : (−1.2 1 . . . − 1.2 1) TF i (x) ={1 − x i si i impair10(x i − x 2 i−1) si i pairspedicato 12 :- origine : [8], fonction 12- dimension : n- point initial : (0.5 . . . 0.5) TF i (x) ={x 1 si i = 1cos x i−1 + x i − 1si i = 2 ,. . . , n34

spedicato 17 :- origine : [8], fonction 17- dimension : n- point initial : (10 . . . 10) T⎧⎪⎨ 3x 1 + (x 2 − 2x 1 ) + x2 24si i = 1F i (x) = 3x i + (x i+1 − 2x i + x i−1 ) +⎪⎩1(x 4 i+1 − x i−1 ) 2 si i = 2 ,. . . , n - 13x n + (20 − 2x n + x n−1 ) + 1(20 − x 4 n−1) 2 si i = nspedicato 20 :- origine : [8], fonction 20- dimension : n- point initial : ( 1 n . . . 1n )TF i (x) = n −n∑cos x j + i(1 − cos x i ) − sin x i , pour i = 1 ,. . . , nj=1spedicato 26 :- origine : [8], fonction 26- dimension : n- point initial : (1 . . . 1) TF i (x) =où h =1n+1⎧⎪⎨ 2x 1 − x 2 + 10h 2 sin(10hx 1 ) si i = 1−xi − 1 + 2x i − xi + 1 + 10h⎪⎩2 sin(10hx i ) si i = 2 ,. . . , n - 1−xn − 1 + 2x n − 1 + 10h 2 sin(10hx n ) si i = nmartinez59Pb9 :- origine : article 59 de Martinez, problème 9- dimension : 6- point initial : non spécifié35

F i (x) = ∑ j≠icot(b i · x j ) , pour i = 1 ,. . . , 6où b = (0.02249 0.02166 0.02083 0.02 0.01918 0.01835) Tmartinez59Pb13 :- origine : article 59 de Martinez, problème 13- dimension : n- point initial : non spécifié⎧⎪⎨ (3 − 0.1x 1 )x 1 + 1 − 2x 2 + x 1 si i = 1F i (x) = (3 − 0.1x i )x i + 1 − x i−1 − 2x i+1 + x i si i = 2 , . . . , n - 1⎪⎩(3 − 0.1x n )x n + 1 − 2x n−1 + x n si i = nroux 1 :- origine : Patrick Roux- dimension : 2- point initial : libre{F i (x) =sin(x 1 + x 2 ) si i = 1cos(x 1 − x 2 ) si i = 2roux 2 :- origine : Patrick Roux- dimension : n- point initial : libre( n∑)x j − x ij=1F i (x) =· x iroux 3 :- origine : Patrick Roux- dimension : n- point initial : libre36

F (x) = |x|roux 4 :- origine : Patrick Roux- dimension : 3- point initial : libreF i (x) = x i 1 + x i 2 + x i 3 , pour i = 1 , 2 , 3badScale :- origine : Frank Crittin- dimension : n (pair)- point initial : (2 . . . 2) TF i (x) ={100 cos x 2 i − x i si i impaircos x i · log(x 2 i + 1) − x isi i pairdennis :- origine : [2] p 149- dimension : 2- point initial : (212 )T{F i (x) =x 2 1 + x 2 2 − 2 si i = 1e x1−1 + x 3 2 − 2 si i = 2fairesBurden413 :- origine : Faires & Burden p 413- dimension : 3- point initial : (0 0 0) T⎧⎪⎨ 3x 1 − cos(x 2 · x 3 ) − x 1 si i = 1F i (x) = x⎪⎩2 1 − 81(x 2 + 0.1) + sin x 3 + 1.06 − x 2 si i = 2e −x 1·x 2+ 20x 3 + 10π−3 − 1 − x 3 2 3 si i = 337

HVF3 :- origine : [2], p 362- dimension : 3- point initial : (−1 0 0) TF i (x) =⎧⎪⎨ 10(x 3 − 10Ω) si i = 110( √ x⎪⎩2 1 + x 2 2 − 1) si i = 2x 3 si i = 3où Ω ={π arctan x 22 x 1si x 1 0π22 x 1+ 1 2si x 1 < 0nocedal :- origine : Nocedal & Wright p 288- dimension : 2- point initial : (−0.5 1.4) TF i (x) ={(x 1 + 3) · (x 3 2 − 7) + 18 si i = 1sin(x 2 · e x 1− 1) si i = 238

Annexe 2 : premier calcul matriciel :F (x) =x 1 =B 1 =( ) 1 −2x(1)31(1) 1 00 1Algorithme BGM :B 1 s 1 = −F (x 1 ) :( 1 00 1) ( s11s 2 1)( 1 −2= −1 3( ) −1⇒ s 1 =4( ) ( ) ( )1 1 2x 2 = x 1 + s 1 = + =(1) (−4) (−3)1 −2 2 8⇒ F (x2) ==1 3(3) (−7) (8 −1y 1 = F (x 2 ) − F (x 1 ) = − =−7 4B 2 = B 1 + (y 1 − B 1 s 1 ) sT 1s T 1 s 1 = · · · = 117( 25 −32−7 45) ( 11)9−11))( ) ( ) ( )1 25 −32 s1B 2 s 2 = −F (x 2 ) : 2817 −7 28 s 2 = −( )2 −7−136⇒ s 2 = 153 119( ) ( ) ( )2 −136 −30x 3 = x 2 + s 2 = +31=53 119153( ) ( ) (−40)1 −2 −30⇒ F (x3) = 1=53 1 3 −401 5053( ) (−150) (y 2 = F (x 3 ) − F (x 2 ) = 1 50 8 −374− =53 −150 −7153( )221B 3 = B 2 + (y 2 − B 2 s 2 ) sT 22425 −3266= · · · = 1s T 2 s 2 1921 409 4035)39

Algorithme BBM :( ) ( ) ( )1 0 −1 1s 1 = −B1 −1 F (x 1 ) = −=0 1 4 −4( ) ( ) ( )1 1 2x 2 = x 1 + s 1 = + =(1) (−4) (−3)1 −2 2 8⇒ F (x2) ==1 3(3) (−7) ( )8 −1 9y 1 = F (x 2 ) − F (x 1 ) = − =−7 4(−11)B2 −1 = B1 −1 + (s 1 − B1 −1 y 1 ) yT 1130 88= · · · = 1y1 T y 1 202 63 125( ) ( ) ( )130 88 8−424s 2 = −B2 −1 F (x 2 ) = − 1=202 63 125 −71202( ) ( ) ( )3712 −424−20x 3 = x 2 + s 2 = +−31=202 3711202( ) ( ) (−235)1 −2 −20450⇒ F (x3) = 1=202 1 3 −2351202( ) ( )−725( )450 8−1166y 2 = F (x 3 ) − F (x 2 ) = 1− =202 −725 −71202( )689B3 −1 = B2 −1 + (s 2 − B2 −1 y 2 ) yT 20.6269 0.4455= · · · = y2 T y 2 0.1159 0.734640

Annexe 3 : second calcul matriciel :( ) −11 −2G(x) = F −1 (x) =x =1 31 5( ) ( ) ( )1 −2 1 −1x 1 ==(1 3) (1)41 −2 1 0B 1 ==1 3 0 1( 1 −21 3( 3 2−1 1))xAlgorithme BGM :( ) ( ) ( ) ( 1 −2 s1B 1 s 1 = −G(x 1 ) :13 2 −11 3 s 2 = − 1 51−1 1 4( ) −1⇒ s 1 =0( ) ( ) ( )−1 −1 −2x 2 = x 1 + s 1 = + =(4) (0) (4)3 2 −2 2⇒ G(x2) = 1 =5 −1 1 41 5( ) ( )6( )2 1 −3y 1 = G(x 2 ) − G(x 1 ) = 1 − =5 6 11 5(1)B 2 = B 1 + (y 1 − B 1 s 1 ) sT 13 −10= · · · = 1s T 1 s 1 5 −1 15)( 3 −10B 2 s 2 = −G(x 2 ) : 1 5( )−1 15−18) ( s12s 2 2) ( 2= − 1 5 6)⇒ s 2 = 1 7 −4( ) −2x 3 = x 2 + s 2 =(4⇒ G(x3) = 1 1 3 25 7 −1 1y 2 = G(x 3 ) − G(x 2 ) = 135( ) −18) (−4) −32(24) −4856+ 1 7− 1 5B 3 = B 2 + (y 2 − B 2 s 2 ) sT 2s T 2 s 2 = · · · = 1425( ) −32(24) −4835( )56( 2 −62=6135( )14471 −802−337 1219= 1 7= 1)41

Algorithme BBM :( ) ( ) ( 3 2 1 −1s 1 = −B1 −1 G(x 1 ) = − 1 =5 −1 1 1 0( ) ( ) ( )−1 −1 −2x 2 = x 1 + s 1 = + =(4) (0) (4)3 2 −2 2⇒ G(x2) = 1 =5 −1 1 41 5( ) )6( 2 −3y 1 = G(x 2 ) − G(x 1 ) = 1 − =5 61 5 1( 11B −12 = B −11 + (s 1 − B −11 y 1 ) yT 1y T 1 y 1 = · · · = 125( 42 11 3)))( ) ( ) ( )42 1s 2 = −B2 −1 G(x 2 ) = − 11 2 −18=25 1 3 5 6125( ) ( ) ( )−4−2 −18 −68x 3 = x 2 + s 2 = +41 =25 −4125( ) ( ) (96)⇒ G(x3) = 1 1 3 2 −68−12=5 25 −1 1 961125( ) ( )164( −12 2 −62y 2 = G(x 3 ) − G(x 2 ) = 1 −125 1641 =5 61125( )14B3 −1 = B2 −1 + (s 2 − B2 −1 y 2 ) yT 2743 44= · · · = 1y2 T y 2 505 169 27)42

Annexe 4 : troisième calcul matriciel :F (x) =x 1 =B 1 =( 1 −2(1)311( ( 1 −21 3)x) T) −1= 1 5( 3 −12 1)Algorithme BGM :B 1 s 1 = −F (x 1 ) : 1 5( 3 −12 1) ( s11s 2 1)( 1 −2= −1 3) ( 11( ) −3⇒ s 1 =−14( ) ( ) ( )1 −3 −2x 2 = x 1 + s 1 = + =(1) (−14) (−13)1 −2 −2 24⇒ F (x2) ==1 3(−13) (−41) ( )24 −1 25y 1 = F (x 2 ) − F (x 1 ) = − =−41(4 −45)B 2 = B 1 + (y 1 − B 1 s 1 ) sT 151 −377= · · · = 1s T 1 s 1 205 205 615)( ) ( ) ( )1 51 −377 s1B 2 s 2 = −F (x 2 ) : 224205 205 615 s 2 = −( )2 −41697⇒ s 2 = 1530 7011( ) ( ) ( )−2697−363x 3 = x 2 + s 2 = +−131=530 70111530( ) ( ) (121)1 −2 −363−121⇒ F (x3) = 1=530 1 3 1211106( ) ( )0( −121 24−2y 2 = F (x 3 ) − F (x 2 ) = 1− =106 0 −411′ 665106 4 ′ 34643)

(B 3 = B 2 + (y 2 − B 2 s 2 ) sT 2= · · · = 1 290 ′ 921 −2 ′ 330 ′ 017s T 2 s 2 1 ′ 210 ′ 730 1 ′ 210 ′ 730 3 ′ 632 ′ 190)Algorithme BBM :( ) ( ) ( )1 1 −1 −3s 1 = −B1 −1 F (x 1 ) = −=−2 3 4 −14( ) ( ) ( )1 −3 −2x 2 = x 1 + s 1 = + =(1) (−14) (−13)1 −2 −2 24⇒ F (x2) ==1 3(−13) (−41) ( )24 −1 25y 1 = F (x 2 ) − F (x 1 ) = − =−41 4 −45B −12 = B −11 + (s 1 − B −11 y 1 ) yT 1y T 1 y 1 = · · · = 1530( 615 377−205 51( ) ( ) ( )615 377 24697s 2 = −B2 −1 F (x 2 ) = − 1=530 −205 51 −411530( ) ( ) ( )7011−2697−363x 3 = x 2 + s 2 = +−131=530 70111530( ) ( ) (121)1 −2 −363−121⇒ F (x3) = 1=530 1 3 1211106( ) ( )0( )−121 24−2y 2 = F (x 3 ) − F (x 2 ) = 1− =106 0 −411′ 665106 4 ′ 346B −13 = B −12 + (s 2 − B −12 y 2 ) yT 2y T 2 y 2 = · · · = 13 ′ 202 ′ 780)( 3 ′ 632 ′ 190 2 ′ 330 ′ 017−1 ′ 210 ′ 730 290 ′ 921)44

Bibliographie[1] Broyden, C.G. [1965] : A class of methods for solving nonlinear simultaneousequations, Mathematics of Computation 19, p 577-593.[2] Dennis Jr, J.E. ; Schnabel, R.B. [1996] : Numerical methods for unconstrainedoptimization and nonlinear equations, SIAM, p 168-193.[3] Martinez, J.M. [2000] : Practical quasi-Newton methods for solving nonlinearsystems.[4] Martinez, J.M. [1979] : On the order of convergence of Broyden-Gay-Schnabel’s method, Commentationes Mathematicae Universitatis Carolinae19, p 107-118.[5] Martinez, J.M. [1984] : A quasi-Newton method with modification of onecolumn per iteration, Computing 33, p 353-362.[6] Martinez, J.M. [1987] : Quasi-Newton methods with factorization scalingfor solving sparse nonlinear systems of equations, Computing 38, p 133-141.[7] Martinez, J.M. ; Ochi, L.S. [1982] : Sobre dois métodos de Broyden, MatemáticaAplicada e Computacional 1, p 135-141.[8] Spedicato, E. ; Huang, Z. [1996] : Numerical experience with Newton-likemethods for nonlinear algebraic systems, Computing, p 68-89.45