METODI DI LINE-SEARCH - Metodi e Modelli matematici per le ...

Relazione del corso di:
Metodi di Ottimizzazione
e di Punto Interno:
METODI DI LINE-SEARCH
Prof. G. Zilli
Dottorando: Manolo Venturin
XVIII Ciclo (2002-03)
Dottorato in Matematica Computazionale
2 febbraio 2006

Capitolo 1
Minimizzazione monodimensionale in
R 1
I metodi di minimizzazione monodimensionale più noti sono
• Bisezione Sequenziale,
• Fibonacci,
• Newton,
• Interpolazione Polinomiale,
• e varianti.
Tutti gli algoritmi precedenti sono validi sotto talune ipotesi e quindi non è detto che si
abbia convergenza a partire da un arbitrario punto iniziale. Per risolvere questo problema
la tecnica usata più frequentemente consiste nel costruire, mediante varianti dell’algorimo di
bisezione, un intervallo su cui si possa applicare l’algoritmo desiderato. Ovviamente questa
tecnica è applicabile solo al caso monodimensionale in quanto l’estensione ad una dimensione
n > 1 richiederebbe la valutazione della funzione su un sottospazio di dimensione n − 1. Ad
esempio, nel caso in cui n sia pari a due, bisognerebbe saper valutare la funzione lungo segmenti
di rette. Dunque, cercare di estendere gli algoritmi di minimizzazione monodimensionale in R 1
mediante varianti basate su una procedura di bisezione estesa a casi di dimensione maggiore
di uno risulta improponibile. L’estensione proposta dai metodi di Line-Search, invece, consiste
nel utilizzare più volte la minimizzazione monodimensionale lungo opportune direzioni.
Per un ulteriore approfondimento sui metodi di miminizzazione monodimensionale in R 1 , si
consultino i seguenti testi:
• V. Comincioli, Analisi Numerica: Metodi, Modelli, Applicazioni. McGraw-Hill. Capp. 7
e 8.
• D. G. Luenberger, Linear and Nonlinear Programming. Addison Wesley. Cap. 7.
1

Capitolo 2
Metodi di Line-search
2.1 Introduzione
In questo capitolo viene analizzata un’estensione degli algoritmi precedenti per risolvere il
seguente tipo di problema:
¯x = arg min
x∈Ω f(x)
dove f è detta funzione obiettivo. Ricordiamo che ¯x è un punto di minimo
relativo se esiste un intorno I(¯x) tale che f(¯x) < f(x) ∀x ∈ I(¯x);
assoluto se f(¯x) < f(x) ∀x ∈ Ω.
Ovviamente, nella valutazione delle prestazioni degli algoritmi si deve tener conto delle
ipotesi che si hanno sulla funzione f, quali convessità, continuità ecc.
2.2 Convergenza Locale/Convergenza Globale
Una strategia per risolvere il suddetto problema consiste nel cercare di rendere globali gli
algoritmi che possiedono convergenza locale, ma da quanto visto precedentemente, ciò non è
sempre possibile ed inoltre non è detto che quando l’algoritmo converge, lo faccia verso un punto
di minimo locale/globale. Il fallimento può essere attribuito (per la struttura dell’algoritmo
vedi sotto) o alla mancanza di una direzione di discesa o ad un passo di ricerca troppo lungo,
e quest’ultimo tipo di fallimento si ripercuote in un aumento del numero di valutazioni della
funzione f. Comunque, la minimizzazione è effettuata per ricercare un punto stazionario o tutto
al più un punto di minimo locale mentre non esistono strategie generali per la ricerca di un
minimo globale. Le procedure utilizzate solitamente cercano di adattare l’algoritmo di Newton
al caso desiderato in quanto vogliono sfruttare l’ordine di convergenza quadratico; tipicamente si
osserva un ristagno del valore della funzione obiettivo perdurare per molte iterazioni, dovuto alla
ricerca delle condizioni di convergenza dell’algoritmo, seguito da una convergenza molto veloce.
L’idea, invece, che sta alla base dei metodi di Line-Search consiste nel cercare di risparmiare
il più possibile sul numero di valutazioni della funzione obiettivo trovarndo, di volta in volta,
una riduzione sostanziale della funzione obiettivo.
Al fine di capire meglio gli algoritmi di Line-Search vediamo alcune proprietà dell’algoritmo
di Newton (formula di aggiornamento del passo) per risolvere il problema ∇f(x) = 0:
che lo rendono naturalemte importante:
x k+1 = x k − (∇ 2 f(x k )) −1 ∇f(x k ) (2.1)
2

CAPITOLO 2. METODI DI LINE-SEARCH 3
1. L’equazione (2.1) può essere vista come un modello lineare locale di f sviluppato nell’intorno
di x k e risolto ponendo uguale a zero l’approssimazione; da questo fatto segue anche
l’ordine di convergenza quadratico.
2. L’equazione (2.1) può essere interpretata come la ricerca della radice dell’equazione ∇f =
0 o del punto di minimo lungo la direzione −(∇ 2 f(x k )) −1 ∇f(x k ); questa proprietà è
collegabile ai metodi di Line-Search (vedi sotto).
3. L’equazione (2.1) converge in un intorno della soluzione con ordine di convergenza quadratico;
più precisamente vale il seguente
Teorema 1. Sia f due volte differenziabile e sia ∇ 2 f(x) l’hessiano di f lipschitziano in
un intorno della soluzione ¯x in cui siano soddisfatte le condizioni sufficienti (∇f(¯x) = 0
e ∇ 2 f(¯x) > 0). Sia x k+1 = x k − (∇ 2 f(x k )) −1 ∇f(x k ) allora
(a) se il punto iniziale x 0 è sufficientemente vicino a ¯x, la successione delle iterate
convege a ¯x;
(b) l’ordine di convergenza è quadratico; e
(c) la successione delle norme dei gradienti {||∇f k ||} converge con ordine quadratico a
zero.
4. L’equazione (2.1) è invariante per trasformazioni affini della funzione f, i.e. se f diventa
αf + β si ha:
x k+1 = x k − α −1 (∇ 2 f(x k )) −1 α∇f(x k ) = x k − (∇ 2 f(x k )) −1 ∇f(x k ).
L’importanza dell’invarianza per trasformazioni affini di un algoritmo numerico è di
renderlo poco sensibile alla formulazione dell’equazione del problema.
2.3 Metodi di Line-Search
L’idea dei metodi di Line-Search consiste in una generalizzazione del metodo del gradiente
introducendo una ricerca monodimensionale inesatta, in particolare:
Iterazione:
dove:
x k+1 = x k + α k p k
p k ≡ Direzione di Ricerca (Search Direction)
α k ≡ Lunghezza del Passo (Step Length).
Il successo del metodo risiede nella scelta della direzione di discesa e della lunghezza del
passo e lo scopo principale è di trovare il minimo con il minor numero di valutazioni della
funzione f, del gradiente ∇f e dell’hessiano ∇ 2 f.
2.3.1 Direzioni di Ricerca
La scelta della direzione di ricerca negli algoritmi di Line-Search è tipicamente:
Direzione di Ricerca ≡ Direzione di Discesa
dove per direzione di discesa p k si intende una direzione che verifica la relazione ∇f T k p k < 0,
i.e. viene assicurato che lungo la direzione individuata dal vettore p k , almeno in un intorno del
punto di partenza, la funzione diminuisce. Esempi classici sono:

CAPITOLO 2. METODI DI LINE-SEARCH 4
1. p k = −∇f k i.e. ∇f T k p k = −||∇f k || 2 2 < 0 nel Metodo del Gradiente;
2. p k = −B −1
k ∇f k con B T k = B k > 0 i.e. ∇f T k p k = −∇f T k B−1 k ∇f k = −||∇f k || 2 B k
< 0;
come casi particolari abbiamo:
(a) Nei metodi di Newton B k = ∇ 2 f k ;
(b) Nei metodi di Quasi-Newton B k ≈ ∇ 2 f k (tipicamentea si utilizza un’approssimazione
tipo BFGS).
2.3.2 Lunghezza del Passo
Una volta scelta la direzione di ricerca bisogna trovare il minimo di f, lungo tale direzione,
mediante ricerca monodimensionale inesatta, attuando un compromesso tra il numero di valutazioni
della funzione ed una sua riduzione sostanziale. Nel calcolo del numero di valutazioni
si deve tener ulteriormente conto del fatto di utilizzare o meno informazioni sul gradiente della
funzione; solitamente, per questioni di efficienza e dal fatto che la derivata deve essere calcolata
in modo analitico una sola volta e dall’esistenza di appositi toolbox di calcolo simbolico, tale
informazione viene quasi sempre utilizzata nell’implementazione di questi codici.
Per trovare la lunghezza del passo si è soliti procedere in due fasi:
1. Bracketing Phase che ricerca un intervallo chiuso contenente il passo desiderabile;
2. Selection Phase che raffina (riduce) la lunghezza del passo, mediante tecniche di bisezione
o di interpolazione, fino ad ottenere il passo desiderato.
La descrizione dettagliata di come vengono implementate queste fasi è rinviata successivamente
(vedi Paragrafo 2.3.9) in quanto richiede la consoscenza delle condizioni di Wolfe.
Si osservi che la semplice implementazione della ricerca al passo k di un α k tale che
f(x k + α k p } {{ } k ) < f(x k ) non risulta una scelta ottimale in quanto l’algoritmo può ristagnare
x k+1
ovvero le riduzioni dei valori della funzione f possono essere poco apprezzabili e questo porta al
non raggiungimento del punto di minimo, mentre tale fenomeno può essere eliminato mediante
l’implementantazione delle condizioni di Wolfe o utilizzando le condizioni di Goldstein.
2.3.3 Prima Condizione di Wolfe o Regola di Armijo
La scelta del parametro α al passo k è tale da verificare la seguente diseguaglianza:
f(x k + αp } {{ } k ) ≤ f(x k ) + c 1 α∇fk T p
} {{ } k
x k+1
l(α)
(2.2)
o, equivalentemente (nota come Regola di Armijo):
φ(α) ≤ φ(0) + c 1 αφ ′ (0)
con c 1 ∈ (0, 1) e φ(α) = f(x k + αp k ).
L’esempio in Figura 2.1 mette in evidenza le due zone accettabili e la retta con pendenza
negativa l(α) derivanti dall’implementazione della prima condizione di Wolfe. Come si può
notare, l’utilizzo di questa regola non assicura che l’algoritmo produca sempre passi “accettabili”
in quanto può restituire un punto “vicino” a quello precedentemente calcolato senza essere in
presenza di una riduzione sostanziale della funzione f.

CAPITOLO 2. METODI DI LINE-SEARCH 5
2.3.4 Seconda Condizione di Wolfe
La seconda condizione di Wolfe serve a risolvere il problema precedente dell’eventuale stagnazione
dell’algoritmo scegliendo, al passo k, un valore di α tale da verificare la seguente
diseguaglianza:
∇f(x k + αp k ) T p k
} {{ }
φ ′ (α)
≥ c 2 ∇fk T p
} {{ } k , (2.3)
φ ′ (0)
con c 2 ∈ (c 1 , 1).
Questa condizione può essere interpretata nel modo seguente: se la pendenza di φ ′ (0) è
fortemente negativa, si ha l’indicazione che la f può essere ridotta significativamente se ci
spostiamo lungo tale direzione.
In Figura 2.2 viene mostrata l’interpretazione grafica della prima e della seconda condizione
di Wolfe.
φ(α) = f(x k + αp k )
l(α)
α
Accettabile
Accettabile
Figura 2.1: Esemplificazione della prima condizione di Wolfe.
Osservazione 1. L’importanza delle condizioni di Wolfe risiede nell’invarianza della (2.2)
e della (2.3) per trasformazioni affini o cambiamenti di scala della funzione f (come si può
provare facilmente).
Osservazione 2. In Figura 2.3 viene mostrato il comportamento della prima e della seconda
condizione di Wolfe nel caso in cui la funzione f sia convessa. In particolare si osservi
come la seconda condizione di Wolfe vada a restringere l’intervallo di ricerca del minimo
monodimensionale.
Osservazione 3. La validazione della seconda condizione di Wolfe non avviene mediante valutazione
del gradiente nel punto candidato, in quanto porterebbe ad un aumento eccessivo
del numero di valutazioni (del gradiente) perciò si preferisce aggirare l’ostacolo mediante una
tecnica di “simulazione” (vedi paragrafo 2.3.9).

CAPITOLO 2. METODI DI LINE-SEARCH 6
φ ′ (0)
φ(α) = f(x k + αp k )
c 2 φ ′ (0)
l(α)
α
Accettabile 1
Accettabile 1
Accettabile 2 Accettabile 2 Accettabile 2
Acc. 1 e 2 Acc. 1 e 2 Acc. 1 e 2
Figura 2.2: Esemplificazione della prima e della seconda condizione di Wolfe.
2.3.5 Condizioni di Goldstein
Altre condizioni che possono essere implementate in un codice per la ricerca del minimo sono
le condizioni di Goldstein, in cui al passo k, α viene scelto in modo tale da soddisfare le due
diseguaglianze:
f(x k ) + (1 − c)α∇f T k p k ≤ f(x k + αp k ) ≤ f(x k ) + cα∇f T k p k (2.4)
con 0 < c < 1/2. Nella prima delle due diseguaglianze di (2.4) si attua un controllo del passo,
mentre la seconda rappresenta la prima condizione di Wolfe o regola di Armijo.
In questa relazione, queste condizioni (2.4) non sono state prese in considerazione in quanto
presentano alcuni problemi legati al fatto che possono escludere tutti i minimi presenti nella
funzione (vedi Figura 2.4).
2.3.6 Riduzione Sufficiente e Backtracking
Come facilmente intuibile è difficile verificare le due condizioni di Wolfe, perciò si preferisce
utilizzare una procedura detta di backtracking il cui schema tipico è riportato qui sotto.
Procedura di Backtracking
scegliere ᾱ > 0, ρ, c ∈ (0, 1); porre α ← ᾱ
repeat until f(x k + αp k ) ≤ f(x k ) + cα∇f T k p k
α ← ρα
end(repeat)
α k = α

CAPITOLO 2. METODI DI LINE-SEARCH 7
φ ′ (0)
c 2 φ ′ (0)
φ(α) = f(x k + αp k )
l(α)
α
Acc. 1
Acc. 2
Acc. 1 e 2
Figura 2.3: Esemplificazione della prima e della seconda condizione di Wolfe nel caso in cui la
funzione f sia convessa.
Come si può vedere viene verificata la prima condizione di Wolfe mentre, la seconda, viene
“simulata” attraverso la scelta del fattore di riduzione ρ tale che ρ ∈ [ρ low , ρ high ] con 0 <
ρ low < ρ high < 1; questa ultima scelta viene anche adottata per salvaguardare l’interpolazione
(vedi paragrafo 2.3.9).
2.3.7 Convergenza dei Metodi di Line-Search
Definiamo l’angolo θ k tra p k e −∇f k come cos θ k =
−∇f k T p k
. Ad esempio, nel caso del
||∇f k ||·||p k ||
metodo del gradiente, in cui p k = −∇f k , si ha cos θ k = ||∇f k|| 2
||∇f k
=
|| 2 1, i.e. formano un angolo
di 0 ◦ , ossia sono allineati.
Abbiamo introdotto il concetto di angolo tra direzione di ricerca e direzione di massima
discesa perché è richiesto nella dimostrazione del Teorema di Zoutendijk (vedi sotto). Questo
teorema ci dice, ad esempio, che il metodo del gradiente con ricerca del minimo inesatta è
convergente e ci dice anche quanto lontano possiamo scegliere il vettore p k da ∇f k affinché il
metodo sia ancora convergente.
Teorema 2. Si consideri un’iterazione del tipo x k+1 = x k + α k p k , dove p k è una direzione
di discesa ed α k è tale da soddisfare le condizioni di Wolfe (2.2) e (2.3). Supponiamo inoltre
f limitata inferiormente in R n e di classe C ∞ in un aperto N contenente l’insieme di livello
L = {x: f(x) ≤ f(x 0 )} dove x 0 è il punto iniziale dell’iterazione. Si assuma inoltre che il
gradiente ∇f sia lipschitziano su N , i.e. esiste una costante L > 0 tale che
||∇f(x) − ∇f(ˆx)|| ≤ L||x − ˆx|| ∀x, ˆx ∈ N .

CAPITOLO 2. METODI DI LINE-SEARCH 8
φ(α) = f(x k + αp k )
cα
(1 − c)α
α
Acc. Acc. Acc.
Figura 2.4: Esemplificazione del fallimento delle condizioni di Goldstein.
Allora, vale la condizione di Zoutendijk,
∑
cos 2 θ k ||∇f k || 2 < ∞. (2.5)
k≥0
Osservazione 4. La condizione di Zoutendijk (2.5) implica che (cos 2 θ k )||∇f k || → 0.
Se nel nostro metodo per scegliere la direzione di ricerca p k nell’iterazione x k+1 = x k + α k p k
si assicura che l’angolo θ k è limitato e lontano dai 90 ◦ , esiste cioè una constante positiva δ tale
che
cos θ k ≥ δ > 0, ∀k,
allora segue immediatamente che
lim ||∇f k|| = 0.
k→∞
Questo limite, nei metodi di Line-Search significa il raggiungimento da parte del metodo di
un punto di stazionarietà della funzione e solo aggiungendo ulteriori informazioni sulla direzione
di ricerca p k , quale l’informazione sulla curvatura data dalla matrice hessiana ∇ 2 f k , si
può cercare di far raggiungere un minimo locale all’algoritmo.
Dimostrazione del Teorema (2). Dalla seconda condizione di Wolfe (2.3), abbiamo
ossia, sottraendo −∇f T k p k si ha
∇f(x k + α k p } {{ } k ) T p k ≥ c 2 ∇fk T p k
x k+1
La condizione di Lipschitz sul gradiente implica che
(∇f k+1 − ∇f k ) T p k ≥ (c 2 − 1)∇f T k p k . (2.6)
||∇f(x) − ∇f(ˆx)|| ≤ L||x − ˆx||
∀x, ˆx ∈ N

CAPITOLO 2. METODI DI LINE-SEARCH 9
e ricordando che x k+1 − x k = α k p k , si ha
(∇f k+1 − ∇f k ) T p k ≤ α k L||p k || 2 . (2.7)
Combinando le due diseguaglianze (2.6) e (2.7) si ottiene
e risolvendo rispetto a α k si ha
ossia
(c 2 − 1)∇f T k p k ≤ (∇f k+1 − ∇f k ) T p k ≤ α k L||p k || 2
α k ≥ (c 2 − 1) ∇f T k p k
||p k || 2 .
Sostituendo questa diseguaglianza nella prima condizione di Wolfe (2.2), si ha
f(x k + α k p k ) ≤ f(x k ) + c 1 α k ∇f T k p k
1 − c 2
f k+1 − f k ≤ c 1
} {{ L }
Dalla definizione di angolo, cos θ k = −
ed iterando il procedimento si ottiene
c
∇f k T p k
||∇f k ||·||p k ||
(∇f T k p k) 2
||p k || 2 .
si ha
f k+1 − f k ≤ c cos 2 θ k · ||∇f k || 2
f k+1 ≤ f 0 −
Se f è limitata inferiormente allora:
c
k∑
c cos 2 θ j ||∇f j || 2 .
j=0
k∑
cos 2 θ j ||∇f j || 2 < ∞
j=0
2.3.8 Ordine di Convergenza
In questo paragrafo si vuole solo mettere in evidenza il fatto che nel metodo del gradiente si
può avere velocità di convergenza inaccettabile se si esegue una ricerca esatta monodimensionale
(fenomeno dello Zig-Zag) mentre nei metodi di Line-Search la cosa difficile è riuscire a
tarare i parametri dell’algoritmo in modo ottimale, in quanto vincolati alla scelta del passo e
alla direzione di discesa che, a loro volta, dipendono dalla funzione f che si sta cercando di
minimizzare.

CAPITOLO 2. METODI DI LINE-SEARCH 10
2.3.9 Algoritmi per la Selezione del Passo
Gli algoritmi per la selezione della lunghezza del passo dividono il problema della ricerca del
minimo monodimensionale in due parti: nella prima parte candidano un opportuno passo
iniziale mentre nella seconda implementano contemporaneamente la Bracketing Phase e la
Selection Phase per ottenere il passo voluto.
Fase 1: Scelta della lunghezza del passo iniziale.
La scelta del passo iniziale è vincolata all’utilizzo o meno di metodi invarianti per trasformazioni
affini nella scelta della direzione di ricerca. In questa categoria (metodi invarianti
per trasformazioni affini) rientrano i metodi Newton e Quasi-Newton e si è soliti scegliere
α 0 = 1. Nell’altra categoria di algoritmi, in cui rientrano i metodi basati sul gradiente, le
strategie più largamente utilizzate sono:
1. Scegliere α 0 := α0 k = α
finale
k−1
∇f T k−1 p k−1
∇f T k p k
ossia si assume una variazione del primo
ordine tra il passo k e il passo precedente k − 1, i.e. α k 0∇f T k p k = α k−1
finale ∇f T k−1 p k−1;
2. Scegliere α 0 = min(1, 1.01 ˆα 0 ) dove ˆα 0 = 2(f k−f k−1 )
φ ′ , che corrisponde a calcolare il
(0)
minimo di una funzione quadratica che interpola i valori f k − 1, f k e φ ′ (0) = ∇fk T p k;
)
.
3. Scegliere α 0 = min
(
1,
100
1+||∇f k ||
Fase 2: Interpolazione del passo o variante dello schema di bisezione.
Una volta noto il punto iniziale c’è bisogno di calcolare la lunghezza del passo desiderata
e questa avviene mediante tecniche di interpolazione che utilizzano anche le informazioni
sulla derivata della funzione φ(α) = f(x k + αp k ) o varianti basate sul metodo di bisezione,
quale Fibonacci, prive dell’informazione sulle derivate. Il metodo di interpolazione
qui riportato può essere visto come raffinamento della procedura di Backtracking vista
precedentemente.
Supponiamo noto α 0 . Se α 0 è tale da soddisfare la prima condizione di Wolfe
φ(α 0 ) ≤ φ(0) + c 1 α 0 φ ′ (0)
allora α = α 0 ed abbiamo finito, altrimenti bisogna ricercare α nell’intervallo [0, α 0 ] (vedi
Figura 2.1). Si costruisce allora un’approssimazione quadratica φ q (α) di φ tramite le tre
condizioni φ(0), φ ′ (0) e φ(α 0 ), ottenendo
( )
φ(α0 ) − φ(0) − α 0 φ ′ (0)
φ q (α) =
α 2 + φ ′ (0)α + φ(0)
e se ne calcola il minimo (derivando)
α 2 0
Se è verificata la prima condizione di Wolfe
φ ′ (0)α0
2 α 1 = −
2[φ(α 0 ) − φ(0) − φ ′ (0)α 0 ] .
φ(α 1 ) ≤ φ(0) + c 1 α k φ ′ (0)

CAPITOLO 2. METODI DI LINE-SEARCH 11
allora si pone α = α 1 , altrimenti si costruisce un’interpolazione cubica φ c (α) basata sui
valori φ(0), φ ′ (0), φ(α 0 ) e φ(α 1 ), ottenendo
dove
[ a
b
]
=
il cui minimo è (derivando)
φ c (α) = aα 3 + bα 2 + φ ′ (0)α + φ(0),
[
1 α
2
0 α1
2
α0α 2 1(α 2 1 − α 0 ) −α0 3 α1
3
α 2 = −b + √ b 2 − 3aφ ′ (0)
.
3a
] [ ]
φ(α1 ) − φ(0) − φ ′ (0)α 1
φ(α 0 ) − φ(0) − φ ′ (0)α 0
Se necessario si ripete il processo utilizzando un’interpolazione cubica basata sui valori
φ(0), φ ′ (0) e gli ultimi due valori di φ calcolati, fintantoché la prima condizione di Wolfe
non è verificata. Se qualcuno degli α i è troppo vicino o troppo piccolo rispetto al
precedente α i−1 , lo si pone uguale a α i−1
; questa procedura assicura un ragionevole e
2
progressivo miglioramento, salvaguarda l’interpolazione e simula la seconda condizione di
Wolfe che evita di scegliere un passo di riduzione troppo piccolo.
Ovviamente altre tecniche di interpolazione possono essere utilizzate e la loro efficienza è
legata solo alla struttura della funzione f e del primo punto iniziale dell’iterazione.
Esempio Numerico
In questa relazione si è costruita un’interfaccia (file km.m) comune per le routine di ottimizzazione
di Matlab e quelle proposte da C. T. Kelley relativo alla ricerca del minimo della funzione
di Rosenbrock
f(x) = 100(x 2 − x 2 1) 2 + (1 − x 1 ) 2 .
Il software km permette altresí di cambiare il punto iniziale e confrontare i risultati.
Da diverse prove effettuate si è notato che l’algoritmo migliore, cioè quello che impiega il
minor numero di valutazioni della funzione f, è gaussn che implementa un metodo Damped
Gauss-Newton; in questa relazione tali metodi non sono stati presi in considerazione.
Per un ulteriore approfondimento, si consultino i seguenti testi:
• Manuale pdf del Toolbox Optimization di Matlab.
• Elijah Polak, Optimization: Algorithms and Consistent Approximations. Springer.
• Jorge Nocedal and Stephen J. Wright, Numerical Optimization (Cap.3), Springer, 1999
• C. T. Kelley, Iterative Methods for Optimization. Siam.
• C. T. Kelley, Iterative Methods for Linear and Nonlinear Equations. Siam.
• G. Zilli, Metodi di Ottimizzazione. Imprimitur.