6. Numerische Lösung des Nullstellenproblems

Problemstellung
6. Numerische Lösung des
Nullstellenproblems
Zwischenwertsatz:
Sei f : [a,b] → R stetig und c ∈ R mit
f(a) ≤ c ≤ f(b) oder f(b) ≤ c ≤ f(a).
Dann gibt es ein x ∈ [a,b] mit f(x) = c.
Frage: Wie lässt sich x bestimmen?
Nullstellenproblem: c = 0.
1
2
Bisektionsverfahren
Fixpunktiteration (1)
Einfach Methode: Unterteile Intervall in der Mitte und berechne den
Wert. Der gesuchte Wert muss in einer der beiden Teilintervalle liegen.
Für eine Nullstelle:
Definition:
Eine Gleichung der Form F(x) = x heißt Fixpunktgleichung. Ihre
Lösungen, also ¯x mit F(¯x) = ¯x heißen Fixpunkte
Gegeben sei f : [a 0 ,b 0 ] → R mit f(a 0 )·f(b 0 ) < 0. Erzeuge rekursiv die
Intervalle
⎧ [
⎪⎨ ai , a ]
i+b i
2 falls f ( a i +b i
2
)·f(ai ) ≤ 0
[a i+1 ,b i+1 ] := [
⎪⎩ ai +b i
2 ,b ]
i sonst
Die Nullstelle liegt im Intervall [a i ,b i ] und es gilt
lim (b b−a
i −a i ) = lim
i→∞ i→∞ 2 i = 0.
Definition:
Gegeben sie F : [a,b] → R,
x 0 ∈ [a,b]. Die rekursive Folge
x n+1 := F(x n ), n = 0,1,...
heißt Fixpunktiteration von F
zum Startwert x 0 .
X 2
X 1
X 3
4
X 0
X 1
X 2
X 3
3
numinf_6_nullstellen 1

Fixpunktiteration (2)
Fixpunktiteration (3)
Beispiel
Bestimme die Nullstelle von p(x) = x 3 −x+0.3.
Methode: Führe die Fixpunktiteration x n+1 = F(x n ) = x 3 n +0.3, durch
Ergebnis:
• Startwert x 0 = −1: konvergiert gegen x = 0.3389...
Satz
Sei F : [a,b] → R mit stetiger Ableitung F ′ und ¯x ∈ [a,b] ein Fixpunkt
von F. Dann gilt für die Fixpunktiteration x n+1 = F(x n )
• Ist |F ′ (¯x)| < 1, so konvergiert x n gegen ¯x, falls der Startwert x 0
nahe genug bei ¯x liegt. Der Punkt ¯x heißt anziehender Fixpunkt.
• Ist |F ′ (¯x)| > 1, so konvergiert x n für keinen Startwert x 0 ≠ ¯x. Der
Punkt ¯x heißt abstoßender Fixpunkt.
• Startwert x 0 = 0 : konvergiert gegen x = 0.3389...
• Startwert x 0 = 1: divergiert
5
In unserem Beispiel ist nur der Fixpunkt bei x = 0.3389... anziehend.
Die anderen beiden Fixpunkte (liegen bei den anderen beiden Nullstellen
von p(x)) sind abstoßend.
6
Fixpunktiteration (4)
Fixpunktiteration (5)
Sehr einfaches Anwendungsbeispiel
• Zum diskreten Zeit t i sind k i Menschen an einer Grippe erkrankt
• Die Zahl der Neuerkrankungen ist proportional zur Zahl der möglichen
Begegnungen zwischen kranken und gesunden Menschen.
• Ein zum Zeitpunkt t i kranker Menschen ist zum Zeitpunkt t i+1
wieder gesund.
• Die Übertragungswahrscheinlichkeit sein α, falls alle innerhalb eines
Zeitintervalls miteinander in Kontakt sind.
• Frage: Wie entwickelt sich die Anzahl der kranken?
• Antwort: Iteriere k i+1 = αk i (1−k i )
• Iterationsfunktion: F(x) = αx(1−x)
• Fixpunkt:
¯x = F(¯x) = α¯x(1−¯x) ⇒ ¯x = 1−α
α
• Geometrische Interpretation: Der Fixpunkt ist der Schnittpunkt
der Kurven y = F(x) und y = x.
Die aktuellen Modelle zur Schweinegrippe oder Vogelgrippe funktionieren
analog, sind nur erheblich komplizierter.
7
8
numinf_6_nullstellen 2

Banachscher Fixpunktsatz (1)
Banachscher Fixpunktsatz (2)
Sei F : [a,b] → [a,b] eine kontrahierende Abbildung, d.h. es existiere
eine Konstante α < 1 mit
Dann gilt
|F(x)−F(y)| ≤ α|x−y| für alle x,y ∈ [a,b].
• F hat genau einen Fixpunkt ¯x in [a,b].
• Die Fixpunktiteration x n+1 = F(X n ) konvergiert gegen ¯x für alle
Startwerte x 0 ∈ [a,b].
• Es gelten die Fehlerabschätzungen
|x n − ¯x| ≤ αn
1−α |x 1 −x 0 |
|x n − ¯x| ≤ α
1−α |x n −x n−1 |
a-periori-Abschätzung
a-posteriori-Abschätzung
9
Beweis von Abschätzung 1: mit x n+1 = F(x n ) gilt:
|x n+1 −x n | = |F(x n )−F(x n−1 )| ≤ α|x n −x n−1 |
Damit gilt für zwei Werte |x n und |x k |
≤ α 2 |x n−1 −x n−2 | ≤ ... ≤ α n |x 1 −x 0 |
|x n −x k | = |(x n −x n−1 )+(x n−1 −x n−2 )+...+(x k+1 −x k )|
≤ |(x n −x n−1 )|+|(x n−1 −x n−2 )|+...+|(x k+1 −x k )|
≤ (α n−1 +α n−2 +...+α k )·|x 1 −x 0 |
n−1 ∑
= ( α i k−1
( )
∑
− α i 1−α n
)·|x 1 −x 0 | =
i=0 i=0 1−α − 1−αk ·|x 1 −x 0 |
1−α
Für lim n→∞ wird x n → ¯x und α n → 0 und damit
|¯x−x k | ≤ αk
1−α |x 1 −x 0 |
10
Newtonverfahren (1)
Newtonverfahren (2)
Gesucht ist die Nullstelle einer steig differenzierbaren Funktion f :
[a,b] → R, also f(¯x) = 0.
Zurückführung auf das Fixpunktproblem über Taylorentwicklung
f(x+h) = f(x)+f ′ (x)·h+O(x 2 ) mit x+h = ¯x und x = x k und damit
h = ¯x−x k
0 = f(¯x) = f(x k )+f ′ (x k )(¯x−x k )+O((¯x−x k ) 2 ).
¯x = x k + f(x k)
f ′ (x k ) +O((¯x−x k) 2 )
Setze ¯x → x k+1 . Falls f ′ (x k ) ≠ 0 verwende die Iterationvorschrift unter
Vernachlässigung des Terms 2. Ordnung
x k+1 = x k − f(x k)
f ′ (x k )
11
Geometrische Interpretation:
Ersetze f(x) lokal an der Stelle x k
durch die Tangente
t(x) = f(x k )+f ′ (x k )(x−x k )
und bestimme die Nullstelle der
Tangente. Verwende diesen Wert
als Näherung der gesuchten Nullstelle.
y
x
x
1 0
Tangente
Problem:
Ist die Ableitung “klein”, konvergiert das Verfahren eventuell nicht.
f(x ) 0
f(x)
t(x)
x
12
numinf_6_nullstellen 3

Newtonverfahren (3)
Newtonverfahren (4)
Da das Problem äquivalent zu dem Fixpunktproblem ¯x = F(¯x) ist mit
der Fixpunktfunktion
F(x) = x− f(x)
f ′ (x) ,
gelten die Aussagen über Iterationsgleichungen wie z.B. der Banachsche
Fixpunktsatz.
Definition Konvergenzordnung:
Sie x n eine Folge mit lim n→∞ = ¯x. Dann hat das Verfahren die
Konvergenzordnung q ≥ 1, wenn es eine Konstante c > 0 gibt mit
|x n+1 − ¯x| ≤ c·|x n − ¯x| q
Ist q = 1, wird zusätzlich verlangt: c < 1.
13
Das Newtonverfahren für eine stetig differenzierbare Funktion f mit
einfacher Nullstelle ¯x ist lokal quadratisch konvergent.
Beweis:
Taylorentwicklung liefert
0 = f(¯x) = f(x k )+f ′ (x k )(¯x−x k )+ 1 2 f′′ (z)(¯x−x k ) 2
mit einer Zwischenstelle z.
(¯x−x k )+ f(x k)
f ′ (x k ) = (¯x−x k+1) = − 1 f ′′ (z)
2f ′ (x k ) (¯x−x k) 2
1 f ′′ (z)
|¯x−x k+1 | =
∣2f ′ ∣
(x k ) ∣·|¯x−x k| 2 = C|¯x−x k | 2
C ist beschränkt, falls f ′ (x) ≠ 0 in der Umgebung von ¯x
14
Sekantenverfahren
Newton-Verfahren für Polynome
Anstatt die Ableitung zu berechnen,
verwende einen Differenzenquotient.
Mit
f ′ (x k ) ≈ f(x k)−f(x k−1 )
x k −x k−1
= f ′ D (x k)
und
folgt
S(x) = f(x k )+f ′ D (x k)(x−x k )
y
f(x)
Sekante
t(x)
f(x 0
)
f(x 1)
x
x
x 2 0 x
1
Betrachte Polynom mit n reelle Nullstellen ξ 1 > ξ 2 > ... > ξ n .
Das Newton-Verfahren konvergiert für x 0 > ξ 1 gegen die größte Nullstelle.
Methode für alle Nullstellen:
• Bestimme die größte Nullstelle und führe Polynomdivision mit (x−
ξ 1 ) durch.
x
x k+1 = x k − k −x k−1
f(x k )−f(x k−1 ) ·f(x k)
• Vorteil: Berechnung der Ableitungen fällt weg.
• Nachteil: Es werden zwei Startwerte benötigt und die Konvergenz
ist langsamer.
15
• Führe die Prozedur so lange durch, bis alle Nullstellen gefunden
wurden.
• Achtung: Polynomdivision kann zu großen Rundungsfehlern führen
(es gibt Tricks, diese zu vermeiden).
16
numinf_6_nullstellen 4

Newtonverfahren in mehreren Dimensionen (1)
Newtonverfahren in mehreren Dimensionen (2)
Im Allgemeinen liegen mehrere Funktionen f = f 1 ,f 2 ,...,f n , abhängig
von mehreren Variablen x = x 1 ,x 2 ,...,x n vor.
Frage: Wo liegt die Stelle ¯x, an der f Null wird?
Antwort: Verallgemeinere das Newton-Verfahren unter der Verwendung
der so genannten Jacobi-Matrix, die die Ableitungen der Funktionen
nach allen Variablen enthält.
⎛
J =
⎜
⎝
∂f 1
∂x 1
···
. ... .
∂f n
∂x 1
···
⎞
∂f 1
∂x n
⎟
∂f
⎠ n
∂x n
Anstelle von
gilt nun
x k+1 = x k −(f ′ (x k )) −1 ·f(x k )
x k+1 = x k −J −1 f(x k )
Berechnung der inversen Jacobi-Matrix:
J ·J −1 = I
ergibt n 2 Gleichungen für n 2 Unbekannte in J −1 .
(da gibt es viel bessere Verfahren)
17
18
Optimierungsproblem
Optimierungsproblem
Häufige Anwendungen: Gesucht ist das Minimum einer Funktion in
Abhängigkeit von vielen Variablen.
Methode: Bestimme die Nullstelle der ersten Ableitung. In einer Variablen:
x k+1 = x k − f′ (x k )
f ′′ (x k )
Mit mehreren Variablen ist gesucht
min
x 1 ,...,x n
F(x 1 ,...,x n )
Minimum ist dort, wo die Tangenten waagerecht sind.
Das ist dort, wo der Gradientenvektor
⎛ ⎞
∂F ⎛ ⎞
∂x 1
f 1
∇F = ⎜
⎝ . ⎟
⎠ := ⎜ ⎟
⎝ . ⎠ := f
∂F f n
∂x n
eine Nullstelle hat. Das Problem ist äquivalent zum Newtonverfahren
in mehreren Dimensionen. Berechnet werden muss die Ableitung von
f bzw. ∇F, also die 2. Ableitung von F, die Matrix mit den Elementen
Die Matrix heißt Hesse-Matrix.
∂f i
∂x j
= ∂2 F
∂x i ∂x j
19
20
numinf_6_nullstellen 5

Anwendungen
Diverse weitere Variationen dieser Verfahren existieren.
Einige Anwendungen:
• Optimierungsprobleme
• Neuronale Netze
• Iterationsvorschriften als chaotische Systeme, z.B. für Computergrafiken
• Mein Vortrag in der Vortragsreihe WS 2008/2009 des FB03, Thema:
“Hat eine Gleichung eine Lösung? Ein Computerbeweis”
21
numinf_6_nullstellen 6