Nichtlineare Methoden zur Quantifizierung von Abhängigkeiten und ...

Anhang A
Mathematische Werkzeuge
Definition 1 Eine Funktion f heißt konvex auf einem offenem Intervall (a, b),
wenn für beliebige x 1 , x 2 ∈ (a, b) und 0 ≤ λ ≤ 1
f(λx 1 + (1 − λ)x 2 ) ≤ λf(x 1 ) + (1 − λ)f(x 2 )
(A.1)
gilt. Sie heißt streng convex, wenn die Gleichheit nur für λ = 0 oder λ = 1 erfüllt
ist. Eine Funktion f heißt konkav, wenn −f convex ist.
Anmerkung: Ist f streng convex und f(λx 1 + (1 − λ)x 2 ) = λf(x 1 ) + (1 −
λ)f(x 2 ) für 0 < λ < 1 so ist x 1 = x 2 .
Satz 1 (Jensensche Ungleichung für diskrete Zufallsvariablen) Ist f eine
convexe Funktion und X eine Zufallsvariable mit diskreten Werten, dann gilt
E [f(X)] ≥ f(E [X]) .
(A.2)
Hier ist E [f(X)] = ∑ m
i=1 p i f(x i ), p i = P {X = x i } der Erwartungswert von
f(X). Ist f eine streng convexe Funtion, dann folgt aus der Gleichheit, dass
X = E [X] fast sicher ist, das heißt, X ist eine Konstante.
Beweis: Der Beweis erfolgt durch vollständiger Induktion. Für eine Zweimassenverteilung
{p 1 , p 2 } folgt aus Gl. (A.1) unmittelbar
f(p 1 x 1 + p 2 x 2 ) = f(p 1 x 1 + (1 − p 1 )x 2 )
≤ p 1 f(x 1 ) + (1 − p 1 )f(x 2 ) = p 1 f(x 1 ) + p 2 f(x 2 ) ,
also die Behauptung.
Angenommen, die Behauptung sei für eine beliebige k-Massenverteilung
{p ′ 1 , . . . , p′ k } erfüllt und {p 1, . . . , p k , p k+1 } sei eine Verteilung mit k + 1 Massen.
113