Lineární a nelineární regrese

Matematika pro chemické inženýry
Drahoslava Janovská
Přednášky ZS 2011-2012

Lineární a nelineární regrese

Vyhodnocování experimentálních dat Základní model lineární regrese Nelineární regrese
Obsah
1 Vyhodnocování experimentálních dat
2 Základní model lineární regrese
Ekvivalentní model
Metoda nejmenších čtverců
3 Nelineární regrese

Vyhodnocování experimentálních dat Základní model lineární regrese Nelineární regrese
Vyhodnocování experimentálních dat
- Při řešení chemicko-inženýrských problémů jsme obvykle schopni
odvodit model procesu nebo děje probíhajícího v zařízení
- Často nejsme schopni určit numerické hodnoty parametrů, které v
modelu vystupují
Funkci η(x) = E(Y (x)) definovanou na definičním oboru A ⊂ R nazveme
regresní funkcí. Regresí rozumíme závislost střední hodnoty náhodné
veličiny Y (x) na veličině x.
Předpokládáme, že známe tvar regresní funkce, a na základě náhodného
výběru odhadujeme její neznámé parametry:
Vybereme n hodnot nezávisle proměnné x j , j = 1, . . . , n, x j ∈ A, a pro každé
x j napozorujeme (naměříme) realizaci (hodnotu) y j náhodné veličiny Y j :
x j , j = 1, . . . , n, ∈ A −→ y j = Y (x j ) .
Získané dvojice hodnot (x 1 , y 1 ), . . . , (x n, y n) nám poslouží k odhadu
neznámých parametrů.

Vyhodnocování experimentálních dat Základní model lineární regrese Nelineární regrese
Základní model lineární regrese
Model lineární regrese by měl splňovat:
1. η(x) je lineární funkcí tvaru
η(x) =
p∑
β k f k (x) ,
kde f k (x) jsou známé funkce a β k , k = 1, . . . , p neznámé parametry.
Funkce η je lineární vzhledem k parametrům.
2. Hodnotě x j je přiřazena náhodná veličina Y j , pro kterou platí
k=1
E(Y j ) = η(x j ) , D(Y j ) = σ 2 , j = 1, . . . , n ,
Druhá rovnice znamená, že rozptyl nezávisí na x j a je tedy konstantní,
což může např. znamenat, že všechny realizace y 1 , . . . , y n náhodných
veličin Y 1 , . . . , Y n jsou naměřeny se stejnou přesností.

Vyhodnocování experimentálních dat Základní model lineární regrese Nelineární regrese
3. Matice F = (f ij ) , kde f ij = f i (x j ) , i = 1, . . . , p, j = 1, . . . , n. má hodnost
p . Poznamenejme, že počet n dvojic (x j , y j ) musí být větší než počet
neznámých parametrů p, přesněji, mělo by platit n − p > 2 .
4. Náhodné veličiny Y 1 , . . . , Y n jsou nekorelované, t.j.
Maticově zapsáno
cov(Y i , Y j ) = 0, i, j = 1, . . . , n, i ≠ j .
C y = σ 2 E n ,
kde E n je jednotková matice řádu n, C y je matice kovariance veličin
Y 1 , . . . , Y n .
Příklad Pro regresní přímku, tj. regresní funkci tvaru η(x) = α + βx je
počet neznámých parametrů p = 2 a β 1 = α, f 1 = 1, β 2 = β, f 2 = x .

Vyhodnocování experimentálních dat Základní model lineární regrese Nelineární regrese
Ekvivalentní model
Popsaný model v ekvivalentním tvaru
Y j = η(x j ) + ε j =
p∑
β k f kj + ε j , j = 1, . . . , n , (1)
k=1
kde hodnoty x 1 , . . . , x n jsou hodnotami nenáhodné proměnné, hodnoty
f kj = f k (x j ) splňují podmínku 3. modelu. Pro náhodné chyby ε j , j = 1, . . . , n ,
a pro matici kovariance C ε náhodného vektoru ε = (ε 1 , . . . , ε n) platí
E(ε j ) = 0 , j = 1, . . . , n , C ε = σ 2 E = C y .
Rovnici (1) lze zapsat maticově
−→ Y = F
T−→ β +
−→ ε .

Vyhodnocování experimentálních dat Základní model lineární regrese Nelineární regrese
Metoda nejmenších čtverců
Metoda nejmenších čtverců
Odhady neznámých parametrů β 1 , . . . , β p v popsaném modelu lineární
regrese budeme hledat metodou nejmenších čtverců . Označme tyto odhady
b 1 , . . . , b p, což jsou výběrové funkce náhodného výběru y 1 , . . . , y n.
Minimalizujeme součet čtverců odchylek napozorovaných hodnot y j od
středních hodnot η j = η(x j ), tedy součet čtverců
Q(β 1 , . . . , β p) =
n∑
(y j − η j ) 2 =
j=1
(
n∑
y j −
Odhady b 1 , . . . , b p tedy najdeme jako řešení soustavy rovnic
j=1
∂Q
∂β k
= 0, k = 1, . . . , p.
Tato soustava se nazývá soustavou normálních rovnic.
) 2 p∑
β k f kj .
k=1

Vyhodnocování experimentálních dat Základní model lineární regrese Nelineární regrese
Metoda nejmenších čtverců
Soustavu pro hledané odhady b 1 , . . . , b p zapíšeme v přehledném tvaru
kde
b 1 S 11 + b 2 S 12 + · · · + b pS 1p = S 1y
b 1 S 21 + b 2 S 22 + · · · + b pS 2p = S 2y
.
b 1 S p1 + b 2 S p2 + · · · + b pS pp = S py ,
S ki =
S ky =
n∑
f kj f ij , i, k = 1, . . . , p ,
j=1
n∑
f kj y j , k = 1, . . . , p .
j=1
Zřejmě S ik = S ki pro i, k = 1, . . . , p .

Vyhodnocování experimentálních dat Základní model lineární regrese Nelineární regrese
Metoda nejmenších čtverců
Maticově:
Je-li −→ y = (y 1 , . . . , y n) T , −→ b = (b 1 , . . . , b p) T , pak normální rovnice lze zapsat
ve tvaru
F F T −→ b = F
−→ y . (2)
Podle předpokladu je h(F ) = p, pak také h(F F T ) = p a F F T je typu p × p,
regulární =⇒ existuje (F F T ) −1 , a tedy z rovnice (2) lze vyjádřit vektor −→ b :
−→ b = (F F T ) −1 F −→ y ,
vektor −→ b je jednoznačně určen a jeho jednotlivé složky jsou lineárními
kombinacemi hodnot y 1 , . . . , y n .
Pozor! Výpočet je extrémně numericky nestabilní, viz přednáška ”Lineární
algebra”.

Vyhodnocování experimentálních dat Základní model lineární regrese Nelineární regrese
Metoda nejmenších čtverců
Příklad
Necht’ regresní přímka prochází počátkem, η(x) = a x , pak f ij = x a β 1 = α .
Označme −→ x = (x 1 , . . . , x n) T , F = (x 1 , . . . , x n) . Pak
F F T = (x 1 , . . . , x n) · (x 1 , . . . , x n) T =
n∑
j=1
xj 2 =⇒ (FF T ) −1 1
= ∑ n
j=1 x .
j
2
Odhad parametru α je
a = (F F T ) −1 F −→ y =
( ) ∑ n
1 −→
∑ n x
T−→ j=1 x jy j
y =
j=1 x ∑
j
2
n
j=1 x .
j
2

Vyhodnocování experimentálních dat Základní model lineární regrese Nelineární regrese
Metoda nejmenších čtverců
Nestranný odhad lineární parametrické funkce
Úloha Hledáme odhad lineární funkce parametrů −→ β = (β 1 , . . . , β p) T .
Uvažujme parametrickou funkci
γ =
p∑
c k β k = −→ c T · −→ β ,
k=1
kde −→ c = (c 1 , . . . , c p) T je známý nenulový vektor ( −→ c ≠ 0) .
Tvrzení Nejlepším odhadem lineární parametrické funkce −→ c T · −→ β je
výběrová funkce (statistika) g = −→ c T · −→ b , kde −→ b je řešením normálních
rovnic. E(g) = γ a ”nejlepší” znamená, že rozptyl D(g) je minimální ve třídě
nestranných odhadů.
Pro výpočet matice kovariance vektoru odhadů b 1 , . . . , b p, kde b k jsou
náhodné veličiny, si připomeňme pravidla pro výpočet rozptylu a kovariance
lineární kombinací náhodných veličin, náhodný vektor (u 1 , . . . , u n) T , C u je
matice kovariance náhodného vektoru,
C u = (cov(u j , u k )) , j = 1, . . . , n; k = 1, . . . , n, D(u j ) = cov(u j , u j ) .

Vyhodnocování experimentálních dat Základní model lineární regrese Nelineární regrese
Nelineární regrese
Cíl:
odhad parametrů a 1 , . . . , a n v nelineární empirické formuli
y = f (x, a) .
Budeme minimalizovat součet čtverců odchylek
S(a) =
m∑ (f (x j , a) − y j) 2 ∑ m
= qj 2 (a) ,
j=1
j=1
kde q j je residuum j−tého měřeného bodu. Označme a + bod, v němž součet
čtverců S(a) nabývá svého minima. Hodnotu a + hledáme jako limitu tzv.
minimizující posloupnosti a k tak, aby platilo
S(a k+1 ) < S(a k ) .

Vyhodnocování experimentálních dat Základní model lineární regrese Nelineární regrese
Taylorův rozvoj funkce f (zanedbáme členy vyššího řádu než 1):
f (x, a) ≈ f (x, a k ) + grad T a f (x, ak ) (a − a k )
⇐⇒
f (x, a) ≈ f (x, a k ) +
Vyhodnot’me aproximativní formuli
n∑
j=1
∂f (x, a k )
∂a j
(a j − a k j ) .
y − f (x, a k ) =
n∑
j=1
∂f (x, a k )
∂a j
△a k j .
Označme Γ(a) Jacobiho matici,
⎛
∂f (x 1 , a) ∂f (x 1 , a)
. . .
∂a 1 ∂a 2 Γ(a) =
⎜ .
⎝ ∂f (x m , a) ∂f (x 1 , a)
. . .
∂a 1 ∂a 2
∂f (x 1 , a)
∂a n
.
∂f (x m , a)
∂a n
⎞
.
⎟
⎠

Vyhodnocování experimentálních dat Základní model lineární regrese Nelineární regrese
Hledané řešení:
(
−1
△ + a k = − Γ T (a k ) Γ(a )) k Γ T (a k )q(a k ) ,
kde q = (q 1 , . . . , q m). Pomocí △ + a k vypočteme další iteraci
a k+1 = a k + λ△ + a k , λ ∈ (0, 1〉 .
První hodnota: λ = 1. Je-li S(a k+1 ) ≥ S(a k ), zmenšíme λ.
Výpočet provádíme pro
Γ T (a k ) Γ(a k )
} {{ } △+ a k = −Γ T (a k ) q(a k ) .
matice n × n
Proces ukončíme, je-li ||△ + a k || menší, než zadaná přesnost.