Vektorer og lineær regression - Forside for harremoes.dk

Vektorer og lineær regression
Peter Harremoës
Niels Brock
April 2013

1 Planproduktet
Vi har set, at man kan gange en vektor med et tal. Et oplagt spørgsm˚al er,
om man ogs˚a kan gange to vektorer med hinanden. Svaret er ja, men hvad
der kan forekomme forvirrende er, at der er flere m˚ader at gøre det p˚a. Vi
vil starte med at definere det s˚akaldte planprodukt.
Før vi kan definere planproduktet, er det nødvendigt at definere en orientering
af planen. Sædvanligvis tegner man koordinatsystemer med 1.-aksen
vandret og positive tal mod højre. 2.-aksen tegnes normalt lodret med positive
tal opad. En rotation fra 1.-aksen til 2.-aksen vil vi regne positiv.
Bemærk, at denne rotation g˚ar mod urets retning. I matematik regner man
rotationer mod uret retning for positive og rotationer med uret for negative.
Bemærk, at i navigation er det modsat - rotationer med uret regnes positive.
w
v ⊗ w
v
Figure 1: Orienteringen af (v, w) er her positiv.
Hvis vektorerne v og w ikke er parallelle, s˚a kan man ogs˚a tale om orienteringen
af parret (v, w). Orienteringen siges at være positiv, dersom den
korteste rotation fra v ′ s retning til w ′ s retning er positiv. Ellers siges orienteringen
af (v, w) at være negativ.
Definition 1 Lad v og w være vektorer. Hvis (v, w) er positivt orienteret,
s˚a defineres planproduktet fra v til w som
v ⊗ w = arealet af det af v og w udspændte parallelogram.
Hvis (v, w) er negativt orienteret, s˚a defineres planproduktet fra v til w som
v ⊗ w = minus arealet af det af v og w udspændte parallelogram.
Hvis v og w er parallelle, s˚a defineres planproduktet fra v til w som
v ⊗ w = 0.
Planproduktet er s˚aledes et areal regnet med fortegn. Grunden til at
vi regner arealer med fortegn er, at vi p˚a denne m˚ade f˚ar et produkt, som
opfylder nogle pæne regneregler. Dette ville ikke være tilfældet, hvis vi ikke
regnede med fortegn.
1

v
w
u
v + w
Figure 2: Summen af arealerne af de gr˚aparallelogrammer til venstre er lig
arealet af parallellogrammet til højre.
Sætning 2 For tre vilk˚arlige vektorer v, w og c og en konstant k ∈ R gælder
følgende regneregler:
1. v ⊗ w =-w ⊗ v (anti-kommutativ lov).
2. (k · v) ⊗ w = k · (v ⊗ w) = v ⊗ (k · w) .
3. u ⊗ (v + w) = u ⊗ w +u ⊗ w og (u + v) ⊗ w = u ⊗ w +v ⊗ w (distributiv
love).
4. v ⊗ w = 0 netop hvis v og w er parallelle. Specielt er v ⊗ v = 0.
Bevis. Vi viser regnereglerne en ad gangen.
1. Hvis v og w er parallelle, s˚a st˚ar der 0 p˚a begge sider af lighedstegnet.
Hvis v og w ikke er parallelle, vil det udspændte parallelogram have
samme areal uanset hvilken rækkefølge v og w st˚ar i. Orienteringen
af (v, w) er modsat af orienteringen af (w, v) s˚a planproduktet skifter
fortegn, n˚ar v og w bytter plads.
2. Denne regneregel siger, at hvis en af siderne i et palallellogram ganges
med k, s˚a vil arealet af det nye parallelogram være k gange s˚a stort
som arealet af det oprindelige parallelogram.
3. Beviset for den første af de to ligninger fremg˚ar af Figur 2. Den anden
af de to ligninger regel bevises p˚a samme m˚ade eller ved at kombinere
regel 1 og regel 3.
4. Dette skyldes at en vektor altid er parallel med sig selv.
2
u

Med disse regneregler kan vi udlede en formel til beregning af planprodukter
i koordinatsystemer.
x1 x2
Sætning 3 Lad v og w være vektorer med koordinater og .
Da er planproduktet fra v og w givet ved
Bevis. Vi skriver
v ⊗ w = x1y2 − y1x2.
v = x1 i + y1 j ,
w = x2 i + y2 j .
Vi vil benytte, at i ⊗ j = 1 og at j ⊗i =-1 til at vise
v ⊗ w = x1i + y1j
⊗ x2i + y2j
= x1i
⊗ x2i
+ x1i
⊗ y2j
+ y1j
⊗ x2i
+ y1j
⊗
= x1x2 i ⊗i + x1y2 i ⊗ j + y1x2 j ⊗i + y1x2 j ⊗ j
= x1x2 · 0 + x1y2 · 1 + y1x2 · (-1) + a2b2 · 0
= x1y2 − y1x2.
Hermed er sætningen bevist.
Med denne formel er det nu let at beregne arealet af diverse polygoner.
1 -2
Eksempel 4 Vektorerne og udspænder et parallelogram. Plan-
2 3
produktet er 1
2
⊗
-2
3
Parallelogrammets areal er derfor 7.
2
Eksempel 5 Vektorerne og
1
produktet er 2
1
⊗
2
-3
= 1 · 3 − 2 · (-2) = 7.
2
-3
y1
y2
y2 j
udspænder et parallelogram. Plan-
= 2 · (-3) − 1 · 2 = -8.
Planproduktet er negativt, hvilket afspejler at vektorerne er negativt orienterede.
Arealet er 8.
3

Eksempel 6 En trekant har hjørner A = (1, 2) , B = (5, 3) og C = (2, 6) .
Vi bestemmer vektorer svarende til to af siderne.
−→ 5 − 1 4
AB =
= ,
3 − 2 1
−→ 2 − 1 1
AC =
= .
6 − 2 4
Planproduktet beregnes som
−→
AB ⊗ −→
AC =
4
1
⊗
1
4
= 4 · 4 − 1 · 1 = 15.
Arealet af det udspændte parallelogram er dermed 15. Arealet af den udspændte
trekant er halvt s˚a stort, hvilket er 15/2 = 7 1/2.
Notation 7 I dette afsnit har vi brugt ⊗ som notation for planproduktet.
Brugen af ⊗ som symbol for planprodukt stammer fra C.A Bishop 1978 og
har ikke vundet større udbredelse uanset at den er ganske raktisk til væres
form˚al. Den mest almindelige notation for planprodukt er at skrive det (v, w)
og kalde planproduktet for determinanten af v og w. Hvis vektorerne er givet
ved koordinaterne
x1
v = ,
y1
x2
w = ,
s˚a er det almindeligt at skrive determinanten som
det (v, w) =
.
y2
x1 x2
y2 y2
Historisk set startede vektorregning som et systematiske studie af determinanter
(i 2 eller flere dimensioner).
Sætning 8 (Snøreb˚andsformelen) Lad A1, A2, · · · , An betegne hjørnerne
i en polygon s˚a nummereringen af hjørnerne er i positiv omløbsretning. Da
er arealet af polygonen
1
−−→
OA1 ⊗
2
−−→
OA2 + −−→
OA2 ⊗ −−→
OA3 + · · · + −−→
OAn ⊗ −−→
OA1 ,
hvor O er koordinatsystemets begyndelsespunkt.
4

A4
A5
A3
A1
A2
Figure 3: Trianguleret femkant.
Bevis. Hvis O ligger inden i polygonen og linjestykkerne fra O til polygonens
hjørner, giver en triangulering af polygonen som p˚a Figur 3, s˚a er
sætningen oplagt. I andre tilfælde beviser man sætningen for hver trekant i
en triangulering af polygonen og lægger de enkelte arealer sammen.
Eksempel 9 En femkant har hjørner (-1, 1) , (-2, -3) , (1, -2) , (3, 1) og (2, 4) .
Arealet beregnes ved hjælp af vores arealformel
1 -1 -2
2 1 -3 +
-2 1
-3 -2 +
1 3
-2 1 +
3 2
1 4 +
2 -1
4 1
= 1
35
(5 + 7 + 7 + 10 + 6) =
2 2 .
Arealet er derfor 35/2 = 17 1/2.
Øvelse 10 Beregn arealet af en firkant med hjørnerne (2, 1) , (3, 2) , (5, 6)
og (1, 9) . Tegn firkanten ind i et koordinatsystem.
2 Tværvektor
Som vi har set, kan man bruge planproduktet til at undersøge om to vektorer
er parallelle. Vi ønsker nu at bruge planproduktet til at undersøge om to
vektorer er vinkelrette eller ortogonale som det ogs˚a hedder.
Definition 11 Lad v være en vektor. Da er tværvektoren til v den vektor
som f˚as ved at dreje v en kvart tørn i positiv omløbsretning. Tværvektoren
til v betegnes v eller blot ˆv.
5

I stedet for at sige ”tværvektoren til v” er det almindeligt blot at sige
”v-hat”, idet v f˚ar en ”hat” p˚a.
Sætning 12 Lad v og w være vektorer. Da er v og w ortogonale, netop hvis
v ⊗ w = 0.
Bevis. Dette følger af, at v⊥w netop hvis v w.
Sætning 13 Lad v og b være vektorer og lad k være et reelt tal. Da gælder
følgende regneregler:
1.
(kv) = k v .
2. v + w = v + w.
3. v = −v.
4.
v = v.
Bevis. Beviserne for disse regneregler f˚as direkte ud fra tegninger af hvad
der foreg˚ar.
x
Sætning 14 Hvis vektoren v har koordinater , s˚a gælder
y
v
-y
= .
x
Bevis. Vi benytter vore regneregler og f˚ar
v =
x
y
=
xi + yj
= x i + y j = xj + y
=
-y
x
.
-i
Hermed er sætningen bevist.
Det viser sig, at størrelsen v ⊗ w spiller en vigtig rolle i mange sammenhænge,
s˚a før vi g˚ar videre, vil vi indføre lidt mere notation.
6

3 Prikprodukt
Vi vil nu definere endnu et produkt mellem vektorer. Hvor planproduktet
bruges til at beregne arealer, vil vi bruge det nye produkt til at beregne
længder og vinkler. Definitionen af det nye produkt kombinerer defintionerne
af planprodukt og tværvektor.
Definition 15 Ved prikproduktet af vektorerne v og w forst˚as planproduktet
af v og tværvektoren af w. I symboler ser definitionen s˚aledes ud
v · w = v ⊗ w.
Andre betegnelser for prikproduktet er skalarprodukt og indre produkt.
Sætning 16 Lad v =
x1
og w =
x2
være vektorer. Da kan
prikproduktet af de to vektorer beregnes som:
y1
Bevis. Vi benytter definitionen
y2
v · w = x1x2 + y1y2.
v · w = v ⊗ w
x1
= ⊗
y1
x2
y2
x1 -y2
= ⊗
y1
= x1x2 − y1 (-y2)
= x1x2 + y1y2.
Hermed er sætningen bevist.
For hver regneregel vi har for planproduktet har vi en tilsvarende regel
for prikproduktet.
Sætning 17 For tre vektorer v, w og c og en konstant k ∈ R gælder følgende
regneregler:
1. v · w = w · v (kommutativ lov).
2. (k · v) · w = k · (v · w) = v · (k · w) .
3. v · (w + c) = v · w + v · c (distributive lov).
7
x2

4. v · v = |v| 2 .
Bevis. De første tre regneregler kan f˚as direkte ud fra tilsvarende regneregler
for planprodukt. Alternativt kanman bevise dem ud fra sætning 16. Regel
x1
x2
1 bevises s˚aledes. Lad v = og w = . Da gælder
v · w =
y1
y2
x1 x2
· = x1x2 + y1y2
y1 y2
x2 x1
= x2x1 + y2y1 = ·
y2 y1
= w · v.
Regel 2 og 3 f˚as tilsvarende og beviserne er skrevet ud i alle detaljer i bogen.
Den sidste regneregel f˚as ved at bemærke, at v·v = v⊗ v. Prikproduktet af
en vektor med sig selv er derfor lig med arealet af et kvadrat med sidelængde
|v| , hvilket som bekendt er |v| 2 .
Vi har defineret prikproduktet ved hjælp af planprodukt og tværvektor.
Mange bøger definerer prikproduktet først og udleder derefter følgende formel
til udregning af arealer/planprodukt
v ⊗ w = v · w.
4 Pythagoras og vektorer længder
Sætning 18 (Længdeformlen) Lad v =
bestemt ved: |v| = (x2 + y2 ) 1/2
.
Bevis. Vi ved at
|v| 2 = v · v
= x · x + y · y
= x 2 + y 2 .
x
y
. Da er længden af v
Formlen f˚as ved at tage kvadratroden p˚a begge sider af lighedstegnet.
For punkter A = (x1, y1) og B = (x2, y2) har vektoren −→
AB koordinater
x2 − x1
. Hvis vi anvender længdeformlen p˚a denne vektor, f˚ar vi afs-
y2 − y1
tandsformlen
|AB| = (x2 − x1) 2 + (y2 − y1) 21/2
.
8

B
a
C
b
c
A
Figure 4: Retvinklet trekant og tilhørende vektorer.
Ofte bruger man Pythagoras’ læresætning til at bevise længdeformlen og
afstandsformlen, men vi har vist dem uden hjælp fra Pythagoras. Det er
faktisk endnu bedre, idet vi nu er i stand til at give et ganske simpelt bevis
for Pythagoras læresætning.
Sætning 19 (Pythagoras’ Læresætning) Lad A, B og C betegne hjørnerne
i en trekant, hvor ∠C er ret. Lad a og b betegne længderne af kateterne og
lad c betegne længden af hypotenusen. Da gælder
Bevis. Vi indfører følgende vektorer
a
a 2 + b 2 = c 2 .
a = −→
CB ,
−→
b = CA ,
c = −→
AB ,
s˚aledes at a = |a| , b =
b
og c = |c| . Da gælder c = a −b og dermed
c 2 = c · c
= a −
b ·
a −
b
= a · a + b · b − 2a · b
= a 2 + b 2 − 2a · b.
Da trekanten er retvinklet, er a · b = 0.
9
b
c

5 Lineær regression
Vi tænker os at vi har m˚alt sammenhørende værdier af to variable X og Y et
antal gange. Hvert datapunkt (xi, yi) kan repræsenteres ved den tilhørende
xi
stedvektor vi = . Hvis datapunktet (xi, yi) er observeret hi gange og
yi
det samlede antal observationer er n, s˚a er frekvensen af datapunktet fi =
hi/n. Vi er interesseret i at bestemme et enkelt punkt (x, y) med stedvektor
v, som giver en god repræsentation af hele datasættet. Til at m˚ale hvor
meget et datapunkt afviger fra (x, y) vil vi bruge den kvadrerede afstand
|vi − v| 2 . Følgende sætning blev bevist af M. Stewart i 1746 i det specielle
tilfælde, hvor der kun er to forskellige datapunkter.
Sætning 20 (Stewarts Sætning) Lad w betegne stedvektoren for tyngdepunktet
givet ved
n
w = fi · vi .
Da gælder at
n
fi · |vi − v| 2 =
i=1
i=1
n
i=1
fi · |vi − w| 2 + |w − v| 2 .
Specielt gælder der, at den gennemsnitlige kvadratafvigelse er minimal n˚ar
v = w.
Bevis. Beviset best˚ar i følgende udregning
n
fi · (vi − v) 2 =
i=1
=
=
n
fi · ((vi − w) + (w − v)) 2
i=1
n
i=1
fi · (vi − w) 2 + (w − v) 2 + 2 (vi − w) · (w − v)
n
fi · (vi − w) 2 +
i=1
n
fi · (w − v) 2 +
i=1
Nu bruger vi, at w − v ikke afhænger af i og f˚ar
n
fi · (vi − v) 2 =
i=1
n
i=1
n
fi · 2 (vi − w) · (w − v) .
i=1
fi · (vi − w) 2 + (w − v) 2 + 2 (w − v) ·
10
n
fi (vi − w) .
i=1

Tilbage er blot at udregne det sidste led
n
fi (vi − w) =
i=1
n
fivi −
i=1
= w − w
= 0.
Vi har set, at hvis et helt datasæt skal repræsenteret ved et enkelt punkt,
s˚a er tyngdepunktet det bedste valg. Vi vil nu forsøge at repræsentere hele
datasættet ved en ret linje af formen y = ax + b. Her vil vi opfatte x som
den uafhængige variable og y som den afhængige variabel. Vi vil igen bruge
gennemsnitlig kvadratisk afvigelse som m˚al for kvaliteten af vores rette linje,
hvor vi ved kvadratisk afvigelse forst˚ar størrelsen
n
i=1
n
fi (yi − (axi + b)) 2 .
i=1
Sætning 21 For et datasæt vil bedste rette linje g˚a gennem tyngepunktet og
hældningen vil være givet ved
n a =
Bevis. Først skriver vi
n
fi (yi − (axi + b)) 2 =
i=1
i=1 fi (xi − ¯x) (yi − ¯y)
n i=1 fi (xi − ¯x) 2 .
fi w
n
fi ((yi − axi) − b) 2
s˚a for fastholdt værdi af a skal vi minimere en kvadratafvigelse og skal derfor
vælge middelværdien
b =
i=1
n
fi (yi − axi)
i=1
= ¯y − a¯x
men det medfører at ¯y = a¯x + b s˚a linen skal g˚a gennem tyngdepunktet.
For at gøre den sidste del af beviset simplere vil vi antage at tyngdepunktet
11

ligger i origo s˚a (¯x, ¯y) = (0, 0) og b = 0. Vi skal derfor minimere
n
fi (yi − axi) 2 =
i=1
=
n
i=1
n
i=1
= a 2
2
fi yi + a 2 x 2
i − 2axiyi
fiy 2 i +
n
i=1
n
i=1
fix 2 i − 2a
fia 2 x 2 i −
n
fi2axiyi
i=1
n
fixiyi +
i=1
n
i=1
fiy 2 i .
Dette er et 2.-gradspolynomium i a og ifølge toppunktsformelen antages minimum
for
a = − (−2 n
i=1 fixiyi)
=
2 n
i=1 fix2 i
n i=1 fixiyi
n i=1 fix2 i
Som m˚al for kvaliteten af en lineær regression bruges størrelsen
R 2 n = 1 −
i=1 fi (yi − (axi + b)) 2
n i=1 fi (yi − ¯y) 2 .
Denne størrelse vil ligge i [0;1] hvor 0 viser at regressionen er rigtigt d˚arlig
mens 1 angiver at tilnærmelsen med en ret linje er perfekt.
6 Cosinusrelationerne og vinkler
En vigtig egenskaber for prikproduktet er, at det kan bruges til at beregne
vinkler.
Sætning 22 Lad v og b være to egentlige vektorer. Da gælder
hvor v = ∠ (v, w) .
v · w = |v| · |w| cos (v) ,
Bevis. Vi vil først bevise sætningen under antagelse af at |w| = 1. Vi
12

1
b
v
(cos(v), sin(v))
1
a
(|a|, 0)
Figure 5: Enhedscirkel med vektorerne a og b indtegnet.
lægger et koordinatsystem som p˚a Figur 5, s˚a v f˚ar koordinater
cos v |w| cos v
Koordinaterne for w bliver da |w| =
og
sin v |w| sin v
v · w =
|v|
0
·
|w| cos v
|w| sin v
= |v| · |w| cos v + 0 · sin v
= |v| |w| cos v .
|v|
0
Sætning 23 (Cosinus-relationerne) Lad A, B og C betegne hjørnerne i
en trekant. Lad a, b og c betegne længderne af de tilsvarende sider. Da
gælder
a 2 = b 2 + c 2 − 2bc cos (∠A) ,
b 2 = a 2 + c 2 − 2ac cos (∠B) ,
c 2 = a 2 + b 2 − 2ab cos (∠C) .
13
.

C
a
B
b
c
A
Figure 6: Trekant og tilhørende vektorer.
Bevis. Vi viser kun den sidste ligning, idet de øvrige vises p˚a samme m˚ade.
Vi indfører følgende vektorer
a = −→
CB ,
−→
b = CA ,
c = −→
AB ,
s˚aledes at a = |a| , b =
b
og c = |c| . Da gælder c = a −b og dermed
hvilket beviser sætningen.
c 2 = c · c =
a
a −
b · a −
b
= a · a + b · b − 2a · b
= a 2 + b 2 − 2ab cos (∠C) ,
14
b
c