Grafen en algoritmen - Combinatorische algoritmen en ...

Grafen en algoritmen
Inleiding tot algoritmen
Algoritmische complexiteit
Voorstellen van grafen
Cursus Grafentheorie en Combinatorische Optimalisatie (2008–2009) – p.1/29

Inleiding tot algoritmen
Cursus Grafentheorie en Combinatorische Optimalisatie (2008–2009) – p.2/29

Een puzzel
U2 concert
hoogstens 2 personen tegelijk oversteken
1 zaklamp, meegenomen door persoon
wandelsnelheid:
Bono: 1 minuut om over te steken
Edge: 2 minuten om over te steken
Adam: 5 minuten om over te steken
Larry: 10 minuten om over te steken
17 minuten totale tijd beschikbaar
Cursus Grafentheorie en Combinatorische Optimalisatie (2008–2009) – p.3/29

Een puzzel (2)
Vragen
Bepaal een oplossing voor het probleem
Geef een algemene oplossingsmethode
Waarom geeft Microsoft dergelijke opgave?
Cursus Grafentheorie en Combinatorische Optimalisatie (2008–2009) – p.4/29

Een raadspelletje
Hoger-lager
X kiest getal x tussen 1 en n
Y doet een gok y, X geeft feedback:
“hoger” (x > y); “lager” (x < y);
“geraden” (x = y)
herhaal totdat geraden
Opgave
ontwerp strategie voor Y
formuleer strategie
in zo weinig mogelijk stappen raden
Cursus Grafentheorie en Combinatorische Optimalisatie (2008–2009) – p.5/29

Raadspelletje (2)
Formulering in pseudocode
Input: getal n > 1, te raden 1 ≤ x ≤ n
Output: strategie voor raden van x
1: Stel x ← n en x ← 1
2: while nog niet geraden do
3: Stel y ← (x + x)/2
4: if y = x then
5: geraden!
6: else if y < x then
7: Stel x ← y
8: else
9: Stel x ← y
Cursus Grafentheorie en Combinatorische Optimalisatie (2008–2009) – p.6/29

Raadspelletje (3)
Correctheid van strategie
bijhouden interval [x,x] dat te zoeken x bevat
bij begin: [1,n]
in elke stap: verkleinen van interval
er geldt: voor willekeurige y ∈ [x,x]
als y < x, dan x ∈ [x,y]
als y > x, dan x ∈ [y,x]
hier nemen we: midden van interval
verderzoeken in gereduceerd interval
interval wordt uiteindelijk triviaal
Cursus Grafentheorie en Combinatorische Optimalisatie (2008–2009) – p.7/29

Raadspelletje (4)
Aantal stappen voor raden van x ∈ [1, 512]?
hoogstens 9 stappen
Argumentatie
in elke stap “halveert” lengte van interval
aantal stappen vooraleer lengte 1?
Algemeen
512 → 256 → 128 → 64 → 32 → 16 → 8 → 4 → 2 → 1
merk op: 512 = 2 9 ; of ook: 9 = log 2 512
raden x ∈ [1,n] in hoogstens ⌈log 2 n⌉ stappen
Cursus Grafentheorie en Combinatorische Optimalisatie (2008–2009) – p.8/29

Raadspelletje (5)
Toepassing: binaire zoekmethode
opzoeken in gesorteerde data
Uitbreiding
onderstel bovengrens interval niet gekend
strategie?
aantal stappen?
Cursus Grafentheorie en Combinatorische Optimalisatie (2008–2009) – p.9/29

Voorbeeld
Probleem
gegeven: een rij getallen
gevraagd: bepaal getal dat meeste voorkomt
in deze rij
Vragen
mogelijke strategieën?
welke is de beste strategie?
Cursus Grafentheorie en Combinatorische Optimalisatie (2008–2009) – p.10/29

Algoritmische complexiteit
Cursus Grafentheorie en Combinatorische Optimalisatie (2008–2009) – p.11/29

Algoritmische complexiteit
Asymptotische analyse
theoretische studie van efficiëntie van een
algoritme wanneer probleem groot wordt
schattingstechniek
Werkwijze
uitdrukken van uitvoeringstijd in functie van
probleemgrootte
bepalen van dominante factor in uitdrukking
Cursus Grafentheorie en Combinatorische Optimalisatie (2008–2009) – p.12/29

Probleemgrootte
Karakterisatie van probleem
a.h.v. beperkt aantal relevante grootheden
die uitvoeringstijd beïnvloeden
die maat voor omvang van probleem vormen
meestal afhankelijk van grootte van input
Voorbeelden
sorteren van rij van n getallen
verwerken van n getallen in [0,k]
berekenen van n beduidende cijfers van π
Cursus Grafentheorie en Combinatorische Optimalisatie (2008–2009) – p.13/29

Tijdscomplexiteit
Inschatten van uitvoeringstijd
uitdrukken als het aantal uitgevoerde
elementaire bewerkingen (stappen)
in functie van probleemgrootte n
Theoretisch model (sequentiële uitvoering)
standaard instructieset (optelling, . . . )
elke basisinstructie kost 1 tijdseenheid
integers hebben vast formaat
RAM geheugen heeft onbeperkte capaciteit
Cursus Grafentheorie en Combinatorische Optimalisatie (2008–2009) – p.14/29

Asymptotische notaties
Asymptotische notatie
vergelijken gedrag op ∞ van 2 functies f en g
functies f(n) en g(n) gedefinieerd op N
onderstellen dat f en g asymptotisch
niet-negatief
immers, voorstellen van uitvoeringstijden
Verscheidene asymptotische notaties
O-notatie, Ω-notatie, Θ-notatie o-notatie,
ω-notatie
Cursus Grafentheorie en Combinatorische Optimalisatie (2008–2009) – p.15/29

O-notatie
Definitie
f asymptotisch naar boven begrensd door g
f(n) = O(g(n)) ⇔
∃c,n0 > 0, ∀n ≥ n0 : 0 ≤ f(n) ≤ cg(n)
Betekenis
f(n) is naar boven begrensd door een
veelvoud van g(n), voor voldoende grote n
orde van toename van f is kleiner dan of
gelijk aan orde van toename van g
Cursus Grafentheorie en Combinatorische Optimalisatie (2008–2009) – p.16/29

Ω-notatie
Definitie
f asymptotisch naar onder begrensd door g
f(n) = Ω(g(n)) ⇔
∃c,n0 > 0, ∀n ≥ n0 : 0 ≤ cg(n) ≤ f(n)
Betekenis
f(n) is naar onder begrensd door een
veelvoud van g(n), voor voldoende grote n
orde van toename van f is groter dan of gelijk
aan orde van toename van g
Cursus Grafentheorie en Combinatorische Optimalisatie (2008–2009) – p.17/29

Θ-notatie
Definitie
f en g hebben hetzelfde asymptotische
gedrag
f(n) = Θ(g(n)) ⇔
f(n) = O(g(n)) ∧ f(n) = Ω(g(n)) ⇔
∃c1,c2,n0 > 0, ∀n ≥ n0 :
c1g(n) ≤ f(n) ≤ c2g(n)
Betekenis
orde van toename van f is dezelfde als orde
van toename van g
Cursus Grafentheorie en Combinatorische Optimalisatie (2008–2009) – p.18/29

o-notatie
Definitie
f niet-scherp asymptotisch naar boven
begrensd door g
f(n) = o(g(n)) ⇔
f(n) = O(g(n)) ∧ f(n) = Θ(g(n)) ⇔
∃c,n0 > 0, ∀n ≥ n0 : 0 ≤ f(n) < cg(n)
Betekenis
orde van toename van f is strikt kleiner dan
orde van toename van g
f(n) wordt insignificant tegenover g(n) voor
grote n Cursus Grafentheorie en Combinatorische Optimalisatie (2008–2009) – p.19/29

ω-notatie
Definitie
f niet-scherp asymptotisch naar beneden
begrensd door g
f(n) = ω(g(n)) ⇔
f(n) = Ω(g(n)) ∧ f(n) = Θ(g(n)) ⇔
∃c,n0 > 0, ∀n ≥ n0 : 0 ≤ cg(n) < f(n)
Betekenis
orde van toename van f is strikt groter dan
orde van toename van g
g(n) wordt insignificant tegenover f(n) voor
grote n Cursus Grafentheorie en Combinatorische Optimalisatie (2008–2009) – p.20/29

Werken met asymptotische notatie
Asymptotisch gedrag van f en g vergelijken
bepaal lim
n→∞
Mogelijkheden
f(n)
g(n)
limiet is nul: f(n) = o(g(n))
limiet is +∞: f(n) = ω(g(n))
limiet is constante = 0: f(n) = Θ(g(n))
limiet bestaat niet: geen conclusie via
limietregel
Cursus Grafentheorie en Combinatorische Optimalisatie (2008–2009) – p.21/29

Rekenregels
1. f(n) = Θ(g(n)) ∧ g(n) = Θ(h(n))
⇒ f(n) = Θ(h(n))
2. f(n) = Θ(k × g(n)), voor constante k
⇒ f(n) = Θ(g(n))
3. f1(n) = Θ(g1(n)) ∧ f2(n) = Θ(g2(n))
⇒ f1(n) + f2(n) = Θ(max(g1(n),g2(n)))
4. f1(n) = Θ(g1(n)) ∧ f2(n) = Θ(g2(n))
⇒ f1(n) × f2(n) = Θ(g1(n) × g2(n))
(analoog voor andere notaties)
(te bewijzen via definities)
Cursus Grafentheorie en Combinatorische Optimalisatie (2008–2009) – p.22/29

Werken met asymptotische notatie
Informeel
verwaarlozen constanten
100n = Θ(n)
verwaarlozen lagere-ordetermen in veelterm
n 3 + 10n 2 + 400n + 8000 = Θ(n 3 )
Intuïtieve verklaring
lagere-ordetermen worden insignificant voor
grote n
voorbeeld: voor n = 1000
n 3 + 10n 2 + 400n + 8000 = 1 010 408 000
Cursus Grafentheorie en Combinatorische Optimalisatie (2008–2009) – p.23/29

Standaardfuncties
Polynomiale functie
leidende term bepaalt orde van toename
Logaritmische functie
stijgt trager dan elke polynomiale functie
Exponentiële functie
stijgt sneller dan elke polynomiale functie
Faculteit, Fibonacci-getallen
stijgen minstens exponentieel
(te bewijzen via limietregel)
Cursus Grafentheorie en Combinatorische Optimalisatie (2008–2009) – p.24/29

Voorbeeld: schaakspel
Legende
uitvinder schaakspel mocht een wens doen
hij wenste rijstkorrels op schaakbordvakjes
en de koning ging failliet. . .
1 2 4 8 16 32 64
...
??
Cursus Grafentheorie en Combinatorische Optimalisatie (2008–2009) – p.25/29

Exponentiële functies
Aantal rijstkorrels op laatste vakje?
is 2 63
Hoeveel is 2 63 ?
2 10 = 1024 is ongeveer 10 3
2 63 = (2 10 ) 6 × 2 3 is ongeveer 8 × 10 18
Hoeveel is 10 18 ?
10 18 : #graankorrels geproduceerd op aarde
10 12 : jaarlijkse wereldgraanproductie
(website: “The World of Big Numbers”)
Cursus Grafentheorie en Combinatorische Optimalisatie (2008–2009) – p.26/29

Vergelijken van algoritmen
Probleemstelling
meerdere algoritmen voor zelfde probleem P
Theoretische analyse
algoritme A1: Θ(n 3 )
algoritme A2: Θ(n 2 )
algoritme A3: Θ(n log n)
algoritme A4: Θ(n)
Cursus Grafentheorie en Combinatorische Optimalisatie (2008–2009) – p.27/29

Experimentele resultaten
Metingen in ms
A4 A3 A2 A1
n Θ(n) Θ(n log n) Θ(n 2 ) Θ(n 3 )
10 0.018 0.17 0.15 0.35
100 0.15 2.5 13 171
1 000 1.5 35 1 265 151 730
10 000 15 434 128 435 —
100 000 147 5 396 — —
1 000 000 1 594 60 476 — —
Cursus Grafentheorie en Combinatorische Optimalisatie (2008–2009) – p.28/29

Experimenten analyseren
Conclusies
voor kleine n: alle algoritmen bruikbaar
voor n > 1000: Θ(n 3 ) algoritme traag
voor n > 10000: Θ(n 2 ) algoritme traag
Verschil in orde van toename
Θ(n): als n × 10, dan ook tijd ×10
Θ(n 2 ): als n × 10, dan tijd ×100
Θ(n 3 ): als n × 10, dan tijd ×1000
Cursus Grafentheorie en Combinatorische Optimalisatie (2008–2009) – p.29/29