2. Analyse van algoritmen

2. Analyse van algoritmen 

Inleiding 

Complexiteit van algoritmen 

Asymptotische notaties 

Bepalen van tijds- en geheugencomplexiteit 

Praktische beschouwingen 

Cursus Algoritmen en Datastructuren voor Geomatica (2008–2009) – p.1/38

Efficiëntie van algoritmen 

Wat?/Waarom? 

de efficiëntie van een algoritme inschatten 

twee algoritmen voor eenzelfde probleem 

vergelijken 


Efficiëntie van algoritmen 

Wat?/Waarom? 

de efficiëntie van een algoritme inschatten 

twee algoritmen voor eenzelfde probleem 

vergelijken 

Een mogelijkheid: experimenteel 

algoritme(n) implementeren als programma 

programma(s) uitvoeren voor een bepaalde, 

goed gekozen set van inputs 

uitvoeringstijd van programma(s) meten 


Nadelen van experimentele benadering 

eventueel overbodig (programmeer)werk 

uiteindelijk blijft maar 1 programma over 

misschien voldoet geen van beide 

algoritmen 


Nadelen van experimentele benadering 

eventueel overbodig (programmeer)werk 

uiteindelijk blijft maar 1 programma over 

misschien voldoet geen van beide 

algoritmen 

mogelijk vals beeld 

een programma kan ‘beter geschreven’ zijn 

dan een ander 

misschien zijn testgevallen niet 

representatief 


Asymptotische analyse 

Andere techniek 

zgn. ‘asymptotische analyse’ 

theoretische studie van efficiëntie van een 

algoritme wanneer probleem groot wordt 

schattingstechniek 



Andere techniek 

zgn. ‘asymptotische analyse’ 

theoretische studie van efficiëntie van een 

algoritme wanneer probleem groot wordt 

schattingstechniek 

Werkwijze 

uitdrukken van uitvoeringstijd in functie van 

probleemgrootte 

bepalen van dominante factor in uitdrukking 


Probleemgrootte 

Karakterisatie van probleem 

a.h.v. beperkt aantal relevante grootheden 

die uitvoeringstijd beïnvloeden 

die maat voor omvang van probleem vormen 

meestal afhankelijk van grootte van input 


Probleemgrootte 

Karakterisatie van probleem 

a.h.v. beperkt aantal relevante grootheden 

die uitvoeringstijd beïnvloeden 

die maat voor omvang van probleem vormen 

meestal afhankelijk van grootte van input 

Voorbeelden 

sorteren van rij van n getallen 

verwerken van n getallen in [0,k] 

berekenen van n beduidende cijfers van π 


Tijdscomplexiteit 

Inschatten van uitvoeringstijd 

uitdrukken als het aantal uitgevoerde 

elementaire bewerkingen (stappen) 

in functie van probleemgrootte n 


Tijdscomplexiteit 

Inschatten van uitvoeringstijd 

uitdrukken als het aantal uitgevoerde 

elementaire bewerkingen (stappen) 

in functie van probleemgrootte n 

Theoretisch model (sequentiële uitvoering) 

standaard instructieset (optelling, . . . ) 

elke basisinstructie kost 1 tijdseenheid 

integers hebben vast formaat 

RAM geheugen heeft onbeperkte capaciteit 


Theoretisch model 

Tekortkomingen 

basisinstructies niet exact dezelfde tijd 

vermenigvuldigen duurder dan optellen 

I/O trager dan berekeningen 

evt. vertragingen door geheugenstructuur 

andere factoren, vb. kwaliteit van compiler, 

specificaties van computer 

worden niet beschouwd in theoretisch model 


Voorbeeld grootste 

Bepalen van grootste element van rij 

Input: rij elementen (a0,a2,...,an−1) 

Output: waarde g van grootste element 

1: g ← a0 

2: for i from 1 to n − 1 do 

3: if ai > g then 

4: g ← ai 


Voorbeeld grootste 

Bepalen van grootste element van rij 

Input: rij elementen (a0,a2,...,an−1) 

Output: waarde g van grootste element 

1: g ← a0 

2: for i from 1 to n − 1 do 

3: if ai > g then 

4: g ← ai 

Uitvoeringstijd 

probleemgrootte n = aantal elementen in rij 

T(n) = c1n + c2 (constanten c1, c2) 



Uitvoeringstijd 

uitgedrukt als aantal bewerkingen in functie 

van probleemgrootte n 


belangrijk is gedrag van functie voor grote n 

orde van toename van functie 

hoe functie stijgt naarmate n toeneemt 

enkel stijgende functies 

reden: voor kleine n is ook uitvoeringstijd 

klein, welk algoritme ook gebruikt wordt 


Werken met asymptotische notatie 

Informeel 

verwaarlozen constanten 

100n = Θ(n) 



Informeel 


100n = Θ(n) 

verwaarlozen lagere-ordetermen in veelterm 

n 3 + 10n 2 + 400n + 8000 = Θ(n 3 ) 



Informeel 


100n = Θ(n) 

verwaarlozen lagere-ordetermen in veelterm 

n 3 + 10n 2 + 400n + 8000 = Θ(n 3 ) 

Intuïtieve verklaring 

lagere-ordetermen worden insignificant voor 

grote n 

voorbeeld: voor n = 1000 

n 3 + 10n 2 + 400n + 8000 = 1 010 408 000 





Asymptotische notatie 

vergelijken gedrag op ∞ van 2 functies f en g 

functies f(n) en g(n) gedefinieerd op N 

onderstellen dat f en g asymptotisch 

niet-negatief 

immers, voorstellen van uitvoeringstijden 

Verscheidene asymptotische notaties 

O-notatie, Ω-notatie, Θ-notatie o-notatie, 

ω-notatie 


O-notatie 

Definitie 

f asymptotisch naar boven begrensd door g 

f(n) = O(g(n)) ⇔ 

∃c,n0 > 0, ∀n ≥ n0 : 0 ≤ f(n) ≤ cg(n) 

Betekenis 

f(n) is naar boven begrensd door een 

veelvoud van g(n), voor voldoende grote n 

orde van toename van f is kleiner dan of 

gelijk aan orde van toename van g 


Ω-notatie 

Definitie 

f asymptotisch naar onder begrensd door g 

f(n) = Ω(g(n)) ⇔ 

∃c,n0 > 0, ∀n ≥ n0 : 0 ≤ cg(n) ≤ f(n) 

Betekenis 

f(n) is naar onder begrensd door een 

veelvoud van g(n), voor voldoende grote n 

orde van toename van f is groter dan of gelijk 

aan orde van toename van g 


Θ-notatie 

Definitie 

f en g hebben hetzelfde asymptotische 

gedrag 

f(n) = Θ(g(n)) ⇔ 

f(n) = O(g(n)) ∧ f(n) = Ω(g(n)) ⇔ 

∃c1,c2,n0 > 0, ∀n ≥ n0 : 

c1g(n) ≤ f(n) ≤ c2g(n) 

Betekenis 

orde van toename van f is dezelfde als orde 

van toename van g 


o-notatie 

Definitie 

f niet-scherp asymptotisch naar boven 

begrensd door g 

f(n) = o(g(n)) ⇔ 

f(n) = O(g(n)) ∧ f(n) = Θ(g(n)) ⇔ 

∃c,n0 > 0, ∀n ≥ n0 : 0 ≤ f(n) < cg(n) 

Betekenis 

orde van toename van f is strikt kleiner dan 

orde van toename van g 

f(n) wordt insignificant tegenover g(n) voor 

grote n Cursus Algoritmen en Datastructuren voor Geomatica (2008–2009) – p.16/38

ω-notatie 

Definitie 

f niet-scherp asymptotisch naar beneden 

begrensd door g 

f(n) = ω(g(n)) ⇔ 

f(n) = Ω(g(n)) ∧ f(n) = Θ(g(n)) ⇔ 

∃c,n0 > 0, ∀n ≥ n0 : 0 ≤ cg(n) < f(n) 

Betekenis 

orde van toename van f is strikt groter dan 

orde van toename van g 

g(n) wordt insignificant tegenover f(n) voor 

grote n Cursus Algoritmen en Datastructuren voor Geomatica (2008–2009) – p.17/38

Rekenregels 

1. f(n) = Θ(g(n)) ∧ g(n) = Θ(h(n)) 

⇒ f(n) = Θ(h(n)) 


Rekenregels 

1. f(n) = Θ(g(n)) ∧ g(n) = Θ(h(n)) 

⇒ f(n) = Θ(h(n)) 

2. f(n) = Θ(k × g(n)), voor constante k 

⇒ f(n) = Θ(g(n)) 


Rekenregels 

1. f(n) = Θ(g(n)) ∧ g(n) = Θ(h(n)) 

⇒ f(n) = Θ(h(n)) 


⇒ f(n) = Θ(g(n)) 

3. f1(n) = Θ(g1(n)) ∧ f2(n) = Θ(g2(n)) 

⇒ f1(n) + f2(n) = Θ(max(g1(n),g2(n))) 


Rekenregels 

1. f(n) = Θ(g(n)) ∧ g(n) = Θ(h(n)) 

⇒ f(n) = Θ(h(n)) 


⇒ f(n) = Θ(g(n)) 

3. f1(n) = Θ(g1(n)) ∧ f2(n) = Θ(g2(n)) 

⇒ f1(n) + f2(n) = Θ(max(g1(n),g2(n))) 

4. f1(n) = Θ(g1(n)) ∧ f2(n) = Θ(g2(n)) 

⇒ f1(n) × f2(n) = Θ(g1(n) × g2(n)) 


Rekenregels 

1. f(n) = Θ(g(n)) ∧ g(n) = Θ(h(n)) 

⇒ f(n) = Θ(h(n)) 


⇒ f(n) = Θ(g(n)) 

3. f1(n) = Θ(g1(n)) ∧ f2(n) = Θ(g2(n)) 

⇒ f1(n) + f2(n) = Θ(max(g1(n),g2(n))) 

4. f1(n) = Θ(g1(n)) ∧ f2(n) = Θ(g2(n)) 

⇒ f1(n) × f2(n) = Θ(g1(n) × g2(n)) 

(analoog voor andere notaties) 


Bepalen van tijds- en 

geheugencomplexiteit 


Voorbeeld 1 

Java-code 

int som=0; 

for ( int i=1; i

Voorbeeld 2 

Java-code 

int som=0; 

for ( int i=1; i

Voorbeeld 2 (vervolg) 

Java-code 

int som=0; 

for ( int i=1; i

Voorbeeld 3 

Opgelet! 

niet elke for-lus heeft tijd Θ(n) 

Java-code 

int som=0; 

for ( int i=1; i

Voorbeeld met array 

Java-code 

int som=0; 

for ( int i=0; i

Kost van array-bewerking 

Opvragen van array-element a[i]? 

array is aaneengesloten blok in geheugen 

plaats i-de component is te berekenen 

zij x beginadres van blok 

zij b aantal bytes per component 

dan: adres a[i] = x + b × i 


Kost van array-bewerking 

Opvragen van array-element a[i]? 

Dus 

array is aaneengesloten blok in geheugen 

plaats i-de component is te berekenen 

zij x beginadres van blok 

zij b aantal bytes per component 

dan: adres a[i] = x + b × i 

kost opvragen a[i] is onafhankelijk van i 

bewerking vraagt constante tijd 


Geheugencomplexiteit: voorbeelden 

Array met n getallen 

elke component neemt b bytes in 

G(n) = Θ(n) 





G(n) = Θ(n) 

Vriendschapsgraaf 

voor n personen bijhouden wie met wie 

bevriend is 

bvb. n × n tabel A = ai,j 

ai,j = 1 als i bevriend met j, anders 0 





G(n) = Θ(n) 

Vriendschapsgraaf 

voor n personen bijhouden wie met wie 

bevriend is 

bvb. n × n tabel A = ai,j 

ai,j = 1 als i bevriend met j, anders 0 

G(n) = Θ(n 2 ) 


Praktische 

beschouwingen 


Functies voor de uitvoeringstijd 

Veelvoorkomende functies 

lineaire orde van toename (n) 

kwadratische orde van toename (n 2 ) 

kubische orde van toename (n 3 ) 

logaritmische orde van toename (log n) 

n log n orde van toename 

exponentiële orde van toename (2 n ) 

Hoe verhouden functies zich tot elkaar? 


Vergelijken van algoritmen 

Probleemstelling 

meerdere algoritmen voor zelfde probleem P 

Theoretische analyse 

algoritme A1: Θ(n 3 ) 

algoritme A2: Θ(n 2 ) 

algoritme A3: Θ(n log n) 

algoritme A4: Θ(n) 


Experimentele resultaten 

Metingen in ms 

A4 A3 A2 A1 

n Θ(n) Θ(n log n) Θ(n 2 ) Θ(n 3 ) 

10 0.018 0.17 0.15 0.35 

100 0.15 2.5 13 171 

1 000 1.5 35 1 265 151 730 

10 000 15 434 128 435 — 

100 000 147 5 396 — — 

1 000 000 1 594 60 476 — — 


Experimenten analyseren 

Conclusies 

voor kleine n: alle algoritmen bruikbaar 

voor n > 1000: Θ(n 3 ) algoritme traag 




Conclusies 




Verschil in orde van toename 

Θ(n): als n × 10, dan ook tijd ×10 



Conclusies 






Θ(n 2 ): als n × 10, dan tijd ×100 



Conclusies 









Traagstijgend logaritme 

Θ(n log n) stijgt iets sneller dan Θ(n) 

als n × 10, dan tijd ca. ×12 


Traagstijgend logaritme 

Θ(n log n) stijgt iets sneller dan Θ(n) 

als n × 10, dan tijd ca. ×12 


lineaire algoritme is sneller, zelfs bij 

inefficiënte implementatie van Θ(n) algo. 

optimale implementatie van Θ(n 2 ) algo. 

dus: eerst algoritme proberen versnellen, dan 

pas implementatie optimaliseren 


Lineaire complexiteit 

Lineaire functies: van de vorm cn 

voorgesteld door rechte lijnen 





Kenmerkende eigenschap 

lineaire orde van toename 

bij toenemende n, neemt uitvoeringstijd toe in 

dezelfde verhouding 

bvb. als n verdubbelt, verdubbelt tijd 





Kenmerkende eigenschap 

lineaire orde van toename 

bij toenemende n, neemt uitvoeringstijd toe in 

dezelfde verhouding 

bvb. als n verdubbelt, verdubbelt tijd 

Merk op 

algoritme met tijd Θ(n) is meestal goed 


Kwadratische complexiteit 

Kwadratische functies: leidende term in n 2 

stijgen sneller dan lineaire functies 

grotere orde van toename dan lineaire fties 






Merk op 

voor kleine n is kwadratische tijd soms beter 

dan lineaire, afhankelijk van constante, bvb. 

voor n < 5 is 10n > 2n 2 

voor n < 10 is 20n > 2n 2 






Merk op 

voor kleine n is kwadratische tijd soms beter 

dan lineaire, afhankelijk van constante, bvb. 

voor n < 5 is 10n > 2n 2 

voor n < 10 is 20n > 2n 2 

maar er is steeds punt waarop kwadratische 

tijd slechter wordt 


Logaritmische en n log n complex. 

Logaritmische functies: stijgen zeer traag 

bvb. log 2(1 000 000) ≈ 20 

Θ(log n) algoritmen meestal zeer goed 


Logaritmische en n log n complex. 

Logaritmische functies: stijgen zeer traag 

bvb. log 2(1 000 000) ≈ 20 

Θ(log n) algoritmen meestal zeer goed 

n log n functies 

stijgen sneller dan lineaire en trager dan 

kwadratische functies 

maar iets slechter dan Θ(n) en veel beter dan 

Θ(n 2 ) 


Voorbeeld: schaakspel 

Legende 

uitvinder schaakspel mocht een wens doen 

hij wenste rijstkorrels op schaakbordvakjes 

en de koning ging failliet. . . 


Voorbeeld: schaakspel 

Legende 

uitvinder schaakspel mocht een wens doen 

hij wenste rijstkorrels op schaakbordvakjes 

en de koning ging failliet. . . 

1 2 4 8 16 32 64 

... 

?? 


Exponentiële functies 

Aantal rijstkorrels op laatste vakje? 

is 2 63 

Hoeveel is 2 63 ? 




is 2 63 


2 10 = 1024 is ongeveer 10 3 

2 63 = (2 10 ) 6 × 2 3 is ongeveer 8 × 10 18 





is 2 63 


2 10 = 1024 is ongeveer 10 3 

2 63 = (2 10 ) 6 × 2 3 is ongeveer 8 × 10 18 


10 18 : #graankorrels geproduceerd op aarde 

10 12 : jaarlijkse wereldgraanproductie 

(website: “The World of Big Numbers”) 


Exponentiële complexiteit 

Exponentiële functies: stijgen zeer snel 

bvb. 2 63 ≈ 10 18 

algoritme met exponentiële tijd is veel te duur! 


Exponentiële complexiteit 

Exponentiële functies: stijgen zeer snel 

bvb. 2 63 ≈ 10 18 

algoritme met exponentiële tijd is veel te duur! 

Definities 

algoritme is efficiënt wanneer uitvoeringstijd 

een polynomiale functie is 

probleem is handelbaar als er een efficiënt 

algoritme voor bestaat

2. Analyse van algoritmen

You also want an ePaper? Increase the reach of your titles

Delete template?

Save as template?