Algoritmen en Datastructuren III Partim: Parallelle algoritmen - caagt

4 Hoofdstuk 1. Inleiding
op basis van hun parallelle uitvoeringstijd en hun versnelling, maar ook op basis van het aantal
processoren dat ze gebruiken. De kost Cp(n) van een parallel algoritme is het product van het
aantal processoren p en het aantal stappen dat het algoritme uitvoert, m.a.w.
Cp(n) = p × Tp(n).
Merk op dat een parallel algoritme met kost Cp(n) kan omgezet worden in een sequentieel algoritme
dat Θ(Cp(n)) uitvoeringstijd vraagt.
Voorbeeld 1.1.3. Het parallelle algoritme uit Voorbeeld 1.1.2 heeft kost Cn(n) = Θ(nlogn),
hetgeen slechter is dan het sequentiële algoritme dat uitvoeringstijd (en dus kost) T ∗ (n) = Θ(n)
heeft (aangezien het n stappen uitvoert op 1 processor). In termen van kost is het parallelle
algoritme dus niet optimaal, omdat er een ander algoritme bestaat dat minder kost vraagt.
We noemen een algoritme kost-optimaal als Cp(n) = Θ(T ∗ (n)). Zoals we verder zullen zien,
bestaan er technieken die dikwijls toelaten om parallelle algoritmen kost-optimaal te maken.
1.2 Modellen van parallelle computers
Een algemeen aanvaard model voor het ontwerpen en analyseren van sequentiële algoritmen
bestaat uit een centrale verwerkingseenheid, die verbonden is met een random-access geheugen.
De typische instructieset voor dit model omvat lezen uit en schrijven naar het geheugen, evenals
elementaire logische en rekenkundige bewerkingen. Dit model heeft zijn welslagen te danken
aan zijn eenvoud enerzijds en aan het feit dat het de performantie van sequentiële algoritmen op
computers van het von Neumann-type adequaat kan inschatten.
Jammer genoeg is er voor parallelle berekeningen geen dergelijk algemeen aanvaard algoritmisch
model beschikbaar. Een van de redenen hiervoor is het feit dat de performantie van parallelle
algoritmen afhankelijk is van een complex geheel van factoren die machine-afhankelijk zijn.
Deze factoren zijn onder meer de mate waarin berekeningen kunnen geparallelliseerd worden, het
toewijzen van processoren aan deeltaken, het plannen van taken over verscheidene processoren,
aspecten van communicatie en synchronisatie.
In de praktijk worden meerdere verschillende modellen voor parallelle computers gebruikt.
We kunnen bijvoorbeeld de complexiteit van de gebruikte processoren beperken. Wanneer een
parallel algoritme op hardware-niveau wordt geïmplementeerd, kan het gebeuren dat we niet aan
elke processor de algemeenheid van een doorsnee-processor willen geven. Bijvoorbeeld, bij het
berekenen van het maximum hebben we enkel een kleine gespecialiseerde poort nodig die het
maximum van twee inputs kan berekenen. Deze poort heeft zelfs geen lokaal geheugen nodig; ze
moet enkel de grootste van de twee inputs verder doorgeven. Modellen van parallelle computers
die op dit fijne niveau van parallellisme werken, worden circuits genoemd, naar analogie met
elektrische circuits.
Algoritmen en Datastructuren III Veerle.Fack@UGent.be