Algoritmen en Datastructuren III Partim: Parallelle algoritmen - caagt

1.1. Parallelle algoritmen ontwerpen en analyseren 3
Algoritme 1.1 Zoeken van het grootste element in een array (sequentieel algoritme)
Input: array (a1,...,an), lengte n
Output: de waarde van het grootste element in a
1: Stel m ← a1
2: for i from 2 to n do
3: if ai > m then
4: Stel m ← ai
5: return m
processor te laten lopen. De beste versnelling die we kunnen verwachten bij het gebruik van
p processoren is dus een factor p.
Bij het ontwerpen van een parallel algoritme moet een compromis worden gezocht tussen de twee
resources hardware en uitvoeringstijd. Meer hardware gebruiken kan leiden tot een vermindering
van de uitvoeringstijd met een factor p, voor p processoren. Wanneer uitvoeringstijd een hoge
prioriteit heeft en we de middelen voor bijkomende hardware hebben, dan is het nuttig naar
parallelle algoritmen te zoeken.
Een mogelijke benadering bij het ontwerpen van een parallel algoritme is te starten met een sequentieel
algoritme voor het probleem en te onderzoeken of dit algoritme, of gedeelten ervan, kan
worden geparallelliseerd. In het algemene geval zullen we geen zo’n spectaculaire versnelling
als bij het printervoorbeeld kunnen bekomen.
Voorbeeld 1.1.2. Als voorbeeld behandelen we het probleem van het berekenen van het grootste
element in een array. Een eenvoudig sequentieel algoritme hiervoor wordt gegeven in Algoritme
1.1. Merk op dat dit algoritme inherent sequentieel is, want elke vergelijking hangt af van
alle voorafgaande vergelijkingen.
Veronderstel dat we een onbeperkt aantal processoren ter beschikking hebben. Hoe kan Algoritme
1.1 worden geparallelliseerd? In stap 1 van het algoritme gebruiken we één processor om het
maximum van twee elementen te vinden. Gebruik makend van ⌊n/2⌋ processoren kunnen we
van ⌊n/2⌋ paren van elementen de maxima bepalen. In de volgende stap kunnen we met behulp
van ⌊n/4⌋ processoren de maxima van ⌊n/4⌋ paren bepalen, enzovoort.
Hoeveel tijd kost dit parallelle algoritme? In elke stap wordt het aantal elementen waarvan het
maximum moet worden bepaald, gehalveerd. Het algoritme voert dus ten hoogste ⌈log 2 n⌉ stappen
uit, hetgeen een substantiële verbetering is tegenover het Θ(n) sequentiële algoritme. Bovendien
hebben we enkel ⌈n/2⌉ processoren nodig om het algoritme in parallelle tijd O(logn) uit
te voeren. Op het eerste gezicht ziet het algoritme er goed uit: met een lineair aantal processoren
kunnen we een probleem dat lineaire sequentiële tijd vereist, oplossen in logaritmische parallelle
tijd. Maar er is ook duidelijke inefficiëntie in het algoritme: in de eerste stap worden ongeveer
n/2 processoren effectief gebruikt, in de tweede stap nog slechts ongeveer n/4, in de k-de stap
nog slechts ongeveer n/2 k . Het overgrote deel van de processoren doet dus geen werk gedurende
het algoritme. Dit is duidelijk een verspilling van hardware.
Het bovenstaande voorbeeld geeft aan dat we parallelle algoritmen niet alleen moeten beoordelen
Algoritmen en Datastructuren III Veerle.Fack@UGent.be