Algoritmen en Datastructuren III Partim: Parallelle algoritmen - caagt

28 Hoofdstuk 3. Het netwerkmodel
parallelle algoritmen in het netwerkmodel, omdat bij de gegevensuitwisseling communicatievertragingen
kunnen ontstaan. Er zijn enkele veelvoorkomende basispatronen van interprocessorcommunicatie,
die gebruikt worden als bouwstenen voor een veelheid van parallelle algoritmen.
In deze paragraaf introduceren we enkele standaard communicatiepatronen en bespreken hun efficiënte
implementatie op standaard netwerktopologieën (zoals ring, rooster met wrap-around en
hyperkubus).
We noteren door p het aantal processoren en door m de lengte van de uit te wisselen gegevens.
We veronderstellen dat de verbindingen tussen de processoren bidirectioneel zijn, m.a.w. dat
twee rechtstreeks verbonden processoren tegelijkertijd boodschappen van grootte m naar elkaar
kunnen sturen. Verder veronderstellen we dat een processor slechts op een van zijn verbindingen
tegelijk een boodschap kan sturen. Analoog kan een processor maar op een van zijn verbindingen
tegelijk een boodschap ontvangen. Maar een processor kan wel tegelijkertijd op een van van zijn
verbindingen een boodschap sturen en op een andere verbinding een boodschap ontvangen.
Voor veel van de hier beschreven bewerkingen bestaan duale en andere aanverwante bewerkingen
die zeer analoog aan de oorspronkelijke bewerkingen kunnen worden uitgevoerd. De duale van
een communicatiebewerking is het tegenovergestelde van de oorspronkelijke bewerking en kan
uitgevoerd worden door de richting en de volgorde van de boodschappen in de oorspronkelijke
bewerking om te keren. Waar toepasselijk zullen we dergelijke bewerkingen vermelden.
3.4.1 One-to-all broadcast
In een one-to-all-broadcast of single-node-broadcast stuurt één processor een identieke boodschap
naar elke andere processor. Aanvankelijk heeft enkel de bronprocessor de boodschap van
grootte m; na de broadcast zijn er p kopieën van de boodschap, nl. een kopie op elke processor.
De duale bewerking hiervan is een single-node accumulation. Hierbij heeft elke processor
aanvankelijk een boodschap van grootte m. Eén van de processoren (de bronprocessor) verzamelt
deze informatie van alle andere processoren en bundelt die tot één boodschap van grootte m (via
een associatieve operator). Merk op dat de samengevoegde informatie na de bewerking grootte m
heeft. Dit betekent dat single-node accumulation kan worden gebruikt om de som, het product,
het maximum of het minimum van een rij getallen, of elke andere paarsgewijze bewerking op
een rij elementen uit te voeren.
Deze communicatiepatronen worden o.m. gebruikt in parallelle algoritmen voor matrix-vectorvermenigvuldiging,
Gauss-eliminatie, het bepalen van kortste paden, het inproduct van vectoren.
One-to-all broadcast op een ring
De bronprocessor stuurt zijn boodschap naar zijn twee buren, in twee opeenvolgende stappen.
Elke processor ontvangt een boodschap op een van zijn verbindingen en stuurt deze door naar
zijn buur op de andere verbinding. Dit proces wordt herhaald totdat alle processoren een kopie
van de boodschap ontvangen hebben.
Algoritmen en Datastructuren III Veerle.Fack@UGent.be