Algoritmen en Datastructuren III Partim: Parallelle algoritmen - caagt

30 Hoofdstuk 3. Het netwerkmodel
3.4.2 All-to-all broadcast
Een all-to-all broadcast of multinode broadcast is een veralgemening van de one-to-all broadcast,
waarbij elke processor gelijktijdig een one-to-all broadcast uitvoert. Een processor stuurt
dezelfde boodschap van grootte m naar alle andere processoren, maar verschillende processoren
sturen verschillende boodschappen. De duale bewerking is multinode accumulation, waarbij
elke processor de bestemming is van een single-node accumulation.
Deze communicatiepatronen worden o.m. gebruikt bij parallelle algoritmen voor matrixbewerkingen,
zoals matrixvermenigvuldiging, en bij reductie en het bepalen van prefixsommen.
Een eenvoudige manier om een all-to-all broadcast uit te voeren bestaat in het uitvoeren van
p one-to-all broadcasts, één die in elke processor start. Wanneer dit eenvoudigweg rechtlijnig
geïmplementeerd wordt, leidt deze benadering op sommige architecturen tot een communicatietijd
van p maal de tijd voor een one-to-all broadcast. Maar dikwijls is het mogelijk om de
communicatieverbindingen van het netwerk efficiënter te gebruiken en de one-to-all broadcasts
gelijktijdig te laten uitvoeren. Daarbij probeert men ook om boodschappen die over hetzelfde
pad gestuurd worden, samen te voegen tot één enkele boodschap (met als grootte de som van
groottes van de individuele boodschappen) en dus tegelijkertijd te sturen.
All-to-all broadcast op een ring
In het eerder geziene algoritme voor one-to-all broadcast op een ring zijn slechts twee communicatieverbindingen
terzelfdertijd actief tijdens elke stap. Bij all-to-all broadcast kunnen alle
verbindingen de ganse tijd actief gehouden worden, omdat we er voor kunnen zorgen dat elke
processor op elk moment informatie heeft die hij kan doorgeven. Dit werkt als volgt.
In de eerste stap stuurt elke processor Pi zijn eigen boodschap door naar zijn buur Pi+1. In de
volgende stappen stuurt processor Pi alle binnenkomende boodschappen van zijn andere buur
Pi−1 door naar Pi+1. Dit duurt totdat alle boodschappen overal verspreid zijn. Dit algoritme is te
beschouwen als een soort pipelining van meerdere one-to-all broadcasts.
Doordat de communicatie circulair in één richting verloopt, ontvangt elke processor de p − 1
vereiste boodschappen van de andere processoren in p − 1 stappen. De totale communicatietijd
is dus Θ(mp).
All-to-all broadcast op een rooster met wraparound
Ook hier is het algoritme gebaseerd op het algoritme voor all-to-all broadcast op een ring en
werkt het in twee fasen.
In fase 1 doet elke processor Pi, j een all-to-all broadcast van zijn eigen boodschap op rij i. Op
die manier verzamelt elke processor de √ p boodschappen van grootte m van zijn eigen rij. Vervolgens
worden op elke processor de binnengekomen boodschappen samengesteld tot een boodschap
van m √ p lang. In fase 2 doet elke processor Pi, j dan een all-to-all broadcast van zijn
Algoritmen en Datastructuren III Veerle.Fack@UGent.be