6 Εισαγωγήανάλυση της επίδοσης υβριδικών προγραµµάτων.Η ερευνητική δραστηριότητα πάνω στην υβριδική παραλληλοποίηση αλγορίθµων δεν περιορίζεταιστη θεωρητική µελέτη και ανάλυση της επίδοσης µε χρήση µετροπρογραµµάτων, αλλά επεκτείνεταικαι στην εϕαρµογή της τεχνικής σε πραγµατικά προβλήµατα. Πράγµατι, παραδείγµατα εϕαρµογής τηςυβριδικής παραλληλοποίησης έχουν καταγραϕεί στη ρευστοδυναµική [GKKS00, Taf01, DK02, DK04,BDH + 02], την οπτική [Maj00, SEKBL04], τη γραµµική άλγεβρα [HD02, WHBF02], τη µετεωρολογία[LTD01], τη µοριακή δυναµική [Hen00,BDH + 02], τις αριθµητικές µεθόδους επίλυσης [Nak03,DGR05]κ.ά. Τα συµπεράσµατα για την αποδοτικότητα της υβριδικής προσέγγισης είναι σχετικά αµϕιλεγόµενα,καθώς σε κάποιες περιπτώσεις έχουν καταγραϕεί σηµαντικές βελτιώσεις, ενώ στις υπόλοιπες η σύνθετηυβριδική παραλληλοποίηση είτε αδυνατεί να υπερκεράσει σε απόδοση το µοντέλο ανταλλαγής µηνυ-µάτων ή ακόµα και υστερεί έναντι των ιδιαίτερα βελτιστοποιηµένων µονολιθικών MPI υλοποιήσεων.Σύµϕωνα µε τη βιβλιογραϕία, τα κυριότερα προτερήµατα του υβριδικού µοντέλου εντοπίζονταιαϕενός στην αξιοποίηση της µοιραζόµενης µνήµης για τη µείωση του χρόνου επικοινωνίας και αϕετέρουστη δυνατότητα εύκολης και αποδοτικής εξισορρόπησης του ϕορτίου µεταξύ των νηµάτων. Στηνπράξη, έχει διαπιστωθεί ότι η πολυνηµατική επεξεργασία ευνοεί τις περιπτώσεις εϕαρµογών που επιζητούνλεπτοµερή παραλληλοποίηση, καθώς έτσι µπορούν να αξιοποιηθούν αποδοτικότερα τόσο ηιεραρχία µνήµης µέσω της τοπικότητας αναϕοράς δεδοµένων όσο και οι δυνατότητες εξισορρόπησηςτου ϕορτίου των νηµάτων. Αντίθετα, η επικοινωνία µέσω ανταλλαγής µηνυµάτων ευνοείται κυρίως απόχονδροειδή παραλληλισµό, καθώς έτσι αµβλύνεται η παράλληλη επιβάρυνση της διαχείρισης των διεργασιώνκαι µετριάζεται το κόστος αρχικοποίησης της επικοινωνίας λόγω της αρχικής καθυστέρησης τουδικτύου. Το υβριδικό µοντέλο παρουσιάζει συχνά προβλήµατα στην επίδοση είτε λόγω συµϕόρησηςκατά την πρόσβαση στο κοινό υποσύστηµα µνήµης, είτε εξαιτίας των λιγότερο βελτιστοποιηµένων βιβλιοθηκώνπολυνηµατικής επεξεργασίας σε σχέση µε τις αντίστοιχες βιβλιοθήκες ανταλλαγής µηνυµάτων,είτε τέλος λόγω µη αποδοτικής εξισορρόπησης του ϕορτίου των νηµάτων κατά την απλή υβριδικήπροσέγγιση. Η σχετικά αυξηµένη προγραµµατιστική δυσκολία του υβριδικού µοντέλου έχει οδηγήσειστη σχεδόν αποκλειστική εµϕάνιση υβριδικών παραλληλοποιήσεων λεπτού κόκκου (fine-grain), όπουεϕαρµόζεται επαυξητική παραλληλοποίηση επιλεκτικά σε συγκεκριµένα τµήµατα του κώδικα ανταλλαγήςµηνυµάτων. Αντίθετα, οι υβριδικές υλοποιήσεις χονδρού κόκκου (coarse-grain), όπου υιοθετείταιένα SPMD προγραµµατιστικό µοντέλο εκτός των διεργασιών και ως προς τα νήµατα, είναι σχετικάπεριορισµένες, αϕού άλλωστε δεν υποστηρίζονται επαρκώς από τις υπάρχουσες MPI υλοποιήσεις.Συνοψίζοντας, ο προγραµµατισµός αρχιτεκτονικών κατανεµηµένης µοιραζόµενης µνήµης γενικότερα,καθώς και το υβριδικό µοντέλο παραλληλοποίησης ειδικότερα, θέτουν νέες προκλήσεις και αναθεωρούνσε κάποιο βαθµό τον τρόπο προσέγγισης των τεχνικών παραλληλοποίησης. Παρότι θεωρητικάτα υβριδικά µοντέλα προγραµµατισµού ϕαίνονται πιο κατάλληλα για τις πολυεπίπεδες ιεραρχι-
1.3 Συµβολή της ∆ιατριβής 7κές αρχιτεκτονικές υψηλών επιδόσεων, η πειραµατική αξιολόγηση αυτών καταδεικνύει πως η επίτευξηυψηλής απόδοσης µε το υβριδικό µοντέλο είναι πολύπλοκη διαδικασία, που απαιτεί αποδοτικές τεχνικέςχρονοδροµολόγησης και εξισορρόπησης ϕορτίου. Επίσης, ο βαθµός αποδοτικής πολυνηµατικήςυποστήριξης από τη µεριά της βιβλιοθήκης ανταλλαγής µηνυµάτων αποτελεί πολύ βασικό ζήτηµα: συχνά,η επίτευξη υψηλής απόδοσης µέσω υβριδικής παραλληλοποίησης είναι άρρηκτα συνδεδεµένη µετην αντιµετώπιση των περιορισµών που επιβάλλει η βιβλιοθήκη ανταλλαγής µηνυµάτων. Η παρούσαεργασία αποτελεί συνέχιση µακρόχρονης ερευνητικής δραστηριότητας στο Εργαστήριο ΥπολογιστικώνΣυστηµάτων του Ε.Μ.Π. σχετικά µε την αυτόµατη παραλληλοποίηση αλγορίθµων ϕωλιασµένωνβρόχων [AKPT99, GSK01, Γκο03, Σωτ04, Αθα05] και επιχειρεί να συνδέσει αποδοτικά την απεικόνισηαλγορίθµων ϕωλιασµένων βρόχων σε σύγχρονες παράλληλες αρχιτεκτονικές µε τις τεχνικές υβριδικούπρογραµµατισµού.1.3 Συµβολή της ∆ιατριβήςΗ παρούσα διατριβή αποτελεί προϊόν εκτενούς έρευνας σχετικά µε το ζήτηµα της αποδοτικής παραλληλοποίησηςαλγοριθµικών περιγραϕών ϕωλιασµένων βρόχων σε συστοιχίες πολυεπεξεργαστικών στοιχείων.Η πορεία και εξέλιξη της διατριβής επηρεάστηκε σε µεγάλο βαθµό αϕενός από την επικράτησητων ευέλικτων αρχιτεκτονικών κατανεµηµένης µοιραζόµενης µνήµης και αϕετέρου από τη διευρυµένηχρήση δηµοϕιλών προγραµµατιστικών διεπαϕών, όπως το MPI, για την παραλληλοποίηση υπολογιστικάή/και χωρικά απαιτητικών αλγορίθµων. Εστιάζοντας λοιπόν στην πολυπληθή κατηγορία των πλήρωςαντιµεταθέσιµων βρόχων, η διατριβή προτείνει ολοκληρωµένες µεθόδους αποδοτικής παραλληλοποίησηςγια τις αρχιτεκτονικές κατανεµηµένης µοιραζόµενης µνήµης. Πιο συγκεκριµένα, η συµβολήτης διατριβής εντοπίζεται στους εξής άξονες:• Περιγράϕεται µια ολοκληρωµένη µέθοδος για τον καθορισµό µιας κατάλληλης εικονικής τοπολογίαςδιεργασιών, που µπορεί να χρησιµοποιηθεί για την παράλληλη απεικόνιση ενός πολυδιάστατουαλγορίθµου ϕωλιασµένων βρόχων. Η µέθοδος αποσκοπεί στην ελαχιστοποίηση τουόγκου των δεδοµένων επικοινωνίας που ανταλλάσσει µια τυχούσα διεργασία µε τις γειτονικέςτης. Έτσι, επιχειρεί να αµβλύνει τις καθυστερήσεις που σχετίζονται µε το σηµαντικό κόστος επικοινωνίαςτέτοιων παράλληλων αλγορίθµων σε κατανεµηµένα περιβάλλοντα, ιδίως σε συµβατικάδίκτυα διασύνδεσης. Θεωρώντας ως βασική παραδοχή το ρεαλιστικό περιορισµό της ύπαρξηςενός συγκεκριµένου, πεπερασµένου πλήθους διεργασιών P για την παράλληλη εκτέλεση τουαλγορίθµου, η προτεινόµενη µέθοδος λαµβάνει υπόψη το χώρο επαναλήψεων και τις εξαρτήσειςδεδοµένων ενός αλγορίθµου ϕωλιασµένων βρόχων διάστασης N +1 και προσδιορίζει κατάλληληN-διάστατη εικονική τοπολογία διεργασιών P = P 1 × · · · × P N για την παράλληλη απεικόνιση
- Page 1: ΕΘΝΙΚΟ ΜΕΤΣΟΒΙΟ ΠΟ
- Page 4 and 5: ................................Ν
- Page 7 and 8: ΠερίληψηΗ Παράλληλ
- Page 9 and 10: AbstractParallel Processing is a ma
- Page 11 and 12: ΠεριεχόµεναΠερίλη
- Page 13 and 14: ΠΕΡΙΕΧΟΜΕΝΑxi5.2 Εξι
- Page 15 and 16: Κατάλογος Σχηµάτων
- Page 17 and 18: ΚΑΤΑΛΟΓΟΣ ΣΧΗΜΑΤΩΝ
- Page 19 and 20: ΚΑΤΑΛΟΓΟΣ ΣΧΗΜΑΤΩΝ
- Page 21: ΚΑΤΑΛΟΓΟΣ ΣΧΗΜΑΤΩΝ
- Page 24 and 25: xxiiΚΑΤΑΛΟΓΟΣ ΠΙΝΑΚΩ
- Page 27 and 28: ΠρόλογοςΗ εργασία
- Page 29 and 30: ΚΕΦΑΛΑΙΟ 1Εισαγωγή
- Page 31 and 32: 1.2 Επισκόπηση Σχετι
- Page 33: 1.2 Επισκόπηση Σχετι
- Page 37 and 38: 1.4 Οργάνωση της ∆ια
- Page 39 and 40: DOI: DOI: 1.5 ∆ηµοσιευµέ
- Page 41 and 42: ΚΕΦΑΛΑΙΟ 2Παράλληλ
- Page 43 and 44: π2.1 Αρχιτεκτονικές
- Page 45 and 46: 2.1 Αρχιτεκτονικές Π
- Page 47 and 48: 2.2 Μοντέλα Παράλληλ
- Page 49 and 50: 2.2 Μοντέλα Παράλληλ
- Page 51 and 52: 2.2 Μοντέλα Παράλληλ
- Page 53 and 54: 2.2 Μοντέλα Παράλληλ
- Page 55 and 56: 2.2 Μοντέλα Παράλληλ
- Page 57 and 58: 2.2 Μοντέλα Παράλληλ
- Page 59 and 60: ΚΕΦΑΛΑΙΟ 3Αλγοριθµ
- Page 61 and 62: 3.1 Αλγοριθµικό Μοντ
- Page 63 and 64: 3.1 Αλγοριθµικό Μοντ
- Page 65 and 66: 3.2 Βασικές Παραδοχέ
- Page 67 and 68: 3.2 Βασικές Παραδοχέ
- Page 69 and 70: 3.3 Παράδειγµα: Μερι
- Page 71 and 72: 3.3 Παράδειγµα: Μερι
- Page 73 and 74: 3.3 Παράδειγµα: Μερι
- Page 75 and 76: 3.3 Παράδειγµα: Μερι
- Page 77 and 78: 3.3 Παράδειγµα: Μερι
- Page 79 and 80: 3.3 Παράδειγµα: Μερι
- Page 81 and 82: ΚΕΦΑΛΑΙΟ 4Παράλληλ
- Page 83 and 84: 4.1 Μετασχηµατισµός
- Page 85 and 86:
4.1 Μετασχηµατισµός
- Page 87 and 88:
4.1 Μετασχηµατισµός
- Page 89 and 90:
4.1 Μετασχηµατισµός
- Page 91 and 92:
4.2 Απεικόνιση σε ∆ι
- Page 93 and 94:
4.2 Απεικόνιση σε ∆ι
- Page 95 and 96:
4.2 Απεικόνιση σε ∆ι
- Page 97 and 98:
4.2 Απεικόνιση σε ∆ι
- Page 99 and 100:
4.3 Προσδιορισµός Το
- Page 101 and 102:
4.4 Ισοδύναµα: Προσδ
- Page 103 and 104:
4.5 Χρονοδροµολόγησ
- Page 105 and 106:
4.5 Χρονοδροµολόγησ
- Page 107 and 108:
ΚΕΦΑΛΑΙΟ 5Υβριδικό
- Page 109 and 110:
5.1 Υβριδικό Μοντέλο
- Page 111 and 112:
5.1 Υβριδικό Μοντέλο
- Page 113 and 114:
5.1 Υβριδικό Μοντέλο
- Page 115 and 116:
5.1 Υβριδικό Μοντέλο
- Page 117 and 118:
5.1 Υβριδικό Μοντέλο
- Page 119 and 120:
5.1 Υβριδικό Μοντέλο
- Page 121 and 122:
LLL5.1 Υβριδικό Μοντέ
- Page 123 and 124:
LL5.1 Υβριδικό Μοντέλ
- Page 125 and 126:
LL5.2 Εξισορρόπηση Φο
- Page 127 and 128:
5.2 Εξισορρόπηση Φορ
- Page 129 and 130:
5.2 Εξισορρόπηση Φορ
- Page 131 and 132:
5.2 Εξισορρόπηση Φορ
- Page 133 and 134:
5.2 Εξισορρόπηση Φορ
- Page 135 and 136:
5.2 Εξισορρόπηση Φορ
- Page 137 and 138:
5.3 Σύγκριση Μοντέλο
- Page 139 and 140:
5.3 Σύγκριση Μοντέλο
- Page 141 and 142:
5.3 Σύγκριση Μοντέλο
- Page 143 and 144:
ΚΕΦΑΛΑΙΟ 6Πειραµατ
- Page 145 and 146:
6.1 Μετροπρογράµµατ
- Page 147 and 148:
6.1 Μετροπρογράµµατ
- Page 149 and 150:
6.3 Τοπολογία ∆ιεργ
- Page 151 and 152:
6.3 Τοπολογία ∆ιεργ
- Page 153 and 154:
6.3 Τοπολογία ∆ιεργ
- Page 155 and 156:
6.3 Τοπολογία ∆ιεργ
- Page 157 and 158:
6.3 Τοπολογία ∆ιεργ
- Page 159 and 160:
6.3 Τοπολογία ∆ιεργ
- Page 161 and 162:
6.3 Τοπολογία ∆ιεργ
- Page 163 and 164:
6.3 Τοπολογία ∆ιεργ
- Page 165 and 166:
6.3 Τοπολογία ∆ιεργ
- Page 167 and 168:
6.4 Εξισορρόπηση Φορ
- Page 169 and 170:
6.4 Εξισορρόπηση Φορ
- Page 171 and 172:
6.4 Εξισορρόπηση Φορ
- Page 173 and 174:
6.4 Εξισορρόπηση Φορ
- Page 175 and 176:
6.4 Εξισορρόπηση Φορ
- Page 177 and 178:
6.4 Εξισορρόπηση Φορ
- Page 179 and 180:
6.4 Εξισορρόπηση Φορ
- Page 181 and 182:
L6.4 Εξισορρόπηση Φο
- Page 183 and 184:
6.4 Εξισορρόπηση Φορ
- Page 185 and 186:
6.5 Γενική Αξιολόγησ
- Page 187 and 188:
6.5 Γενική Αξιολόγησ
- Page 189 and 190:
6.5 Γενική Αξιολόγησ
- Page 191 and 192:
6.5 Γενική Αξιολόγησ
- Page 193 and 194:
6.6 Συµβολή της ∆ιατ
- Page 195 and 196:
6.6 Συµβολή της ∆ιατ
- Page 197 and 198:
ΚΕΦΑΛΑΙΟ 7Συµπεράσ
- Page 199 and 200:
L171κόστη υπολογισµο
- Page 201 and 202:
• Οµοίως, η διασϕάλ
- Page 203 and 204:
ΠΑΡΑΡΤΗΜΑ ΑΤο Πρότ
- Page 205 and 206:
L177•¦©¦§kkkC;:M+:M¡"@£¨!L
- Page 207 and 208:
ΠΑΡΑΡΤΗΜΑ ΒΤο Πρότ
- Page 209 and 210:
181τρόπο), ¥§¦M¡§N¢¥ (
- Page 211 and 212:
ΠΑΡΑΡΤΗΜΑ ΓΣχεδίασ
- Page 213 and 214:
LLLLRRRRLRRRRRRRRPLLPLPLPLPLPLPLPLP
- Page 215 and 216:
LLLRRRPLPLPLPLPLRRRRRvvvvvΓ.2 Έλ
- Page 217 and 218:
ενώ στο αρχείο mpid/ch2
- Page 219 and 220:
ŽN¡¤© Ž¢¡0LLŽN¡¤£¦£NhO
- Page 221 and 222:
L©U©¦¤N©¦©¦$u¡¤siN¦¦$u$
- Page 223 and 224:
LkLLL©U©¦¤N©¦©¦$u¡¤siN¦
- Page 225 and 226:
¥¥LLLΓ.4 Ασύγχρονη Απ
- Page 227 and 228:
ƒƒνωνίας στην οποί
- Page 229 and 230:
L££££££L£RvΓ.6 Λήψη 201
- Page 231 and 232:
LLLLLLƒyP=¡¥u§$¥§¦¡¤£££
- Page 233 and 234:
©¥…w¥¤km¡¤¦¢ŽN¡¤© Ž
- Page 235 and 236:
LƒLLLLRLLRwRRRvRvRvRvRR{{LLΓ.6 Λ
- Page 237 and 238:
Γ.6 Λήψη 209η LFτου handle
- Page 239 and 240:
LΓ.6 Λήψη 211να επισηµ
- Page 241 and 242:
eLΓ.6 Λήψη 213∆ιεργασ
- Page 243 and 244:
Γ.6 Λήψη 215∆ιεργασί
- Page 245 and 246:
£££iLλήψης στην ουρ
- Page 247 and 248:
Βιβλιογραϕία[ABRY03][AC
- Page 249 and 250:
ΒΙΒΛΙΟΓΡΑΦΙΑ 221[CM95][
- Page 251 and 252:
ΒΙΒΛΙΟΓΡΑΦΙΑ 223[HCF97]
- Page 253 and 254:
ΒΙΒΛΙΟΓΡΑΦΙΑ 225[KM92][
- Page 255 and 256:
ΒΙΒΛΙΟΓΡΑΦΙΑ 227[RW03][
- Page 257 and 258:
ΒΙΒΛΙΟΓΡΑΦΙΑ 229[Σωτ
- Page 259 and 260:
ΕυρετήριοΑανάλυση
- Page 261 and 262:
Ευρετήριο 233ρουτίν
- Page 263 and 264:
Ευρετήριο 235MPID CH Eager