Eine COMA-Architektur mit automatischer Verteilung von Daten

Weitere Magazine

Empfehlungen

Info

un time (seconds)70605040302010040 44 48 52 56 60 64problem size (matrix dimension)1 site2 sites3 sites4 sitesAbbildung 5 Laufzeiten der Matrix-Multiplikation aufSDAARC (Messungen wurden auf einem Linux Clustermit 4 PCs durchgeführt).speedupefficiency3.532.521.510.540 44 48 52 56 60 641.0510.950.90.850.80.750.70.650.6problem size (matrix dimension)(a)0.5540 44 48 52 56 60 64problem size (matrix dimension)(b)Abbildung 6 (a) Speedup and (b) Effizienz der Matrix-Multiplikation. „Speedup“ ist definiert als die durchschnittlicheLaufzeit auf einer Site dividiert durch dieLaufzeit auf mehreren Sites. „Effizienz“ ist definiert alsSpeedup dividiert durch die Anzahl der Sites.1 site2 sites3 sites4 sites1 site2 sites3 sites4 sites5 Verwandte ArbeitenDie grundlegende Scheduling-Terminologie (Threads, Frames,u.s.w.) dieses Artikels stammt aus dem Bereich derMultithreaded Architectures, insbesondere von PRISC [16]und TAM [3]. COMA-basiertes Scheduling scheint bishernur in SDAARC zu existieren. Andere COMAs zielennicht auf Programm-Partitionierung,sondern bieten einDSM an, das sich auf ein (statisches oder dynamisches)Scheduling von explizit parallelen Programmen beschränkt(siehe z. B. [6]). Multithreading wird mit COMA in [15]benutzt, jedoch wiederum nur um Programme zu beschleunigen,die bereits partitioniert sind.SDAARC kann auch als Konzept für automatisches Schedulingbetrachtet werden. Einige automatische Verteilungs-Schemata konzentrieren sich auf das Scheduling vonSchleifen und Arrays (z. B. [5]). Im Gegensatz dazu kannunser Ansatz auch mit irregulären Problemen und dynamischenDatenstrukturen umgehen. Außerdem kann es sichbesser an dynamisch wechselnde Lasten auf den parallelenMaschinen (hervorgerufen durch die gleichzeitige Benutzungder Rechner durch andere Benutzer und Tasks) anpassen.Der zu SDAARC ähnlichste Scheduler ist vermutlich derScheduler der explizit parallelen Sprache Cilk [2]. Tatsächlichsind Teile unseres Schedulers durch Cilk inspiriert. Jedochbesitzt Cilk kein Konzept zur automatischen Parallelisierung.Ein guter Überblick über die verschiedenen Aktivitäten inund um Internet-Computing findet sich in [4].6 ZusammenfassungWir haben einen einheitlichen, konsistenten Ansatz zur automatischenParallelisierung von Programmen, die in konventionellen„sequentiellen“ Sprachen wie C oder FORT-RAN geschrieben sind, vorgestellt. Zur Compile-Zeit wirddas Programm in eine migrierbare Population von Threadsund Container-Objekten konvertiert, die zur Laufzeit aufdie verfügbaren Computer-Ressourcen verteilt werden. DasCache-Kohärenz-Protokoll, das Kollisionen und Inkonsistenzenverhindern soll, erlaubt konvergentes und divergentesVerschieben und Kopieren von migrierbaren Objekten,und erzeugt somit eine Balance zwischen den gegensätzlichenZielen von Lokalität und Parallelismus.Der aktuelle Stand des Projekts ist folgendermaßen: DieIntranet-orientierte Version von SDAARC ist im Test. DieTests wurden ausgeführt, um die Stabilität zu erhöhen unddie Zusammenhänge zwischen Maschinengeschwindigkeit,Kommunikationslatenzen und der Granularität derThreads zu untersuchen. Ein neuer Compiler zur automatischenGenerierung von SDAARC-orientiertem migrierbaremthreaded code (unter Zuhilfenahme der FrontEndsvon [7]), funktioniert in ersten Testläufen.7 Literatur[1] ANNAVARAM, MURALI und WALID A. NAJJAR:
Comparison of Two Storage Models in Data-DrivenMultithreaded Architectures. In: Eighth IEEESymposium on Parallel and Distributed Processing(SPDP) [9], Seiten 122–129.[2] BLUMOFE, ROBERT D., CHRISTOPHER F. JOERG,BRADLEY C. KUSZMAUL, CHARLES E. LEI-SERSON, KEITH H. RANDALL und YULI ZHOU:Cilk: An Efficient Multithreaded Runtime System.Journal of Parallel and Distributed Computing,37(1):55–69, August 1996.[3] CULLER, DAVID E., SETH COPEN GOLDSTEIN,KLAUS ERIK SCHAUSER und THORSTEN VONEICKEN: TAM — A Compiler Controlled ThreadedAbstract Machine. In: Journal of Parallel and DistributedComputing, Special Issue on Dataflow, Juni1993.[4] FOSTER, IAN und CARL KESSELMAN (Herausgeber):The Grid: Blueprint for a New Computing Infrastructure.Morgan Kaufmann Publishers, Inc.,1999.[5] GARCIA, JORDI, EDUARD AYGUADÉ und JESÚSLABARTA: A Framework for Automatic DynamicData Mapping. In: Eighth IEEE Symposium on Paralleland Distributed Processing (SPDP) [9], Seiten92–99.[6] HAGERSTEN, E., A. LANDIN und S. HARIDI:DDM — A Cache-Only Memory Architecture. IE-EE Computer, 25(9):44–54, 1992.[7] HALL, M. W., J. M. ANDERSON, S. P. AMARA-SINGHE, B. R. MURPHY, S.-W. LIAO, E. BUG-NION und M. S. LAM: Maximizing MultiprocessorPerformance with the SUIF Compiler. IEEE Computer,Dezember 1996.[8] HARIDI, SEIF und ERIK HAGERSTEN: The CacheCoherence Protocol of the Data Diffusion Machine.In: Proceedings of the PARLE 89, Band 1, Seiten1–18. Springer-Verlag, 1989.[9] IEEE: Eighth IEEE Symposium on Parallel and DistributedProcessing (SPDP), New Orleans, LA, Oktober1996. IEEE Computer Society Press.[10] LIVNY, MIRON und RAJESH RAMAN: High-Throughput Resource Management. In: FOSTER,IAN und CARL KESSELMAN [4], Chapter 13, Seiten311–337.[11] MOORE, RONALD, MELANIE KLANG, BERNDKLAUER und KLAUS WALDSCHMIDT: CombiningStatic Partitioning with Dynamic Distribution ofThreads. In: RAMMIG, FRANZ J. [17], Seiten 85–96.[12] MOORE, RONALD, BERND KLAUER und KLAUSWALDSCHMIDT: Automatic Scheduling for CacheOnly Memory Architectures. In: Third InternationalConference on Massively Parallel ComputingSystems (MPCS ’98), Colorado Springs, Colorado,April 1998.[13] MOORE, RONALD, BERND KLAUER und KLAUSWALDSCHMIDT: A Combined Virtual Shared Memoryand Network which Schedules. InternationalJournal of Parallel and Distributed Systems and Networks,1(2):51–56, 1998.[14] MOORE, RONALD, BERND KLAUER und KLAUSWALDSCHMIDT: Tailoring a Self-Distributing Architectureto a Cluster Computer Environment. In:8th Euromicro Workshop on Parallel and DistributedProcessing (EURO-PDP 2000), Rhodes, Greece,Januar 2000. IEEE, IEEE Computer Society Press.[15] MUELLER, HENK L., PAUL W. A. STALLARD undDAVID H. D. WARREN: Hiding Miss Latencies withMultithreading on the Data Diffusion Machine. In:Proceedings of the 1995 International Conference onParallel Processing, ICPP’95, Band 1, Seiten 178–185, Oconomowoc, WI, August 1995. CRC Press.[16] NIKHIL, RISHIYUR S.: A Multithreaded Implementationof Id using P-RISC Graphs. In: Proceedings ofthe Sixth Annual Workshop on Languages and Compilersfor Parallel Computing, Seiten 390–405, Portland,Oregon, August 1993. Springer Verlag LNCS768.[17] RAMMIG, FRANZ J. (Herausgeber): Distributed andParallel Embedded Systems, IFIP WG10.3/WG10.5International Workshop on Distributed and ParallelEmbedded Systems (DIPES ’98). Kluwer AcademicPublishers, 1999.[18] STENSTRÖM, PER, TRUMAN JOE und ANOOPGUPTA: Comparative Performance Evaluation ofCache-Coherent NUMA and COMA Architectures.In: Proceedings of the 19th Annual InternationalSymposium on Computer Architecture, Seiten 80–91, Gold Coast, Australia, Mai 1992.[19] WARREN, DAVID H. D. und SEIF HARIDI: The DataDiffusion Machine — A Scalable Shared VirtualMemory Multiprocessor. In: Proceedings of the1988 International Conference on Fifth GenerationComputer Systems, Seiten 943–952, Tokyo, Japan,Dezember 1988.
Seite 1 und 2: SDAARC: Eine COMA-Architektur mit a
Seite 3 und 4: vorhandene Ressourcen verteilt word
Seite 5: ApplicationSource Code(C or Fortran

Eine COMA-Architektur mit automatischer Verteilung von Daten

Erfolgreiche ePaper selbst erstellen

Template löschen?

Als Template speichern?