ADMIN Magazin Gestapelt - Schneller und sicherer mit RAID (Vorschau)

Programmieren
Julia
lich vier lokale Cores, kommt man auf
3,71 Sekunden.
Parallelarbeit
Schon aus der Geschwindigkeit lässt sich
ablesen, dass Julia die Aufgabe parallel
abgearbeitet hat (alternativ kann man
sich die Worker-Prozesse auch mit »top«
ansehen). Zu beachten ist, dass diese einfache
Schleife keine Informationen über
Anzahl oder Ort der Cores brauchte. Das
ist ein sehr mächtiges Feature, weil man
damit eine Applikation zunächst auf einer
kleinen Anzahl Cores laufen lassen
kann, die sich später vergrößern lässt.
Obwohl diese Methode nicht immer für
Effizienz garantiert, ist es doch immer
hilfreich, wenn der Programmierer von
der Buchführung bei der Parallelarbeit
entlastet wird. Viele andere nützliche
Funktionen sind eine Untersuchung wert,
etwa »myid()«, die eine eindeutige Prozessornummer
zurückgibt, die der Identifizierung
dient.
Der zweite Weg Cores hinzuzufügen
benützt die Grid Engine [10] und die
Funktion »addprocs_sge()«. Andere Scheduler
wie Torque werden in der Zukunft
wohl auch unterstützt. Das unscheinbare
Feature erlaubt es, Programmen unter
Einbeziehung des gesamten Clusters zu
skalieren. Damit lassen sich Programme
konstruieren, die sich dynamisch und
selbstständig die benötigten Ressourcen
zusammensuchen.
So könnte eine Applikation auf dem Notebook
eines Benutzers laufen, aber Cores
eines Clusters anfordern. Kann sie nicht
bedient werden, könnte sie sich selbst
beenden oder aber warten, bis die Ressourcen
verfügbar sind. Einige Features
Listing 3: Nodes hinzufügen
01 julia> addprocs_ssh({"n0","n2"})
der selbst in Julia geschriebene Parallel
Computing-Komponente, etwa das Entfernen
nicht mehr benötigter Cores oder
ein besseres Recovery, sind derzeit noch
in Entwicklung.
Ein anderes interessantes Szenario ist
eine HPC-Workstation, bei der der Anwender
oder ein Scheduler automatisch
Cores freischaltet, sobald sie gebraucht
werden. Das Julia-Programm könnte sich
damit selbst verwalten und selbstständig
Ressourcen anfordern, sobald sie nötig
sind. Der Anwender muss dabei niemals
über Nodes oder Batch Queues nachdenken,
sondern kann sich ganz auf das
Problem konzentrieren, das er lösen will,
statt auf die Details der Parallelverarbeitung.
Teile und herrsche
Den Nutzer von der Verantwortung für
das Managen der Kommunikation und
Synchronisation zu entbinden, hat viele
Vorteile. Wie die Arbeit dabei genau
verteilt wird, ist dabei für den Anwender
transparent. Julia startet viele parallele
Berechnungen als Task oder Co-
Routinen. Immer, wenn der Code eine
Kommunikationsroutine wie »fetch()«
oder »wait()« erfordert, suspendiert der
Scheduler zunächst die aktuelle Task
und lässt eine andere laufen. Wenn der
Wait-Event beendet ist (weil beispielsweise
die Daten berechnet sind) wird die
suspendierte Task anschließend wieder
aufgenommen.
Dieses Design hat den großen Vorteil,
dass sich der Nutzer nicht explizit um die
Synchronisation kümmern muss. Zusätzlich
erlaubt dieses dynamische Scheduling
die recht einfache Implementierung
02 ProcessGroup(1,{LocalProcess(), Worker("10.0.0.1",9009,4,IOStream(),IOStream(),{},
03 {},2,false) ... },{Location("",0), Location("10.0.0.1",9009) ... Location("10.0.0.12",9009)},4,
04 {(1,0)=>WorkItem(bottom_func,(),false,(thunk(AST(lambda({},{{#1, #2}, {{#1, Any, 2}, {#2, Any, 2}}, {}},
05 begin
06 #1 = top(Array)(top(Any),2)
07 top(arrayset)(#1,1,"n0")
08 top(arrayset)(#1,2,"n2")
09 #2 = #1
10 return addprocs_ssh(#2)
11 end
12 ))),1),(),(),intset(1))})
13 julia> nprocs()
14 4
von Master/​Worker-Umgebungen nach
dem Schema "Teile und herrsche".
In Entwicklung
Obwohl Julia eine vielversprechende
Sprache für das technische Computing
ist, ist sie noch sehr jung und unterliegt
vielen Veränderungen Aus diesem
Grund ist Julia zum jetzigen Zeitpunkt
noch nicht für den harten Produktiveinsatz
geeignet, wohl aber zur spielerischen
Auseinandersetzung auf so gut
wie jedem Desktop-PC. Es sind sowohl
Source- wie Binary-Pakete mit Hinweisen
für die Installation auf [5] verfügbar.
Dieser Beitrag konnte nur einen kleinen
Einblick in Julias Fähigkeiten zur Parallelverarbeitung
geben, aber hoffentlich
schon ein Gefühl für die Leistungsstärke
von Julias Parallelverarbeitungsmodell
vermitteln.
Schließlich soll Julia nicht herabgemindert
werden, wenn es manchmal als
„Bastlersprache“ bezeichnet wird. Es ist
gerade ein großer Vorteil von Julia, dass
die Hürden für erste Versuche niedrig liegen.
Wer mit MATLAB vertraut ist, wird
einen einfachen Zugang finden.
Das Nette am Basteln ist, man kann einfache
Dinge schnell probieren, Ideen testen,
und nach kurzer Zeit einen Prototyp
fertig haben. Das dieser Prototyp dann so
schnell läuft wie in „richtigem“ Code ist
ein willkommener Vorteil. (jcb) n
Infos
[1] Julia: [http:// julialang. org/]
[2] Der Julia Blog: [http:// julialang. org/ blog/​
2012/ 02/ why‐we‐created‐julia/]
[3] Julia manual:
[http:// julialang. org/ manual/]
[4] LLVM: [http:// en. wikipedia. org/ wiki/​
Low_Level_Virtual_Machine]
[5] Julia Download: [https:// github. com/​
JuliaLang/ julia# readme]
[6] Julia Dokumentation:
[http:// docs. julialang. org/ en/ latest/]
[7] Limulus: [http:// limulus.​
basement‐supercomputing. com/]
[8] Julia Online Test: [http:// julia. forio. com/]
[9] Parallel-Programmier-Beispiel: [http://​
docs. julialang. org/ en/ latest/ manual/​
parallel‐computing/]
[10] Grid Engine:
[http:// gridscheduler. sourceforge. net/]
126 Ausgabe 06-2012 Admin www.admin-magazin.de