LinuxUser Skripten und Coden (Vorschau)

GNU Parallel
Schwerpunkt
chen packen lässt, sieht der Archivierer
nicht die komplette Datei und packt sie
daher nicht ganz so effizient. Wie groß
die Abweichungen ausfallen, hängt von
den zu komprimierenden Daten ab.
Falls Ihnen die parallele Bearbeitung immer
noch nicht schnell genug abläuft,
kann GNU Parallel auch noch weitere
Computer im Netzwerk einspannen.
Dann verkleinert jeweils ein anderer Rechenknecht
jedes Urlaubsfoto. Damit
das funktioniert, müssen Sie sich via SSH
auf den entfernten Computer ohne die
Eingabe eines Passwortes anmelden
können. Dabei hilft beispielsweise das
Programm ssh‐agent û.
Des Weiteren muss lokal noch Rsync
und auf den entfernten PCs jeweils GNU
Parallel installiert sein. Letzteres ist notwendig,
damit die Software die Anzahl
der Prozessoren ermitteln kann, Rsync
dient zum Übertragen der Daten. Der
folgende Befehl prüft, ob das Tool Zugriff
auf die Rechner mit den IP-Adressen
192.168.2.11 und 192.168.2.12 hat:
$ parallel ‐‐sshlogin 192.168.2.1U
1,192.168.2.12 'hostname; echo' :U
:: 1 2
GNU Parallel meldet sich damit per SSH
auf den beiden Rechnern an, startet dort
jeweils das Programm Hostname und
liefert dessen Ausgaben zurück 6 . Das
echo dient dabei als kleine Hilfe: GNU
Parallel startet den Befehl ja für jeden
hinter ::: aufgelisteten Parameter – doch
hostname verlangt gar keine Parameter.
Abhilfe schafft das angehängte, harmlose
echo, das der obige Befehl einfach
eine Zahl ausgeben lässt. Die zwei Zahlen
schließlich sind noch notwendig, damit
GNU Parallel beide Rechner kontaktiert.
Stünde dort lediglich die 1, würde
das Tool den Befehl hostname; echo nur
auf einem der Computer ausführen.
Anstelle der IP-Adressen dürfen Sie die
Hostnamen verwenden, weitere Rechner
hängen Sie durch Kommata getrennt
hintereinander. Abweichende Login-
Namen stellen Sie wie von SSH gewohnt
mit einem Klammeraffen (@) vor den
Rechnernamen. Klappt die Kontaktaufnahme,
beginnt die Arbeit.
Das dazu notwendige, etwas längliche
Kommando zeigt Listing 3. Hier greift
sich GNU Parallel die nächste Bilddatei
und kopiert sie (‐‐transfer) auf einen
der Computer. Dort setzt es dann das
Kommando mogrify ‐resize 50% auf
die Datei an. Anschließend holt GNU Parallel
die Datei wieder zurück (‐‐return
{}) und löscht die Kopie auf dem entfernten
Rechner (‐‐cleanup).
Um den gesamten Befehl übersichtlich
zu halten, überschreiben mogrify
und GNU Parallel hier wieder einfach die
Originaldateien. Da die drei Parameter
‐‐transfer, ‐‐return und ‐‐cleanup in
der Praxis häufig zum Einsatz kommen,
dürfen Sie sie mit ‐‐trc abkürzen.
Bei solchen verteilten Berechnungen
im Netzwerk stellen die Verbindungen
den Flaschenhals dar. So dauert der
Transfer von und zu den Rechnern unter
Umständen länger als das Bearbeiten
auf dem lokalen PC. Die verteilte Berechnung
lohnt daher meist nur, wenn diese
Berechnungen umfangreich sind beziehungsweise
besonders lange dauern.
Fazit
GNU Parallel spielt seine Stärken immer
dann aus, wenn sich eine rechenintensive
Aufgabe in mehrere, voneinander
unabhängige Teilaufgaben zerlegen
lässt. In Bash-Skripten können Sie häufig
For- und While-Schleifen mit GNU Parallel
beschleunigen, wie etwa im Beispiel mit
den Bildern ganz zu Beginn des Artikels.
Angenehmer Nebeneffekt: Die Kommandos
lassen sich dank GNU Parallel
auch noch wesentlich besser lesen.
Listing 3
Das kleine Werkzeug kennt noch unzählige
weitere nützliche Parameter und
Funktionen, deren Beschreibung ein ansehnliches
Buch füllen würden. Wer zum
ersten Mal mit Parallel arbeitet, sollte
sich daher erst die Beispiele im Handbuch
ansehen û.
Übrigens haben wir in den Beispielen
etwas gemogelt: Mogrify muss nicht,
wie zu Beginn des Artikels, in einer For-
Schleife stecken, sondern bearbeitet
selbst mehrere Dateien. Es nutzt dabei
sogar automatisch mehrere Prozessorkerne.
GNU Parallel ist folglich auch keine
Allzweckwaffe. Sie sollten vor seinem
Einsatz immer prüfen, ob die von Ihnen
aufgerufenen Kommandozeilenbefehle
nicht schon von sich aus mehrere Kerne
nutzen. (jlu) n
Weitere Infos und
interessante Links
www. linux‐user. de/ qr/ 28516
6 Das Kommando
echo
hilft dabei, jeden
der angegebenen
Server
anzusprechen.
01 parallel ‐‐sshlogin hans@192.168.2.11,peter@192.168.2.12
‐‐transfer ‐‐return {} ‐‐cleanup mogrify ‐resize 50% {} ::: *.tif
06.2013 www.linux-user.de
17