LinuxUser Skripten und Coden (Vorschau)

Schwerpunkt
GNU Parallel
Bei größeren Bildersammlungen verrät
der GNU-Parallel-Parameter ‐‐progress,
wie weit die Verarbeitung bereits fortgeschritten
ist. Mit ‐‐eta berechnet GNU
Parallel auch noch die voraussichtliche
Bearbeitungsdauer. Um die Verarbeitung
abzubrechen, beenden Sie GNU Parallel
einfach mit [Strg]+[C] oder senden ihm
das TERM-Signal (etwa mit killall
‐TERM parallel). Im letzten Fall wartet
GNU Parallel noch, bis die gerade laufenden
Jobs ihre Arbeit beendet haben.
Übereignung
Die bisherigen Beispiele führten die Parameter
für die Jobs hinter drei Doppelpunkten
auf. Alternativ übergeben Sie
die Parameter über eine Pipe (Listing 1,
Zeile 1) oder sammeln alle Parameter –
in diesem Fall die Dateinamen – in einer
Textdatei (Listing 1, Zeile 2).
In beiden Fällen geht GNU Parallel davon
aus, dass jeder Parameter mit einem
Zeilenumbruch endet. Einen Dateinamen
mit Leerzeichen zerhackt das Programm
folglich nicht in mehrere einzelne
Parameter, sondern übergibt ihn an
Mogrify korrekt als Ganzes. Sollte sich jedoch
ein Zeilenumbruch in einen Dateinamen
eingeschmuggelt haben, bauen
Sie den Parameter ‐0 ein (Zeile 3). In diesem
Fall verwendet GNU Parallel das
Nullzeichen (\0) als Trenner.
Einbauküche
In den bisherigen Befehlen ersetzt
Mogri fy das Originalbild mit der geschrumpften
Variante. Besser wäre es,
würde die bearbeitete Fassung stattdessen
in dem dafür eingerichteten Verzeichnis
kleiner/ landen:
$ mogrify ‐resize 50% bild.tif klU
einer/bild.tif
Damit taucht der Dateiname allerdings
an gleich zwei Stellen auf. GNU Parallel
darf also nicht mehr nur einfach den Dateinamen
an den Mogrify-Befehl anhängen,
sondern muss ihn an ganz bestimmten
Positionen einbauen. Genau
für diesen Zweck existiert der Platzhalter
{} (Listing 2, Zeile 1).
Dabei setzt GNU Parallel den Parameter
(in diesem Fall den Dateinamen) an
die Stelle der Klammern {}. Diesen Platzhalter
gibt es noch in weiteren praktischen
Varianten. So schneidet etwa {.}
die Dateierweiterung ab. Das können Sie
wiederum nutzen, um flugs mit Convert
die verkleinerten Bilder auch noch ins
PNG-Format zu überführen (Zeile 2).
Analog liefert der Platzhalter {//} den
Verzeichnisnamen.
Nennen Sie GNU Parallel keinen Befehl,
nimmt das Werkzeug an, dass die
Eingabe die auszuführenden Befehle
enthält. Auf diese Weise füttern Sie GNU
Parallel mit mehreren verschiedenen
Befehlen:
$ (echo ls; echo pwd) | parallel
Hier erzeugt zunächst die Shell mithilfe
von echo die zwei Zeilen ls und pwd,
welche sie dann an GNU Parallel übergibt,
das die beiden Befehle dann wiederum
gleichzeitig ausführt 5 .
Zeit frisst nicht nur das Umwandeln von
Bildersammlungen, sondern auch das
Verarbeiten großer Dateien. Auch hier
hilft wieder GNU Parallel. So verfüttert
der folgende Befehl beispielsweise die
große Datei ubuntu.img an das Tool:
$ cat ubuntu.img | parallel ‐‐pipeU
‐‐recend '' ‐k gzip >ubuntu.img.gz
Aufgrund des Parameters ‐‐pipe zerschneidet
GNU Parallel die hereinfließenden
Daten in 1 MByte große Blöcke.
Jeden dieser Blöcke komprimiert es
dann – wieder möglichst gleichzeitig –
mittels Gzip. Die gepackten Datenblöcke
sammelt das Tool wieder ein, bringt sie
in die richtige Reihenfolge (‐k) und legt
sie dann in der Datei ubuntu.img.gz ab.
Dieses Archiv lässt sich mit gzip ‐d ganz
normal wieder entpacken.
Der Parameter ‐‐recend steht für „Record
End“. Über ihn kann man angeben,
wo jeweils ein Datenblock endet. Ohne
andere Angabe nimmt GNU Parallel an,
dass es an jedem entdeckten Zeilenumbruch
ein weiteres Stück von der großen
Datei abschneiden muss. Im obigen Beispiel
soll es aber Blöcke von jeweils
1 MByte Größe an Gzip übergeben. Daher
setzen die zwei einfachen Anführungsstriche
'' die Voreinstellung von
‐‐recend außer Gefecht.
Nach dem gleichen Prinzip lassen sich
auch andere große Dateien parallel verarbeiten.
Die Dokumentation zu Parallel
sortiert damit beispielsweise eine große
Textdatei û. Das Einpacken mit Gzip hat
übrigens einen kleinen Schönheitsfehler:
Da GNU Parallel immer nur Häpp-
Listing 1
01 $ find . ‐name '*.tif' | parallel mogrify ‐resize 50%
02 $ parallel ‐a dateinamen.txt mogrify ‐resize 50%
03 $ find . ‐name '*.tif' | parallel ‐0 mogrify ‐resize 50%
Listing 2
01 $ parallel mogrify ‐write kleiner/{} ‐resize 50% {} :::
*.tif
02 $ parallel convert {} {.}.png ::: *.tif
5 GNU Parallel interpretiert hier die Eingaben als Befehle.
16 www.linux-user.de
06.2013