Effizientes Lösen linearer Gleichungssysteme über GF(2) - CDC ...

2.6. OPTIMIERTES PROGRAMMIEREN MIT CUDA 33
ist auch bei der Wahl der Blockgröße wichtig. Je nach Menge des benötigten
gemeinsamen Speichers und der Register kann die Dimension entsprechend
angepasst werden.
Größere Blöcke führen nicht automatisch zu einer höheren Auslastung. Ein
Block mit 512 Threads auf einem Device mit einer Compute Capability von
1.1 führt zu einer Auslastung von 66%, da bei einem Maximum von 768
Threads pro Multiprozessor nur ein Block aktiv sein kann. Besteht dagegen
ein Block aus 256 Threads, so beträgt die Auslastung 100%, da drei Blöcke
geladen werden können (Vergleiche B.2).
Die Anzahl der Threads pro Block sollte durch die Warpgröße teilbar sein
um ungenutzte Berechnungsressourcen durch Unterbelegung zu vermeiden.
Wenn mehrere Blöcke pro Prozessor verarbeitet werden ist es außerdem empfehlenswert,
dass jeder über mindestens 64 Threads verfügt. Besser ist jedoch
ein Wert zwischen 128 und 256. Die Blockbreite und Blockhöhe sollte bei
Devices mit einer Compute Capability von 2.0 durch die Warpgröße und bei
Grafikkarten mit einer Compute Capability von 1.x durch die halbe Warpgröße
teilbar sein. Dies liegt darin begründet, dass im besten Fall der erste
Thread eines aktiven Warps auf das erste Element in dem Segment des globalen
Speichers zugreift (Siehe auch 2.5.4).
2.6.2 Optimierung von Speicherzugriffen
Das Verbessern von Zugriffen auf die jeweiligen Speicher ist eines der wichtigsten
Gebiete der Optimierung. Der erste Schritt ist Datenverkehr mit einer
geringen Bandbreite zu meiden. Dazu gehört zum Beispiel der Transfer zwischen
CPU und GPU, welcher über einen PCI Express (PCIe) Bus läuft. Des
Weiteren sollten Daten in möglichst großen Paketen übertragen werden.
Die peak Bandbreite des Grafikkartenspeichers ist höher, als die zwischen
Host und Device. Daher kann in einigen Fällen eine bessere Gesamtzeit erreicht
werden, wenn ein Kernel auch Anweisungen bearbeitet, die nicht parallel
durchgeführt werden können anstatt diese von der CPU berechnen zu
lassen. Vor allem sollten Datenstrukturen auf der Grafikkarte verbleiben, die
nur zum Speichern von Zwischenschritten benötigt werden.
Anfragen an den globalen Speicher haben durch die auftretende Latenz eine
geringe Bandbreite, wodurch es empfehlenswert ist öffter Daten in den
gemeinsamen Speicher zu übertragen. Außerdem sollten so oft wir möglich
Adressräume verwendet werden, die über einen Cache verfügen, wie der für
Texturen und Konstanten.