Workshopband als PDF - Mpc.belwue.de

MPC-WORKSHOP FEBRUAR 2013
Erkennung von Fußgängern in Echtzeit auf FPGAs
Zusammenfassung—Die Detektion von Fußgängern
unter Echtzeitbedingungen ist eine der Kernproblemstellungen
bei der Entwicklung von kamerabasierten
Fahrerassistenzsystemen. Häufig wird
hierfür der von Dalal und Triggs [1] entwickelte
Histograms of Oriented Gradients (HOG) Deskriptor
in Verbindung mit einer Support Vector Machine
(SVM) für die Klassifikation verwendet, die
auch die Basis dieser Arbeit bilden. Es wird ein
neuer, ressourcen- und geschwindigkeitsoptimierter
Ansatz vorgestellt, bei dem sowohl die
Deskriptorenberechnung als auch die Klassifikation
sowie die Skalierung auf einem FPGA implementiert
sind. Dies ermöglicht, zusammen mit
einem Zeitmultiplexverfahren für die Multiskalenberechnung,
eine Vollbildklassifikation bei 60 Full-
HD-Bildern (1920 x 1080 Pixel) pro Sekunde mit
einer Latenz von weniger als 150 µs. Damit können
in einer Skalenstufe pro Sekunde 1,8 Mio. HOG-
Deskriptoren sowie die dazugehörigen Klassifikationsergebnisse
mit der SVM berechnet werden. Auf
einem Xilinx Virtex-5 FPGA sind so im Multiskalenbetrieb
bis zu 11 Mio. Klassifikationsfenster
pro Sekunde auswertbar, was bestehende FPGA-
Implementierungen um den Faktor 10 übersteigt.
Schlüsselwörter—Fußgängererkennung, FPGA,
HOG, SVM.
A. Motivation
I. EINLEITUNG
Die automatisierte Detektion von Personen hat in
vielen Bereichen, wie z. B. in Überwachungssystemen
oder in Fahrerassistenzsystemen, eine große Bedeutung.
Während bei manchen Anwendungsfällen die
Geschwindigkeit eine untergeordnete Rolle spielt, ist
vor allem auch bei modernen Fahrerassistenzsystemen
die Echtzeitfähigkeit und Latenz der Detektion entscheidend.
CPUs – auch moderne Mehrkern-CPUs –
sind hierfür aufgrund ihrer sequentiellen Arbeitsweise
nur eingeschränkt geeignet. Durch Parallelisierung der
Michael Hahnle, michael.hahnle@h-ab.de, und Konrad Doll,
konrad.doll@h-ab.de, sind Mitglieder der Hochschule Aschaffenburg,
Fakultät Ingenieurwissenschaften, Labor für Rechnergestützten
Schaltungsentwurf, Würzburger Straße 45, 63743 Aschaffenburg.
Frerk Saxen, frerk.saxen@ovgu.de, ist Mitglied der Otto-von-
Guericke-Universität Magdeburg, Lehrstuhl für Technische Informatik,
Universitätsplatz 2, 39106 Magdeburg.
Michael Hahnle, Frerk Saxen, Konrad Doll
Berechnungen auf modernen Graphics Processing
Units (GPUs) sind die geforderten Echtzeitbedingungen
erreichbar. In zunehmendem Maße werden seit
einigen Jahren auch Field Programmable Gate Arrays
(FPGAs) für die digitale Bildverarbeitung eingesetzt.
Sie bieten im Vergleich zu GPUs den Vorteil einer –
je nach Algorithmus – deutlichen Geschwindigkeitssteigerung
bei gleichzeitig geringerem Strom- und
Platzbedarf, da moderne FPGAs für die digitale Signalverarbeitung
(Digital Signal Processing – DSP)
spezielle Makrozellen enthalten, die große Vorteile
bezüglich der Geschwindigkeit und des Ressourcenbedarfs
des späteren Designs bieten.
B. Stand der Technik
Der von Dalal und Triggs 2005 vorgestellte HOG-
Deskriptor in Verbindung mit einer SVM zur Klassifikation
[1], [3] ist im Bereich der Personenerkennung
weit verbreitet. Während einige Veröffentlichungen
auf die Optimierung der Erkennungsrate durch Änderung
des Algorithmus (z. T. für bestimmte Situationen)
abzielen (z. B. [8], [13]), steht in anderen die
Optimierung der Geschwindigkeit – vor allem durch
den Einsatz von GPUs und FPGAs – im Fokus (z. B.
[4]-[7], [10]-[12], [14]).
Bislang gibt es im Vergleich zu CPU- und GPU-
Implementierungen nur wenige Veröffentlichungen zu
FPGA-basierten HOG-Fußgängerdetektoren. Grundlegend
kann dabei zwischen reinen FPGA-Implementierungen
(z. B. [6], [10]-[13]) und FPGAbeschleunigten
Systemen (z. B. [4], [5]), bei denen nur
ein Teil der Berechnung auf dem FPGA stattfindet,
unterschieden werden.
Die schnellsten GPU- und FPGA-Implementierungen
erreichen maximal 0,4 – 0,9 Mio. Klassifikationsfenster
pro Sekunde [7], [11] mit Bildraten von 17
Bildern pro Sekunde (fps) bei einer Auflösung von
640 x 480 Pixel [13] bis 30 fps bei 1920 x 1080 Pixel
[11].
C. Zielsetzung
Die im Folgenden beschriebene FPGA-Implementierung
ist auf die Verarbeitung einer Auflösung von
1920 x 1080 Pixel (Full-HD) bei mindestens 60 Bildern
pro Sekunde ausgelegt. Dies stellt eine hohe
Anforderung an das Design der Schaltung, um eingehende
Pixeldaten schritthaltend verarbeiten zu können.
Damit bei dieser Auflösung eine so hohe Geschwindigkeit
erreicht werden kann, kommt ein konsequentes
Pipelining der Berechnungen und ein zellenbasierter
57