Programmierbare LogikCoverstoryFPGAs: Vorteile gegenüber DSPsImplementierung leistungsfähiger VideoanalyseAnwendungen in den Bereichen intelligente Videoüberwachungssysteme (IVS), Überwachungs- und Erkennungsgeräte(ISR) oder automobile Fahrerassistenzsysteme (ADAS) sind durch hohen Datendurchsatz gekennzeichnet,wo Video-Eingänge mit einigen Megapixeln mit Video-Frame-Rate oder auch noch schneller analysiert werdenmüssen, um präzise und zuverlässige Ergebnisse zu liefern. Hier bieten Strom-sparende FPGAs mit skalierbarenund portierbaren IP-Funktionen sowie flexibler und hoher Verarbeitungsleistung Vorteile gegenüber DSP-Lösungen. Autoren: Csaba Rekeczky, Gusztav Bartfai, Bob SillerBild 1: Bei derImplementierungleistungsfähigerVideoanalyse sprichtvieles für eineFPGA-Lösung.18 <strong>elektronik</strong> <strong>industrie</strong> 06/2012
Programmierbare LogikCoverstoryDie wachsende Nachfrage bei Anwendungen mit eng gekoppelterErfassung und Auswertung wie in statischenPlattformen (zum Beispiel IP-Kameras in Video-Überwachungs-Netzwerken)oder auch in mobilen Geräten(beispielsweise unbemannten Flugkörpern) erfordert eine effizienteVideo-Analyse (Bild 1). Diese ist oft eine Kombination aus einerBildsensor-Pipeline (Front-End) und entsprechender Bild-Kompression(Back-End). Angesichts des ständig steigenden Datendurchsatzesstehen Entwickler großen Design-Herausforderungengegenüber, um die bestmögliche Single-Chip-Lösung auf bestehendenHardware-Plattformen zu realisieren, bei minimiertemPlatzbedarf, Gewicht, Leistungsaufnahme und Kosten einerseitsund bester Video-Qualität andererseits.IVS-, ISR- und ADAS-SystemeVerschiedene Applikations-Szenarien stellen ganz unterschiedlicheAnforderungen an die Videoanalyse-Architektur und -Algorithmen.Es lassen sich drei Grundtypen definieren: IVS (IntelligentVideo Surveillance): Das typische Format ist hier 1080p/60fps (120 Megapixel/s). Eine statische Video-Analyse-Plattform beider Verkehrsüberwachung weist zudem mindestens zehn komplexeErfassungs-Regeln (beispielsweise bei der Missachtung von Rotlicht,Erfassung des Kennzeichens, und so weiter) auf. Dafür ist dieVerfolgung von mehreren Objekten, Merkmal-, Signatur- undHintergrundanalyse erforderlich. Die Latenzzeit liegt bei typischzwei bis vier Frames.ISR (Intelligence, Surveillance and Reconnaissance): Hierbeihandelt es sich um mobile Videoanalyse-Plattformen mit typisch1024 x 1024, 1000 fps (1 Gigapixel/s). Typisch sind mindestensfünf verschiedene Erfassungskriterien (zum Beispiel die Erfassungund Verfolgung von Personen in unterschiedlichen Umgebungenoder die Identifizierung von spezifischen Objekten beim Überflugin geringer Höhe). Für diese Applikation ist ebenfalls die Verfolgungvon mehreren Objekten, Merkmal-, Signatur- und Hintergrundanalyseerforderlich, allerdings mit Latenzzeiten von maximalein Frame.ADAS (Advanced Automotive Driver Assistance): Hier sind dietypischen Kennzahlen 1280 x 720 / 30 fps x 4 Kamera-Streams (110Megapixel/s). Diese mobilen Videoanalyse-Plattformen (Bild 2)müssen ebenfalls mindestens fünf verschiedene Erfassungskriterienkönnen (zum Beispiel die Erfassung von Fußgängern, Fahrzeugen,Fahrrädern, Verkehrszeichen…). Das bedingt die gleichzeitigeVerfolgung mehrerer Objekte, Merkmal-, Signatur-, Hintergrund-und Bewegungs-Analyse, mit Latenzzeiten von ein bis zweiFrames.Software-Lösungen auf DSP-Basis habenEinschränkungenEs ist sehr schwierig, will man alle drei genannten Beispiele miteiner feststehenden Hardware-Plattform zufriedenstellend lösen.Noch mehr, wenn der Markt eine kostengünstige, flexible Single-Chip-Lösung für verschiedene Umgebungen fordert. Das IVS-Beispielweist einen moderaten Durchsatz (120 MPixel/s) bei Video-Frame-Raten auf. Andererseits ist eine komplexe und variableAnalyse mit einer relativ hohen Anzahl verschiedener Erkennungsregeln(>10) erforderlich, die parallel mit einer moderatenLatenzzeit (30 bis 120 ms) verarbeitet werden müssen. Das legt eineBereitstellung der entsprechenden Hardware-Ressourcen mitFokus auf die Verarbeitungsaspekte nahe. Das ISR-Beispiel zeigtdagegen einen sehr hohen Durchsatz (1 GPixel/s) und nur moderateAnalyseaufgaben. Allerdings ist eine Bewegungsanalyse mitsehr geringer Latenzzeit (1 ms) erforderlich. Diese Charakteristikasprechen für eine sorgfältige Zuordnung der Ressourcen für denDurchsatz und die Verarbeitungsleistung. Das ADAS-Beispielschließlich ist durch einen moderaten Durchsatz (110 MPixel/s)gekennzeichnet. Allerdings erhöhen die verschiedenen Kameraeingänge,die parallele Erfassung von mehreren Ereignissen undder Abgleich mit der unterschiedlichen Autogeschwindigkeit dieKomplexität.Darüber hinaus lassen sich schnell mindestens ein Dutzend andereApplikationen benennen, die irgendwo zwischen diesen dreigenannten Basis-Beispielen liegen. Das legt nahe, dass das kompletteSpektrum an Videoanalyse-Problemstellungen nicht mit einerreinen Software-Lösung auf herkömmlichen DSP/ASIC-Plattformenohne rekonfigurierbare Hardware adressiert werden kann.Entweder muss man Abstriche beim Durchsatz oder bei der Verarbeitungs-Genauigkeitmachen.Vor diesem Hintergrund wird klar, dass für die anspruchsvolleVideoanalyse eine innovative Architektur/Algorithmus-Lösungerforderlich ist. Dazu gehören mehrere Verarbeitungs-Layer, einedurchdachte Kommunikations-Architektur mit Bottom-up- undBottom-down-Verarbeitung und genau ausgewählte, skalierbareHardware-Beschleuniger (Coprozessoren), die für die jeweiligeMerkmal- und Signatur-Erfassung rekonfiguriert werden können.All diese Anforderungen lassen sich nur mit komplexen, rekonfigurierbarenFPGAs umsetzen. Damit sind flexible Hardware-Software-Codesignsmöglich, während gleichzeitig Design-Komplexität,-Kosten und -Leistungsaufnahme gesenkt werden können.Hardware-Architektur für effiziente VerarbeitungSerielle Hardware/Software-Architekturen sind für anspruchsvolleVideoanalysen nicht geeignet, da der Ressourcen-Bedarf mit zunehmendemDurchsatz beziehungsweise zunehmender Verarbeitungsleistungexponenziell steigt. Optimierte Hardware-Software-Pipeline-Architekturen können serielle Architekturen effizient ersetzen,wenn die Videoanalyse relativ einfach ist und in ein Verarbeitungs-Frameworkimplementiert werden kann, das nur einelokale Verarbeitung erfordert. Das heißt, wenn das zu erfassendeObjekt ein gut definiertes lokales Raster hat und sich gut vom Hintergrundabhebt. Anspruchsvollere Videoanalyse-Aufgaben könnennur durch verschiedene Verarbeitungs-Layer adressiert werden.Dies beinhaltet eine Kombination aus lokaler und globalerVerarbeitung sowie Processing-Module, die in einer Kommunikations-Architekturmit verschiedenen Feedback-Mechanismen organisiertsind. Dieser Ansatz erfordert eine flexible Ressourcen-Zuordnung und dynamische Rekonfigurierung. Die Steuerungund die Verarbeitungsqualität (meist angegeben in PoD, Type 1-Auf einen BlickFür anspruchsvolle VideoanalysenFür anspruchsvolle Videoanalysen ist eine innovative Architektur-/Algorithmus-Lösungerforderlich. Nur FPGA-Plattformen bieten die Design-Freiheitund die Flexibilität, die dafür erforderlich sind. Die Videoanalyse-Lösungvon Altera auf Basis der Cyclone IV-FPGAs liefertdie benötigte Rechenleistung für eine HD 1080p/30fps-Echzeit-Videoverarbeitung.Mittlerweile stehen mit der Cyclone V-Familie28-nm-FPGAs zur Verfügung, und damit eine noch leistungsfähigereAlternative für die Implementierung anspruchsvoller Videoanalyse.infoDIREKT www.all-electronics.de606ei0612www.<strong>elektronik</strong>-<strong>industrie</strong>.de <strong>elektronik</strong> <strong>industrie</strong> 06 / 2012 19
Change language