Lane Detection

Lane Detection
Kurzdokumentation
Semesterprojekt im Fach - Graphische Datenverarbeitung im WS05/06
Martin Hattenkofer
Peter Paulus

Inhaltsverzeichnis
1. Abstract ........................................................................................................................................3
2. Benutzeranleitung.........................................................................................................................3
2.1 Ausführen des Programms.....................................................................................................3
2.2 Die Benutzeroberfläche .........................................................................................................4
3. Programmbeschreibung................................................................................................................8
3.1 Allgemeiner Programmablauf ...............................................................................................8
3. 2 Hough-Transformation .........................................................................................................8
3.3 Übersicht der wichtigsten Methoden...................................................................................10
4. Probleme und Verbesserungsvorschläge....................................................................................11

1. Abstract
Fahrerassistenzsysteme stellen einen interessanten Wachstumsmarkt für die Automobilindustrie
dar. Hierbei handelt es sich um Zusatzeinrichtungen im Fahrzeug, die den Fahrer in bestimmten
Fahrsituationen unterstützen sollen, mit dem Ziel, die Sicherheit und den Fahrkomfort zu
erhöhen.
Die Ziele des Programms „Lane Detection“, welches in der Entwicklungsumgebung Visual
Studio 2003 in der Programmiersprache C# implementiert wurde, sind zum einen die Erkennung
der voraus liegenden Fahrspurmarkierungen, um den Fahrer beim Verlassen der Fahrspur (z.B.
durch Sekundenschlaf hervorgerufen) zu warnen und zum anderen die Überwachung des
unmittelbar vorausfahrenden Verkehrs in Abhängigkeit des Fahrbahnverlaufs, wobei der Fahrer
auf eventuell vorausfahrende Fahrzeuge hingewiesen werden soll.
Als Bildmaterial standen Filmsequenzen von typischen Fahrsituationen zur Verfügung. Aus
diesen wurden die einzelnen Frames des Films als Bitmaps extrahiert. Die Bilder der Bildsequenz
sind in aufsteigender Folge durchnummeriert und dienen als Eingabe für das Programm „Lane
Detection“.
Für die Bildvorverarbeitung wurden Methoden aus den Toolboxen Blob, Edge, Filter und
Morpheus der Bildverarbeitungs-Software Common Vision Blox der Firma Stemmer AG
verwendet.
2. Benutzeranleitung
2.1 Ausführen des Programms
Das Programm liegt als ausführbare exe-Datei vor. Es werden keine Aufrufparameter benötigt.
Der Quellcode liegt als C# Projekt vor.

2.2 Die Benutzeroberfläche
Die Benutzeroberfläche besteht aus:
1. Dem Hauptbildbereich, der den Original Frame mit eingezeichneten
Fahrbahnmarkierungen anzeigt, nachdem die Verarbeitung des einzelnen Bildes
abgeschlossen ist
2. Einem Bildbereich zur Anzeige des vorverarbeiteten Bildes im Binärformat, mit zwei
darüber gelegenen Schiebereglern, mit deren Hilfe man den oberen und unteren Threshold
für die Binarisierung einstellen kann. So kann eine Optimierung der Bildvorverarbeitung
erzielt werden
3. Einem Bildbereich zur Anzeige des Bereichs, in dem ein vorausfahrendes Fahrzeug in
unmittelbarer Nähe erkannt werden soll
4. Zwei Bereichen, in denen Hinweise „ Fahrzeug kreuzt bzw. verlässt die Fahrbahn“ und
„Fahrzeug befindet sich in Front“ angezeigt werden sollen
5. Einem Schieberegler zur Navigation in der Bildsequenz. Dies ermöglicht das gezielte
Auswählen einer beliebigen Stelle in der Bildfolge, ab der die Bearbeitung vorgesetzt
bzw. gestartet werden soll. Die aktuelle Position in der Bildsequenz, sowie die
Gesamtzahl der Bilder in der Sequenz werden rechts neben dem Schieberegler angezeigt
6. Zwei Buttons, zum Wählen eines beliebigen Ordners, der die Bildsequenz enthält, bzw.
zum Starten der Abarbeitung der einzelnen Frames der Bildsequenz
6) 5) 1) 4) 3)
2)

Um die zu bearbeitende Bildsequenz auszuwählen, muss der Button „Load Sequence“ angeklickt
werden, worauf folgender Dialog erscheint. Nun muss der Pfad zur gewünschten Bildfolge
ausgewählt werden.
Anschliessend wird der erste Frame der Bildsequenz geladen und ausgewertet. Die erkannten
Fahrbahnmarkierungen werden farbig eingezeichnet. Die Fahrbahnmarkierungen werden in 2
Bereichen erkannt. Zum einen im Nahbereich und zum anderen im Fernbereich. Dies ermöglicht
ein genaueres Erkennen von Kurven.
Trennung von Nah-
und Fernbereich

Bei einem Klick auf den Button „Play“ wird die sukzessive Verarbeitung der Bildsequenz
gestartet.
Kreuzt das Fahrzeug eine Fahrspur, bzw. wird eine Fahrspur überfahren, ertönt ein akustisches
Warnsignal und das Hinweisschild „crossing lane“ wird rechts neben dem Hauptbildbereich
angezeigt. Diese Situation tritt sowohl bei einem Fahrspurwechsel, als auch bei einem
beginnenden Verlassen der Fahrbahn, z.B. bei Sekundenschlaf auf.
Auch wird nur noch die gekreuzte Fahrspur farbig dargestellt.

In Abhängigkeit des erkannten Strassenverlaufs im Fernbereich wird der zu überwachende
Bereich in Front des Fahrzeugs gewählt. Es soll erkannt werden, ob sich in diesem Bereich ein
vorausfahrendes Fahrzeug befindet. Der vorverarbeitete Bildbereich wird unten rechts im
Programmfenster angezeigt. Befindet sich ein Fahrzeug in diesem Bereich, wird der „Fahrer“
durch das Hinweisschild „car in front“ rechts neben dem Hauptbildbereich gewarnt.
Beim kreuzen einer Fahrspur, also wenn sich das Fahrzeug nicht in einer definierten Fahrspur
befindet, ist die Erkennung von vorausfahrenden Fahrzeugen deaktiviert.

3. Programmbeschreibung
3.1 Allgemeiner Programmablauf
Auf die Bildfolge werden folgende Verfahren angewandet. Das Vorgehen bei der Hough-
Transformation, welche die Schlüsselfunktionalität des Programms realisiert, wird im Anschluss
näher erläutert.
- Bild laden
- Tiefpassfilter (Gaußfilter mit 3x3-Maske)
- Kantenfilter (Laplacefilter mit 3x3-Maske)
Vor dem Binarisieren wird eine region of interest festgelegt. Alle folgenden Aktionen werden
dann lediglich auf diese ROI angewendet.
- Binarisieren mit gewähltem Thresholdbereich
- Thinning
Nun ist die Bildvorverarbeitung abgeschlossen und das Erkennen von Fahrbahnlinien mit Hilfe
der Hough Transformation folgt getrennt für die zwei Bereiche Nah und Fern.
- Hough-Transformation
- Geradenzeichnung
Die Signalisierung, ob die Fahrspur verlassen, bzw. gekreuzt wird, erfolgt über Events.
Die zweite Funktionalität der Software, die Erkennung von vorausfahrenden Fahrzeugen wird im
Anschluss an die Fahrspurerkennung ausgeführt.
Hier wird in Abhängigkeit vom während der Fahrspurerkennung ermittelten Fahrbahnverlauf im
Fernbereich eine neue ROI definiert. Dieser Bereich wird nun einer Bildvorverarbeitung mit den
folgenden Filtern unterzogen:
- Tiefpassfilter (Gaußfilter mit 3x3-Maske)
- Kantenfilter (Laplacefilter mit 3x3-Maske)
Als Kriterium, ob sich ein Fahrzeug in Front in derselben Fahrspur befindet, dient die Varianz der
Pixelwerte in der ROI. Wird ein bestimmter Schwellwert überschritten, erfolgt die
Benachrichtigung über ein Event.
3. 2 Hough-Transformation
Für die Erkennung der Linien im Bild wurde Hough-Transformation herangezogen. Das Prinzip
der Hough-Transformation ist es, durch jeden weissen Punkt der binarisierten und skelettierten

ROI ein Geradenbüschel zu legen und anschließend nach den Geraden zu suchen, auf denen die
meisten Punkte liegen.
Die Bildpunkte eines Frames können mit karthesischen Koordinaten (x-y-Koordinaten)
angesprochen werden. P(30, 40) ist beispielsweise das Pixel mit dem x-Wert 30 und dem y-Wert
40.
Unter einer Geraden versteht man im
Sinne des Hough-Algorithmus eine Menge von
kollinearen Punkten.
Im karthesischen Koordinatensystem wird eine Gerade normalerweise durch ihre Steigung m und
den y-Achsenabschnitt t beschrieben:
y= m x t;
Eine andere Darstellung ermöglicht die sogenannte
Hesse-Normalform
n x− a = 0;
Dabei ist a der Haltepunkt der Geraden und n die Normale mit n = 1 .
Aus n = 1 folgt:
n= cos
sin
Dann gilt:
n x− a = cos
sin
=>
= x cos y sin
x
y −
cos
sin
= x cos y sin − = 0
= wird durch den Winkel zwischen der positiven x-Achse und n gebildet
= Abstand zwischen dem Ursprung (Punkt (0, 0)) und der Gerade
Damit drückt die Hesse'sche Normalform die Gerade durch ihren senkrechten Abstand zum
Ursprung und den Winkel zwischen der Normalen n und der x-Achse aus.
Für jeden Punkt P(x, y) wird nun ein Geradenbüschel gelegt und der Abstand zum Ursprung
berechnet.
Die entsprechenden Kombinationen ( , ) bilden die neuen Koordinaten im Hough-Raum
(Hough-Akkumulator Matrix), in dem die Koordinatenwerte die Häufigkeiten des Auftretens der
jeweiligen Geraden darstellen.
Eine Koordinate (ein Punkt) ( , ) im Hough-Raum stellt also eine Geradengleichung in der
Hesse'schen Normalform dar.

Um nun Fahrbahnmarkierungen detektieren zu können, sucht man in einem bestimmten, vorher
definierten Bereich der Hough-Akkumulator Matrix nach einem maximalen Wert. Dies entspricht
dann der durch die meisten Punkte gestützten Gerade in diesem Bereich, oder anders
ausgedrückt: auf dieser Gerade liegen die meisten Pixel im Bild.
3.3 Übersicht der wichtigsten Methoden
playSequence();
Steuerung der Bearbeitung der einzelnen Frames der Bildfolge.
detectLane();
Bildvorverarbeitung der eingelesenen Frames der Bildfolge. (Tiefpass-Filter, Kanten-Filter,
Binarisierung und Skelettierung) Anschliessend aufruf der Hough-Transformation
binarizeImage();
Binarisieren des Bildes anhand des eingestellten oberen und unteren Thresholds.
thinning();
Skelettierung des binarisierten Bildes.
hough();
Aufbau der Akkumulator Matrix. Ermittlung der Geraden für linke und rechte
Fahrspurbegrenzung, bzw. Fahrspurtrennlinie im Nah- und Fernbereich.
drawLine();
Einzeichnen der detektierten Geraden für den Nah- und Fernbereich in das Originalbild.
detectVehicleInFront();
Erkennung von vorausfahrenden Fahrzeugen.
Festlegen des zu untersuchenden Bereichs vor dem Fahrzeug in Abhängigkeit der gefundenen
Geraden im Fernbereich. Ermittlung der Varianz der Bildpunkte in diesem Bereich und vergleich
mit einem festgelegten Schwellwert.

4. Probleme und Verbesserungsvorschläge
• Laufzeit: Trotz Einschränkung und Zuschnitt der ROI bei der Linienerkennung liegt die
Zeit zur Bearbeitung eines Frames je nach eingesetzter Rechnerleistung bei ca 3-4
Sekunden.
• Erkennung der Linien bei mangelnden Fahrspurmarkierungen
• Erkennung der Linien in Kurven mit engem Radius
Verbesserungsvorschläge:
• Derzeit werden die Geraden des Geradenbüschels in der Auflösung von einem Grad
berechnet. Wird diese Auflösung erniedrigt, werden zwar die Werte in der Akkumulator
Matrix kleiner und somit das Auffinden der Geraden schwieriger, die Laufzeit pro Frame
würde sich dann aber verkürzen.
• Die Auflösung der Kamerabilder ist mit 752x404 Pixeln relativ gross. Eine Reduktion der
Auflösung würde in einem Laufzeitvorteil pro Frame resultieren.