Weiterentwicklung der automatisierten Merkmalserkennung im ...

Weiterentwicklung der 

automatisierten 

Merkmalserkennung 

im Rahmen des TP3 

Berichte der 

Bundesanstalt für Straßenwesen 

Straßenbau Heft S 67

Weiterentwicklung der 

automatisierten 

Merkmalserkennung 


von 

Ulrich Canzler 

Benjamin Winkler 

CanControls 

Aachen 

Berichte der 


Straßenbau Heft S 67

Die Bundesanstalt für Straßenwesen 

veröffentlicht ihre Arbeits- und Forschungsergebnisse 

in der Schriftenreihe Berichte der 

Bundesanstalt für Straßenwesen. Die Reihe 

besteht aus folgenden Unterreihen: 

A -Allgemeines 

B -Brücken- und Ingenieurbau 

F -Fahrzeugtechnik 

M-Mensch und Sicherheit 

S -Straßenbau 

V -Verkehrstechnik 

Es wird darauf hingewiesen, dass die unter 

dem Namen der Verfasser veröffentlichten 

Berichte nicht in jedem Fall die Ansicht des 

Herausgebers wiedergeben. 

Nachdruck und photomechanische Wiedergabe, 

auch auszugsweise, nur mit Genehmigung 

der Bundesanstalt für Straßenwesen, 

Stabsstelle Presse und Öffentlichkeitsarbeit. 

Die Hefte der Schriftenreihe Berichte der 

Bundesanstalt für Straßenwesen können 

direkt beim Wirtschaftsverlag NW, 

Verlag für neue Wissenschaft GmbH, 

Bgm.-Smidt-Str. 74-76, 

D-27568 Bremerhaven, 

Telefon: (04 71) 9 45 44 - 0, bezogen werden. 

Über die Forschungsergebnisse und ihre 

Veröffentlichungen wird in Kurzform im 

Informationsdienst Forschung kompakt berichtet. 

Dieser Dienst wird kostenlos abgegeben; 

Interessenten wenden sich bitte an die 

Bundesanstalt für Straßenwesen, 

Stabsstelle Presse und Öffentlichkeitsarbeit. 

Impressum 

Bericht zum Forschungsprojekt FE 89.210/2008 /AP: 

Weiterentwicklung der automatisierten Merkmalserkennung inklusive 

Dokumentation vorheriger Merkmale im Rahmen des TP3 

Projektbetreuung 

Börge Wasser 

Herausgeber 


Brüderstraße 53, D-51427 Bergisch Gladbach 

Telefon: (0 22 04) 43 - 0 

Telefax: (0 22 04) 43 - 674 

Redaktion 

Stabsstelle Presse und Öffentlichkeitsarbeit 

Druck und Verlag 

Wirtschaftsverlag NW 

Verlag für neue Wissenschaft GmbH 

Postfach 10 11 10, D-27511 Bremerhaven 

Telefon: (04 71) 9 45 44 - 0 

Telefax: (04 71) 9 45 44 77 

Email: vertrieb@nw-verlag.de 

Internet: www.nw-verlag.de 

ISSN 0943-9323 

ISBN 978-3-86918-093-9 

Bergisch Gladbach, März 2011 

S 67

Kurzfassung – Abstract 

Weiterentwicklung der automatisierten Merkmalserkennung 


Zur Erkennung und Beurteilung von Straßenschäden 

werden derzeit Bilder der Fahrbahnoberfläche 

erfasst und anhand eines Schadenskataloges bewertet. 

Die Auswertung der Aufnahmen wird bislang 

manuell durchgeführt, wodurch es zu unterschiedlichen 

Beurteilungen kommen kann. 

Um eine einheitliche Auswertung zu garantieren, 

soll im Rahmen des vorliegenden Forschungsprojektes 

eine Software zur teilautomatischen Merkmalssuche 

und -analyse von Oberflächenschäden 

entwickelt werden. Im vorangegangenen Projekt 

(FE 89.190/2007/AP) wurde bereits die Machbarkeit 

eines solchen Systems analysiert. 

Um die praktische Anwendbarkeit eines solchen 

Assistenzsystems untersuchen zu können, soll ein 

Arbeitsplatzrechner eingerichtet und mit einer entsprechend 

zu entwickelnden Software ausgerüstet 

werden. 

Des Weiteren ist zu untersuchen, inwiefern eine 

Bewertung der Oberflächenschäden automatisiert 

werden könnte. Es soll weiter untersucht werden, 

inwieweit die detektierten Merkmalsklassen ausgeweitet 

(d. h. Schadensmerkmale klassifiziert) werden 

können. 

Bild 1: Mittels der visuellen Begutachtung des Oberflächenbildes 

lassen sich Schäden frühzeitig dokumentieren und 

gegebenenfalls ausbessern 

Development of automated feature recognition 

as part of TP3 

For the recognition and assessment of road 

damage, currently, images of the carriageway 

surface are recorded and evaluated by means of a 

damage catalog. The images have previously been 

analyzed manually, which can result in different 

assessments. 

To guarantee consistent evaluation, software for 

semi-automatic feature search and analysis of 

surface defects is to be developed within the 

framework of the present research project. The 

feasibility of such a system was already analyzed in 

the previous project (FE 89.190/2007/AP). 

In order to investigate the practicality of such an 

assistance system, a workstation is to be installed 

and equipped with software which is to be 

developed accordingly. Furthermore, it is to be 

examined to what extent surface damage analysis 

could be automated. It should be further 

investigated to what extent the detected 

characteristic classes can be expanded (i.e. 

classification of damage characteristics). 

Figure 1: By means of visual inspection of the surface image, 

defects can be documented early and if appropriate, 

repaired 

3

Inhalt 

1 Einleitung . . . . . . . . . . . . . . . . . . . . . . . . 7 

2 Ausgangslage . . . . . . . . . . . . . . . . . . . . 7 

2.1 Bestehender Systemansatz . . . . . . . . . . . 8 

2.2 Systemanalyse . . . . . . . . . . . . . . . . . . . . 9 

2.3 Aufgabenstellung . . . . . . . . . . . . . . . . . . . 10 

3 Konzeptionierung . . . . . . . . . . . . . . . . . 10 

3.1 Rahmenbedingungen . . . . . . . . . . . . . . . 10 

3.2 Systemkonzept . . . . . . . . . . . . . . . . . . . . 10 

4 Durchführung . . . . . . . . . . . . . . . . . . . . . 11 

4.1 Vorläuferprojekt . . . . . . . . . . . . . . . . . . . . 11 

4.2 Systemüberblick . . . . . . . . . . . . . . . . . . . 11 

4.3 Bildgewinnung . . . . . . . . . . . . . . . . . . . . . 13 

4.4 Bildverbesserung . . . . . . . . . . . . . . . . . . . 13 

4.5 Merkmals-Extraktion . . . . . . . . . . . . . . . . 17 

4.6 Merkmalsinterpretation . . . . . . . . . . . . . . 22 

4.7 Interaktion . . . . . . . . . . . . . . . . . . . . . . . . 24 

4.8 Datenmaterial . . . . . . . . . . . . . . . . . . . . . 24 

5 Evaluierung . . . . . . . . . . . . . . . . . . . . . . 26 

5.1 MESOB: Kameraparameter . . . . . . . . . . . 26 

5.2 MESOB: Infrarot-Bandpassfilter . . . . . . . 27 

5.3 Systemablauf . . . . . . . . . . . . . . . . . . . . . . 29 

5.4 MESOB-Bilddaten . . . . . . . . . . . . . . . . . . 32 

5.5 Externe Bilddaten . . . . . . . . . . . . . . . . . . 35 

6 Zusammenfassung und Ausblick . . . . 38 

Anhänge . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 

Anhang A: Bildmaterial . . . . . . . . . . . . . . . . . . . 40 

Anhang B: Handbuch zur erstellten 

Software . . . . . . . . . . . . . . . . . . . . . 50 

5

1 Einleitung 

Eine der größten und wichtigsten Aufgaben für 

die intakte Verkehrsinfrastruktur eines Landes ist 

neben dem Ausbau die Erhaltung des vorhandenen 

Straßennetzes. 

Insbesondere die Überwachung der sicheren Befahrbarkeit 

und die Gewährleistung der Langlebigkeit 

stellen eine hohe Herausforderung für die zuständigen 

Autobahn- und Straßenmeistereien dar. 

Das deutsche Straßennetz umfasste im Jahr 2006 

insgesamt ca. 300.000 km, wobei 12.000 km auf 

Bundesautobahnen und 41.000 km auf Bundesstraßen 

entfallen. Die Erhaltung dieser Straßen ist 

äußerst kostenintensiv und muss vorausschauend 

geplant werden. 

Um erste Schäden oder Störungen frühzeitig zu 

entdecken und der Verkehrssicherungspflicht zu 

genügen, werden sie von Fachleuten der Autobahn- 

und Straßenmeistereien regelmäßig überprüft. 

Für die Erhaltung der Straßen, für die die Erhebung 

einer Vielzahl von Daten erforderlich ist, 

sind visuelle Kontrollverfahren jedoch nicht ausreichend. 

Technische Mess- und Aufnahmeverfahren 

ermöglichen es heute, den Zustand an der Oberfläche 

objektiv zu erfassen. Dazu sammeln spezielle 

Fahrzeuge im laufenden Verkehr entsprechende 

Daten. 

Neben Quer- und Längsunebenheiten sowie der 

Griffigkeit muss die Oberfläche auf Oberflächenschäden 

überprüft werden. Hierzu wird ein visuelles 

Kontrollverfahren eingesetzt, bei dem mittels Videokameras 

das Oberflächenbild abgetastet und 

digital aufgezeichnet wird. 

In einem anschließenden manuellen Prozess werden 

von Fachkräften visuell Bild für Bild die 

Straßenabschnitte auf kleinste Schäden untersucht 

und diese anschließend dokumentiert. Bei dieser 

äußerst zeitintensiven Vorgehensweise kann es 

unter anderem aufgrund der Stupidität der Aufgabe 

zu Fehlern und Ungenauigkeiten in der Dokumentation 

kommen. Des Weiteren kann eine ganzheitliche 

Vergleichbarkeit nicht gewährleistet werden, da 

jede Fachkraft bei der Begutachtung letztendlich 

eine auf der individuellen Erfahrung basierende 

Einschätzung des Schadenbildes vornimmt. 

Im Projekt FE-Nr. 89.0190/2007/AP „Entwicklung 

einer automatisierten Merkmalserkennung im Rahmen 

des TP3 (Substanzmerkmale Oberfläche)“ 

wurde im Rahmen einer Machbarkeitsstudie unter- 

sucht, inwieweit Oberflächenmerkmale teilautomatisch 

detektiert werden können, um ein System zu 

entwickeln, dass dem Gutachter bei der Analyse 

des Straßenzustandes assistierend zur Seite steht. 

Diese Studie zeigte bereits vielversprechende Resultate, 

sodass eine solche Realisierung machbar 

erscheint. 

Im vorliegenden Folge-Projekt FE-Nr. 89.210/ 

2008/AP „Weiterentwicklung der automatisierten 

Merkmalserkennung inklusive Dokumentation vorheriger 

Merkmale im Rahmen des TP3“ wird ein 

weiterer Schritt in Richtung eines solchen assistierenden 

Systems gemacht. Hierzu war neben der 

Entwicklung einer Erkennungssoftware ein Arbeitsplatz 

im Gesamten zu konzipieren und aufzubauen, 

an dem im praktischen Einsatz der Nutzen eines 

solchen Systems evaluiert werden kann. 

Der vorliegende Bericht beschreibt zunächst in Kapitel 

2 die Ausgangslage bei Bildgewinnung und 

-bewertung und leitet daraus die konkrete Aufgabenstellung 

ab. Im Anschluss hieran werden in Kapitel 

3 die Rahmenbedingungen spezifiziert und ein 

grundlegendes Systemkonzept der vorliegenden 

Arbeit entwickelt. Kapitel 4 beschreibt die durchgeführten 

Arbeiten und geht detailliert auf die eingesetzten 

Verfahren der Bildverarbeitung ein. Hierzu 

werden existierende Algorithmen vorgestellt und 

systematisch zur Oberflächenanalyse weiterentwickelt. 

Kapitel 5 widmet sich der Evaluierung des 

Systems. Dabei werden u. a. die vorliegenden 

Daten und die zugrunde liegende Akquirierung des 

bestehenden Systems näher betrachtet, da dies die 

Erkennungsleistung des Gesamtsystems fundamental 

beeinflusst. Der Bericht schließt mit einer 

Zusammenfassung und einem Ausblick. 

Im Anhang A findet sich eine Auswahl von ausgewerteten 

Oberflächenansichten mit visualisiertem 

Schadensbild. Anhang B befasst sich mit der Dokumentation 

zum im Rahmen des vorliegenden Projektes 

entstandenen Arbeitsplatzes, wobei insbesondere 

auf den Workflow mit dem Datenmaterial 

des Messfahrzeuges MESOB eingegangen wird. 

2 Ausgangslage 

Dieses Kapitel beschreibt zunächst den bestehenden 

Systemansatz zur visuellen Zustandserfassung 

von Oberflächenschäden und die dazugehörigen 

Arbeitsschritte. Es folgen eine Bewertung des 

Ansatzes und die sich daraus ergebende Aufga- 

7

8 

benstellung des vorliegenden Forschungsprojektes. 

2.1 Bestehender Systemansatz 

Um Straßenschäden möglichst frühzeitig zu entdecken, 

wird das Fernstraßennetz regelmäßig visuell 

auf Oberflächenschäden untersucht. 

Das Substanz-Oberflächenbild beschreibt und klassifiziert 

verschiedene unmittelbar an der Fahrbahnoberfläche 

sichtbare Schäden. Für dieses Verfahren 

kommen Videoaufzeichnungen und videobegleitete 

Beobachtereingaben zum Einsatz. Der derzeitige 

Ansatz zur Zustandserfassung besteht 

aus den drei sequenziell abfolgenden Schritten 

Bildgewinnung, Bewertung und Dokumentation 

(vgl. Bild 2). 

Bildgewinnung 

Derzeit gewinnt die BASt Bilddaten von Fernstraßen 

mittels eines speziell hierfür entwickelten 

Messfahrzeugs zur Aufnahme von Substanzmerkmalen 

(MESOB). Eine Darstellung des Fahrzeugs 

findet sich in Bild 3. 

Das Fahrzeug verfügt am Heck über acht CCD- 

Kameras, die einen Bereich von ca. 80 cm Fahrbahnlänge 

und 4,5 m Fahrbahnbreite aufnehmen. 

Die in zwei Reihen angeordneten Kameras haben 

jeweils eine Auflösung von 1.024 x 768 Bildpunkten 

und betrachten überlappende Fahrbahnbereiche. 

Die einzelnen Kamerabilder werden automatisiert 

durch einen so genannten Stitchingprozess kombi- 

Bild 2: Derzeitiger Systemansatz zur visuellen Zustandserfassung 

und Bewertung von Oberflächenschäden 

niert, sodass ein Bild über die gesamte Fahrbahnbreite 

entsteht. 

Insgesamt ergibt sich so eine Bild-Sequenz 

mit einer Auflösung von jeweils 4.000 x 1.000 

Bildpunkten, bei der ein Bildpunkt theoretisch ungefähr 

einem Quadratmillimeter Fahrbahn entspricht. 

Durch Verwendung einer getriggerten Infrarotbeleuchtung 

wird der Straßenbelag während der Aufnahme 

aufgehellt, um auch bei variierenden Beleuchtungsverhältnissen 

ein weitgehend homogenes 

Erscheinungsbild sicherzustellen. 

Bewertung und Dokumentation 

Zurzeit werden die Bilder durch Fachkräfte manuell 

ausgewertet. Zusätzlich zur Befahrung muss daher 

die gesamte Strecke nachträglich am Monitor überprüft 

werden. Im Laufe dieses Arbeitsschrittes werden 

die kombinierten Aufnahmen (s. o.) auf drei 

Monitoren visualisiert und manuell bewertet. 

Die Fahrbahn wird dafür in ihrer Breite gedrittelt 

in Abschnitte von 1 m Länge eingeteilt. In der 

so entstandenen Kachelung werden vordefinierte 

Substanzmerkmale wie Netzrisse oder Flick- 

Bild 3: Messfahrzeug zur Aufnahme von Substanzmerkmalen 

(MESOB) 

Bild 4: Exemplarische Ansicht der Bewertung eines Straßenabschnittes 

nach Kombination der einzelnen Zustandsgrößen

stellen gesucht und anhand festgelegter Regeln 

bewertet. Die genauen Regeln sind in „Anhang 7 – 

Auswerteregeln für die Erfassung der Substanzmerkmale 

(Oberfläche)“ der ZTV-ZEB StB aufgelistet. 

Aus den Daten der Messsysteme werden Zustandsgrößen 

berechnet (z. B. Unebenheitsmaß, 

Spurrinnentiefe, Netzrisse, Flickstellen). 

Anschließend werden Zustandswerte (Notenwerte 

von 1 bis 5 für sehr schlecht bis sehr 

gut) für den Gesamtzustand vergeben. Diese 

werden nach festgelegter Gewichtung in einem 

Gebrauchs- und einem Substanzwert zusammengefasst. 

Der Gebrauchswert berücksichtigt 

die Sicherheit und den Komfort der Straßenbenutzer. 

Der Substanzwert stellt die Straßenerhaltung des 

Baulastträgers in den Vordergrund. Aus beiden 

Werten ergibt sich schließlich der Gesamtwert. Die 

hieraus abgeleiteten Ergebnisse und Erkenntnisse 

werden im Bundesinformationssystem BISStra konzentriert 

und insbesondere für die Ableitung notwendiger 

Entscheidungen bereitgestellt. 

Assistierendes System 

Zurzeit werden die Bilder durch Fachkräfte nach 

der Befahrung für die gesamte Strecke nachträglich 

am Monitor manuell ausgewertet. Im Vorgängerprojekt 

(FE-Nr. 89.0190/2007/AP) wurde daher 

in einer Machbarkeitsstudie untersucht, inwieweit 

durch geeignete Softwaretechniken eine teilautomatische 

Merkmalssuche realisiert werden kann, 

um ein Assistenzsystem für die Fachkraft zu entwickeln. 

Das System zielt auf eine Entlastung der Fachkraft, 

da die Software eine Vorauswahl der Bilder und 

Oberflächenmerkmale treffen könnte und nur noch 

die Bewertung des Schadens manuell erfolgt. 

Um die Machbarkeit eines solchen Systems zu untersuchen 

wurden Verfahren entwickelt, mit denen 

Bilder bzw. Bildmengen teilautomatisch auf Fehler 

oder Auffälligkeiten untersucht werden können. Die 

Ergebnisse der Merkmalsdetektion wurden anschließend 

in einem Demonstrator visualisiert, um 

so der Fachkraft eine Bewertung der Oberflächenmerkmale 

zu ermöglichen. 

Die Merkmalsdetektion lieferte bereits vielversprechende 

Resultate, sodass ein solches System als 

realisierbar angesehen werden konnte. 

2.2 Systemanalyse 

Das im Vorläuferprojekt entwickelte System basiert 

auf dem in Bild 5 dargestellten Ablauf. Nach 

der Bildakquisition wird zunächst eine Bildverbesserung 

durchgeführt, um den Signal-Rausch-Abstand 

zu vergrößern. Nachfolgend werden durch 

eine Merkmalsextraktion Bildbereiche herausgefiltert, 

die potenzielle Schäden bzw. Merkmale enthalten. 

Anhand von verschiedenen Bewertungskriterien 

werden diese Bildbereiche im Modul der Merkmalsinterpretation 

anschließend analysiert und 

klassifiziert (in der Praxis lassen sich Merkmalsextraktion 

und Merkmalsinterpretation allerdings 

nicht immer vollständig trennen). Die so ermittelten 

Oberflächenmerkmale werden im letzten 

Schritt durch eine geeignete Visualisierung dem 

Benutzer zur Verfügung gestellt und persistent gespeichert. 

Bild 5: Systemüberblick über die automatische Bildanalyse. 

Die interne Vorgehensweise besteht in dem sequenziellen 

Ablauf verschiedener geeigneter Verfahren aus der 

Signaltheorie zur Extraktion und Klassifikation einzelner 

Muster 

9

10 

2.3 Aufgabenstellung 

Nachdem im Vorgängerprojekt bereits die Grundlagen 

einer automatisierten Merkmalsdetektion gelegt 

wurden, soll in diesem Projekt nun die praktische 

Anwendbarkeit einer solchen Software überprüft 

werden. Dazu soll ein Software-Prototyp entwickelt 

werden, der an einem eigenen Arbeitsplatz 

zum Einsatz kommt. 

Die bisher nur als Demonstrator vorliegende Software 

musste hierzu erweitert werden und auf reale 

Verhältnisse und diverse technische Anforderungen 

abgestimmt werden. Eine entsprechende Software- 

Oberfläche sollte ebenfalls entwickelt werden. Die 

Software soll dahingehend erweitert werden, dass 

auch Bildmaterial externer Betreiber analysiert werden 

kann. 

Das aktuelle Forschungsprojekt umfasst ebenfalls 

die Konzeption und Einrichtung eines Arbeitsplatzes 

zur Bildauswertung, dies betrifft sowohl 

die Software als auch die Installation der Hardware. 

Des Weiteren soll untersucht werden, ob außer 

Rissen auch die weiteren Merkmale des TP 3 

automatisch aus dem ZEB-Bildmaterial gewonnen 

werden können sowie inwieweit Schadensentwicklungen 

dokumentiert werden können. 

3 Konzeptionierung 

Dieses Kapitel beschreibt in Kapitel 3.1 die Rahmenbedingungen 

des vorliegenden Projektes, 

anschließend wird das entwickelte Konzept des 

Assistenzsystems vorgestellt. 

3.1 Rahmenbedingungen 

Im Vordergrund dieses Forschungsprojekts 

steht die Entwicklung einer Anwendung, die auf 

realen Bild- und Videodaten eingesetzt werden 

kann. Sowohl die Verarbeitung der Daten als 

auch die Interaktion zwischen Programm und Benutzer 

sollten daher möglichst praxisnah ausgelegt 

sein. 

Auf Grundlage dieser Rahmenbedingungen wurden 

die Algorithmen mit Hilfe realer Bilddaten entwickelt, 

deren Belichtungsparameter und Aufnahmequalität 

stark variieren können. 

Des Weiteren ist die nahtlose Integration in den bestehenden 

Systemansatz wichtig, d. h., eine Fachkraft 

wird weiterhin zur finalen Zuweisung der Fehlerklassen 

miteinbezogen. Hierzu sind die Konzipierung 

und Erstellung von Analysesoftware und 

Oberflächenwerkzeugen notwendig, die eine möglichst 

komfortable Interaktion des Gutachters mit 

dem zu untersuchenden Fahrbahnabschnitt ermöglichen. 

Um das System weitgehend unabhängig vom 

Messfahrzeug testen zu können, wurden Sequenzen 

von Fahrbahnbelägen aufgenommen, die 

anschließend als Referenzen zum Trainieren und 

Testen des Systems herangezogen werden konnten. 

Im Verlaufe des Projekts wurden die Anforderungen 

an das Bildmaterial spezifiziert und auf Vollbilder 

der Größe 4,50 m mal 10 m festgelegt, sodass 

eine Verwendung von Daten externer Betreiber 

realisiert werden kann (zu liefernde Makrobilder 

im Rahmen des Teilprojektes 3 der Straßenzustandserfassung 

und -bewertung (ZEB)). 

Weitere Details zum verwendeten Datenmaterial 

finden sich in Kapitel 4.8. 

3.2 Systemkonzept 

Grundgedanke des entwickelten Systemansatzes 

ist die Konzeptionierung eines interaktiven Assistenzsystems 

durch eine teilautomatisierte Vorverarbeitung. 

Hierdurch bilden sich zwei elementare Vorteile. 

Zum einen lassen sich unbeschädigte Straßenabschnitte 

vorab herausfiltern, sodass es zu einer 

deutlich verringerten Anzahl von manuell zu bewertenden 

Bildern kommt. Zum anderen werden die 

Straßenschäden anschließend geeignet markiert 

und zur visuellen Überprüfung am Monitor entsprechend 

aufbereitet. Die automatisch detektierten 

Schäden müssen dann vom Begutachter nur noch 

bestätigt werden. 

Der Systemablauf gestaltet sich wie folgt: 

Zunächst werden wie gehabt durch das Modul 

Bildgewinnung Bilder akquiriert und in das System 

eingespeist. Diese werden anschießend in einem 

Analyse-Modul durch einen Rechner vollautomatisch 

ausgewertet. Zu jedem Bild existiert nun ein 

Datensatz, der alle Rissfragmente und Oberflächenmerkmale 

sowie deren Bewertungsmaße 

beinhaltet.

Bild 6: Systemansatz zur assistierten visuellen Zustandserfassung 

von Oberflächenschäden 

Alle als einwandfrei eingestuften Bilder können im 

weiteren Prozess verborgen bzw. als fehlerfrei markiert 

werden. Dem Begutachter werden nun die 

verbleibenden fehlerbehafteten Bilder durch ein 

Assistenzsystem vorgelegt. Das System unterstützt 

die Fachkraft bei der Bewertung anschließend dahingehend, 

dass potenzielle Fehler visualisiert werden. 

Der Begutachter kann in diesem Schritt jederzeit 

mittels seiner Erfahrung bei fehlerhaft lokalisierten 

Rissen das System überstimmen. 

Abschließend erfolgt ein Abgleich auf Plausibilität 

der sich aus der Bewertung ergebenden Resultate, 

die abschließend zur Dokumentation in einer zentralen 

Datenbank gespeichert werden. 

Eine schematische Ansicht des Systemansatzes 

findet sich in Bild 6. 

4 Durchführung 

In diesem Kapitel findet sich zunächst ein Überblick 

über das entwickelte System zur videobasierten 

Zustandserfassung von Fahrbahnoberflächen. Die 

einzelnen Systemkomponenten werden anschließend 

detailliert vorgestellt, gefolgt von einer Beschreibung 

des Zusammenspiels der Komponenten. 

Abschließend wird auf das verwendete Datenmaterial 

für Training und Evaluierung eingegangen. 

4.1 Vorläuferprojekt 

Bei der Durchführung konnte auf Vorarbeiten des 

Vorgängerprojekts zurückgegriffen werden. Eine 

qualitative und quantitative Analyse des Systems 

lieferte vielversprechende Resultate (siehe Abschlussbericht 

des vorangegangenen Projekts FE- 

Nr. 89.210/2008/AP). Die erstellte Software diente 

jedoch lediglich der Demonstration einer Machbarkeit, 

für den praktischen Einsatz musste die Software 

weitgehend überarbeitet werden. Zudem traten 

bei den verwendeten Verfahren einige 

Schwächen zutage, die behoben werden mussten, 

um einen nutzvollen Einsatz zu ermöglichen. 

Aufgrund der kurzen Projektlaufzeit wurden die Algorithmen 

insgesamt auch sehr eng auf die vorliegenden 

Daten des MESOB-Fahrzeuges abgestimmt. 

Für die Verwendung externer Daten war 

eine Neujustierung der Vorverarbeitung vonnöten. 

Um optimale Resultate zu erzielen, war bislang 

noch eine manuelle Vorparametrierung für einzelne 

Streckenabschnitte notwendig. Dies betraf sowohl 

die Vorverarbeitung als auch die Genauigkeit der 

Merkmalsdetektion. Insbesondere bei stark unterschiedlichen 

Straßenbelägen kam es sonst zu 

Fehldetektionen. 

Die vorliegenden Verfahren waren zudem noch 

recht anfällig gegenüber verrauschten Bildern. 

Bildrauschen stellte sich oftmals in Form von Walzmustern 

dar, teilweise konnten diese Störungen 

nicht von Oberflächenmerkmalen wie Schadstellen 

unterschieden werden. Damit das System eine automatische 

Vorauswahl der Bilder treffen kann, 

musste dieses Problem behoben werden. 

4.2 Systemüberblick 

11 

Bei dem entwickelten System handelt es sich generell 

um eine Verarbeitungskette von Algorithmen, 

die in mehreren Schritten hintereinander ausgeführt 

werden. 

Die Algorithmen entstammen dabei im weitesten 

Sinne der Signaltheorie, da sich Bilder als zweidimensionale 

Signale interpretieren lassen. Grundsätzlich 

besteht die Aufgabe darin, ein Signal (z. B. 

einen Riss) von einem Hintergrund (Straßenoberfläche) 

zu trennen. 

Das im vorliegenden Projekt entwickelte System 

zur videobasierten Zustandserfassung besteht aus 

fünf Modulen:

12 

Das erste Modul Bildgewinnung dient der Einspeisung 

von Bildmaterial in das System. Hierbei wurde 

auf Datenmaterial zurückgegriffen, welches die 

BASt mittels des Messfahrzeugs MESOB akquiriert 

(vgl. Kapitel 2.1). 

Das Modul Bildverbesserung bereitet die gewonnenen 

Aufnahmen auf, um ein einheitliches Erscheinungsbild 

bzgl. Helligkeit und Kontrast zu gewährleisten. 

Zusätzlich werden periodische Muster, wie 

sie beispielsweise durch strukturgebende Walzen 

entstehen, erkannt und weitgehend ausgeblendet. 

In der anschließenden Merkmals-Extraktion werden 

potenzielle Oberflächenschäden (z. B. Risse) lokalisiert. 

Dabei gilt es, einen möglichst großen Signal-/Rausch-Abstand 

zu ermitteln, ohne jedoch 

durch zu restriktive Arbeitsschritte Oberflächenmerkmale 

zu verwerfen. 

Bei der Merkmals-Interpretation werden die einzelnen 

Muster vordefinierten Klassen zugewiesen 

(Straße, Riss, Seitenstreifen etc.) und die Merkmale 

mitsamt Bewertungsinformationen persistent gespeichert 

1 . 

Im Modul Visualisierung werden dem Gutachter die 

Schadstellen vorgelegt und dabei geeignet visualisiert. 

Abhängig von der gewünschten Arbeitsweise 

werden dabei detektierte Oberflächenmerkmale 

ausgeblendet. 

1 In der Praxis lassen sich Merkmals-Extraktion und Merkmals-Interpretation 

nicht immer trennen, da bei der Extraktion 

bereits Vorwissen über Form und Erscheinung des 

Merkmals einfließt. 

Bild 7: Überblick über das Gesamtverfahren zur Merkmalsdetektion. Das Vollbild wird dabei in die ursprünglichen Kamerabilder 

zerlegt und diese werden einzeln verarbeitet, um Störungen durch etwaige Bildkanten zu vermeiden

Dies bedeutet, dass beispielsweise bei einer konservativen 

Strategie eher zu viele Schadstellen auf 

der Fahrbahnoberfläche registriert werden, dafür 

jedoch auch alle realen Fehler auf jeden Fall 

berücksichtigt werden. 

Die einzelnen Schadstellen bzw. Oberflächenmuster 

werden durch den Operator bestätigt, zurückgewiesen 

oder überschrieben. Die bestätigten und 

klassifizierten Merkmale werden anschließend auf 

dem Datenträger abgelegt. 

Die vollständige Verarbeitung ist in Bild 7 abgebildet, 

die einzelnen Verfahrensschritte werden im 

Folgenden vorgestellt. 

4.3 Bildgewinnung 

Ziel eines allgemeinen Assistenzsystems sollte sein, 

weitgehend unabhängig von den Aufnahmemodalitäten 

des vorliegenden Bildmaterials Oberflächenmerkmale 

zu extrahieren. Dies betrifft insbesondere 

die Verwendung von Bilddaten der externen Betreiber 

(Auftragnehmer des Teilprojektes 3, ZEB). 

Da hier bislang weder eine einheitliche Kameratechnik 

noch vergleichbare Aufnahmeverfahren (Einzelbilder/Videodaten) 

zum Einsatz kommen, musste 

zunächst eine Schnittstelle zur Bildeingabe definiert 

werden. Hierzu wurde seitens der BASt festgelegt, 

dass die für die Auswertung zu erstellenden Gesamtbilder 

eine Breite von 4,50 m und eine Fahrbahnlänge 

von 10,00 m abdecken sollen. Die Auflösung sowohl 

ordinärer Bilder im Messfahrzeug als auch zusammengesetzter 

Bilder ist zurzeit uneinheitlich. 

Ein Gesamtbild wird im Allgemeinen durch das Aneinanderfügen 

mehrerer Kamerabilder erreicht, 

wobei die einzelnen Bilder passend transformiert 

werden (Stitching). 

Für die spätere Bewertung wird die Fahrbahn gedanklich 

in ihrer Breite gedrittelt und in ihrer Länge 

in 1 m lange Streifen unterteilt. Eine Bewertung 

wird dann separat für jede so entstehende Kachel 

durchgeführt. 

4.4 Bildverbesserung 

Die vom Aufnahmefahrzeug gelieferten Eingangsbilder 

weisen starke Unterschiede auf. Dies betrifft 

insbesondere externe Parameter wie die Beleuchtungssituation 

oder die Reflexionseigenschaften 

des Straßenbelags. Weitere Variationsquellen sind 

technischer Natur und betreffen beispielsweise 

die Belichtungszeit der Kamera, aber auch den 

Stitching-Prozess. 

Stark variierendes Bildmaterial erschwert die automatische 

Detektion von Oberflächenmerkmalen. Es 

wurde daher eine Vielzahl von Verfahren zur Bildverbesserung 

entwickelt, die ein einheitliches Erscheinungsbild 

bzgl. Helligkeit und Kontrast anstreben. 

Eine weitere Herausforderung sind die oftmals 

stark ausgeprägten Walzmuster der Fahrbahnoberfläche. 

Lokal erscheinen die Walzenvertiefungen 

bzw. ihre Schattierungen als Risse und werden entsprechend 

durch die automatische Merkmalsdetektion 

markiert. Diese Fehldetektionen sind schwer 

nachträglich zu korrigieren, daher wurden ebenfalls 

Algorithmen zur Unterdrückung periodischer Muster 

entwickelt. 

Inhomogene Ausleuchtung 

13 

Die Ausleuchtung des Bildes hängt nicht nur von 

den Kameraparametern ab, sondern ist auch innerhalb 

eines Bildes nur in seltenen Fällen homogen. 

Dies ist zum einen der ungleichmäßigen Ausleuchtung 

durch einen oder mehrere Strahler geschuldet, 

zum anderen Teil schluckt die Optik insbesondere 

am Bildrand einen Teil des Lichts, sodass die Bilder 

zu den Rändern der Kamerabilder hin dunkler wirken 

(siehe auch Kapitel 5.1). 

Bild 8 zeigt den Ausschnitt eines Vollbildes eines 

externen Betreibers; es ist deutlich zu erken- 

Bild 8: Die einzelnen Bilder sind unregelmäßig ausgeleuchtet, 

dies erschwert die Merkmals-Detektion

14 

nen, dass die Intensität zum Bildzentrum hin zunimmt. 

Die Inhomogenität der Beleuchtung kann stark verringert 

werden, wenn die Parameter der Ausleuchtung 

bekannt sind. Hierzu wird für jede Strecke und 

Kamera separat die mittlere Helligkeit der Kamerabilder 

berechnet. Mit Hilfe der so gewonnenen Ausleuchtungskarte 

wird das Bild auf eine einheitliche 

Intensität gebracht. Durch vorherige Detektion und 

Eliminierung von Oberflächenelementen wie Markierungen 

wird verhindert, dass Straßenmarkierungen 

fälschlicherweise als Ausleuchtungsinhomogenität 

interpretiert werden. 

Bild 9 zeigt exemplarisch die Inhomogenitäts-Korrektur 

für ein Kamerabild. Das Eingangsbild wird 

mit der mittleren Helligkeit der Kamerabilder (gemittelt 

über einen Kilometer Messstrecke) verrechnet. 

Die schwächere Ausleuchtung am Bildrand wird 

korrigiert. 

Bild 9: Durch ungleichmäßige Ausleuchtung der Fahrbahn und 

technische Limitierungen der Kamera nimmt die Bildhelligkeit 

zum Rand hin ab. Durch Ermittlung einer mittleren 

Intensität der Kamerabilder wird die Bildhelligkeit 

korrigiert 

Lokale Bildanpassung 

Ziel der lokalen Bildanpassung ist eine bessere 

Vergleichbarkeit bezüglich der Helligkeit sowohl 

zwischen Regionen innerhalb eines Bildes als auch 

zwischen aufeinanderfolgenden Bildern. Das entwickelte 

Verfahren basiert auf der Beobachtung, 

dass Risse dunkler sind als ihre Umgebung und 

dass die grundlegende Bildinformation nicht in der 

Helligkeit, sondern im Kontrast zu finden ist. 

Zur Ermittlung des Kontrastes wird zunächst für 

jeden Bildpunkt der Betrag des Gradienten bestimmt. 

Durch eine großflächige Mittelung wird 

anschließend der regionale Kontrast ermittelt. In 

dunkleren Bildregionen ist der Kontrast aufgrund 

des geringeren Dynamikbereiches naturgemäß 

kleiner als in helleren Regionen. Abhängig vom regionalen 

Kontrast wird das Bild daher lokal entweder 

aufgehellt (geringer regionaler Kontrast) oder 

abgedunkelt (hoher regionaler Kontrast). 

Die Helligkeitsanpassung hat gleichzeitig eine Kontrastanpassung 

zur Folge, sodass dunklere Regionen 

heller und kontrastreicher dargestellt werden, 

helle kontrastarme Bildregionen werden hingegen 

abgedunkelt (vgl. Bild 10). 

Ein Nebeneffekt der lokalen Bildanpassung ist, 

dass die Bilder auch für den menschlichen Betrachter 

kontrastreicher wirken und Schadstellen 

optisch deutlicher zutage treten. Die Bildanpassung 

Bild 10: Durch eine lokale Bildanpassung wird der Kontrast 

zwischen Rissen und Fahrbahnbelag deutlich verbessert

wird daher in der späteren Visualisierung ebenfalls 

angewandt. 

Behandlung von Fahrbahnmarkierungen 

Fahrbahnmarkierungen führen häufig zu Störungen 

der Merkmalsdetektion. Durch den starken Kontrast 

der hellen Markierung erscheint für die meisten entwickelten 

Verfahren die direkte Umgebung wie ein 

Riss. Diese Problematik wurde durch die lokale 

Bildanpassung der Vorverarbeitung teilweise verstärkt 

(siehe Bild 11). 

Im vorangegangenen Projekt wurde versucht, die 

so entstandenen Fehlsegmentierungen nachträglich 

zu korrigieren. Dies erwies sich jedoch als problematisch, 

da hierbei sowohl neue Fehlsegmentierungen 

entstanden als auch existierende Segmentierungen 

verfälscht wurden. 

Bild 11: Starke Kontraste am Rande der Fahrbahnmarkierungen 

führen zu Fehldetektionen 

Bild 12: Die vorgezogene Markierungsdetektion verhindert die 

Bildung von Kanten an Fahrbahnmarkierungen 

Um das Auftreten solcher Segmentierungsfehler zu 

reduzieren, wurde die Vorverarbeitung um einen 

zusätzlichen Schritt erweitert. Die Segmentierung 

der Fahrbahnmarkierungen wurde vorgezogen und 

liefert per Rückkopplung die Resultate direkt an die 

Vorverarbeitungskette. Hier fließen die Segmentierungsresultate 

ein, um eine bessere Bilddarstellung 

für die spätere Extraktion der Schadstellen zu erzeugen. 

Das Resultat der vorgezogenen Markierungsdetektion 

ist in Bild 12 zu begutachten. Mit der neuen aktivierten 

Markierungsdetektion wird die Bildung dieser 

Kanten von vorneherein verhindert. Entsprechend 

wird durch die folgenden Verfahren der 

Merkmalsextraktion kein Oberflächenmerkmal segmentiert. 

Unterdrückung von Walzmustern 

15 

Walzmuster im Straßenbelag stellen eine erhebliche 

Störquelle für die automatisierte Merkmalsdetektion 

dar. Abhängig von der Beleuchtung entstehen 

so Vertiefungen und Schattenwürfe, die sich 

lokal nicht von Rissen unterscheiden lassen. Solche 

Walzmuster treten periodisch auf, unterscheiden 

sich aber sowohl von Bild zu Bild als auch in 

verschiedenen Bereichen desselben Bildes. Ein 

solches Bild mit starkem Walzmuster ist in Bild 13 

zu sehen. 

Bereits im Vorgängerprojekt wurde untersucht, inwieweit 

sich periodisch auftretende Muster entfernen 

lassen. Dazu wurden die Parameter der periodischen 

Funktion manuell justiert. Im Allgemeinen 

setzen sich periodische Bildstörungen jedoch aus 

mehreren überlagerten Frequenzen zusammen, 

Bild 13: Starke Walzmuster stören die Erkennungsleistung der 

automatischen Merkmalsdetektion

16 

eine manuelle Veränderung einzelner Frequenzbänder 

zieht daher neue Fehler nach sich. 

Im Verlauf dieses Projektes wurde eine vollautomatische 

Unterdrückung von periodisch auftretenden 

Mustern entwickelt. Diese arbeitet weitgehend 

parameterfrei, d. h., sowohl die Detektion als auch 

die Unterdrückung der Muster arbeiten ohne eine 

explizite Parametrierung der Störfunktion. Bei der 

Entwicklung des Verfahrens wurde zudem darauf 

Wert gelegt, dass die entscheidenden Oberflächenmerkmale 

nicht oder nur geringfügig beeinträchtigt 

werden. 

Das eingesetzte Verfahren basiert auf der Fourier- 

Transformation, durch die ein Bild aus dem Ortsraum 

in den Frequenzraum transformiert werden 

kann. Dabei wird das Bild als periodisches Signal 

interpretiert, welches sich durch Überlagerung 

eines Grundpegels, einer Grundschwingung und 

ihrer Oberschwingungen in eindeutiger, d. h. umkehrbarer 

Weise beschreiben lässt. Der Frequenzraum 

stellt dann Amplitude und Phase der einzelnen 

Schwingungen dar. 

Da im Frequenzraum die Amplituden und Phasen 

der einzelnen Schwingungen gezielt analysiert oder 

manipuliert werden können, ist es möglich, einzelne 

Frequenzen sich wiederholender Bildmuster 

aufzufinden und zu eliminieren. Mit der inversen 

Fourier-Transformation kann dann aus den Frequenzanteilen 

wiederum das Signal im Ortsbereich 

rekonstruiert werden. 

Im Frequenzraum werden nun die lokalen Maxima 

gesucht, diese stellen die periodischen Muster dar. 

Dabei muss berücksichtigt werden, dass sich die 

Maxima im Allgemeinen nicht als einzelne Punkte 

im Frequenzraum darstellen, sondern nach mehreren 

Seiten auslaufen. 

Zusätzlich muss beachtet werden, dass speziell die 

Schwingungen im niederfrequenten Bereich Informationen 

beinhalten, die für die Rekonstruktion des 

Bildes von Bedeutung sind. Dies betrifft die Grundhelligkeit 

des Bildes, aber auch großflächige Merkmale 

wie Fahrbahnmarkierungen. 

Unter Berücksichtigung dieser beiden Kriterien werden 

die lokalen Maxima des Frequenzraums bewertet. 

Mit Hilfe der so ermittelten Maske werden 

die Amplituden im Frequenzraum gedämpft und 

man erhält einen bereinigten Frequenzraum. Durch 

Anwendung der inversen Fourier-Transformation 

wird das Signal wieder in den Ortsraum transformiert 

und es ergibt sich ein von periodischen 

Mustern weitgehend bereinigtes Bild. Der Ablauf 

des Verfahrens ist in Bild 14 dargestellt. 

Bild 14: Ablauf des Verfahrens zur Unterdrückung periodisch auftretender Muster. Das Eingangsbild wird durch eine Fourier-Transformation 

im Frequenzraum abgebildet. Durch Suche lokaler Maxima werden die Frequenzen detektiert, die den periodischen 

Mustern zugrunde liegen. Die Amplituden der entsprechenden Frequenzen werden gedämpft und das Bild wieder in 

den Ortsraum zurücktransformiert (Inverse Fourier-Transformation)

Bild 15: Automatische Unterdrückung periodischer Bildstörungen. 

Das Walzmuster aus dem linken Bild wurde praktisch 

vollständig entfernt, während der Riss weiterhin 

gut zu erkennen ist 

Das Verfahren arbeitet auf Vollbildern, die Muster 

werden also nicht lokal entfernt, sondern im Frequenzraum 

des gesamten Bildes. Durch die Unterdrückung 

von periodischen Mustern werden 

zudem theoretisch neue Störmuster eingeführt. 

Dies erwies sich jedoch nicht als störend, da es 

sich dabei i. Allg. nicht um hochfrequente Anteile 

handelt. 

Zusätzlich wurde dennoch die Möglichkeit geschaffen, 

die Detektion der Maxima auf mehreren Bildern 

durchführen zu lassen. Dies reduziert die Wahrscheinlichkeit, 

dass Oberflächenmerkmale, die eine 

Periodizität aufwiesen, entfernt werden. 

In Bild 15 ist die Nahansicht einer Bildregion vor 

und nach dem automatischen Entfernen des Walzmusters 

zu sehen. Zu beachten ist hier, dass der 

vorhandene Riss auch im rekonstruierten Bild deutlich 

zu erkennen ist, während die Walzmuster praktisch 

vollständig entfernt werden konnten. 

Es handelt sich bei diesem Verfahren um einen völlig 

unabhängigen Vorverarbeitungsschritt. Die Resultate 

sämtlicher Merkmalsdetektionen wurden bei 

Einsatz dieser Bildverbesserung enorm stabilisiert. 

Des Weiteren kann das so vorverarbeitete Bild für 

die Visualisierung verwendet werden, da auch optisch 

eine deutliche Verbesserung zu erkennen ist. 

4.5 Merkmals-Extraktion 

Bei der Merkmals-Extraktion werden Bildregionen 

selektiert, die als mögliche Fehlerstellen in Betracht 

kommen. Oftmals wird dazu das Bild in einzelne, 

kleinere Planquadrate zerlegt, die getrennt auf 

Risseigenschaften überprüft werden. 

Dieser Ansatz erwies sich jedoch im vorliegenden 

Bildmaterial als problematisch und führte oft zu 

einer starken Übersegmentierung. Daher mussten 

neue Verfahren entwickelt werden, die auch 

mit dem schwierigen Bildmaterial zusammenarbeiten. 

Im vorangegangenen Projekt wurde ein Segmentierungsverfahren 

auf Basis der Wasserscheidentransformation 

entwickelt, durch die eine vollständige 

Partitionierung eines Bildes in zusammenhängende 

Regionen erreicht wird. 

Das Verfahren zeigt vielversprechende Resultate, 

hat jedoch einige Schwachstellen: 

• Die Segmentierungsergebnisse sind stark parameterabhängig. 

Dies betrifft sowohl die Vorverarbeitung 

der Bilder als auch den zugrundeliegenden 

Oberflächenbelag. 

• Die Breite der Merkmale im Bild variiert stark. 

Für eine robuste Detektion muss das Bild daher 

in mehreren Skalen durchsucht werden. Das 

entwickelte Verfahren arbeitet jedoch nur auf 

einer Skalierung. 

• Das Verfahren ist anfällig für Bildrauschen. Insbesondere 

durch Grundmuster im Bild werden 

die Segmentierungen gestört. 

Aus diesen Gründen wurden innerhalb dieses Projektes 

weitere Verfahren der Merkmalsextraktion 

untersucht und implementiert. Die wichtigsten untersuchten 

Verfahren sind in den folgenden Unterabschnitten 

beschrieben. 

Wasserscheidentransformation 

17 

Die Wasserscheidentransformation (Watersheds) 

interpretiert ein Grauwertbild als Höhenrelief, wobei 

die Intensität der einzelnen Bildpunkte mit der Höhe 

korreliert. Dunkle Bildstellen bilden somit die Täler 

(Becken), hellere Bildbereiche die Gebirgsketten 

des Reliefs. 

Das so erstellte Grauwertgebirge wird nun gedanklich 

geflutet, indem der Grundwasserspiegel 

schrittweise erhöht wird. Sobald ein Becken komplett 

überflutet ist und mit einem angrenzenden 

Becken verschmilzt, wird ein Damm (Wasserscheide) 

zwischen den angrenzenden Becken errichtet. 

Eine vollständige Flutung des Reliefs führt so zu 

einer Unterteilung des Bildes in zusammenhängende 

Regionen, die von den lokalen Helligkeitsminima 

gebildet werden, wodurch sich lokale Helligkeits-

18 

maxima trennen lassen. In Bild 16 ist das Verfahren 

der Wasserscheidentransformation für einen Bildquerschnitt 

skizziert. 

Im vorliegenden System wird die Transformation 

auf dem invertierten Bild ausgeführt, d. h., helle 

Bildpunkte bilden die Becken, Bildpunkte niedriger 

Intensität die Gebirgsketten. Dadurch repräsentieren 

die entstehenden Linienzüge potenzielle Risse 

bzw. Rissfragmente. 

Durch die vollständige Partitionierung und das verrauschte 

Bild ergibt sich allerdings eine starke 

Übersegmentierung. Die relevanten Merkmale 

müssen daher aus diesen Rissgraphen extrahiert 

werden. Exemplarisch ist ein Ergebnis des Verfahrens 

in Bild 17 dargestellt. 

Aus der Menge aller extrahierten Linienzüge müssen 

nun die Risse herausgesucht werden. Hierzu 

werden die Linienzüge in eine Graphdarstellung 

überführt. Die einzelnen Linienzüge bilden die Kno- 

Bild 16: Bei der Wasserscheidentransformation werden die 

Grauwerte eines Bildes als Höhenrelief interpretiert. 

Bei der sukzessiven „Flutung“ des Grauwertgebirges 

werden Dämme (Wasserscheiden) zwischen aneinandergrenzenden 

Becken errichtet 

Bild 17: Resultat der modifizierten Wasserscheidentransformation 

auf normalisiertem Quellbild. Die Risse wurden 

segmentiert, durch Rauschartefakte kommt es jedoch 

zu einer starken Übersegmentierung 

ten eines Graphen, die Kanten des Graphen charakterisieren 

ihre unmittelbare Nachbarschaft. 

Lokale Minima 

Als zweites Verfahren der Merkmals-Extraktion 

wurde ein schneller Segmentierungsansatz entwickelt, 

der auf Bilder in verschiedenen Skalierungen 

angewendet werden kann, um Merkmale unterschiedlicher 

Größe zu detektieren. Das Verfahren 

basiert auf der Betrachtung lokaler Minima innerhalb 

eines definierten horizontalen oder vertikalen 

Filterungsfensters und ihrer Bewertung anhand 

des lokalen Intensitätsmaximums. 

Ist ein Pixel signifikant dunkler als seine Umgebung, 

so wird er maskiert. Dieses Verfahren liefert 

eine Pixelmaske für die lokalen Minima. Diese sind 

jedoch selten zusammenhängend und führen ebenfalls 

zu einer Übersegmentierung. 

Um das entstandene Bildrauschen in den Masken 

zu entfernen und zusammenhängende Elemente 

zu betonen, kommen morphologische Operationen 

zum Einsatz. Durch Verfahren wie Hit-or-miss und 

Thinning werden die einzeln stehenden Pixelgruppen 

der Maske entfernt und gleichzeitig Lücken 

Bild 18: Die Ergebnisse der lokalen Minimumsuche werden 

durch morphologische Filter bearbeitet, um Störungen 

zu entfernen und zusammenhängende Strukturen zu 

detektieren

zwischen benachbarten, gleichgerichteten Pixelgruppen 

überbrückt. Das Ergebnis der lokalen Minimumsuche 

und einer anschließenden morphologischen 

Bereinigung ist in Bild 18 dargestellt. 

Simulated Annealing 

Oft existieren im Bild des Straßenbelags dunkle 

Stellen, die lokal wie ein Riss erscheinen, sich global 

aber als kleinere Vertiefung im Belag darstellen. 

Um die Merkmalsdetektierung zu verbessern, sollten 

solche Störstellen schon möglichst frühzeitig 

aussortiert werden können. 

Wenn eine globale Optimierung eines Problems 

schwer oder teuer ist, kann der Einsatz von Heuristiken 

Abhilfe schaffen. Durch Verwendung von Zufallsprozessen 

wird hierbei eine globale Optimierung 

angenähert. Diese Technik wird auch für 

die Merkmalssuche untersucht. Durch Simulated 

Annealing werden lokale Minima gesucht, mit fortschreitender 

Simulationsdauer werden die lokalen 

Minima mehr und mehr zugunsten von globalen Minima 

(Rissen) aufgegeben. 

In Bild 19 sind jeweils drei Iterationen dieses Prozesses 

auf zwei verschiedenen Eingabebildern dar- 

Bild 19: Simulated Annealing. Im iterativen Prozess werden 

durch heuristische Methoden lokale Minima zugunsten 

regionaler Minima aufgelöst 

gestellt, um die Wirkungsweise dieser Heuristik zu 

veranschaulichen. 

Gabor-Wavelets 

Gabor-Wavelets sind ein gängiges Mittel, um lokale 

Frequenzanalysen durchzuführen. Durch die 

Fensterung einer harmonischen zweidimensionalen 

Schwingung mit einer Gauß-Funktion entsteht 

ein Faltungskern, der eine lokale Analyse genau 

definierter Frequenzen und Orientierungen erlaubt. 

Dieses Verhalten wird benutzt, um lokal Merkmale 

einer bestimmten Breite und Orientierung zu detektieren. 

Da eine Filterung mit verschiedenen Frequenz- und 

Orientierungskombinationen vorgenommen werden 

muss und somit wenig performant ist, kann das Verfahren 

lediglich auf groben Skalierungen oder zur 

Evaluierung bereits vormaskierter Strukturen verwendet 

werden. 

Vergleich der Verfahren 

19 

Zur Extraktion von Unregelmäßigkeiten und Schäden 

der Oberfläche wurden im Laufe dieses und 

des vorangegangenen Projekts die oben vorgestellten 

Methoden entwickelt. Dabei weisen die jeweiligen 

Verfahren unterschiedliche Vor- und Nachteile 

auf. 

Zunächst wurden daher die Charakteristiken der 

einzelnen Extraktionsmethoden untersucht. In Tabelle 

1 sind die Stärken und Schwächen der vier 

Verfahren tabellarisch dokumentiert. 

Um bei einer möglichst robusten Extraktion gleichzeitig 

die Laufzeit zu beachten, müssen die Stärken 

und Schwächen der einzelnen Verfahren hierbei 

entsprechend berücksichtigt werden. Durch eine 

Vorsegmentierung mit einem einfachen Verfahren 

kann beispielsweise die Ausführung von rechenintensiven 

Verfahren auf einer Untermenge durchgeführt 

werden. 

Gravierende Unterschiede zwischen einzelnen Verfahren 

treten jedoch nicht nur in der Güte oder 

Performanz der verschiedenen Verfahren, sondern 

auch in der Form der extrahierten Daten auf. 

Je nach Verfahren werden beispielsweise zusammenhängende 

Liniensegmente oder lediglich einzelne 

Bildpixel markiert. Im letzteren Falle müssen 

durch eine Nachbearbeitung die Pixel in zusammenhängende 

überführt werden. Um mehrere Ver-

20 

Güte (empirisch) 

Sensibilität 

(Parameterabhängigkeit) 

Geschwindigkeit 

(Schätzwert) 

Komplexität der 

Anwendung 

Komplexität der 

Vorverarbeitung 

Bild-Teilbereiche 

maskierbar 

Erweiterbar auf 

mehrere Skalen 

Resultat 

(pro Skalierung) 

Zusammenhang bleibt 

in Resultaten erhalten 

Weiterverarbeitung 

der Resultate 

Tab. 1: Vergleich der wichtigsten entwickelten Verfahren zur Merkmalsextraktion 

fahren zu kombinieren, müssen daher auch die extrahierten 

Daten angeglichen werden. 

Kombination der Verfahren 

Das erarbeitete Konzept ist in Bild 7 skizziert und 

wird im Folgenden nochmal zusammengefasst. 

Lokale Minima Simulated Annealing Watershed Gabor-Wavelets 

Gut 

(störungsanfällig bei 

Walzmustern) 

Zunächst werden die Fahrbahnmarkierungen detektiert, 

die Resultate werden der Bildvorverarbeitung 

zur Verfügung gestellt, um eine ungewollte Kontrastanhebung 

an den Rändern der Markierung zu 

unterbinden. Die Bildvorverarbeitung verringert die 

Effekte unterschiedlicher Kamera- und Beleuchtungsparameter 

und passt die Bildintensitäten an, 

um eine Vergleichbarkeit der Bilder untereinander 

zu gewährleisten. Zudem werden relevante Strukturen 

hervorgehoben und Bildstörungen reduziert. 

Das so vorverarbeitete Bild dient als Eingabe für die 

verschiedenen Verfahren zur Merkmalsextraktion. 

Mittel Sehr gut 

(aber starke Übersegmentierung) 

Gering Gering Sehr hoch 

(starke Abhängigkeit von 

Vorverarbeitung) 

Hoch 

~ 10 ms 

Langsam 

~ 500 ms 

Relativ langsam 

~ 250 ms 

Mittel 

Mittel 

Langsam 

~ 1 s 

Gering Gering Hoch Gering 

Gering Gering Sehr hoch Gering 

Ja Nein Nein Ja 

Ja Ja Schwierig Ja 

Merkmalskarte Merkmalskarte Merkmals-Graph Merkmalskarte 

(Segmentierung und 

Bewertung) 

Nein Nein 

(Clusterbildung 

notwendig) 

Einfach 

(Verifikation durch 

weiteres Verfahren) 

Mittel 

(Clustering und 

Verifikation) 

Ja Nein 

Schwierig 

(Risssegment- 

Betrachtung) 

Einfach 

Zum Einsatz kommen die Verfahren der lokalen Minimum-Suche 

sowie die Watershed-Segmentierung. 

Das Watershed-Verfahren liefert eine starke 

Übersegmentierung. Die einzelnen Segmente werden 

daher durch Filterung entlang des Segments 

bewertet und gegebenenfalls entfernt. 

Die Gabor-Wavelets und Simulated Annealing 

werden aufgrund ihrer hohen Laufzeit nicht eingesetzt. 

Die Watershed-Resultate werden von ihrer Graph- 

Form in eine zweidimensionale Merkmalskarte 

überführt, um eine Vergleichbarkeit mit den anderen 

eingesetzten Verfahren zu gewährleisten. Die 

Merkmalskarten der einzelnen Verfahren werden 

nun in einem Voting-Verfahren verrechnet, um eine 

lokale Gesamtbewertung zu erhalten. Durch diese 

Bewertung werden wiederum die Segmente des ursprünglichen 

Watershed-Graphen verifiziert bzw. 

entfernt.

Bild 20: Durch Kombination mehrerer Merkmalskarten (im Bild: 

Wasserscheidentransformation und Lokale Minima) 

wird die Merkmalsextraktion stabilisiert 

Bild 20 zeigt eine Kombination zweier Merkmalskarten, 

die durch die Wasserscheidentransformation 

(uniskalar) und durch die lokalen Minima (multiskalar) 

erstellt wurden. Beide Karten für sich sind 

deutlich übersegmentiert. Erst durch die Kombination 

werden die Rauschartefakte entfernt und es 

werden lediglich die detektierten Oberflächenmerkmale 

markiert. 

Heuristischer Ansatz 

Die vorgestellten Verfahren zeigten allesamt 

eine große Instabilität in verrauschten Bildbereichen. 

Dies schlägt sich sowohl beim Verändern 

der Verfahrensparameter als auch in 

Bezug auf eine Veränderung im Bildrauschen in 

einer veränderten Detektion nieder. Insbesondere 

die lokalen Minima reagieren aufgrund der morphologischen 

Operationen sehr empfindlich auf 

eine leichte Änderung der Vorverarbeitungsschritte. 

Dieses Verhalten kann dazu genutzt werden, eine 

Kombination der Merkmale auch innerhalb der Re- 

sultate eines einzelnen Verfahrens durchzuführen. 

Die Parametervariation wird durch eine visuell 

kaum wahrnehmbare Rausch-Reduktion des Eingangsbildes 

vorgenommen. Bild 21 stellt eine solche 

Verknüpfung dar. Auf eine Parametervariation 

der Wasserscheidentransformation wurde verzichtet, 

da eine Kombination mehrerer Rissgraphen 

sehr aufwändig wäre. 

Multiskalare Kombination 

21 

Bild 21: Resultate mehrerer Detektionen mit veränderten Parametersätzen 

werden kombiniert, um Fehldetektionen 

durch Rauschartefakte zu entfernen 

Das gesamte Verfahren wird in mehreren Auflösungen 

ausgeführt, sodass kombinierte Merkmalskarten 

unterschiedlicher Skalierungen vorliegen. 

Aus diesen Karten werden nun zusammenhängende 

Strukturen zu multiskalaren Merkmalen 

zusammengesetzt. Die Resultate einer Skalierung 

werden dabei auf die Ergebniskarten feinerer Skalierungen 

propagiert. Dies verhindert, dass der 

Rand eines groben Merkmals in einer anderen 

Skalierung beispielsweise als Riss auftaucht, und 

führt nebenbei zu einem besseren Laufzeitverhalten.

22 

4.6 Merkmalsinterpretation 

Während sich die Merkmalsextraktion mit der Segmentierung 

relevanter Bildbereiche befasst, werden 

bei der Interpretation die Merkmale einzelnen Klassen 

zugeordnet. 

Als grobe Merkmalsklassen wurden Straßenmarkierungen 

und rissähnliche Strukturen (inklusive Nahtstellen 

etc.) identifiziert. Eine feinere Klassifizierung 

wird aufgrund der Form- und Intensitätsmerkmale 

vorgenommen. 

Das Augenmerk wurde dabei auf Oberflächenmerkmale 

gelegt, die auf Asphaltoberflächen auftreten 

(Risse, Nähte etc.). Diese Merkmale werden auch auf 

Betonstrecken detektiert. Kontextabhängige, betonspezifische 

Merkmale (z. B. Eckabbrüche, Kantenabbrüche) 

werden dagegen nicht explizit detektiert. 

Fahrbahnmarkierungen 

Die Fahrbahnmarkierungen treten an den Rändern 

des Vollbildes als vertikale Streifen auf. Ihre Segmentierung 

wird als iteratives Optimierungsproblem 

beschrieben, bei dem eine möglichst große Helligkeitsdifferenz 

zwischen rechteckigem Objekt (Fahrbahnmarkierungen) 

und Hintergrund (Straßenbelag) 

erzielt werden soll. 

Durch eine Betrachtung der mittleren Helligkeit der 

einzelnen Bildspalten werden die horizontale Position 

und Ausdehnung ermittelt. Da die Markierung 

normalerweise entweder nur oben, nur unten oder 

über die gesamte Höhe des Bildes zu sehen ist, 

wird die vertikale Ausdehnung am oberen oder unteren 

Bildrand reduziert, bis eine maximale Helligkeitsdifferenz 

erreicht ist. Anschließend wird die horizontale 

Ausdehnung ggf. korrigiert. 

Die Detektion der Markierung wird auch dazu verwendet, 

die Begrenzung der Fahrbahn zu ermitteln. 

Linienzüge, die jenseits der Fahrbahnmarkierungen 

liegen, werden ignoriert, damit keine Verfälschungen 

z. B. durch Bordsteinkanten oder Grasnarben 

auftreten. Bild 22 zeigt eine Aufnahme, auf der der 

Fahrbahnrand zu Fehldetektionen im Sinne des zugrunde 

liegenden Bewertungsverfahrens führen 

würde. Dieses berücksichtigt jedoch lediglich 

Straßenbereiche innerhalb der durch Fahrbahnmarkierungen 

abgetrennten Fahrspur. 

Nicht-rechteckige Fahrbahnmarkierungen (Pfeile 

etc.) werden nicht detektiert. Hier kann es im Zweifelsfalle 

bei der Merkmalsextraktion zu vereinzelten 

Fehldetektionen kommen (siehe auch Kapitel 4.4). 

Bild 22: Risse jenseits der Fahrbahnmarkierung führen zu 

Fehldetektionen bezogen auf das zugrunde liegende 

Bewertungsverfahren 

Betonplattenränder 

Auf Betonfahrbahnen orientieren sich die Bewertungsgrenzen 

nach ZEB an den Rändern der Betonplatte. 

Diese müssen daher gesondert bestimmt 

werden. 

Die Eingangsbilder werden dafür zunächst durch 

morphologische Verfahren vorverarbeitet, um 

dunkle Strukturen zu betonen, und in einer geringen 

Auflösung abgetastet. Mithilfe der oben beschriebenen 

Verfahren werden anschließend 

Merkmale detektiert. Anhand der Ausrichtung, der 

Geradlinigkeit und der Position wird überprüft, ob 

es sich möglicherweise um parallele oder querlaufende 

Betonplattenränder handelt. 

Zusätzlich wird die Kontinuität der detektierten Betonplattenränder 

über den Streckenverlauf betrachtet. 

Die Ränder werden dann gegebenenfalls rückwirkend 

korrigiert, falls sich potenzielle Betonplattenränder 

später als Fehldetektion herausstellen. 

Eine Unterscheidung zwischen Asphalt und Beton 

wird allerdings nicht explizit vorgenommen, stattdessen 

werden die Bewertungsgrenzen ständig für 

beide Beläge ermittelt. Die Auswahl des Belags wird 

später manuell durchgeführt und dadurch die dem 

Belag entsprechenden Bewertungsgrenzen aktiviert. 

Risse 

Betrachtet man den Querschnitt eines Risses, so 

stellt sich sein Profil als Vertiefung dar, d. h., in der 

Mitte ist der Grauwert dunkler als in der Nachbarschaft. 

Um diese Eigenschaft zu überprüfen, wird 

für jede Kante im Rissgraphen zunächst ein Bild 

des „begradigten“ Risses generiert, indem in jedem

Bild 23: Um die Güte von Rissen besser bewerten zu können, 

werden diese zunächst begradigt, indem eine orthogonal 

verlaufende Region abgetastet und sequenziell 

aufgetragen wird 

Punkt der orthogonal zum Linienzug verlaufende 

Querschnitt des Bildes betrachtet wird. Dies lässt 

sich mit einem Schlauch vergleichen, der um den 

Riss gelegt und anschließend in die Länge gezogen 

wird. Der Vorgang zur Rissbegradigung ist in Bild 

23 dargestellt. 

Die so gewonnenen Rissprofile lassen sich durch 

Faltungsoperationen bewerten, wobei durch unterschiedliche 

Filter unterschiedliche Rissbreiten abgedeckt 

werden. 

Auch kleine Störstellen und dunkle Flecken im 

Belag werden oftmals als Linienzug segmentiert. 

Um diese Segmente auszusortieren, wird daher als 

weiteres Merkmal die lokale Ausrichtung der Linienzüge 

ausgewertet. 

Bei Rissen ist davon auszugehen, dass die Vertiefung 

hauptsächlich entlang des detektierten Linienzuges 

verläuft, bei Rauschartefakten und Störstellen 

kann oft keine Vorzugsrichtung ausgemacht 

werden. Um einen Verlauf entlang der Vorzugsrichtung 

zu bewerten, werden an jedem Punkt des Linienzugs 

gerichtete Filter verwendet. Durch Abgleich 

der Filter in mehreren Orientierungen wird 

bewertet, wie gut der Linienzug den Verlauf des 

Bildartefakts beschreibt. 

Nicht alle Risse sind auf den Aufnahmen als durchgängige 

Struktur zu erkennen. Um dies zu berücksichtigen, 

wird der Verlauf benachbarter Segmente 

betrachtet und ein entsprechendes Kontinuitätsmerkmal 

ermittelt. 

Rissklassifikation 

Zur Klassifikation eines Merkmals wurden neben 

den direkten Faltungsantworten auch explizit berechnete 

Rissmerkmale herangezogen. Statt Qua- 

23 

Bild 24: Klassifikation: Im Rissquerschnitt wird pro Pixel die 

Rissbreite detektiert. Das so entstandene Breiten-Histogramm 

wird verwendet, um durch Abgleich mit bekannten 

Merkmalsklassen das Merkmal zu klassifizieren 

litätsmaße für verschiedene Skalierungen zu erzeugen, 

werden direkt über den Querschnitt des Merkmals 

die Breite und der Kontrast zwischen Merkmal 

und Umgebung ermittelt. 

Hierzu wird für jedes Merkmals die Hüllkurve gebildet 

(s. vorigen Abschnitt) und anhand des extrahierten 

begradigten Risses der Rissverlauf nachvollzogen. 

Dabei wird durch Gradientenbildung die ungefähre 

Breite des Merkmals ermittelt. Durch Verwendung 

eines iterativen Verfahrens wird die Breite so angepasst, 

dass der Kontrast zwischen Merkmal und 

Oberfläche maximal wird. 

Über den gesamten Riss bzw. das gesamte Merkmal 

lässt sich so ein Histogramm bilden, dass die 

Häufigkeit der detektierten Rissbreiten wiedergibt. 

Dieses Histogramm kann mit Histogrammen bekannter 

Merkmalsklassen abgeglichen werden und 

das Merkmal somit einer Merkmalskategorie zugeordnet 

werden (s. Bild 24).

24 

In die Klassifikation geht außerdem das Intensitätsverhältnis 

zwischen Riss und Umgebung ein, sowie 

der Gradientenbetrag, der die Abgrenzungsgüte 

des Risses vom Hintergrund wiedergibt. 

Datenspeicherung 

Bevor durch Interaktion seitens des Begutachters 

eine endgültige Klassifizierung der Oberflächenschäden 

durchgeführt wird, werden die detektierten 

Merkmale in kompakter Form gespeichert, sodass 

die Schadensdetektion einer vollständigen 

Strecke vorberechnet werden kann. 

Der Rissgraph beinhaltet in seinen Kanten sämtliche 

Informationen, die über die pozentiellen Risse 

und Bildkanten ermittelt wurden. Dieser Graph 

wird daher für jedes Vollbild separat gespeichert. 

Die Begutachtung und Bewertung der Fahrbahnoberfläche 

finden in einem vordefinierten Raster 

statt, dass in „Anhang 7 – Auswerteregeln für die 

Erfassung der Substanzmerkmale (Oberfläche)“ 

der ZTV ZEB-StB erläutert wird. Die Oberfläche 

jeder Kachel wird nun separat bewertet. 

Eine Gesamtoberflächenbewertung wird daher 

in einer separaten Datei für jeden Fahrbahnmeter 

abgelegt. Dies ermöglicht dem Begutachter, 

innerhalb der Programmoberfläche eine schnelle 

Visualisierung der gesamten Strecke zu erhalten. 

4.7 Interaktion 

Als letzter Schritt vor der Streckenbewertung wird 

die automatische Merkmalsdetektion durch einen 

Gutachter visuell und manuell überprüft. Hierfür 

werden eine geeignete Visualisierung der Strecke 

und Interaktionsmöglichkeiten zum Klassifizieren 

der Schäden vorgelegt. 

Vorauswahl 

Zur schnellen Übersicht wird dem Gutachter ein 

Überglick über die gesamte Strecke vorgelegt. 

Hierfür wird eine vorberechnete Oberflächenbewertung 

für jeden laufenden Meter geladen. 

Schadensfreie Bilder können so übersprungen 

werden, so wird der Aufwand für den Gutachter 

verringert. 

Mittels geeigneter Regler kann die Sensitivität der 

Schadensdetektion geregelt werden. Der Gutach- 

ter erhält so die Möglichkeit, den Grad der Übersegmentierung 

bzw. Untersegmentierung zu beeinflussen 

und die Parameter den Gegebenheiten 

der Strecke sowie des Belags anzupassen. 

Durch Wahl des Belags (Asphalt oder Beton) 

werden die Bewertungsgrenzen automatisch angepasst. 

Die Bewertungen der so entstehenden 

ZEB-konformen Asphalt-Fahrspureinteilungen 

oder Betonplatten werden anschließend durch 

den Operator bestätigt, verworfen oder überschrieben. 

Visualisierung und Klassifikation 

Die Fahrbahn wird zur optischen Verifikation 

als Originalbild angezeigt. Die Bewertungsgrenzen 

der Fahrbahn können zusätzlich eingeblendet 

werden. 

Optional kann die Bilddarstellung verbessert werden. 

Hierfür werden Verfahren aus der Bildvorverarbeitung 

(Kapitel 4.4) aktiviert, die eine Anpassung 

der Helligkeit und eine Entfernung des Walzmusters 

erlauben. 

4.8 Datenmaterial 

Zur Entwicklung der Algorithmen wurde umfangreiches 

Datenmaterial seitens der BASt zur Verfügung 

gestellt. Die genauen Anforderungen an das 

Bildmaterial wurden im Laufe des Projekts konkretisiert. 

Erhebung 

Zur Entwicklung und Evaluierung des Systems 

wurden Aufnahmen vor und während der Projektlaufzeit 

durch Befahrungen seitens der BASt 

durchgenommen. Zur Verfügung standen Can- 

Controls unter anderem folgender Bildsequenzen, 

auf die der Schwerpunkt der Evaluierung gelegt 

wurden: 

• B 507: Aufnahmedatum: 25.04.2007 

Oberfläche: Asphalt 

Anzahl Einzelbilder: 26.816 

• A 3: Aufnahmedatum: 16.10.2007 




Oberfläche: Beton 

Anzahl Einzelbilder: 6.930




Die Aufnahmen der B 507 vom 25.04.2007 beinhalten 

die gestitchten Bilder in einer Breite von ca. 

4,50 m. 

Stitching 

Die Vollbilder entstehen im Allgemeinen durch 

einen Stitchingprozess. Bei diesem Verfahren werden 

mehrere Kamerabilder möglichst nahtlos aneinandergesetzt, 

sodass der Eindruck eines großen 

Bildes entsteht. 

Durch Beleuchtungsunterschiede und Anpassungsfehler 

entstehen in der Praxis jedoch starke Bildkanten 

und Texturfehler. In Bild 25 sind im Stitchingresultat 

deutliche Kanten und Helligkeitsunterschiede 

zwischen den einzelnen Kamerabildern zu 

erkennen. 

Diese Bildfehler führen zu Fehldetektionen bei 

der Merkmalsextraktion und müssen somit vermieden 

werden. Aufgrund dieser Nachteile der 

Vollbilder werden die Kamerabilder intern einzeln 

verarbeitet und die Resultate anschließend kombiniert. 

MESOB-Vollbilder 

Um die MESOB-Bilddaten, die im Allgemeinen nicht 

im Vollformat vorliegen, verwenden zu können, 

wurde ein Software-Werkzeug entwickelt, das 

aus den einzelnen Kamerabildern Vollbilder generiert. 

Dieser Pseudo-Stitching-Prozess protokolliert die 

verwendeten Bilddaten und die entstehenden Bildkanten, 

sodass diese für die Extraktion der Einzelbilder 

genutzt werden können. 

Datenmaterial externer Betreiber 

Zusätzlich zu den ca. 100.000 Bildern, die 

durch das MESOB-Fahrzeug aufgenommen 

wurden, wurden seitens der BASt fünf Festplatten 

mit insgesamt ca. 1.500 GB Videomaterial 

eines externen Ingenieurbüros zur Verfügung gestellt. 

Die Videodaten liegen als AVI-Dateien mit einer 

Auflösung von 720 x 576 (PAL) vor. Pro Strecken- 

25 

abschnitt wurden durch vier Kameras eine Frontalansicht 

der Straße sowie der linke, der mittlere und 

der rechte Abschnitt der Fahrbahn aufgenommen. 

Bild 26 zeigt korrespondierende Bilder der vier Kameras. 

In der Endphase des Projekts wurden außerdem 

weitere 3 GB Bildmaterial im vorgeschriebenen 

Vollformat (4.5 m x 10 m) ausgehändigt. Insgesamt 

handelt es sich um drei Strecken von insgesamt ca. 

11 km, wobei jedes Bild einen Abschnitt von 10 m 

abbildet. 

Bild 25: In der Vollbildansicht sind deutliche Kanten zwischen 

den einzelnen Kamerabildern zu erkennen. Diese 

führen zu Fehldetektionen der Merkmalsextraktion 

Bild 26: Die externen Daten bestehen aus einer Ansicht der 

Frontalen sowie drei Fahrbahnansichten der Auflösung 

720 x 576 Bildpunkte

26 

Die Bilder besitzen eine Auflösung von 1.920 

mal 4.300 Pixel, die ursprünglichen Kamerabilder 

entsprechen offensichtlich der vorgegebenen 

Kachelung, sodass das Gesamtbild aus insgesamt 

30 Teilbildern à 640 mal 430 Pixeln besteht 

(s. Bild 27). 

Es liegt keine Segmentierung für die externen 

Daten vor. 

Bild 27: Makrobild (Vollformat) eines externen Betreibers in 

den Maßen 4,50 m x 10,00 m (Auflösung: 1.920 x 

4.300 Pixel) 

5 Evaluierung 

Dieses Kapitel beschreibt eine Evaluierung des 

Projekts. Die ersten beiden Kapitel befassen 

sich mit der Verbesserung der MESOB-Bildqualität. 

Im folgenden Kapitel wird auf die Arbeitsweise des 

Systems eingegangen. Der vierte und fünfte Abschnitt 

behandelt die verwendeten Bilddaten und 

die qualitative Untersuchungen der Merkmalsdetektion 

auf diesen Daten. 

5.1 MESOB: Kameraparameter 

Eine von der BASt durchgeführte Untersuchung 

des MESOB-Fahrzeugs befasste sich mit der Unschärfe 

und der Ausleuchtung der Fahrbahn. Die 

wichtigsten Daten sind hier wiedergegeben. 

Unschärfe 

Bei einer Geschwindigkeit von 80 km/h bewegt sich 

das Fahrzeug innerhalb der eingestellten Kamera- 

Belichtungszeit von 122 µm um 2,7 mm fort. Daraus 

resultiert zwangläufig eine entsprechende Bewegungsunschärfe, 

da ein Pixel im Bild ungefähr 

einem Millimeter entsprechen soll. 

Ausleuchtung 

Eine Untersuchung des Videosystems ergab, dass 

die Beleuchtung innerhalb des Bildbereichs ungleichmäßig 

ist. In den Randbereichen kommt es 

zum Abfall der Intensität, teilweise auf unter 25 % 

verglichen mit der maximalen Beleuchtung. 

Nr. Konfiguration Anmerkung 

1 

2 

3 

Sony XCD-X710 mit 

IR-Sperrfilter 750 nm 

Sony XCD-X710 mit 

IR-Bandpassfilter 

850 ± 10 nm 

IDS UI-1645LE-C-DL mit 

IR-Sperrfilter 

Aktuelle 

MESOB-Konfiguration 

Bandpassfilter passend 

zu IR-Strahlern 

Die Kamera weist eine 

stärkere Empfindlichkeit im 

IR-Spektrum auf. Sie wurde 

auf die Glasabdeckung 

über den MESOB-Kameras 

gelegt und die Parameter 

manuell geregelt. 

Tab. 2: Zur Überprüfung der Kamera-Filter-Konstellation des 

MESOB-Fahrzeuges wurden drei Hardware-Konfigurationen 

zusammengestellt und mit Testmustern in verschiedenen 

Beleuchtungssituationen evaluiert

5.2 MESOB: Infrarot-Bandpassfilter 

Von der BASt und der Firma CanControls wurden am 

MESOB-Fahrzeug Versuche durchgeführt, bei denen 

insbesondere die Auswirkungen einer besseren 

Abstimmung von Kamera und Beleuchtung ermittelt 

werden sollten. Dazu wurden mit mehreren Kamera- 

Filter-Kombinationen Bildaufnahmen gemacht und 

dabei die Beleuchtungsbedingungen variiert. 

Motivation 

Im Rahmen dieses Forschungsprojektes wurde 

festgestellt, dass die Bildqualität der MESOB-Aufnahmen 

nicht durchgehend optimal ist. Die Bilder 

erscheinen oft unscharf und weisen stark variierende 

Belichtung auf. Als Grund hierfür wurde unter 

anderem die mangelnde Abstimmung zwischen Kamera 

und künstlicher Beleuchtung ausgemacht. 

Die Beleuchtung wird durch Infrarotstrahler erzeugt, 

deren Frequenz 875 ±30 nm beträgt. Die 

Kameras sind hingegen mit einem Tageslicht- 

Sperrfilter ausgestattet, der Licht mit einer Wellenlänge 

geringer als 750 nm unterdrückt. Zudem 

weist die Kamera im IR-Spektrum eine geringe 

Sensitivität auf. 

Durch die Verwendung eines Tageslicht-Sperrfilters 

wird zwar das sichtbare Licht ausgeblendet, jedoch 

wird auch viel Infrarotlicht durchgelassen, das 

durch Sonneneinstrahlung entsteht. Es soll daher 

untersucht werden, ob der Einsatz eines auf die Infrarotstrahler 

abgestimmten Bandpassfilters zu 

einer besseren Aufnahmequalität führt. 

Versuchsaufbau 

Zum Vergleich der Aufnahmequalität wurden drei 

verschiedene Kamerakonfigurationen verwendet, 

die in Tabelle 2 aufgelistet sind. 

Die ersten beiden Kameras sind im MESOB-Fahrzeug 

verbaut und wurden vom MESOB-System getriggert, 

sodass die Belichtung mit dem Puls der 

Infrarot-Strahler zeitsynchron ist. Für die externe 

Kamera wurden Belichtung und Bildrate manuell 

eingestellt, sodass eine Übereinstimmung mit der 

Pulsfrequenz lediglich angenähert werden konnte. 

Evaluierung 

Der Versuch fand in einer Testhalle der BASt statt. 

Die variierende Außenbeleuchtung wurde durch 

zwei starke Strahler simuliert, deren Intensität se- 

27 

parat geregelt wurde. Durch große Pappen wurde 

der Schattenwurf simuliert. Zur Bewertung der Aufnahmequalität 

wurde ein schwarz-weißes Testmuster 

planar auf dem Boden unter den Kameras 

positioniert. 

Bild 28 zeigt jeweils zwei Aufnahmen des gleichen 

Sachverhalts mit den ersten beiden Kamerakonfigurationen. 

Sie verwenden beide die MESOB-Kamera, 

unterscheiden sich also lediglich in der Auswahl 

des Filters. 

Die Aufnahmen mit Bandpassfilter sind stark verrauscht. 

Durch die Bandpassfilterung wird der größte 

Anteil der Infrarotbeleuchtung geblockt, was zu 

einem schwächer beleuchteten Bild führt. Zudem 

haben die Kameras in diesem Frequenzbereich 

eine geringe Empfindlichkeit. Um eine vergleichbare 

Bildhelligkeit zu erhalten, musste der Gain erhöht 

werden, was erwartungsgemäß zu einem deutlich 

höheren Bildrauschen führte. 

Sieht man vom Bildrauschen ab, ist die Schärfe der 

Aufnahmen mit Bandpassfilter jedoch höher. Dies 

wird insbesondere in der Mitte des kreisförmigen 

Testmusters sowie am Gittermuster deutlich. Die 

Bild 28: Links: Aufnahmen mit Tageslichtsperrfilter (Konfiguration 

1); rechts: Aufnahmen mit Infrarot-Bandpassfilter 

(Konfiguration 2). Die Aufnahmen mit Bandpassfilter 

sind erwartungsgemäß dunkler und stärker verrauscht, 

da die Kamera aufgrund des geringeren Lichteinfalls 

empfindlicher reagiert

28 

korrespondierenden Bildausschnitte sind in Bild 29 

vergrößert dargestellt. 

Die Schattenbildung, die durch eine senkrechte 

Pappe simuliert wurde, führt bei keiner der beiden 

Kamerakonfigurationen zu starken Belichtungsschwankungen. 

Dies wäre bei voller Sonneneinstrahlung 

allerdings zu erwarten. Im direkten 

Vergleich ist das Bild bei Verwendung eines 

Bandpassfilters jedoch gleichmäßiger ausgeleuchtet. 

Bild 30 zeigt eine solche leichte Schattenbildung. 

Die Bilder der IDS-Kamera sind leider nicht direkt 

vergleichbar. Durch die fehlende Synchronisierung 

mit den Strahlern und durch das Auflegen auf die 

Scheibe konnten keine einheitliche Beleuchtung 

und keine befriedigende Bildqualität erreicht werden. 

Insbesondere kam es zu horizontaler Streifenbildung, 

da die Belichtungszeit nicht mit der Belichtungsdauer 

der Strahler übereinstimmte. 

Bild 29: Die Verwendung eines Bandpassfilters (Konfiguration 

2; rechts) resultiert in einer verbesserten Bildschärfe 

im Vergleich zur Verwendung eines Sperrfilters (Konfiguration 

1; links) 

Bild 30: Der Schattenwurf durch seitliche Einstrahlung ist bei 

Verwendung eines Sperrfilters (Konfiguration 1; links) 

stärker ausgeprägt als bei Verwendung eines Bandpassfilters 

(Konfiguration 2; rechts) 

Durch die höhere Empfindlichkeit im IR-Spektrum 

scheint das Bildrauschen geringer zu sein. Es konnte 

aber nicht sichergestellt werden, ob die übrigen 

Kameraparameter mit denen der Sony-Kameras des 

MESOB-Fahrzeugs vergleichbar waren (s. Bild 31). 

Ergebnisse 

Die Verwendung eines zur IR-Beleuchtung passenden 

Bandpassfilters führt offenbar zu einer besseren 

Bildschärfe. Zur Verringerung des Bildrauschens 

wäre hier allerdings der Einsatz von Kameras 

notwendig, die eine höhere Empfindlichkeit im 

entsprechenden Frequenz-Bereich besitzen. 

Grundsätzlich muss beim Einsatz von Infrarot-Beleuchtung 

berücksichtigt werden, dass eine technisch 

bedingte Bildunschärfe besteht, je größer das 

abgetastete Frequenzspektrum ist. Die Wellenlän- 

Bild 31: Oben: Durch die fehlende Synchronisation mit den 

IR-Strahlern kommt es bei der IDS-Kamera (Konfiguration 

3) zur Streifenbildung. Die Bilder sind nicht direkt 

vergleichbar. Unten: Durch die höhere IR-Sensitivität 

der IDS-Kamera ist das Bildrauschen geringer ausgeprägt 

(Bildausschnitt mit der gleichen Auflösung wie in 

Bild 28)

Bild 32: Brechungsverhalten des Lichts bei normalen (oben) 

und infrarot-vergüteten Objektiven (unten) im Vergleich 

ge des IR-Lichtes unterscheidet sich von der des 

sichtbaren Lichtes, d. h., dass durch die Brechungsunterschiede 

der Fokus-Punkt des IR-Lichts 

im Vergleich zu dem Fokus-Punkt des sichtbaren 

Lichtes verschoben ist. 

Dieses Problem kann bei der Verwendung von IRkorrigierten 

aspherischen Objektiven eliminiert werden, 

da diese sowohl das sichtbare als auch das infrarote 

Licht auf dem gleichen Niveau fokussieren. 

In Bild 32 ist dieses Verhalten dargestellt. 

5.3 Systemablauf 

Dieses Kapitel beschreibt den vollständigen Ablauf 

der Detektion. In den einzelnen Absätzen wird auch 

auf die Problematiken bzw. Fehleranfälligkeiten der 

Einzelschritte eingegangen. 

Bilddaten 

Die Verfahren wurden unter Verwendung von Bildmaterial 

des MESOB-Messfahrzeuges entwickelt. 

Dennoch soll die Detektion auch auf Bilddaten externer 

Betreiber möglich sein. Hierfür ist eine Vereinheitlichung 

der Eingabedaten notwendig. 

Von der BASt wurde daher festgelegt, dass die 

Bilddaten der Strecke als Makrobilder vorliegen, die 

einen Bereich von 10 m Länge und die volle Fahr- 

bahnbreite (ca. 4,50 m) abzudecken haben. Bilder 

aus mehreren Kameras sind entsprechend zusammenzufügen. 

Schnittstelle 

29 

Bislang liegen kaum Daten in dem Format der geforderten 

Makrobilder (4,5 m x 10,0 m) vor, da dieses 

Format erstmalig in der ZEB 2009 vertragsgemäß 

von der BASt vorgeschrieben wurde. 

Insbesondere die MESOB-Bilder werden zurzeit 

nur als einzelne (überlappende) Kamerabilder gespeichert. 

Zur internen Verwaltung der Daten musste also 

eine weitere Abstraktion von den konkreten Bildern 

erfolgen. Hierzu wird zunächst die vollständige 

Strecke als Aneinanderreihung der einzelnen Teilbilder 

konstruiert. Die Koordinaten jedes Bildes innerhalb 

der Gesamtstrecke werden errechnet und 

als Streckenbeschreibung abgespeichert. 

Mit Hilfe dieser Streckenbeschreibung können nun 

beliebige Teile der Strecke durch Einladen der entsprechenden 

Bilder erzeugt werden. Dies ist unabhängig 

von der tatsächlichen Größe der verwendeten 

Eingabebilder möglich (s. Bild 33). 

Bild 33: Die Eingangsbilder werden durch eine abstrakte 

Streckenbeschreibung verwaltet. Diese ermöglicht, unabhängig 

von der Größe und Auflösung der Eingangsbilder 

auf Streckenbereiche zurückzugreifen

30 

Je höher die Auflösung der Bilddaten ist, desto 

höher sind die Speicheranforderungen des Verfahrens. 

Bei einer Auflösung von 1 mm pro Pixel werden 

für die Grauwert-Speicherung des Bildes bereits 

4.500 * 10.000 = 45 MB benötigt. Bei Verwendung 

z. B. der MESOB-Daten wird dieser Wert 

durch die Überlappungsregionen noch einmal deutlich 

überschritten. 

Da das Verfahren mehrere Bildrepräsentationen im 

Speicher halten muss und zudem durch Parallelisierung 

mehrere Abschnitte gleichzeitig bearbeitet, 

ist die direkte Verarbeitung von Makrobildern nicht 

möglich. 

Intern werden die Eingangsdaten daher meterweise 

verarbeitet. Für die tatsächliche Größe 

der Eingabebilder hat dies allerdings keine Auswirkung. 

Kachelung 

Die Auswerteregeln für die Erfassung der Substanzmerkmale 

(Oberfläche) (Anhang 7, ZTV ZEB- 

StB) legen Regeln für die Bewertung der Schäden 

auf einem Streckenabschnitt fest. 

Hierzu muss zunächst die Region der Fahrbahn bestimmt 

werden, die in die Bewertung Eingang findet. 

Für Asphalt-Fahrbahnen ist hierfür die gesamte 

Breite des Fahrstreifens zu berücksichtigen. Als 

seitliche Begrenzung gelten 

• die inneren Ränder der Fahrbahnrandmarkierungen 

bzw. 

• die Mitte der Markierungen zu den Nachbarfahrstreifen. 

Zur Bewertung eines Streckenabschnitts wird dieser 

in Teilabschnitte von je 100 m unterteilt. Für 

jeden Teilabschnitt wird untersucht, ob Schadstellen 

auftreten, und für die letztendliche Zustandsbewertung 

der Anteil schadensbehafteter Kacheln ermittelt. 

Der Streckenabschnitt wird hierfür in der Breite 

gedrittelt und in 1 m lange Kacheln eingeteilt. Der 

Schadenszustand eines Streckenabschnitts ergibt 

sich aus dem prozentualen Anteil schadensbehafteter 

Kacheln. 

Markierungsdetektion 

Für die Ermittlung des zu bewertenden Bildausschnitts 

entsprechend der obigen Definition 

werden zunächst die Fahrbahnmarkierungen segmentiert. 

Wird eine begrenzende Fahrbahnmarkierung auf 

einer Seite bzw. auf beiden nicht detektiert (z. B. 

weil keine Fahrbahnmarkierung sichtbar ist), so 

wird der letzte Bildausschnitt beibehalten. 

Die Breite des Fahrstreifens wird als relativ 

konstant angenommen. Falls eine begrenzende 

Bild 34: Nach der Markierungsdetektion (grün) wird die bei der 

Auswertung zu erfassende Breite bestimmt. Bei fehlenden 

begrenzenden Fahrbahnmarkierungen oder Fehldetektionen 

wird die Spurbreite konstant gehalten. Für 

die Bewertung wird die Strecke in der Breite gedrittelt 

und in 1 m lange Abschnitte unterteilt (magentafarben)

Fahrbahnmarkierung fehldetektiert wird (d. h. 

Über- oder Untersegmentierung innerhalb oder 

außerhalb des Fahrstreifens), führt dies zu abrupten 

Schwankungen der Fahrstreifenbreite. 

Die fehlerhafte Markierungsdetektion wird in diesem 

Fall ignoriert und die alte Spurbreite beibehalten. 

Bild 34 zeigt die Markierungsdetektion und die dadurch 

bestimmte in Kacheln eingeteilte zu untersuchende 

Bildregion. 

Die Fahrstreifenbreite und damit die bei der Auswertung 

zu erfassende Breite werden in diesem 

Verfahren für jeden Meter neu bestimmt, anstatt 

einmal für einen 10-m-Abschnitt. 

Für Beton ist die Markierungsdetektion in Bezug 

auf den zu bewertenden Bildausschnitt irrelevant. 

Hier wird durch Setzen des Oberflächentyps 

„Beton“ bei der manuellen Auswertung die Asphalt-Markierung 

durch die Beton-Markierung ersetzt. 

Merkmalsdetektion 

Durch die Zusammensetzung zu einem Makrobild 

entstehen meist Kanten und Intensitätsschwankungen. 

Für die Merkmalsdetektion werden 

daher die einzelnen Bilder aus dem Vollbild 

(4,5 m x 10,0 m) extrahiert, separat verarbeitet 

und die Einzelergebnisse innerhalb eines 1-m-Abschnitts 

zu einem Gesamtergebnis zusammengesetzt. 

Auf jedem extrahierten Teilbild werden die beschriebenen 

Verfahren für die Detektion von Oberflächenmerkmalen 

durchgeführt. Da die Daten unabhängig 

voneinander sind, wird hier die Rechenleistung 

durch Parallelisierung auf mehreren Prozessorkernen 

verteilt. 

Die Merkmalsgraphen der einzelnen Bilder werden 

zu einem Merkmalsgraphen für den gesamten 

1-m-Abschnitt zusammengesetzt. Für die identifizierten 

Risssegmente werden charakteristische 

Eigenschaften berechnet. 

Dies sind insbesondere: 

• Güte: beschreibt den Kontrast zur umgebenden 

Bildregion, 

• Höhe: Ausdehnung des Merkmals parallel zur 

Straße, 

31 

• Breite: Ausdehnung des Merkmals quer zur 

Straße, 

• Durchmesser: längste Ausdehnung des Merkmals, 

• Skalierung: Information über die Skalierungsstufe, 

wo der Riss gefunden wurde. 

Bild 35 stellt den Ablauf der Verarbeitung grafisch 

dar. 

Bild 35: Die Strecke wird in Abschnitten von 1 m eingelesen 

und in die Eingangsbilder zerlegt. Diese 

werden parallel verarbeitet und die Resultate 

der Merkmalsdetektion anschließend zusammengefügt. 

Für die detektierten Merkmale werden 

dabei charakteristische Eigenschaften berechnet, um 

eine spätere Filterung zu ermöglichen

32 

Der Graph wird anschließend weggespeichert. 

Er beinhaltet alle relevanten Informationen, um 

Risse zu extrahieren, zu suchen oder zu visualisieren. 

Anhand der Merkmalsgüte wird außerdem eine 

vorläufige Bewertung für die drei Kacheln ermittelt. 

Diese wird für einen schnellen Überblick 

über die gesamte Strecke ebenfalls gespeichert. 

Bewertung 

Die grafische Oberfläche bietet eine grobe 

Streckenübersicht mit den zugehörigen vorläufigen 

Kachelbewertungen. Der Arbeitsplatz besteht 

dabei aus 2 Monitoren. Ein Monitor im Format 16:9 

stellt das auszuwertende Bildmaterial dar und ein 

zweiter Monitor (4:3) zeigt das Makrobild, Diagramme 

und Regler an. Auf dem großen Monitor 

lässt sich das Gesamtbild mit einer Breite von 

4,5 m oder aber einzelne Kacheln darstellen. Die 

normale Auswertung erfolgt hierbei an dem Gesamtbild 

(mit ein- und ausblendbarem Gitternetz). 

Wahlweise kann jedoch eine Kachel aufgerufen 

und über den gesamten Monitor angezeigt 

werden. Diese einzelne Kachel wird dabei pixelgenau, 

also mit der Anzahl der Pixel, mit der das Bild 

aufgenommen worden ist, bzw. zoombar dargestellt. 

Je nach Belag und Struktur ist eine andere Rissstärke 

zu erwarten. Die erwartete Risstärke kann 

über einen Regler angepasst werden, um die Kachelbewertung 

an den Belag anzupassen. 

In der Großansicht werden die detektierten Oberflächenmerkmale 

eingeblendet, damit die Bewertung 

vom Benutzer bestätigt bzw. überschrieben 

werden kann. 

Durch Regler können zusätzliche Filterbedingungen 

für Risseigenschaften gesetzt werden, um so 

z. B. kleine Risse auszusortieren oder nur Querrisse 

zu visualisieren. 

5.4 MESOB-Bilddaten 

Für dieses Forschungsprojekt lagen hauptsächlich 

Bilddaten des MESOB-Fahrzeugs vor. Für diese 

wurden auch die vorgestellten Algorithmen und Verfahren 

entwickelt. Die Evaluierung konzentriert sich 

daher ebenfalls auf die MESOB-Bilddaten von Asphaltfahrbahnoberflächen. 

Die folgenden Abschnitte beschreiben vor allem die 

Szenarien und Gründe von fehlerhaften Merkmals- 

Segmentierungen. 

Schnittstelle 

Die Zuordnung der MESOB-Kamerabilder zur 

Streckenposition erfolgt bislang über das Feld 

Hardware-Timer, das dem Dateinamen der 

MESOB-Bilder entnommen werden kann. 

Bildqualität 

Die MESOB-Makrobilder bieten eine sehr gute Auflösung, 

weisen jedoch eine stark schwankende 

Bildqualität auf. Diese ist zum Teil auf technische 

Modalitäten und Beschränkungen zurückzuführen. 

Im Einzelnen sind dies: 

1. ungleichmäßige Ausleuchtung innerhalb eines 

Bildes, 

2. Intensitätsunterschiede zwischen verschiedenen 

Kameras, 

3. schwankende Bildhelligkeit innerhalb einer Bildfolge, 

4. Dynamikverluste durch Über- oder Unterbelichtung, 

5. Rauschen auf Pixelebene, 

6. Streifenbildung auf Pixelebene, 

7. Bildunschärfe. 

Die Punkte 1 bis 4 betreffen regionale oder 

globale Intensitätsschwankungen des Bildes. 

Diese können durch die entwickelten Vorverarbeitungsschritte 

zumindest optisch korrigiert 

werden, sodass die Helligkeit innerhalb eines Bildes 

und zwischen mehreren Bildern angeglichen 

wird. 

Die Punkte 5 bis 7 betreffen lokale Informationsverluste, 

die nicht behoben werden können. Entsprechend 

hat insbesondere das Rauschen direkt Einfluss 

auf die Güte der Detektion. 

Bild 36 zeigt einen Bildausschnitt, der vom Pixelrauschen 

dominiert wird. Dieses tritt insbesondere 

in dunklen Bildbereich vermehrt auf. Streifenbildung 

ist in Bild 37 zu beobachten.

Bild 36: Rauschen im Pixelbereich erschwert die Detektion von 

feinen Rissen und Merkmalen 

Bild 37: Auf Pixelebene kommt es teilweise zu störender Streifenbildung. 

Im Bild sind diagonale Streifen zu erkennen 


Die Ergebnisse der Markierungsdetektion sind 

robust gegenüber verrauschten Bildern und Intensitätsschwankungen. 

Bei stark überleuchteten 

Bildern kommt es jedoch zu einem Dynamikverlust 

und damit zu einem geringen Kontrast der 

Markierung im Vergleich zur benachbarten Bildregion. 

Dies kann dazu führen, dass zu große Bereiche 

des Bildes als Markierung detektiert werden. 

Diese Übersegmentierung betrifft insbesondere 

Bereiche außerhalb des zu bewertenden 

Fahrbahnabschnitts, bei starkem Schlagschatten 

auch Teile innerhalb dieses Bereiches 

(s. Bild 38). 

Befinden sich außerhalb der Fahrbahn sichtbare 

Fahrbahnmarkierungen, so werden diese teil- 

33 

Bild 38: Durch starken Schlagschatten wird der beleuchtete 

Bereich am Bildrand fälschlicherweise als Fahrbahnmarkierung 

detektiert (grün) 

Bild 39: Die stark abgefahrene Fahrbahnmarkierung am linken 

Rand des Bildes kann nicht detektiert werden 

Bild 40: Fehldetektionen der Fahrbahnmarkierungen können 

zur Übersegmentierung bei der Merkmalsdetektion 

führen. Im Bild rechts unten wurde keine Fahrbahnmarkierung 

detektiert, es kommt zu Merkmals-Fehldetektionen 

am Fahrbahnrand (rot) 

weise als breite Markierung detektiert. Eine weitere 

Fehlerquelle sind stark abgefahrene Fahrstreifen. 

Die fehlende Abgrenzung zum Straßenbelag kann 

dazu führen, dass lediglich ein Teil der Fahrbahnmarkierung 

markiert wird, d. h., es kommt zu einer 

Untersegmentierung (s. Bild 39). 

Fehlerhafte Detektionen der Fahrbahnmarkierung 

führen zu einem unerwarteten Kontrast bei den 

Verfahren zur Helligkeitsangleichung. Dies führt in 

ungünstigen Fällen indirekt zur Segmentierung 

eines nicht vorhandenen Risses parallel zur Fahrbahnmarkierung. 

Bild 40 zeigt eine solche Fehldetektion. 

Bei der Bestimmung des für die spätere Auswertung 

relevanten Fahrbahnbereichs können 

diese Fehler oft korrigiert werden, da die Fahrbahnbreite 

als praktisch konstant angenommen 

wird und zu starke Schwankungen unterdrückt 

werden.

34 

Bild 41 zeigt die Detektion von Fahrbahnmarkierungen 

und die daraus resultierende Kachelung. 


Bei der Segmentierung von Riss-ähnlichen Oberflächenmerkmalen 

führt das angesprochene Pixelrauschen 

in den Eingangsdaten zu Problemen. 

Dies äußert sich in zwei Szenarien: 

1. Übersegmentierung: 

Verrauschte Pixel bilden ein lokales Minimum, 

das fälschlicherweise als Rissfragment identifiziert 

wird. 

Bild 41: Fahrbahnmarkierungsdetektion auf MESOB-Bilddaten. 

Bei nicht durchgängigen Fahrbahnmarkierungen (grün) 

wird die vorige Fahrbahnbreite beibehalten 

2. Untersegmentierung: 

Durch Pixelrauschen in direkter Nachbarschaft 

eines feinen Risses sinkt der Kontrastwert und 

der Riss wird verworfen. 

Dies tritt bei Rissen mit einer Breite von wenigen 

Pixeln auf. Bei größeren Rissen sinkt der Einfluss 

des Pixelrauschens. 

Vergossene Arbeitsnähte tendieren aufgrund ihrer 

glatten Oberfläche dazu zu spiegeln. In diesen Fällen 

kann es dazu kommen, dass sie nicht als Oberflächenmerkmal 

erkannt werden. Bild 43 zeigt 

einen solchen Sachverhalt: Die vergossene Arbeitsnaht 

ist heller als die Umgebung und wird 

daher nicht als Riss detektiert. 

Treten dunkle Flecken in direkter Nachbarschaft 

eines Risses oder einer Nahtstelle auf, wird 

der Riss zudem teilweise nicht vollständig segmentiert, 

bei weißen Flecken auf dem Asphalt 

kommt es zeitweise zu einer Übersegmentierung 

(Bild 44). 

Bei starkem Schlagschatten kann es ebenfalls 

zur Fehldetektion von Rissen kommen. In Bild 45 

verursacht die Beleuchtung eine scharfe Schattenkante, 

die dann als Oberflächenmerkmal 

detektiert wird. Hier sind noch Verbesserungen 

denkbar, um Merkmale mit einseitigem Intensitäts- 

Bild 42: Der quer verlaufende Riss wurde nicht vollständig 

segmentiert und der dünn auslaufende Risse auf der 

linken Seite wurde nicht detektiert (Doppeldetektion 

durch überlappende Bilder) 

Bild 43: Durch direkte Beleuchtung erscheint die vergossene 

Arbeitsnaht in manchen Bereichen (Mitte unten) heller 

als der umgebende Bereich und wird daher nicht als 

Oberflächenmerkmal detektiert

abfall besser zu erkennen und im Resultat zu ignorieren. 

Die verschiedenen Asphaltoberflächen weisen 

deutliche Unterschiede in Struktur und Granularität 

auf. Was in einem Bild wie ein Riss erscheint, 

ist bei einem anderem Belag Teil der Oberflächenstruktur. 

Die Sensitivität der Detektion kann daher 

auch nachträglich (d. h. zum Zeitpunkt der Auswertung) 

auf den jeweiligen Belag eingestellt 

werden. 

Bild 44: Helle Flecken auf dem Asphalt können zu rissähnlichen 

Kontrastverläufen führen und infolgedessen zur 

Übersegmentierung 

Bild 45: Durch starke Schlagschatten kommt es immer wieder 

zu Merkmals-Fehldetektionen: Die Risse im Asphalt 

wurden korrekt detektiert, zusätzlich jedoch auch 

kontrastreiche Schattenbereiche (türkisfarben eingekreist) 

Rechenzeit 

Das starke Pixelrauschen und die damit einhergehenden 

Fehldetektionen führten dazu, dass die Detektoren 

für feine Risse sehr restriktiv parametriert 

wurden. Zudem wurden aufwändige Heuristiken 

eingesetzt, die allerdings zu einem Anstieg der Rechenzeit 

führen. Die Verarbeitungsdauer betrug auf 

dem Testrechner ca. 4 s pro Meter, d. h. 1 km/h. 

Dies entspricht ungefähr der Geschwindigkeit des 

bisherigen Stitching-Prozesses, der als Vorstufe 

der Visualisierung vonnöten war. 

Fazit 

Die Ergebnisse der Merkmalsdetektion sind nach 

qualitativen Auswertungen gut. Teilweise problematisch 

sind feine Risse und die verrauschten Bilddaten. 

Des Weiteren werden manche Risse nicht als 

zusammenhängend erkannt, sondern in mehrere 

kleine Fragmente unterteilt. Dies kann beispielsweise 

zu Problemen bei der anschließenden Filterung 

nach Größenkriterien führen. 

Die Detektionsgenauigkeit muss zudem nach der 

Detektion feinjustiert werden, da die unterschiedlichen 

Belagsarten stark voneinander abweichen. 

Weiteres ausgewertetes Bildmaterial des MESOB- 

Fahrzeugs findet sich in Anhang A. 

5.5 Externe Bilddaten 

Zur Evaluierung der Merkmalsdetektion auf Asphaltbildern 

externer Betreiber konnte auf Daten 

des Vorgängerprojekts zurückgegriffen werden. 

Bei den verwendeten Bildern handelt es sich um 

Aufnahmen der Größe 640 x 480 Pixel, die jeweils 

ein Drittel der Fahrbahnbreite abdecken. Die Auflösung 

beträgt somit ca. 2,5 mm pro Pixel. 

Die Bilder sind zumeist leicht überbeleuchtet und 

etwas unscharf, weisen jedoch nur geringes Pixelrauschen 

auf. Die automatische Merkmalsdetektion 

wurde auch auf diesem Bildmaterial getestet. 


35 

Die Markierungsdetektion arbeitet wiederum robust. 

Auf dem evaluierten Bildmaterial kam es zu 

keinen störenden Überleuchtungen, der Fahrbahnrand 

war zumeist in gutem Zustand (nicht abgefahren), 

sodass praktisch keine Fehldetektionen auf-

36 

Bild 46: Detektion der Markierungen auf den externen Bilddaten; 

der Fahrbahnrand war zumeist in gutem Zustand. 

Die Bestimmung der Fahrstreifenbreite ist daher entsprechend 

robust 

Bild 47: Verblasste Fahrbahnmarkierungen wurden nicht über 

die gesamte zu bewertende Fahrbahnbreite segmentiert 

(links) 

traten (s. Bild 46). Lediglich bei verblassten Fahrbahnmarkierungen 

wurden diese nicht über die 

volle Ausdehnung detektiert (s. Bild 47). 

Die Ermittlung der zu bewertenden Fahrstreifenbreite 

funktionierte dementsprechend reibungslos. 

Vorverarbeitung 

Die Vorverarbeitungsschritte werden auch hier angewandt, 

um die Bilder unabhängiger von der Beleuchtung 

zu machen. 

Bild 48 zeigt einen Meter des externen Bildmaterials 

und das vorverarbeitete Bild nach Helligkeitsnormalisierung 

und Walzmusterbereinigung. Die 

Verdunklung an den Rändern der einzelnen Bilder 

hat keinen Einfluss auf das Gesamtergebnis, da die 

Bilder einzeln verarbeitet werden. 

Die Normalisierung wird dennoch entsprechend 

korrigiert, um später auch als Teil der Visualisierung 

eingesetzt werden zu können. Es werden außerdem 

noch Parameteranpassungen vorgenommen, 

die die Vorverarbeitung insgesamt besser an die 

Auflösung der Bilder anpasst. 


Die Detektion von Rissen und Riss-ähnlichen Oberflächenmerkmalen 

konnte auch auf den Daten des 

externen Betreibers durchgeführt werden. 

Aufgrund des starken Pixelrauschens der MESOB- 

Bilder wurden die Detektoren für feine Risse sehr 

restriktiv eingestellt. 

Dies – und die relativ große Unschärfe – führen 

dazu, dass feine Risse oftmals nicht in vollem Umfang 

detektiert werden können – in wenigen Fällen 

wurden sie gar nicht detektiert (s. Bild 49). 

Bezüglich der vergossenen Nahtstellen trat das 

gleiche Problem auf, wie bei den MESOB-Aufnahmen. 

Bei stark reflektierendem Belag schlägt die 

Merkmalsdetektion fehl. Bild 50 zeigt zwei solche 

Fälle. Die Risse und vergossenen Nahtstellen wurden 

detektiert, in der Bildmitte erscheint die vergossene 

Nahtstelle durch Spiegelung jedoch fast weiß, 

sodass eine Untersegmentierung auftritt. 

Die am häufigsten auftretenden Risse waren Querrisse, 

offensichtlich begünstigt durch die Walzstruktur. 

Dementsprechend verschmelzen die Risse 

meist mit der Walzstruktur. Dennoch wurden die 

Risse recht zuverlässig detektiert und zumindest in 

Teilen segmentiert. Bild 51 zeigt einen Straßenabschnitt 

mit feinen Querrissen. Diese werden zwar 

nicht als eine zusammenhängende Rissstruktur 

identifiziert, die deutlicher ausgeprägten Rissstellen 

werden aber einzeln erkannt. 

Bild 52 zeigt exemplarisch einen acht Meter langen 

Straßenabschnitt mit korrekt detektierten Nahtstellen.

Bild 48: Oben: 1-m-Abschnitt des externen Bildmaterials. 

Unten: Abschnittsbild nach Vorverarbeitung. Es bilden 

sich dunkle Ränder an den Kanten der Kamerabilder – 

diese haben jedoch keinen Einfluss auf die Merkmalsdetektion 

Bild 49: Untersegmentierung. Die feinen Querrisse auf der 

linken Seite wurden nicht detektiert 

Bild 50: Oben: Durch direkte Beleuchtung spiegelt die vergossene 

Naht und erscheint heller als der Hintergrund. Es 

kommt zu Fehlsegmentierungen an den Rändern. 

Unten: Die Spiegelung verhindert die Detektion von 

Rissen auf der vergossenen Nahtstelle 

Bild 51: Oben: Im Bild sind feine Querrisse zu erkennen. 

Unten: Diese werden zwar nicht als zusammenhängender 

Riss erkannt, markante Rissfragmente werden 

jedoch detektiert 

Rechenzeit 

Durch die geringere Auflösung sinkt die Verarbeitungszeit, 

diese betrug auf dem Testrechner 

ca. 800 ms pro Meter, also 4,5 km/h. 

Fazit 

37 

Bild 52: Merkmalsdetektion auf externen Bildern. Die Nahtstelle 

wurde korrekt detektiert. Kleinere Risse und Auffälligkeiten 

wurden markiert 

Die Merkmalsdetektion liefert auf den verwendeten 

externen Daten gute Ergebnisse. Problematisch 

war aber auch hier die Detektion sehr feiner Risse 

im Pixelbereich. 

Die Qualität der Detektion ist natürlich von der Qualität 

der Eingabebilder abhängig. Auf den sehr stark

38 

verrauschten Bilddaten eines weiteren Fremdbetreibers 

konnten keine verwertbaren Ergebnisse erzeugt 

werden. 

6 Zusammenfassung und 

Ausblick 

Die Erhaltung des deutschen Straßennetzes ist 

eine aufwändige und kostenintensive Aufgabe. 

Durch frühzeitiges Auffinden von Straßenschäden 

lassen sich die erforderlichen Kosten oftmals 

deutlich senken, da kleine Schäden wie z. B. Risse 

lokal repariert werden können, bevor sie sich ausweiten. 

Für die netzweite Erhaltungsplanung der Fernstraßen 

kommen verschiedene Messtechniken zum 

Einsatz, um den Zustand der Straßenoberfläche zu 

erfassen. 

Die videobasierte Überprüfung dient dabei dem 

Auffinden von kleinsten Schadensmerkmalen. Mit 

entsprechend ausgestatteten Messfahrzeugen werden 

Straßen abgefahren und fortlaufende Bildsequenzen 

erzeugt. Die Auswertung findet anschließend 

durch eine Fachkraft statt, die die abgefahrene 

Strecke nochmalig am Monitor visuell auf 

Schäden untersucht. 

Im Vorläuferprojekt (FE-Nr. 89.0190/2007/AP) 

wurde die Machbarkeit eines Systems zur automatischen 

Rissdetektion untersucht. Hierauf aufbauend 

wurde ein entsprechendes System entwickelt, 

um an einem dafür eingerichteten Arbeitsplatz Verwendung 

zu finden. 

Für das konzipierte System wurden Verfahren der 

Bilderkennung entwickelt und eingesetzt, um Schadensmerkmale 

auf Fahrbahnoberflächenbildern zu 

detektieren. Die entwickelte Software verwendet 

als Eingangsdateien die in der ZEB 2009 geforderten 

4,5 m x 10,0 m großen Makrobilder. Für die Verwendung 

beliebiger Eingabebilder wurde jedoch 

eine entsprechende Schnittstelle erstellt. 

Die zu bewertende Fahrbahnbreite wird auf Asphaltoberflächen 

anhand der Fahrbahnmarkierungen 

automatisch erkannt, bei Betonstrecken anhand 

der Plattenränder. Die Wahl des Belags muss 

zunächst manuell vorgenommen werden, die Einteilung 

der Fahrbahn für die spätere Bewertung 

wird dann entsprechend den „Auswerteregeln für 

die Erfassung der Substanzmerkmale“ (Anhang 7, 

ZTV ZEB-StB) durchgeführt. Eine Benutzerober- 

fläche hebt die Merkmale hervor und unterstützt die 

Fachkraft beim Bewertungsprozess. 

Eine qualitative Evaluierung wurde auf Bildern des 

MESOB-Messfahrzeugs und auf Bildern eines 

Fremdbetreibers durchgeführt und zeigte sehr gute 

Resultate. Problematisch waren teilweise die Bildqualität 

der Eingangsdaten und die Detektion von 

sehr feinen Rissen. 

Eine vollautomatische Klassifikation der einzelnen 

Merkmale war allerdings nicht erfolgreich, sodass 

das System als Assistenzsystem einzusetzen ist, 

die Fachkraft aber nicht ersetzen kann. 

Eine Überprüfung im praktischen Einsatz steht 

noch aus. Hierzu wurde ein Arbeitsplatz entsprechend 

eingerichtet, sodass der Nutzen eines 

Assistenzsystems untersucht werden kann.

Anhänge 

39

66 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

� �� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

� �� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

��

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

67 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

�� 

��

Weiterentwicklung der automatisierten Merkmalserkennung im ...

Sie wollen auch ein ePaper? Erhöhen Sie die Reichweite Ihrer Titel.

Template löschen?

Als Template speichern?