Masterarbeit Corinna Harmening Raum-zeitliche Segmentierung ...

Masterarbeit Corinna Harmening
Raum-zeitliche Segmentierung von natürlichen
Objekten in stark verdeckten Szenen
Spatio-temporal segmentation of natural objects in highly occluded scenes
Erstprüfer:
Zweitprüfer:
apl. Prof. Dr.-Ing. Claus Brenner
Dr.-Ing. Jens-André Paffenholz

Raum-zeitliche Segmentierung von natürlichen
Objekten in stark verdeckten Szenen
Masterarbeit am ikg
Einführung und Ziel der Arbeit
Die Erfassung von 3D Objektdaten erfolgt häufig mit Laserscannern und optionalen Kameras zur
Bereitstellung von Farbinformation. Ein wesentlicher Schritt in der Aufbereitung der erfassten 3D
Punktwolken ist die Segmentierung von interessierenden Objekten. Die Beschreibung und
Identifikation von natürlichen Objekten in 3D Punktwolken stellt im Vergleich zu anthropogenen
Objekten eine besondere Herausforderung dar. Liegt der Fokus auf der detaillierten Beschreibung
zeitlicher Veränderung von natürlichen Objekten, wie zum Beispiel Pflanzen, basierend auf räumlich
verteilten 3D Punktwolken, so ist ein effizientes Verfahren zur Segmentierung notwendig.
Im Rahmen dieser Masterarbeit soll ein effizientes Verfahren zur Segmentierung von natürlichen
Objekten aus 3D Punktwolken, am Beispiel der Gewächshausgurke, entwickelt werden. Die zu
segmentierenden Objekte liegen in 3D Punktwolken unterschiedlicher Aufnahmerichtungen und
Aufnahmezeitpunkte in einem gemeinsamen Koordinatensystem vor. Im Ergebnis soll das
interessierende und segmentierte Objekt als Zeitreihe von 3D Punktwolken zur Verfügung stehen.
Aus der Zeitreihe sollen Informationen über die geometrische Veränderung (das Wachstum,
kurzzeitige, morphologische Anpassungen) abgeleitet werden.
Aufgaben und zeitlicher Ablauf
► Einarbeitung in die zur Verfügung stehenden Datensätze (3D Punktwolken mit Remissionswerten
und optionalen Farbinformation aus digitalen Bildaufnahmen)
► Literaturrecherche zum Thema Segmentierung von 3D Punktwolken mit dem Fokus auf Verfahren
zur Behandlung unterschiedlicher Aufnahmerichtungen und Aufnahmezeitpunkte
► Implementierung und Adaptierung eines Verfahrens in einer geeigneten Programmiersprache
► Segmentierung der interessierenden Objekte in zeitlich aufeinanderfolgenden Aufnahmen
► Gemeinsame Segmentierung der identischen, interessierenden Objekte in räumlich
verschiedenen Aufnahmen
► Analyse und Bewertung des implementierten Verfahrens sowie des Nutzens optional verfügbarer
Farbinformation aus digitalen Bildaufnahmen
Hilfsmittel
► Diverse Datensätze von natürlichen Objekten (hier der Gewächshausgurke) in einer
unstrukturierten, kontrollierten Umgebung (Gewächshaus)
► Zeitliche verteilte Datensätze mit Abständen von wenigen Minuten bis zu mehreren Tagen
► Räumlich verteilte Datensätze aus unterschiedlichen Aufnahmerichtungen zur ganzheitlichen
Beschreibung des Objekts in einem gemeinsamen Koordinatensystem
Voraussetzungen
► Programmierkenntnisse in Python sowie nach Möglichkeit in C++
► Sicherer Umgang mit Matlab
Ansprechpartner
Jens-André Paffenholz (Email Jens-Andre.Paffenholz@ikg.uni-hannover.de, Tel. 762-3191)
Institut für Kartographie und Geoinformatik, Appelstraße 9a, 30167 Hannover, Raum 603
Das Thema der Masterarbeit ist eingebettet in das Forschungsprojekt „Raum-zeitlich dichtes
Monitoring von Pflanzenbeständen mittels Messroboter“, welches im Rahmen des Programms "Wege
in die Forschung II - Projektförderung für junge Wissenschaftler/-innen" der Leibniz Universität
Hannover gefördert wird.
Englischer Titel: Spatio-temporal segmentation of natural objects in highly occluded scenes

Eidesstattliche Erklärung
Ich versichere hiermit, dass ich die vorliegende Masterarbeit selbstständig und ohne Benutzung
anderer als der angegebenen Quellen und Hilfsmittel angefertigt habe. Alle Zeichnungen
und Abbildungen, die mit keinem Quellennachweis versehen sind, wurden von mir
selbst erstellt.
Hannover, den 14.10.2013
Corinna Harmening

Inhaltsverzeichnis
1 Einleitung 1
1.1 Motivation und Zielsetzung . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Aufbau der Arbeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
2 Raum-zeitlich dichtes Monitoring von Pflanzenbeständen mittels Multi-Sensorsystem
5
2.1 Komponenten des Multi-Sensorsystems . . . . . . . . . . . . . . . . . . . . 6
2.2 Datenerfassung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2.3 Registrierung unterschiedlicher Aufnahmerichtungen . . . . . . . . . . . . . 9
2.3.1 Verfahren für die Grobregistrierung . . . . . . . . . . . . . . . . . . 10
2.3.2 Verfahren für die Feinregistrierung . . . . . . . . . . . . . . . . . . 12
2.3.3 Durchführung der Registrierung im Rahmen des Projektes . . . . . 14
2.4 Einordnung der Arbeit in den Gesamtzusammenhang des Projektes . . . . 15
3 Segmentierung von Laserscandaten 17
3.1 Der Begriff der Segmentierung . . . . . . . . . . . . . . . . . . . . . . . . . 17
3.2 Segmentierung von spektraler Information . . . . . . . . . . . . . . . . . . 18
3.3 Segmentierung von geometrischer Information . . . . . . . . . . . . . . . . 19
3.3.1 Segmentierung unter Verwendung von Oberflächeneigenschaften . . 20
3.3.2 Segmentierung durch Extraktion von Primitiven . . . . . . . . . . . 24
3.4 Graphbasierte Segmentierungsverfahren . . . . . . . . . . . . . . . . . . . . 32
3.4.1 Grundlagen der Graphentheorie . . . . . . . . . . . . . . . . . . . . 33
3.4.2 Effiziente graphbasierte Bildsegmentierung nach Felzenszwalb und
Huttenlocher . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

3.5 Raum-zeitliche Segmentierungsverfahren . . . . . . . . . . . . . . . . . . . 41
3.5.1 Trackingverfahren . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.5.2 Segmentierung eines raum-zeitlichen Volumens . . . . . . . . . . . . 43
3.5.3 Shape-Matching mit Dynamic Time Warping . . . . . . . . . . . . 46
4 Entwicklung eines Verfahrens zur raum-zeitlichen Segmentierung von natürlichen
Objekten 49
4.1 Schwierigkeiten bei der Segmentierung von natürlichen Objekten . . . . . . 49
4.2 Ausgangsdaten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
4.3 Räumliche Segmentierung . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
4.3.1 Entwicklung einer Segmentierungsstrategie . . . . . . . . . . . . . . 55
4.3.2 Berechnung lokaler Normalenvektoren . . . . . . . . . . . . . . . . . 57
4.3.3 Glätten der Punktwolke . . . . . . . . . . . . . . . . . . . . . . . . 60
4.3.4 Extraktion der Kiste . . . . . . . . . . . . . . . . . . . . . . . . . . 65
4.3.5 Vorsegmentierung nach Felzenszwalb und Huttenlocher . . . . . . . 70
4.3.6 Statistisch begründetes Region-Merging . . . . . . . . . . . . . . . . 80
4.3.7 Ergebnisse der räumlichen Segmentierung . . . . . . . . . . . . . . 95
4.4 Segmentierung in zeitlich aufeinanderfolgenden Aufnahmen . . . . . . . . . 100
4.4.1 Entwicklung einer zeitlichen Segmentierungsstrategie . . . . . . . . 101
4.4.2 Registrierung der Aufnahmen unterschiedlicher Aufnahmeepochen . 102
4.4.3 Shape-Matching mit Hilfe des Dynamic Time Warping . . . . . . . 105
4.4.4 Ergebnisse der zeitlichen Segmentierung . . . . . . . . . . . . . . . 108
4.5 Analyse und Bewertung des entwickelten Segmentierungsansatzes . . . . . 110
5 Ableitung von geometrischen Merkmalen 115
5.1 Vermaschung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
5.2 Blattflächenbestimmung . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
6 Zusammenfassung/Ausblick 123
Literaturverzeichnis
I
Abbildungsverzeichnis
IV

Tabellenverzeichnis
Abkürzungsverzeichnis
VI
VII
Anhang
VIII
A Ergänzende Abbildungen . . . . . . . . . . . . . . . . . . . . . . . . . . VIII
B Matlab-Skripte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . XIV

1 Einleitung
1.1 Motivation und Zielsetzung
In der Zukunftsvision vieler Menschen wird in einigen Jahren die Entwicklung der Robotik
so weit vorangeschritten sein, dass Roboter viele – insbesondere unbeliebte – Aufgaben des
Menschen übernehmen können. Dass diese Vision keineswegs unrealistisch ist, zeigt sich
in der zunehmenden Automatisierung, die das Leben der heutigen Gesellschaft verändert:
Das wahrscheinlich populärste Beispiel sind zurzeit die ständigen Neuerungen in der Entwicklung
von Fahrerassistenzsystemen, die dem Autofahrer das Einparken erleichtern oder
ihn vor Hindernissen warnen sollen.
Damit eine Maschine die Aufgaben eines Menschen übernehmen kann, muss sie dessen
für die entsprechende Tätigkeit benötigten Fähigkeiten besitzen. Eine besondere Herausforderung
stellt hierbei das maschinelle Sehen dar (engl. Computer Vision), d. h. die
Fähigkeit einer Maschine, eine Szene zu interpretieren und Informationen zu extrahieren.
Die Grundlage für eine solche automatische Interpretation von Fotos, Videos oder ähnlichen
Daten bildet die sogenannte Segmentierung, mit deren Hilfe z. B. die Pixel eines
Fotos zu homogenen Regionen zusammengefasst werden [Szeliski (2010)].
Die Erkennung der für eine solche Gruppierung notwendigen Zusammenhänge zwischen
den einzelnen Pixeln gelingt dem Menschen aufgrund seiner Fähigkeit zur visuellen Wahrnehmung
problemlos; diese Fähigkeit einer Maschine zu verleihen stellt jedoch ein nichttriviales
Problem dar, mit dem sich Forscher schon seit vielen Jahren beschäftigen [Kootstra
u. a. (2011)].
Der Grundstein für die Lösung dieses Problems wurde bereits im Jahr 1923 von Max
Wertheimer gelegt, der sich sehr ausführlich mit der Funktionsweise der menschlichen
Wahrnehmung beschäftigte und die sogenannten Gestaltprinzipien veröffentlichte, nach
denen ein Mensch einzelne Elemente als zusammengehörig erkennt (siehe Wertheimer
(1923)). So spielt hierfür z. B. neben der Nähe der Elemente (ein Mensch erkennt Zwei-
1

1 Einleitung
Abb. 1.1: Zwei der Gestaltprinzipien: Prinzip der Nähe (links); Prinzip der Ähnlichkeit
(rechts) (nach Wertheimer (1923))
ergruppen in Abbildung 1.1 (links)) auch die Ähnlichkeit der Elemente eine Rolle (die
menschliche Wahrnehmung fasst die Punkte in Abbildung 1.1 (rechts) vertikal zu Gruppen
zusammen). Weitere Prinzipien beruhen z. B. auf der Symmetrie oder der Einfachheit
der zusammengesetzten Strukturen.
Aufbauend auf diesen Gestaltprinzipien wurde bereits eine Vielzahl von Segmentierungsalgorithmen
entwickelt. Zu ihnen gehören allgemeingültige Algorithmen wie z. B. die
Graph Cuts von Boykov u. Kolmogorov (2004), die eine beliebige Szene bestmöglich segmentieren,
sowie Algorithmen für spezielle Anwendungen, die entwickelt wurden, wenn
die allgemeingültigen Algorithmen für sehr komplexe Szenen keine zufriedenstellenden
Ergebnisse lieferten [Paproki u. a. (2011)].
Eine besondere Herausforderung stellt die Segmentierung von natürlichen Objekten dar,
da sie in der Regel variable Formen besitzen und zudem Verdeckungen auftreten [Paproki
u. a. (2011)].
Das Ziel der vorliegenden Arbeit ist die Entwicklung eines Algorithmus für die raumzeitliche
Segmentierung von natürlichen Objekten: Für die automatische Phänotypisierung
von Pflanzen wurde am Institut für Kartographie und Geoinformatik (IKG) ein
Multisensor-System (MSS) entwickelt, mit dessen Hilfe natürliche Objekte raum-zeitlich
hochauflösend erfasst werden können. Das Ergebnis einer solchen Messung ist eine eingefärbte
3-D-Punktwolke, wie sie beispielhaft in Abbildung 1.2 zu sehen ist.
Während die Identifizierung der Pflanzenorgane in diesen Daten einem Menschen aufgrund
2

1.2 Aufbau der Arbeit
der Fähigkeit zur visuellen Wahrnehmung sehr leicht fällt, stellt dies für den Computer
Abb. 1.2: Messergebnis der Aufnahme einer
Gurkenpflanze mit dem am
IKG entwickelten MSS
eine deutlich schwierigere Aufgabe dar.
Der zu entwickelnde Algorithmus soll für das
Beispiel der Gurkenpflanze das Segmentierungsproblem
für natürliche Objekte lösen.
Eine solche Lösung beinhaltet zum einen eine
räumliche Segmentierung, die als Ergebnis
alle Punkte, die dasselbe Pflanzenorgan
beschreiben, zu einem Segment zusammenfasst.
Zum anderen erfolgt eine zeitliche Segmentierung,
die in zu verschiedenen Zeitpunkten
erfassten Datensätzen korrespondierende
Pflanzenorgane identifiziert. Die Ergebnisse
der Segmentierung bilden die Grundlage für
eine Phänotypisierung der Pflanze, d. h. sie
werden dazu verwendet, geometrische Merkmale
der Gurkenpflanze zu bestimmen und
Veränderungen festzustellen.
1.2 Aufbau der Arbeit
Die vorliegende Arbeit gliedert sich in sechs Kapitel: Im ersten Kapitel erfolgt eine kurze
Einführung in das Thema. Kapitel 2 beinhaltet die für das Verständnis dieser Arbeit
benötigten Grundlagen der Phänotypisierung von Pflanzen, wobei der Schwerpunkt
auf dem am IKG erprobten Ansatz liegt. Das dritte Kapitel thematisiert die Segmentierung
von Laserscandaten. Hierbei werden sowohl Verfahren zur räumlichen Segmentierung
als auch Verfahren zur zusätzlichen Segmentierung der zeitlichen Dimension vorgestellt
und klassifiziert sowie die für die vorliegende Arbeit relevanten Verfahren erläutert. Den
Schwerpunkt der Arbeit bildet das vierte Kapitel: In ihm wird für das Problem der raumzeitlichen
Segmentierung von natürlichen Objekten am Beispiel der Gurkenpflanze ein
Algorithmus entwickelt, auf verschiedene gemessene Datensätze angewandt und anhand
3

1 Einleitung
der erzielten Ergebnisse analysiert und bewertet. Das 5. Kapitel zeigt Möglichkeiten auf,
wie die Segmentierungsergebnisse für die Phänotypisierung von Pflanzen verwendet werden
können. Im letzten Kapitel werden die Ergebnisse dieser Arbeit zusammengefasst
und es erfolgt ein Ausblick auf mögliche Modifikationen zur Verbesserung des entwickelten
Ansatzes.
4

2 Raum-zeitlich dichtes Monitoring von
Pflanzenbeständen mittels
Multi-Sensorsystem
Im Januar 2013 gab das Bundesministerium für Bildung und Forschung (BMBF) eine
Pressemitteilung (siehe Bundesministerium für Forschung und Bildung (b)) heraus,
nach der die automatisierte Phänotypisierung von Pflanzen – d. h. die automatisierte
Bestimmung der äußeren Gestalt einer Pflanze – im Rahmen des Deutschen Pflanzen-
Phänotypisierungs-Netzwerks in den folgenden fünf Jahren mit 34,6 Millionen Euro gefördert
wird [Bundesministerium für Forschung und Bildung (a)]. Motiviert wird dieses Forschungsprojekt
durch die Tatsache, dass die Entwicklung einer Pflanze nicht allein von
der im Samen enthaltenen genetischen Information abhängt, sondern vielmehr von einem
Wechselspiel zwischen dem Genom und den äußeren Einflüssen wie z. B. der Bewässerung,
der Temperatur, den Lichtverhältnissen oder den zugeführten Nährstoffen. Durch ein besseres
Verständnis dieses Zusammenspiels und dessen Auswirkungen auf den Phänotyp
einer Pflanze erhofft sich das BMBF eine Ertragssteigerung von Nutzpflanzen [Bundesministerium
für Forschung und Bildung (b)].
Die Idee der Phänotypisierung von Pflanzen ist nicht neu, entsprechende Untersuchungen
werden bislang jedoch überwiegend manuell durchgeführt und sind somit sehr arbeitsintensiv.
Die bestehenden Verfahren werden in der Regel in destruktive und nichtdestruktive
Verfahren unterteilt: Bei den destruktiven Verfahren werden die einzelnen Organe
der Pflanze abgetrennt und beispielsweise das interessierende Attribut der Blattgröße mit
Hilfe eines Blattflächenmessgerätes bestimmt. Die ermittelten Ergebnisse sind zwar sehr
genau, durch die Zerstörung der Pflanze eignet sich diese Art der Verfahren jedoch nicht
zur Feststellung von Veränderungen einer Pflanze. Für derartige Untersuchungen finden
nichtdestruktive Verfahren Verwendung, bei denen die vorzunehmenden Messungen direkt
5

2 Raum-zeitlich dichtes Monitoring von Pflanzenbeständen mittels Multi-Sensorsystem
an der Pflanze erfolgen, ohne sie zu zerstören. Ein Beispiel für ein solches Verfahren ist die
manuelle Digitalisierung von charakteristischen Punkten einer Pflanze, wie sie z. B. von
Kahlen u. Stützel (2007) vorgestellt wird. Problematisch ist bei diesem Verfahren neben
dem hohen Arbeitsaufwand die starke Vereinfachung des entstehenden Pflanzenmodells
und eine damit verbundene Verfälschung der Messgrößen sowie die Tatsache, dass es sich
um kein berührungsfreies Verfahren handelt, sodass aufgedeckte Bewegungen der Pflanze
nicht allein auf natürliche Umwelteinflüsse zurückzuführen sind.
Solche Nachteile der bestehenden Verfahren sowie die Forderung von Eberius u. Lima-
Guerra (2009), für eine erfolgreiche Phänotypisierung mehrere Tausend Pflanzen pro Tag
zu untersuchen, machen eine automatische und berührungsfreie Phänotypisierung notwendig,
die erst durch die Entwicklungen in der Robotik, der Datenverarbeitung sowie
der Sensortechnik ermöglicht wird [Bundesministerium für Forschung und Bildung (b)].
Die vorliegende Arbeit ist in ein kooperatives Forschungsprojekt des IKG sowie des Instituts
für Gartenbauliche Produktionssysteme (IGPS) der Leibniz Universität Hannover
eingebettet, das sich ebenfalls mit der Phänotypisierung von Pflanzen beschäftigt. Das
Ziel dieses Projektes ist eine nichtdestruktive, berührungsfreie Erfassung von Pflanzen –
hier am Beispiel der Gurkenpflanze – mit Hilfe eines MSS, das als Ergebnis der Datenerfassung
eine räumlich und zeitlich hochauflösende 3-D-Punktwolke liefert. Aus dieser
Punktwolke soll zum einen eine detaillierte geometrische Beschreibung der aufgenommenen
Pflanzen abgeleitet, zum anderen soll der Wachstumsprozess der Pflanze – auch unter
Veränderung der äußeren Einflüsse – überwacht werden [Paffenholz (2012)].
Bevor die vorliegende Arbeit in den Gesamtzusammenhang des Projektes eingeordnet wird
(vgl. Abschnitt 2.4), werden im Folgenden die für das Verständnis benötigten Grundlagen
hinsichtlich der verwendeten Sensorik, der Datenerfassung sowie der Vorverarbeitung der
Daten erläutert.
2.1 Komponenten des Multi-Sensorsystems
Die Grundlage des für die Datenerfassung verwendeten MSS bildet ein Roboter vom
Typ Volksbot RT6 des Fraunhofer-Instituts, der mit vier Sensoren bestückt ist: zwei Laserscannern,
einer Digitalkamera und einer Global-Positioning-System(GPS)-gestützten
6

2.1 Komponenten des Multi-Sensorsystems
inertialen Messeinheit (engl. Inertial Measurement Unit (IMU)).
Den für die Datenerfassung wichtigsten Sensor stellt ein Zeilenscanner der Firma SICK
dar, der an der Vorderseite des Roboters angebracht ist und dessen Nullrichtung horizontal
zum Messobjekt zeigt (siehe Abbildung 2.1). Die vom Hersteller angegebene Genauigkeit
dieses Laserscanners beträgt 12 mm auf 6 m Entfernung zum Messobjekt.
Das Ergebnis eines einzelnen Scans ist eine
2-D-Scanzeile; die für das Ableiten von
Pflanzenmerkmalen benötigte dritte Dimension
entsteht durch die vertikale Bewegung
des MSS mit Hilfe eines Lift-Wagens.
Um einen Bezug zwischen den einzelnen
Scanzeilen herzustellen, wird der zweite
Laserscanner – ein Zeilenscanner der Firma
Hokuyo – verwendet. Dieser Scanner ist
so am Roboter angebracht, dass seine Nullrichtung
senkrecht nach unten zeigt und er
somit die aktuelle Höhe des Roboters und
damit auch der entsprechenden Scanzeile
Abb. 2.1: Multi-Sensorsystem
bestimmen kann. Durch Einbeziehung der
[Paffenholz u. a. (2013)]
Höhe können die einzelnen Scanzeilen des
SICK-Scanners zu einer 3-D-Punktwolke
zusammengesetzt werden (siehe Paffenholz u. a. (2013)).
Neben dem SICK-Laserscanner wird auch eine Digitalkamera der Firma The Imaging
Source für die Datenbestimmung verwendet: Die von ihr ermittelten RGB-Werte können
zum einen zur Einfärbung der Punktwolke verwendet werden (Visualisierung), zum anderen
liefern die Bilddaten zusätzliche Informationen: Da die Fotos eine höhere Auflösung
besitzen als die 3-D-Punktwolke, sind in ihnen z. B. feine Blattstrukturen besser erkennbar
als in der Punktwolke [Paffenholz u. a. (2013)].
Der vierte Sensor – die GPS-gestützte IMU – dient zurzeit vor allem der Definition einer
zuverlässigen Zeitbasis, die die Grundlage für eine korrekte Synchronisierung bildet. Auf
diesbezügliche Details wird an dieser Stelle jedoch ebenso verzichtet wie auf technische
7

2 Raum-zeitlich dichtes Monitoring von Pflanzenbeständen mittels Multi-Sensorsystem
Angaben zu den Sensoren und die genaue Vorgehensweise zur Generierung der eingefärbten
Punktwolke. Entsprechende Informationen sind in Paffenholz u. a. (2013) zu finden.
2.2 Datenerfassung
Neben der Auswahl der Sensoren spielt die Bestimmung einer geeigneten Aufnahmekonfiguration
eine wichtige Rolle: Aufgrund von Verdeckungen ist eine Aufnahme pro Pflanze
nicht ausreichend, sodass für eine vollständige Erfassung jede Pflanze aus unterschiedlichen
Blickrichtungen aufgenommen werden muss. Um diese verschiedenen Aufnahmen
in der anschließenden Prozessierung in ein gemeinsames Koordinatensystem überführen
zu können (siehe Abschnitt 2.3), müssen benachbarte Aufnahmen bis zu einem gewissen
Grad überlappen. Gleichzeitig sollte die Aufnahmedauer für eine möglichst effiziente Datenerfassung
jedoch so gering wie möglich gehalten werden. Als einen guten Kompromiss
zwischen Aufnahmedauer und Anzahl der Aufnahmen schlagen Paffenholz u. a. (2013) die
in Abbildung 2.2 dargestellte Aufnahmekonfiguration vor:
Jede Pflanze wird von drei unterschiedlichen Aufnahmepositionen (sPos 0 ◦ , sPos 120 ◦ und
Abb. 2.2: Messkonfiguration [Paffenholz u. a. (2013)]
8

2.3 Registrierung unterschiedlicher Aufnahmerichtungen
sPos 240 ◦ ) erfasst, wobei die Nullrichtungen der jeweiligen Scan-Positionen einen Winkel
von 120 ◦ einschließen. Da sowohl während des Herauf- (Scanrichtung Up“) als auch
”
während des Herunterfahrens (Scanrichtung Down“) des MSS die Pflanze gescannt wird,
”
liegen nach Trennung dieser beiden Fahrten für jede Aufnahmeposition zwei Punktwolken
vor (für nähere Informationen siehe Paffenholz u. a. (2013)). Durch die Wahl einer
Entfernung zwischen Laserscanner und Pflanze von ca. einem Meter besitzt jede dieser
Punktwolken eine Punktdichte von 9 Punkten pro cm 2 .
Obwohl die insgesamt sechs Aufnahmen nicht zeitgleich durchgeführt werden können,
wird die Gesamtheit dieser Aufnahmen als die Punktwolke einer Zeitepoche definiert.
Diese Vereinfachung kann vorgenommen werden, da alle sechs Aufnahmen innerhalb von
ca. drei Minuten erfolgen, sodass die zwischenzeitlich stattfindende Bewegung der Pflanze
als äußerst gering angesehen werden kann.
Für eine Beobachtung der Pflanzen über einen längeren Zeitraum wird das oben beschriebene
Vorgehen in vorab definierten Zeitabständen wiederholt.
2.3 Registrierung unterschiedlicher Aufnahmerichtungen
Das Ergebnis der Datenerfassung sind somit Aufnahmen aus unterschiedlichen Richtungen
(engl. Views) sowie zu unterschiedlichen Zeitpunkten, die jeweils in einem lokalen Sensorkoordinatensystem
vorliegen. Um diese Aufnahmen gemeinsam auswerten zu können,
muss zunächst die sogenannte Registrierung – das Zusammenführen aller Aufnahmen in
ein gemeinsames Koordinatensystem – durchgeführt werden [Campbell u. Flynn (2001)].
Hierfür werden diejenigen Transformationsparameter bestimmt, die die lokalen Koordinatensysteme
durch Translationen und Rotationen sowie unter Minimierung eines Fehlermaßes
bestmöglich ineinander überführen [Besl u. McKay (1992)]. Da es sich hierbei
um ein nichtlineares Optimierungsproblem handelt, werden für die Lösung Näherungswerte
benötigt [Neugebauer (1997)], sodass der Vorgang der Registrierung in der Regel
in zwei Schritten durchgeführt wird: Zunächst werden mit Hilfe der Grobregistrierung
Näherungswerte für die gesuchten Transformationsparameter bestimmt, die als Grundlage
für den zweiten Schritt, die Feinregistrierung, dienen und gewährleisten sollen, dass
in diesem zweiten Schritt von den vielen lokal optimalen Lösungen das globale Optimum
9

2 Raum-zeitlich dichtes Monitoring von Pflanzenbeständen mittels Multi-Sensorsystem
gefunden wird [Campbell u. Flynn (2001)].
Im Folgenden wird zunächst ein kurzer Überblick über bestehende Verfahren der Grobbzw.
Feinregistrierung gegeben, bevor erläutert wird, auf welche Weise die Registrierung
in dem vorgestellten Projekt erfolgt (vgl. Abschnitt 2.3.3).
2.3.1 Verfahren für die Grobregistrierung
Die Grobregistrierung kann auf zwei verschiedene Arten durchgeführt werden:
• Werden die Daten in einer sogenannten kontrollierten Umgebung aufgenommen, so
sind die Beziehungen zwischen den einzelnen lokalen Koordinatensystemen a priori
annähernd genau bekannt. Das ist z. B. dann der Fall, wenn eine Kalibrierung
des Scanners in Bezug auf die Umgebung durchgeführt wurde [Campbell u. Flynn
(2001)] oder wenn sich das Objekt auf einem Drehteller befindet, mit dessen Hilfe
die relative Orientierung der Aufnahmen bestimmt werden kann [Oishi u. a. (2003)].
• Liegt keine kontrollierte Umgebung vor, so erfolgt die Grobregistrierung mittels sogenannter
Matching-Verfahren, deren Grundlage die automatische Suche nach identischen
Punkten in den verschiedenen Aufnahmen bildet [Campbell u. Flynn (2001)].
Mit Hilfe dieser korrespondierenden Punkte werden die gesuchten Transformationsparameter
bestimmt.
Eine Möglichkeit, existierende Matching-Verfahren zu klassifizieren, ergibt sich aus
der verwendeten Repräsentationsform der Punkte, die sowohl einen effizienten Vergleich
von Punkten aus unterschiedlichen Aufnahmen ermöglichen [Johnson u. Hebert
(1999)] als auch dazu geeignet sein muss, Punkte eindeutig zu beschreiben
[Lamdan u. Wolfson]. Eine weitere Klassifizierungsmöglichkeit ergibt sich aus der
Anzahl der Aufnahmen, in denen die Korrespondenzsuche durchgeführt wird: Es
existieren Verfahren für die Suche von paarweisen Korrespondenzen, die das Matching
in genau zwei Aufnahmen durchführen, und sogenannte Multi-View-Korrespondenz-Algorithmen,
die simultan eine Aufnahme mit mehreren anderen zusammenführen
[Mian u. a. (2006)].
Ein Beispiel für die Suche von paarweisen Korrespondenzen findet sich in der Veröffentlichung
von Johnson u. Hebert (1999), in der als Repräsentationsform sogenannte
10

2.3 Registrierung unterschiedlicher Aufnahmerichtungen
Spin-Images vorgeschlagen werden. Ausgangspunkt für die Berechnung eines solchen
Bildes sind vermaschte und orientierte Punkte, die aus den entsprechenden 3-D-
Koordinaten sowie der Oberflächennormalen im jeweiligen Punkt bestehen. Zufällig
ausgewählte orientierte Punkte bilden die Grundlage für die Definition je eines zylindrischen
2-D-Koordinatensystems. Die Akkumulation dieser Koordinaten der benachbarten
Punkte in einem zweidimensionalen Histogramm liefert das jeweilige
Spin-Image (siehe Abbildung 2.3).
Abb. 2.3: Berechnung eines Spin-Images [Johnson u. Hebert (1999)]
Aufgrund dieser bildbasierten Repräsentation können für das eigentliche Matching
die gut untersuchten Verfahren aus der Bildanalyse angewendet werden. Johnson u.
Hebert (1999) berechnen hierfür den Korrelationskoeffizienten (siehe z. B. Gonzalez
u. Woods (2002)), der für ähnliche Spin-Images und damit für ähnliche Punkte
einen hohen Wert annimmt. Die so gefundenen korrespondierenden Punkte können
für die Durchführung der Grobregistrierung genutzt werden.
Für den Fall, dass ein Objekt aus mehr als zwei Richtungen aufgenommen wurde,
ist die Anwendung einer paarweisen Korrespondenzsuche auf jeweils zwei der Bilder
theoretisch möglich, in der Praxis jedoch sehr ineffizient. Insbesondere für ungeordnete
Aufnahmen, bei denen unbekannt ist, welche der Aufnahmen überlappen,
existieren aus diesem Grund sogenannte Multi-View-Korrespondenz-Algorithmen.
Mian u. a. (2006) stellen in ihrer Veröffentlichung einen solchen Algorithmus vor:
11

2 Raum-zeitlich dichtes Monitoring von Pflanzenbeständen mittels Multi-Sensorsystem
Als Repräsentationsform wird ein Tensor gewählt, für dessen Bestimmung zunächst
eine Dreiecksvermaschung der Punktwolke durchgeführt wird. Jeweils ein Paar von
orientierten Punkten wird für die Definition eines dreidimensionalen kartesischen
Koordinatensystems genutzt, das wiederum dazu dient, ein 3-D-Gitter zu definieren.
Die Schnittflächen der jeweiligen Gitterzellen mit der vermaschten Punktwolke
werden in einem Tensor dritter Ordnung abgespeichert und dienen der Repräsentation
von Punkten (siehe Abbildung 2.4).
Abb. 2.4: Berechnung eines Tensors (Ausschnitt aus [Mian u. a. (2006)])
Für die effiziente Suche nach Korrespondenzen wird eine vierdimensionale Hashtabelle
verwendet, in der die Tensoren aller Aufnahmen abgespeichert sind. Über
die Tabellen-Indizes werden mögliche Korrespondenzen gesucht, die anhand eines
Korrelationskoeffizienten sowie eines Ähnlichkeitsmaßes bewertet werden.
2.3.2 Verfahren für die Feinregistrierung
Ebenso wie bei der Grobregistrierung können auch die Verfahren zur Feinregistrierung
nach der Anzahl der zu registrierenden Aufnahmen unterschieden werden: Für den Zwei-
Aufnahmen-Fall ist das Standardverfahren der von Besl u. McKay (1992) vorgestellte
Iterative-Closest-Point(ICP)-Algorithmus [Campbell u. Flynn (2001)]: Ausgangspunkt für
diesen Algorithmus bilden zwei Datensätze mit n 1 bzw. n 2 Punkten sowie die aus der
Grobregistrierung bekannten Transformationsparameter, die die beiden Datensätze näherungsweise
ineinander überführen. Die Anwendung dieser Transformation stellt die Initia-
12

2.3 Registrierung unterschiedlicher Aufnahmerichtungen
lisierung des ICP-Algorithmus dar.
Im darauffolgenden Schritt werden zwischen den beiden Datensätzen die nächsten Nachbarn
ermittelt und – unter der Annahme, dass diese nächsten Nachbarn korrespondierenden
Punkten entsprechen – die Transformation zwischen den beiden Datensätzen bestimmt.
Nach Durchführung dieser Transformation erfolgt erneut eine Nachbarschaftssuche.
Das Verfahren wird so lange iterativ fortgesetzt, bis die Änderung des mittleren
quadratischen Fehlers der korrespondierenden Punkte kleiner als ein vorgegebener Schwellwert
wird. Der ICP-Algorithmus konvergiert, wie von Besl u. McKay (1992) dargelegt,
immer – jedoch nicht zwangsläufig gegen das globale Minimum. Aus diesem Grund ist eine
sorgfältige Grobregistrierung notwendig, die gute Näherungswerte für die Initialisierung
des Algorithmus liefert [Campbell u. Flynn (2001)].
Für eine Multi-View-Feinregistrierung führt der ICP-Algorithmus zu keinen guten Ergebnissen,
da der Registrierungsfehler mit der Anzahl der Aufnahmerichtungen zunimmt
[Oishi u. a. (2003)]. Aus diesem Grund existieren für diesen Fall – ähnlich wie für die
Grobregistrierung – Algorithmen, die die unterschiedlichen Aufnahmerichtungen gleichzeitig
ineinander überführen. Ein Beispiel für eine solche simultane Feinregistrierung ist
in Neugebauer (1997) zu finden:
Ausgangspunkt für den Algorithmus bilden n Distanzbilder B i , deren relative Orientierungen
θ i – bestehend aus drei Translationen und drei Rotationen – näherungsweise aus der
Grobregistrierung bekannt sind. Der Autor formuliert die Feinregistrierung als Optimierungsproblem,
das eine vorher definierte Distanz D zwischen den Überlappungsbereichen
[
]
aller Distanzbilder in Abhängigkeit von der relativen Orientierung θ = θ 0 ,...,θ n 1
minimiert:
ɛ 2 = min ∑ i≠j
D(T (θ)
i B i ,T (θ)
j B j ) (2.1)
mit:
ɛ : Verbesserungsquadratsumme
T (θ)
i : Ähnlichkeitstransformation unter Verwendung der relativen Orientierung θ.
Da es sich um ein nichtlineares Optimierungsproblem handelt, muss zum einen eine Linearisierung
erfolgen, zum anderen wird eine Iteration durchgeführt, die die aus der Grobregistrierung
bekannten Näherungswerte Schritt für Schritt verbessert.
13

2 Raum-zeitlich dichtes Monitoring von Pflanzenbeständen mittels Multi-Sensorsystem
2.3.3 Durchführung der Registrierung im Rahmen des Projektes
Die Grobregistrierung der in dieser Arbeit verwendeten Datensätze kann auf zwei Arten
erfolgen: Zum einen sind aufgrund der sorgfältig ausgewählten Aufnahmekonfiguration
sowohl die Distanzen zwischen dem jeweiligen Aufnahmestandort und der Pflanze als
auch der zwischen zwei Standpunkten eingeschlossene Winkel annähernd genau a priori
bekannt, sodass es sich um eine kontrollierte Umgebung handelt und die Grobregistrierung
direkt mit diesen Werten durchgeführt werden kann. Um die kontrollierte Umgebung auch
für zeitlich spätere Aufnahmen zu erhalten, werden die jeweiligen Aufnahmepositionen
bei der zeitlich ersten Aufnahme auf dem Boden markiert und können somit für weitere
Aufnahmen rekonstruiert werden (siehe Paffenholz u. a. (2013)).
Da diese Rekonstruktion der Aufnahmeposition jedoch relativ fehleranfällig ist, werden
außerdem mit Reflexfolie beklebte Targets so um die Pflanze herum positioniert, dass in
den Überlappungsbereichen der verschiedenen Aufnahmen mindestens drei Targets liegen.
Diese Targets können aufgrund ihrer Reflexionseigenschaften einfach und schnell aus den
Laserscans extrahiert werden und dienen als korrespondierende Punkte und somit als
Grundlage für ein Matching der Punktwolken.
Die für die Verbesserung der Registrierung im Anschluss durchzuführende Feinregistrierung
erfolgt mit Hilfe des ICP-Algorithmus. Da dieser Algorithmus nur für den Zwei-
Abb. 2.5: Schematischer Überblick über den Registrierungsvorgang [Paffenholz u. a.
(2013)]
14

2.4 Einordnung der Arbeit in den Gesamtzusammenhang des Projektes
Aufnahmen-Fall definiert ist, wird die Feinregistrierung paarweise durchgeführt, wobei
die Aufnahme von Scanposition 0 ◦ als Referenz dient [Paffenholz u. a. (2013)]. Aufgrund
der geringen Anzahl der Aufnahmen, die zudem geordnet sind, spielt der in Abschnitt
2.3.2 erwähnte Registrierungsfehler, der bei Anwendung des ICP-Algorithmus auf den
Multi-View-Fall auftritt, keine Rolle.
Der gesamte Registrierungsvorgang ist schematisch in Abbildung 2.5 dargestellt.
2.4 Einordnung der Arbeit in den Gesamtzusammenhang
des Projektes
Nach der Datenerfassung und -prozessierung liegt für jede Zeitepoche eine registrierte und
eingefärbte 3-D-Punktwolke vor. Um aus einer solchen Punktwolke Pflanzenmerkmale wie
z. B. die Blattgröße ableiten zu können, müssen die ungeordneten Punkte der Punktwolke
segmentiert, d. h. nach einem vorher definierten Ähnlichkeitsmaß gruppiert werden.
Im Hinblick auf die Zielsetzung des Projektes ist dies gleichbedeutend mit der automatischen
Extraktion der interessierenden Organe der Pflanze – in dieser Arbeit vorrangig
der Blätter. Die vorliegende Arbeit kann somit innerhalb des gesamten Projektes an den
Anfang der Auswertekette eingeordnet werden. Da alle folgenden Berechnungen auf dieser
Arbeit aufbauen, besteht ein hoher Anspruch an die Richtigkeit der Segmentierung.
15

3 Segmentierung von Laserscandaten
Laserscanner finden insbesondere in der Geodäsie ihre Anwendung, wo sie z. B. zur Erstellung
von digitalen Gelände- oder 3-D-Stadtmodellen sowie zur Rekonstruktion von
industriellen Anlagen eingesetzt werden [Vosselman u. Maas (2010)]. Mit der stetigen
Entwicklung der Robotik in den letzten Jahren nehmen auch die Anwendungsmöglichkeiten
in diesem Bereich zu: Laserscanner auf Robotern werden z. B. für die simultane
Lokalisierung und Kartierung (engl. Simultaneous Localization and Mapping (SLAM))
oder für die Objekterkennung und -verfolgung verwendet (siehe z.B. Montemerlo u. a.
(2002)).
Bei all diesen Anwendungen ist das Messergebnis eines Laserscanners eine ungeordnete
3-D-Punktwolke, die in dieser Form zunächst schwer zu verarbeiten ist [Wang u. Shan
(2009)]. Um aus der aufgenommenen ungeordneten Punktwolke effizient die benötigten
Informationen extrahieren zu können, wird in der Regel eine Prozessierungskette durchlaufen,
die sich aus sogenannten Low-Level- und High-Level-Schritten zusammensetzt.
Nach Besl (1988) zeichnen sich Low-Level-Schritte durch die Verarbeitung ungeordneter
Werte – z. B. Punkte einer 3-D-Punktwolke – aus, während bei High-Level-Schritten
bereits geordnete Gruppen von Punkten die Grundlagen bilden.
3.1 Der Begriff der Segmentierung
Ein sehr bedeutender Low-Level-Schritt bei der Verarbeitung von Punktwolken ist die
Segmentierung. Hierbei wird die Gesamtmenge der aufgenommenen Punkte in disjunkte,
zusammenhängende Teilmengen unterteilt [Gonzalez u. Woods (2002)], sodass die Punkte
innerhalb einer Teilmenge ähnliche Eigenschaften aufweisen, während sich die Punkte
benachbarter Teilmengen in ihren Eigenschaften unterscheiden [Sima u. a. (2013)]. Das
Ergebnis der Segmentierung ist somit eine symbolische Beschreibung der Punktwolke,
die die Grundlage für die nachfolgenden High-Level-Schritte bildet [Arman u. Aggarwal
17

3 Segmentierung von Laserscandaten
(1993)].
Liegt ein für den Zweck der nachfolgenden High-Level-Schritte nicht zufriedenstellendes
Ergebnis vor, so wird zwischen zwei Fällen unterschieden [Felzenszwalb u. Huttenlocher
(2004):
• Ist die Segmentierung zu fein, d. h. es existieren Segmente, die aufgrund ihrer ähnlichen
Eigenschaften eigentlich zusammengefasst werden müssten, so wird von Übersegmentierung
gesprochen.
• Liegen dagegen zu wenige Segmente vor, ist die Segmentierung zu grob. In diesem
Fall – der sogenannten Untersegmentierung – werden fälschlicherweise Segmente
zusammengefasst, die nicht zusammengehören.
Bei der Segmentierung von Laserscandaten wird nach Belton (2008) zwischen der Segmentierung
von spektraler und von geometrischer Information unterschieden.
3.2 Segmentierung von spektraler Information
Ein Laserscanner an sich liefert als direktes spektrales Messergebnis nur Intensitätswerte,
die ein Maß für die Energie des zurückgestreuten Signals sind [Pfeifer u. a. (2007)]. Hinzu
kommt, dass die Anzahl hybrider Messsysteme – bestehend aus einem Laserscanner und
einer Kamera – zunimmt, sodass in diesem Fall die entsprechende RGB-Farbinformation
ebenfalls für die Segmentierung verwendet werden kann. In beiden Fällen wird die Segmentierung
in der Regel nicht im 3-D-Raum durchgeführt, sondern es erfolgt zunächst
eine Projektion der Messwerte auf eine Ebene [Belton (2008)]. Infolgedessen liegt die
spektrale Information in Form von Intensitäts- bzw. RGB-Bildern vor, sodass sich auf
dieses Segmentierungsproblem die bereits sehr gut erforschten und vielfältigen Segmentierungsverfahren
der Bildanalyse anwenden lassen. Da der Schwerpunkt dieser Arbeit auf
der Segmentierung der geometrischen Information liegt, wird an dieser Stelle auf weitere
Ausführungen über spektrale Segmentierung verzichtet und auf entsprechende Fachliteratur
wie z. B. Gonzalez u. Woods (2002) verwiesen.
18

3.3 Segmentierung von geometrischer Information
3.3 Segmentierung von geometrischer Information
Wird die geometrische Information verwendet, kann die Segmentierung als Zusammenfassung
derjenigen Punkte verstanden werden, die sich auf derselben Oberfläche befinden
[Vosselman u. Maas (2010)]. Diese Segmentierung kann entweder direkt in der unstrukturierten
3-D-Punktwolke erfolgen oder – ähnlich wie bei der Segmentierung der spektralen
Information – auf Bildebene.
Bei der direkten Segmentierung der 3-D-Punktwolke wird die Definition der Nachbarschaften
als problematisch angesehen, da sie – anders als bei Bildern – nicht direkt gegeben
sind. In der Regel werden für jeden Punkt die k nächsten Punkte gesucht und als Nachbarn
deklariert. Da diese Suche sehr rechenintensiv ist, werden für eine effiziente Umsetzung
räumliche Datenstrukturen wie z. B. k-D-Bäume benötigt [Shah (2006)].
Aus diesem Grund erfolgt die Segmentierung häufig auf Bildebene, auf sogenannten Tiefenbildern
(häufig auch als Distanzbilder bezeichnet). Mathematisch wird solch ein Tiefenbild
als eine Funktion f(r, c) in Abhängigkeit von der Bildzeile r und der Bildspalte
c definiert [Hoffman u. Jain (1987)], wobei der Funktionswert f(r, c) die Distanz des gemessenen
Punktes zum Sensor angibt [Besl (1988)]. Üblicherweise wird diese Darstellung
als 2,5-dimensional bezeichnet [Wang u. Shan (2009)], womit bereits der große Vorteil
gegenüber den 2-D-Intensitätsbildern deutlich wird: Durch die bildhafte Darstellung der
Tiefenwerte – und damit der physikalischen Oberfläche der gemessenen Objekte – bleibt
die geometrische Information der abgebildeten Oberflächen explizit erhalten und kann für
die Segmentierung verwendet werden [Yokoya u. Levine (1989)].
Die Segmentierung von Tiefenbildern ist ein gut untersuchtes Forschungsfeld, was die Vielzahl
an Publikationen in diesem Bereich verdeutlicht (ein guter Überblick über bestehende
Verfahren ist in Hoover u. a. (1996) zu finden). Gegenüber der direkten Segmentierung innerhalb
der Punktwolke gestaltet sich die Definition der Nachbarschaften bei Tiefenbildern
zudem deutlich einfacher: Aufgrund der bildhaften Darstellung können die Definitionen
der Vierer- und Achternachbarschaften aus der Bildanalyse (siehe z. B. Gonzalez u. Woods
(2002)) direkt auf die Tiefenbilder übertragen werden.
Dennoch sollte nach Wang u. Shan (2009) die Segmentierung direkt in der 3-D-Punktwolke
erfolgen, da die Konvertierung der 3-D-Punktwolke zu einem 2,5-D-Tiefenbild in den meis-
19

3 Segmentierung von Laserscandaten
ten Fällen einen Informationsverlust mit sich bringt, der insbesondere bei Verdeckungen
als kritisch anzusehen ist.
Unabhängig davon, ob die Segmentierung in Tiefenbildern oder direkt in der 3-D-Punktwolke
durchgeführt wird, kann die Segmentierung der geometrischen Information auf zwei
Arten durchgeführt werden, die im Folgenden erläutert werden.
3.3.1 Segmentierung unter Verwendung von
Oberflächeneigenschaften
Die Segmentierung unter Verwendung von Oberflächeneigenschaften – von Wang u. Shan
(2009) auch als Patch-Type-Methode bezeichnet – gruppiert benachbarte Punkte nach einem
auf Oberflächeneigenschaften basierenden Ähnlichkeitsmaß. Typischerweise werden
für die Beurteilung der Ähnlichkeit die Orientierung der Oberfläche – repräsentiert durch
den Einheitsnormalenvektor der jeweiligen Tangentialebene –, Krümmungen und/oder die
quadratischen Koeffizienten der bestanpassenden Oberfläche zweiten Grades verwendet.
Zu beachten ist jedoch, dass sowohl die Krümmungen, die sich aus ersten und zweiten partiellen
Ableitungen berechnen, als auch die Normalenvektoren und quadratischen Koeffizienten,
für deren Berechnung eine sorgfältig definierte lokale Nachbarschaft benötigt wird,
sehr anfällig gegenüber Rauschen sind. Infolgedessen sollten entweder robuste Verfahren
verwendet werden oder vor der Berechnung der entsprechenden Werte eine Glättung erfolgen
[Hoffman u. Jain (1987)].
Unter der Annahme, dass es sich bei den gesuchten Regionen um homogene Bereiche mit
starken Änderungen in den Eigenschaften von einem Bereich zum nächsten handelt, wird
in einem Großteil der Literatur eine weitere Klassifizierung dieser Patch-Type-Methoden
durchgeführt, indem eine Unterteilung in kantenbasierte und regionenbasierte Verfahren
(siehe z. B. Belton (2008), Yokoya u. Levine (1989) oder Bhandarkar u. Siebert (1992))
vorgenommen wird.
3.3.1.1 Kantenbasierte Verfahren
Kantenbasierte Verfahren sind dadurch motiviert, dass sich Objektgrenzen durch Diskontinuitäten
in den Oberflächeneigenschaften auszeichnen. Das Ziel dieser Verfahren ist
20

3.3 Segmentierung von geometrischer Information
zunächst die Detektion dieser Diskontinuitäten/Kanten, bevor in einem zweiten Schritt
alle Punkte, die von einer solchen Kante eingeschlossen werden, zu einem Segment zusammengefasst
werden [Yokoya u. Levine (1989)].
Üblicherweise werden kantenbasierte Verfahren nicht auf 3-D-Punktwolken, sondern auf
Tiefenbilder angewendet [Wang u. Shan (2009)], für die drei Arten von Kanten (engl.
edges) definiert werden [Krishnapuram u. Gupta (1992)]:
y
y
y
x 0
x
x 0
x
x 0
x
Abb. 3.1: Kantentypen in Tiefenbildern: Jump-Edge (links); Crease-Edge (Mitte);
Smooth-Edge (rechts) (nach Krishnapuram u. Gupta (1992))
• Jump-Edges (siehe Abbildung 3.1 (links)) markieren Tiefensprünge. Sie treten
dort auf, wo es zu Verdeckungen kommt, und sind vergleichbar mit Kanten in Intensitätsbildern,
die ebenfalls durch Sprünge in den Werten entstehen. Aus diesem
Grund können für die Detektion von Jump-Edges die aus der Bildanalyse bekannten
Kantenoperatoren (z. B. Gradientenoperatoren wie der Sobel-Operator oder auf der
zweiten Ableitung basierende Detektoren wie der Laplacian-of-a-Gaussian-Operator,
siehe Gonzalez u. Woods (2002)) direkt adaptiert werden [Bellon u. a. (1999)].
• Crease-Edges (siehe Abbildung 3.1 (Mitte)) zeigen Diskontinuitäten in der Richtung
der Oberflächennormale und entstehen z. B. dort, wo zwei Oberflächen aufeinander
treffen. Die Detektion dieser Kanten ist nicht so trivial wie die der Jump-
Edges [Hoffman u. Jain (1987)], es gibt jedoch eine Reihe von Publikationen, die sich
mit der Lösung dieses Problems beschäftigten. Mögliche Lösungsansätze sind u. a.
die Detektion mit Hilfe von morphologischen Operatoren [Krishnapuram u. Gupta
(1992)], die Zuhilfenahme von differentieller Geometrie [Yokoya u. Levine (1989)]
oder die Scan-Line-Approximation [Jiang u. Bunke (1999)].
• Smooth-Edges (siehe Abbildung 3.1 (rechts)) treten dort auf, wo es zu Diskontinuitäten
in der Krümmung kommt, während sich die Richtung der Oberflächennor-
21

3 Segmentierung von Laserscandaten
male kontinuierlich ändert. Diese dritte Art der Kanten spielt in der Literatur kaum
eine Rolle und wird auch hier nur der Vollständigkeit halber aufgeführt.
Nach der Detektion der Kanten liegen in der Regel keine geschlossenen Objektgrenzen vor.
Um die Punkte innerhalb von Objektgrenzen zu Segmenten zusammenfassen zu können,
müssen zunächst in einer aufwändigen Nachbearbeitung die Lücken in den detektierten
Kanten geschlossen werden [Jiang u. Bunke (1999)]. Jiang u. Bunke (1997) zeigen mit
der adaptiven Gruppierung von Kanten eine Möglichkeit auf, aus einem Kantenbild eine
vollständige Segmentierung zu erhalten.
Trotz dieses zusätzlichen Nachbearbeitungsschritts sind kantenbasierte Verfahren beliebt,
da ihnen zum einen häufig einfache mathematische Operatoren (z. B. Faltungen) zu Grunde
liegen und zum anderen die detektierten Objektgrenzen sehr gut zu lokalisieren sind
[Jiang u. Bunke (1997)]. Hinzu kommt, dass eine kantenbasierte Repräsentation einen
verhältnismäßig geringen Speicheraufwand benötigt, was eine höhere Effizienz der darauf
angewandten High-Level-Algorithmen garantiert [Arman u. Aggarwal (1993)].
Auch wenn sich die bisherigen Ausführungen speziell auf Tiefenbilder beziehen, kann
das Aufdecken von Diskontinuitäten auch direkt in der 3-D-Punktwolke eine Segmentierungsstrategie
darstellen [Belton (2008)]: In diesem Fall werden lokale Nachbarschaften
definiert, für die – z. B. durch Schätzen einer besteinpassenden Ebene (siehe Abschnitt
3.3.2.1) – ein lokaler Normalenvektor bestimmt wird. Starke Änderungen in der Richtung
benachbarter Normalenvektoren sind ein Indikator für Crease-Edges, während Tiefensprünge
aufgedeckt werden können, indem für die Nachbarn des Punktes p 0 die Abstände
zur Tangentialebene in p 0 bestimmt werden.
3.3.1.2 Regionenbasierte Verfahren
Die regionenbasierten Verfahren können als das Komplement zu den kantenbasierten Verfahren
verstanden werden: Sie verwenden die lokalen Oberflächeneigenschaften nicht für
das Aufdecken von Diskontinuitäten, sondern für die Bestimmung eines Ähnlichkeitsmaßes
[Wang u. Shan (2009)], anhand dessen benachbarte Punkte auf Homogenität untersucht
werden. Punkte mit ähnlichen Eigenschaften werden zusammengefasst, sodass im Ergebnis
Oberflächen mit kontinuierlichen Eigenschaften detektiert werden [Zhan u. Yu (2012)].
Je nach Segmentierungsstrategie lassen sich die regionenbasierten Verfahren in zwei Klas-
22

3.3 Segmentierung von geometrischer Information
sen unterteilen [Belton (2008)]:
• Das Surface-Growing ist eine Erweiterung des aus der Bildanalyse bekannten
Region-Growings (siehe z. B. Gonzalez u. Woods (2002)) auf den 3-D-Raum [Vosselman
u. Maas (2010)] und besteht aus zwei Schritten: der Bestimmung von Saatregionen
und dem anschließenden Oberflächenwachstum. Als Saatregionen werden
Punkte bezeichnet, die in ihren Eigenschaften charakteristisch für die Oberfläche
sind, auf der sie sich befinden [Belton (2008)]. Von ihnen ausgehend wird das Oberflächenwachstum
durchgeführt, bei dem Punkte einer Saatregion zugeordnet werden,
wenn sie sich innerhalb eines bestimmten Abstandes zu ihr befinden und ähnliche
Oberflächeneigenschaften aufweisen wie sie.
Auf weitere Details, insbesondere wie die Saatregionen bestimmt werden oder welche
Optimierungsmöglichkeiten existieren, wird an dieser Stelle verzichtet und stattdessen
auf z. B. Vosselman u. Maas (2010) verwiesen.
• Für das Clustering werden die Punkte in der Regel in einen hochdimensionalen
Merkmalsraum überführt, in dem jeder Punkt durch eine gewisse Anzahl von
Merkmalen – beispielsweise Koordinaten, Normalenvektoren, Farbwerte etc. – repräsentiert
wird [Coleman u. Andrews (1979)]. Punkte mit ähnlichen Eigenschaften
führen im Merkmalsraum zu Ballungen, den sogenannten Clustern. Das Ziel der
Segmentierung ist das Aufdecken dieser Cluster, was entweder hierarchisch (Zusammenfassung
von Punkten bzw. von bereits bestehenden Clustern mit geringer
euklidischer Distanz) oder partitional (Auftrennung eines bestehenden Clusters an
den Stellen, an denen große euklidische Distanzen auftreten) durchgeführt werden
kann [Belton (2008)]. Für weitere Details sei auch an dieser Stelle auf weiterführende
Literatur wie Jain u. Dubes (1988) verwiesen.
Im Vergleich zu den kantenbasierten Verfahren haben die regionenbasierten Verfahren den
großen Vorteil, dass das Segmentierungsergebnis aus bereits geschlossenen Regionen besteht
und zumindest in dieser Hinsicht keine Nachbearbeitung notwendig ist.
Nachteilig sind dagegen die häufig zerklüfteten Regionsgrenzen sowie die Tatsache, dass
die Güte des Segmentierungsergebnisses sehr stark von den zu wählenden Parametern
(Anzahl der Cluster, Auswahl der Saatregionen, Auswahl der Merkmale, die für die Be-
23

3 Segmentierung von Laserscandaten
urteilung der Ähnlichkeit verwendet werden) abhängig ist. Hinzu kommt, dass regionenbasierte
Verfahren zur Übersegmentierung neigen, sodass häufig ein zweiter Schritt notwendig
wird, durch den zusammengehörige Segmente zusammengefügt werden [Jiang u.
Bunke (1999)].
3.3.2 Segmentierung durch Extraktion von Primitiven
Neben den bereits erläuterten Patch-Type-Methoden existieren Verfahren, die von Wang
u. Shan (2009) unter dem Begriff der Part-Type-Methoden zusammengefasst werden. Das
Ziel dieser Methodik ist die direkte Extraktion von geometrischen Primitiven wie z. B.
Ebenen, Zylindern oder Kugeln aus der Punktwolke. Diejenigen Punkte, die auf derselben
extrahierten Oberfläche liegen, werden einem Segment zugeordnet [Vosselman u. Maas
(2010)].
Für die Extraktion von geometrischen Primitiven existieren in der Literatur eine Reihe
von Verfahren, von denen im Folgenden zwei für diese Arbeit wichtige Verfahren erläutert
werden.
3.3.2.1 Besteinpassung von Oberflächen
Für die Bestimmung der Parameter eines Primitivs werden prinzipiell nur so viele Punkte
benötigt, wie das Primitiv voneinander unabhängige Parameter besitzt [Ahn (2004)]. In
der Regel sind die Messungen jedoch fehlerbehaftet, was zu Verfälschungen der berechneten
Parameter führt [Drixler (1993)]. Aus diesem Grund werden mehr als die minimal
benötigten Beobachtungen verwendet, sodass Fehler in den Beobachtungen nicht mehr so
stark ins Gewicht fallen. Die Methodik, die sich mit der optimalen Lösung solcher überbestimmten
Probleme beschäftigt, ist die Ausgleichungsrechnung [Niemeier (2008)].
Ausgangspunkt für eine Ausgleichung sind n Messungen, die im sogenannten Beobachtungsvektor
l zusammengefasst werden:
l =
[
l 1 l 2 ... l n
] T
. (3.1)
Messfehler und andere Unsicherheiten werden mit Hilfe einer Varianz-Kovarianzmatrix
(VKM) modelliert, die die Genauigkeit jeder Messung und die stochastischen Abhängig-
24

3.3 Segmentierung von geometrischer Information
keiten der verschiedenen Messungen beinhaltet:
⎡
σ 1 2 ρ 12 σ 1 σ 2 ... ρ 1n σ 1 σ n
ρ
Σ ll =
21 σ 2 σ 1 σ2 2 ... ρ 2n σ 2 σ n
⎢ . .
... .
⎣
ρ n1 σ n σ 1 ρ n2 σ n σ 2 ... σn
2
⎤
⎥
⎦
(3.2)
= σ 2 0Q ll (3.3)
mit:
σ i : Standardabweichung
σi 2 : Varianz
ρ ij : Korrelationskoeffizient
σ0 2 : A-priori-Varianzfaktor
Q ll : Kofaktormatrix.
Das Ziel der Ausgleichung ist die Bestimmung von u Parametern, die zusammen den
Parametervektor x bilden:
[
] T
x = x 1 x 2 ... x u . (3.4)
Zwischen den Beobachtungen l und den Parametern x besteht ein funktionaler Zusammenhang
f, der mathematisch auf drei Arten beschrieben werden kann [Ahn (2004)]:
• Die explizite Darstellung einer Oberfläche lautet
Z = f(x,X,Y); (3.5)
die Z-Koordinate wird also in Abhängigkeit von X- und Y -Koordinate sowie dem
gesuchten Parametervektor ausgedrückt. Da diese Art der Darstellung voraussetzt,
dass jedem (X, Y )-Paar genau ein Z-Wert zugeordnet wird, ist sie nur für wenige
geometrische Primitive – z. B. eine Ebene – geeignet. Hinzu kommt, dass bei dieser
Darstellung nicht die orthogonale Distanz (Erklärung siehe unten), sondern nur die
Distanz in einer Koordinatenrichtung – in diesem Fall der Z-Richtung – minimiert
wird [Shah (2006)].
25

3 Segmentierung von Laserscandaten
• Aus diesem Grund wird häufig die allgemeinere Repräsentationsform – die implizite
Darstellung – verwendet:
0 = f(x,X,Y,Z). (3.6)
• Die dritte Möglichkeit ist die parametrische Darstellung, in der jede Koordinate
eine eigene Funktion darstellt und in Abhängigkeit von zwei neuen Variablen
ausgedrückt wird:
X = f(x, u, v) (3.7)
Y = g(x, u, v) (3.8)
Z = h(x, u, v). (3.9)
Diese dritte Möglichkeit wird insbesondere für die Darstellung von Kurven im Raum
verwendet [Shah (2006)].
Das Ziel der Besteinpassung von Oberflächen ist nun die Bestimmung eines optimalen
Primitivs – repräsentiert durch dessen geschätzte Parameter ˆx –, welches in Bezug auf die
Beobachtungen ein vorher definiertes Fehlermaß minimiert. In der Literatur wird in der
Regel für die Definition des Fehlermaßes eine der beiden folgenden Distanzen verwendet
[siehe z. B. Ahn (2004), Shah (2006)]:
• Die algebraische Distanz lässt sich geometrisch nicht direkt interpretieren und
ist nur für implizit dargestellte Funktionen berechenbar. Für den Fall, dass ein
gemessener Punkt p i nicht auf der durch die bestimmten Parameter ˆx beschriebenen
Oberfläche liegt, ist die Gleichung 3.6 nicht erfüllt und es gilt:
f(ˆx ,X i ,Y i ,Z i ) = w i ≠0. (3.10)
Der Widerspruchsvektor
[
w =
w 1 w 2 ... w n
] T
(3.11)
kann somit als ein Maß dafür interpretiert werden, wie gut die bestimmte Oberfläche
zu den gemessenen Punkten passt. Da dieses Fehlermaß insbesondere in der Geodäsie
26

3.3 Segmentierung von geometrischer Information
selten Verwendung findet, wird an dieser Stelle nicht weiter darauf eingegangen und
für weitere Informationen – insbesondere über Vor- und Nachteile dieses Fehlermaßes
– auf Ahn (2004) verwiesen.
• In der Geodäsie üblich ist die Verwendung der geometrischen oder auch orthogonalen
Distanz [Drixler (1993)], die dem geometrischen Abstand d i des gemessenen
Punktes p i zur bestimmten Oberfläche entspricht [Shah (2006)]:
d i = ||p i p ′ i|| (3.12)
mit:
p i : beobachteter Punkt
p ′ i : Punkt auf der Oberfläche mit geringster Distanz zu p i
|| · || : Betrag von · .
Die oben beschriebenen Fehlermaße werden für die Definition eines Qualitätskriteriums
verwendet, welches in Folge der Ausgleichung minimiert wird. In der Geodäsie am weitesten
verbreitet ist die Methode der kleinsten Quadrate (MkQ), bei der die Quadratsumme
des Fehlermaßes d minimiert wird:
∑
d
2
i ⇒ Min. (3.13)
Unter der Voraussetzung, dass die Messfehler stochastisch unabhängig und normalverteilt
sind, hat dieses Schätzverfahren gegenüber anderen den Vorteil, dass die geschätzten Parameter
erwartungstreu und ihre Varianzen minimal sind [Drixler (1993)].
Um die Besteinpassung für die Segmentierung nutzen zu können, müssen die Art der
Oberfläche und die ungefähre räumliche Lage a priori bekannt sein [Shah (2006)]. Aus
diesem Grund wird die Besteinpassung nicht für die Segmentierung einer gesamten Szene,
sondern z. B. für die Optimierung einer bereits bestehenden Segmentierung (siehe
Abschnitt 3.3.2.2) oder für die Bestimmung lokaler Oberflächeneigenschaften (siehe Abschnitt
3.3.1) verwendet.
Die Besteinpassung bzw. die Ausgleichungsrechnung im Allgemeinen ist ein sehr komplexes
Thema, über das ganze Bücher veröffentlicht wurden (siehe z. B. Niemeier (2008)
27

3 Segmentierung von Laserscandaten
oder Shah (2006)). Eine ausführliche Auseinandersetzung mit diesem Thema würde über
den Rahmen dieser Arbeit hinausgehen, sodass im Folgenden die Grundlagen der Fehlerlehre
und Ausgleichungsrechnung vorausgesetzt werden. Allein auf die Ebenenschätzung
mit Hilfe einer Hauptkomponentenanalyse wird im Folgenden detailliert eingegangen, da
diese Vorgehensweise von der üblichen Verfahrensweise einer Ausgleichung wie sie z. B.
in Niemeier (2008) beschrieben ist, abweicht. Hinzu kommt, dass die Ebenenschätzung in
der Segmentierung von Punktwolken eine übergeordnete Rolle spielt: Zum einen setzen
sich anthropogene Objekte häufig aus ebenen Oberflächen zusammen [Rao (1964)], zum
anderen werden besteinpassende Ebenen dazu verwendet, lokale Normalenvektoren zu bestimmen
[Hoffman u. Jain (1987)].
Die implizite Darstellung einer Ebene lautet [Merziger u. Wirth (2006)]:
ax + by + cz = d bzw: (3.14)
n T p = d (3.15)
mit:
n =
p =
[
[
] T
a b c : normierter Normalenvektor
] T
x y z : Variable für einen Punkt auf der Ebene
d : Abstand der Ebene zum Ursprung.
Ein häufig verwendetes Verfahren zur Bestimmung der besteinpassenden Ebene ist die
Hauptkomponentenanalyse (engl. Principal Component Analysis (PCA)) der sogenannten
Scatter-Matrix Σ S [Rao (1964)], für deren Berechnung zunächst der Schwerpunkt p der
gemessenen Punkte p i bestimmt wird:
x = 1 n∑
x i
n
i=1
(3.16)
y = 1 n∑
y i
n
i=1
(3.17)
z = 1 n∑
z i .
n
(3.18)
i=1
28

3.3 Segmentierung von geometrischer Information
Nach einer Schwerpunktreduktion der gemessenen Punkte
x ′ i = x i x (3.19)
y i ′ = y i y (3.20)
z i ′ = z i z (3.21)
berechnet sich die Scatter-Matrix wie folgt [Rao (1964), Ahn (2004)]:
⎡ ⎤
Σ S =
[
p ′ 1 p ′ 2 ... p ′ n
]
·
⎢
⎣
p ′T
1
p ′T
2
.
⎥
⎦
(3.22)
=
=
⎡
⎢
⎣
⎡
⎢
⎣
p ′T n
∑ n ∑ n ∑
⎤
i=1 x′2 i i=1 x′ iy i
′ n
i=1 x′ iz i
′ ∑ n ∑
i=1 x′ iy i
′ n ∑ n
i=1 y′2 i i=1 y′ iz i
′ ⎥
(3.23)
∑ n ∑
i=1 x′ iz i
′ n ∑
⎦
i=1 y′ iz i
′ n
i=1 z′2 i
⎤
Σ Sxx Σ Sxy Σ Sxz
Σ Sxy Σ Syy Σ Syz
⎥
⎦ . (3.24)
Σ Sxz Σ Syz Σ Szz
Die Scatter-Matrix stellt ein Maß für die Streuung der Punkte dar und kann nach einer
1
Normierung mit
n 1
(1999)].
als die VKM der Punkte verstanden werden [Bolton u. Krzanowski
Das Ziel einer PCA ist die Untersuchung der Varianz-Kovarianzstruktur von Zufallsvariablen,
die in Form von Linearkombinationen – den Hauptkomponenten – dargestellt
werden. Geometrisch können diese Linearkombinationen als ein neues Koordinatensystem
interpretiert werden, dessen Achsen in die Richtungen der maximalen Variationen
zeigen. Der Vorteil dieser neuen Darstellung liegt in einer einfacheren, da unkorrelierten
Beschreibung der Kovarianzstruktur [Johnson u. Wichern (2007)].
Für die Ebenenschätzung wird die PCA genutzt, indem zunächst mit Hilfe einer Spektralzerlegung
der Scatter-Matrix diese neuen Koordinatenachsen bestimmt werden:
Σ S = MΛM ′ , (3.25)
wobei sich die Modalmatrix M spaltenweise aus den Eigenvektoren zusammensetzt – der
Basis des neuen Koordinatensystems –, während die Spektralmatrix Λ eine Diagonalma-
29

3 Segmentierung von Laserscandaten
trix ist, die die Eigenwerte λ i enthält [Niemeier (2008)]. Der Normalenvektor einer Ebene
zeigt in die Richtung der geringsten Variation, sodass der gesuchte Normalenvektor dem
zum kleinsten Eigenwert gehörenden Eigenvektor entspricht. Da die gesuchte Ebene außerdem
durch den Schwerpunkt verläuft (auf einen Beweis wird an dieser Stelle verzichtet),
lässt sich der noch zu bestimmende Parameter d durch Einsetzen der Schwerpunktkoordinaten
in die Ebenengleichung 3.15 berechnen [Ahn (2004)]:
d = n T · p. (3.26)
3.3.2.2 Random-Sample-Consensus-Algorithmus
Die unter 3.3.2.1 beschriebenen Verfahren zeichnen sich dadurch aus, dass für die Bestimmung
des optimalen geometrischen Primitivs alle vorliegenden Daten verwendet werden.
Fehler in den Daten werden aufgrund redundanter Information geglättet, jedoch nicht
komplett beseitigt. Liegen grobe Fehler vor, so können sie zu einer deutlichen Verfälschung
der geschätzten Parameter führen, wie in Fischler u. Bolles (1981) anhand eines Beispiels
verdeutlicht wird.
Für den Umgang mit groben Fehlern in den Daten existieren zwei übliche Strategien:
Enthalten die Daten nur eine begrenzte Anzahl an Ausreißern, so können diese iterativ
mit Hilfe eines statistischen Ausreißertests (z. B. nach Baarda, siehe Niemeier (2008))
aufgedeckt und eliminiert werden. Für Datensätze mit einem hohen Prozentsatz an groben
Fehlern bieten sich sogenannte robuste Verfahren an, deren Stärke es ist, dass das
Ergebnis von vorliegenden groben Fehlern nicht beeinflusst wird [Xinming u. a. (1994)].
Ein Beispiel für ein solches robustes Verfahren ist der Random-Sample-Consensus(RAN-
SAC)-Algorithmus, der von Fischler u. Bolles (1981) vorgestellt wurde.
Der RANSAC-Algorithmus besteht aus zwei Schritten, die iterativ durchgeführt werden:
• Im ersten Schritt werden aus der Gesamtmenge der Beobachtungen zufällig m Beobachtungen
ausgewählt (Random-Sample), wobei m die minimal benötigte Anzahl
von Beobachtungen ist, die für die Festlegung des zu extrahierenden Primitivs
benötigt werden (z. B. Ebene: m = 3). Diese m Punkte werden für die Bestimmung
der Parameter des Primitivs – des sogenannten Modells – verwendet.
• Der zweite Schritt – auch Consensus-Schritt genannt – überprüft, wie gut das be-
30

3.3 Segmentierung von geometrischer Information
stimmte Modell zur Gesamtmenge der Beobachtungen passt: Für jeden Punkt aus
der Gesamtmenge wird die Abweichung zum Modell berechnet. Diejenigen Punkte,
deren Abstand innerhalb einer gewissen Fehlertoleranz ɛ R liegt, werden dem sogenannten
Consensus-Set zugewiesen.
Die Iteration wird entweder k-mal durchgeführt oder abgebrochen, sobald die Anzahl der
im Consensus-Set enthaltenen Punkte einen Schwellwert t überschreitet. Auf die letztere
Möglichkeit wird im Folgenden nicht weiter eingegangen, sodass im Folgenden davon
ausgegangen wird, dass nach Durchführung von k Iterationen die Punkte des größten
Consensus-Sets das gesuchte Primitiv festlegen. Sie können in einem zweiten Schritt dazu
verwendet werden, das bereits bestimmte Modell z. B. mit Hilfe der Methode der kleinsten
Quadrate zu optimieren [Vosselman u. Maas (2010), Fischler u. Bolles (1981)].
Der RANSAC-Algorithmus enthält zwei Parameter, die von Fischler u. Bolles (1981) wie
folgt spezifiziert werden:
• Für die Berechnung der Anzahl k der maximal durchzuführenden Iterationen werden
drei Wahrscheinlichkeiten eingeführt: Der Parameter z gibt an, mit welcher Wahrscheinlichkeit
das richtige Modell gefunden werden soll. Der Wert von b steht für die
Wahrscheinlichkeit, dass die ausgewählten m Punkte das richtige Modell beschreiben,
und berechnet sich aus der Wahrscheinlichkeit w, dass eine einzelne gezogene
Beobachtung auf dem korrekten Modell liegt:
b = w m . (3.27)
Die Gegenwahrscheinlichkeit von w gibt somit den Anteil der groben Fehler im
Datensatz an [Vosselman u. Maas (2010)].
Mit diesen so definierten Wahrscheinlichkeiten lässt sich der gesuchte Parameter k
wie folgt berechnen:
k =
log(1 z)
log(1 b) . (3.28)
Auf eine Herleitung dieser Beziehung wird an dieser Stelle verzichtet und stattdessen
auf Fischler u. Bolles (1981) verwiesen.
31

3 Segmentierung von Laserscandaten
• Die Fehlertoleranz ɛ R ist ein Maß dafür, wie viel Rauschen im entsprechenden Datensatz
toleriert wird, und kann entweder empirisch bestimmt (siehe Fischler u. Bolles
(1981)) oder aus den vom Hersteller angegebenen Genauigkeiten des Laserscanners
abgeleitet werden [Vosselman u. Maas (2010)].
Da die Wahl der Fehlertoleranz sehr kritisch ist und signifikante Auswirkungen
auf das Ergebnis hat [Vosselman u. Maas (2010)], gibt es mit dem M-estimatorsample-consensus(MSAC)-Algorithmus
[Torr u. Zisserman (1998)] eine Erweiterung
des RANSAC-Algorithmus, der diese Schwäche behebt.
Neben der bereits erwähnten Stärke, mit einem hohen Prozentsatz (> 50 %) an Ausreißern
in den Daten umgehen zu können, bietet der Algorithmus weitere Vorteile: Er ist
sehr einfach zu implementieren und kann auf eine Vielzahl von Problemstellungen angewendet
werden [Schnabel u. a. (2007)]. Problematisch kann sich die Laufzeit gestalten, die
von der Anzahl benötigter Ziehungen und der Berechnung des Consensus-Sets abhängt.
Diesbezügliche Optimierungen sind z. B. in Schnabel u. a. (2007) zu finden.
3.4 Graphbasierte Segmentierungsverfahren
Aus den obigen Erläuterungen geht hervor, dass für die Segmentierung eine geeignete
Darstellung der Punkte und ihrer Beziehungen zu ihren Nachbarn benötigt wird. In der
Bildanalyse finden hierfür Graphen zunehmend Verwendung, da mit ihnen zum einen eine
einfache Modellierung von Beziehungen zwischen benachbarten Punkten möglich ist und
da sie zum anderen auf eine Vielzahl von Problemen anwendbar sind. Hinzu kommt, dass
Graphen nicht nur der reinen Repräsentation dienen, sondern vielmehr die Grundlage für
eine Vielzahl von Algorithmen bilden [Lézoray u. Grady (2012)].
Auch in dieser Arbeit wird eine graphbasierte Segmentierung durchgeführt, sodass im
Folgenden die für das Verständnis der Arbeit wichtigen Begriffe und Grundlagen der Graphentheorie
vorgestellt werden. Da die meisten Publikationen über graphbasierte Segmentierungsverfahren
aus dem Bereich der Bildanalyse stammen, orientiert sich auch dieser
Abschnitt zunächst sehr stark an der Bildsegmentierung. Die erläuterten Prinzipien sind
jedoch ohne Probleme auf eine 3-D-Punktwolke erweiterbar, wie im Anschluss verdeutlicht
wird. Es sei weiterhin darauf hingewiesen, dass die Graphentheorie ein sehr komplexes
32

3.4 Graphbasierte Segmentierungsverfahren
Thema ist, sodass für vertiefende Informationen auf die entsprechende Fachliteratur wie
z. B. Harary (1994) verwiesen wird.
3.4.1 Grundlagen der Graphentheorie
Ein Graph G =(V,E) ist ein mathematisches Modell. Er besteht aus Knoten v i ∈ V (dargestellt
als Kreise) und Kanten e ij = {v i ,v j }∈E (dargestellt als Geraden bzw. Pfeile),
die die Beziehungen zwischen benachbarten Knoten v i und v j modellieren. Kanten besitzen
in der Regel ein Gewicht w ij , welches ein Maß für die Stärke der jeweiligen Kante
darstellt. Besitzen alle Kanten eines Graphen das Gewicht w ij = 1, so wird der Graph als
ungewichtet bezeichnet, andernfalls handelt es sich um einen gewichteten Graphen. Des
Weiteren wird – je nachdem, ob die Richtung einer Kante eine Rolle spielt oder nicht –
zwischen gerichteten (w ij ≠ w ji ) und ungerichteten (w ij = w ji ) Graphen unterschieden
(siehe Abbildung 3.2).
ν 1
ν 1
ν 2
ν 2
ν 5
ν 3
ν 4
ν 3
ν 4
ν 5
Abb. 3.2: Beispielgraphen: ungerichteter Graph (links); gerichteter Graph (rechts) (nach
Roberts (1978))
Knoten, die über eine Kante miteinander verbunden sind, sowie Kanten, die den gleichen
Knoten berühren, heißen adjazent. Analog dazu wird eine Nachbarschaftsbeziehung zwischen
Knoten und Kanten definiert: Eine Kante ist inzident zu den beiden Knoten, die
sie miteinander verbindet, und ein Knoten ist inzident zu den Kanten, die von ihm ausgehen.
Eine Sequenz von aufeinanderfolgenden und durch Kanten verbundene Knoten wird als
Weg bezeichnet. Enthält die entsprechende Sequenz keine doppelten Knoten, so han-
33

3 Segmentierung von Laserscandaten
delt es sich um einen Sonderfall des Weges, den sogenannten Pfad (siehe Abbildung 3.3
(links)). Sind zusätzlich der Anfangs- und Endpunkt eines Pfades identisch, wird dieser
Pfad als Zyklus bezeichnet (siehe Abbildung 3.3 (rechts)) [Lézoray u. Grady (2012)].
ν 1
ν 1
ν 2
ν 2
ν 5
ν 3
ν 4
ν 3
ν 4
ν 5
Abb. 3.3: Beispielgraphen: Pfad in einem Graphen (links); Zyklus in einem Graphen
(rechts) (nach Lézoray u. Grady (2012))
Ein Graph heißt weiterhin verbunden, wenn alle Knoten eines Graphen über Wege miteinander
verbunden sind (siehe Abbildung 3.4) [Roberts (1978)].
ν 1
ν 1
ν 2
ν 2
ν 5
ν 3
ν 4
ν 3
ν 4
ν 5
Abb. 3.4: Beispielgraphen: verbundener Graph (links); nicht verbundener Graph (rechts)
(nach Roberts (1978))
3.4.1.1 Bäume und minimale Spannbäume
Einen Spezialfall der Graphen stellen sogenannte Bäume dar, bei denen es sich um ungerichtete,
verbundene und azyklische Graphen handelt. Ist G =(V,E) ein Graph, so
wird der Baum G ′ =(V,E ′ ) mit E ′ ∈ E als Spannbaum von G bezeichnet [Lézoray u.
34

3.4 Graphbasierte Segmentierungsverfahren
Grady (2012)]: Er enthält dieselben Knoten wie G, jedoch nur eine Untermenge der Kanten
[Zahn (1971)]. In Abbildung 3.5 sind in Rot zwei Spannbäume des zugrundeliegenden
Graphen aus Abbildung 3.2 (links) zu sehen.
ν 1
ν 1
ν 2
ν 2
ν 5
ν 3
ν 4
ν 3
ν 4
ν 5
Abb. 3.5: Spannbäume (nach Zahn (1971))
In der Regel existieren für einen Graphen eine Vielzahl von Spannbäumen. Wird die
Summe der Kantengewichte eines Baumes als Kosten c eines Baumes definiert, so ist
der Spannbaum mit den minimalen Kosten ein minimaler Spannbaum (engl: minimal
spanning tree (MST)) des Graphen G [Zahn (1971)]. Die beiden bekanntesten Algorithmen
für die Berechnung von MSTs sind die Algorithmen von Prim (1957) und Kruskal (1956),
auf die an dieser Stelle jedoch nicht weiter eingegangen wird.
3.4.1.2 Graphen in der Bildsegmentierung
In der graphbasierten Bildanalyse werden Bilder in der Regel als ungerichtete, gewichtete
Graphen G =(V,E) aufgefasst: Jedes Pixel entspricht einem Knoten, der über Kanten
mit seinen Nachbarn – in der Regel mit seiner Vierer- oder Achternachbarschaft – verbun-
Abb. 3.6: Interpretation eines Bildes als Graph: Ausschnitt eines Grauwertbildes (links);
auf Vierernachbarschaft basierender Grid-Graph (Mitte); auf Achternachbarschaft
basierender Grid-Graph (rechts) (nach Malmberg (2011))
35

3 Segmentierung von Laserscandaten
den ist. Graphen dieser Art werden auch als Grid-Graphen bezeichnet (siehe Abbildung
3.6) [Dezso u. a. (2012)]. Die Kantengewichte stellen ein Maß für die Ähnlichkeit adjazenter
Pixel dar: Übliche Kantengewichte sind z. B. die Differenzen der Intensitäts- oder
Farbwerte [Felzenszwalb u. Huttenlocher (2004)].
Das Ziel einer graphbasierten Segmentierung ist nach Dezso u. a. (2012) die Suche von
verbundenen Sub-Graphen, die bestimmte Ähnlichkeitskriterien erfüllen. Für den Fall,
dass die Kantengewichte sich aus Intensitätsdifferenzen berechnen, bedeutet das, dass innerhalb
eines Segmentes die Kantengewichte klein und die Kantengewichte zwischen den
einzelnen Segmenten groß sind [Felzenszwalb u. Huttenlocher (2004)].
Die graphbasierten Segmentierungsverfahren werden unterteilt in Top-Down- und Bottom-
Up-Verfahren [Dezso u. a. (2012)]: Ausgangspunkt bei den Verfahren der ersten Gruppe ist
ein großes Segment, das durch Zertrennen von Kanten nach und nach in kleinere Segmente
aufgesplittet wird. Typische Beispiele für Algorithmen, die nach dem Top-Down-Verfahren
arbeiten, sind z. B. die Graph Cuts [Boykov u. Kolmogorov (2004)] sowie die Normalized
Cuts [Jianbo u. Malik (2000)].
Im Gegensatz dazu beginnen die Bottom-Up-Verfahren mit einer Segmentierung, bei der
jedes Pixel ein Segment darstellt. Indem die einzelnen Segmente nach bestimmten Kriterien
zusammengefügt werden, wird die endgültige Segmentierung bestimmt. Felzenszwalb
u. Huttenlocher (2004) (siehe auch Abschnitt 3.4.2) stellen einen Algorithmus vor, der
nach diesem Prinzip arbeitet und der auch die Grundlage des in dieser Arbeit vorgestellten
Segmentierungsansatzes bildet.
Grid-Graphen sind nicht die einzige Möglichkeit, Bilder zu repräsentieren. Der große Nachteil,
der sich aus der Interpretation von Pixeln als Knoten ergibt, ist die große Anzahl
an Knoten, die insbesondere bei rechenaufwändigen Verfahren wie z. B. den Graph Cuts
zu langen Laufzeiten führt. Aus diesem Grund kann in einem ersten Schritt mit einem
weniger rechenaufwändigen Verfahren eine Vorsegmentierung durchgeführt werden, deren
Ergebnis sogenannte Superpixel sind [Ren u. Malik (2003)]. Diese Superpixel entstehen
durch eine Übersegmentierung des Eingangsbildes und unterteilen das Bild in sinngebende
Partitionen [Malmberg (2011)], indem sie wichtige Objektgrenzen erhalten [Achanta
u. a. (2012)].
36

3.4 Graphbasierte Segmentierungsverfahren
Die Abbildung 3.7 zeigt zwei Beispielbilder und ihre Unterteilungen in unterschiedlich
große Superpixel. Nach Bestimmung dieser Superpixel kann in einem zweiten Schritt auf
einen aus diesen Superpixeln aufgebauten Graphen ein rechenaufwändigeres Verfahren
angewandt werden, um die endgültige Segmentierung zu erhalten.
Abb. 3.7: Unterteilung von Eingangsbildern in unterschiedlich große Superpixel [Achanta
u. a. (2012)]
3.4.2 Effiziente graphbasierte Bildsegmentierung nach Felzenszwalb
und Huttenlocher
Der Algorithmus nach Felzenszwalb u. Huttenlocher (2004) führt die Segmentierung mit
Hilfe eines Clusterings durch und gehört somit zu den regionenbasierten Segmentierungsverfahren
(siehe Abschnitt 3.3.1.2). Ursprünglich wurde der Algorithmus für die Bildsegmentierung
entwickelt, er ist jedoch ohne Probleme auf die Segmentierung von Videos
[Grundmann u. a. (2010)] oder Punktwolken [Sima u. a. (2013)] erweiterbar.
Wie bereits erwähnt, handelt es sich bei dem Algorithmus um ein graphbasiertes Bottom-
Up-Verfahren. Die Grundlage für die Segmentierung bilden MSTs, die sich durch einen
ähnlichen Algorithmus wie dem von Kruskal (1956) berechnen lassen:
37

3 Segmentierung von Laserscandaten
Begonnen wird mit einer Startsegmentierung, bei der jedes Pixel für sich ein Segment darstellt.
Unter Berücksichtigung einer vorher definierten Nachbarschaft werden alle Kantengewichte
des gesamten Graphen berechnet und in einer aufsteigend sortierten Kantenliste
π =(e 1 , ..., e mk ) zusammengefasst. Diese Kantenliste wird durchlaufen und jeweils die
beiden angrenzenden Segmente betrachtet. Falls ein bestimmtes Segmentierungskriterium
erfüllt ist, werden diese beiden Segmente zusammengefasst. Die Wahl des Segmentierungskriteriums
stellt die Stärke des Algorithmus dar: Felzenszwalb u. Huttenlocher
(2004) schlagen ein adaptives Kriterium vor, welches sich an die Variabilität innerhalb
eines bereits bestehenden Segmentes anpasst. Die Motivation für ein solches adaptives
Kriterium liefert die Abbildung 3.8 (links): Für die menschliche Wahrnehmung besteht
das Bild aus drei Regionen: einer einfarbigen Region (in Abbildung 3.8 (rechts) blau umrandet),
die eine sehr stark texturierte Region (grün umrandet) umschließt, sowie die rot
umrandete Region, die einen kontinuierlichen Farbverlauf aufweist.
Abb. 3.8: Motivation für ein adaptives Segmentierungskriterium: Originalbild [Felzenszwalb
u. Huttenlocher (2004)] (links); menschliche Wahrnehmung des Bildes
(rechts)
Verfahren, die aufgrund lokaler Segmentierungskriterien über ein Zusammenfügen von
Segmenten entscheiden, führen in diesem Fall nicht zum Erfolg, da für ein Zusammenfügen
von zwei Segmenten nicht die Größe der auftretenden Grauwertvariationen alleine ausschlaggebend
ist. Vielmehr spielt das Verhältnis von Grauwertdifferenzen innerhalb eines
Segmentes zu den Differenzen zwischen zwei verschiedenen Segmenten eine entscheidende
Rolle.
38

3.4 Graphbasierte Segmentierungsverfahren
Diese Überlegungen nehmen Felzenszwalb u. Huttenlocher (2004) als Grundlage für die
Definition einer booleschen Variablen D, die eine Aussage darüber trifft, ob eine Grenze
zwischen zwei bereits bestehenden Segmenten existiert. Für die Berechnung von D werden
zwei Maßzahlen eingeführt, die anschließend verglichen werden:
• Die Differenz zwischen zwei Segmenten Dif(C 1 ,C 2 ) gibt die Stärke der Grauwertvariation
zwischen den beiden Segmenten C 1 und C 2 an und wird definiert als
das minimale Kantengewicht aller Kanten, die die beiden Segmente miteinander
verbinden:
Dif(C 1 ,C 2 ) = min w(v i ,v j ), mit v i ∈ C 1 ,v j ∈ C 2 , (v i ,v j ) ∈ E. (3.29)
• Die interne Differenz Int(C) isteinMaßfür die Grauwertvariation innerhalb eines
bereits bestehenden Segmentes C. Sie wird definiert als das größte Kantengewicht
des MST des Segmentes:
Int(C) =maxw(e), mit e ∈ MST(C,E). (3.30)
Da die interne Differenz für aus einzelnen Pixeln bestehende Segmente Null und somit
nicht aussagekräftig ist, wird zusätzlich eine Schwellwertfunktion τ(C) eingeführt, die
erlaubt, dass trotz Zusammengehörigkeit zweier Segmente die Differenz zwischen diesen
Segmenten innerhalb eines gewissen Rahmens die interne Differenz des einzelnen Segmentes
überschreiten darf. In die Berechnung dieser Schwellwertfunktion fließen die Größe |C|
des Segmentes sowie eine Konstante κ ein:
τ(C) = κ
|C| . (3.31)
Die Konstante κ muss zu Beginn der Segmentierung gewählt werden und beeinflusst die
Größe der entstehenden Segmente, auch wenn κ nicht als Mindestgröße o. Ä. interpretiert
werden darf.
Mit diesen Werten und der minimalen internen Differenz
MInt(C 1 ,C 2 ) = min(Int(C 1 )+τ(C 1 ), Int(C 2 )+τ(C 2 )) (3.32)
ergibt sich die boolesche Variable D:
⎧
⎨ wahr, falls Dif(C 1 ,C 2 ) > MInt(C 1 ,C 2 )
D(C 1 ,C 2 ) =
⎩ falsch, sonst.
(3.33)
39

3 Segmentierung von Laserscandaten
Diese so bestimmte Variable D wird als Segmentierungskriterium herangezogen: Falls die
Variation zwischen zwei Segmenten größer ist als die Variation innerhalb der einzelnen
Segmente – unter Berücksichtigung der Toleranz durch die Schwellwertfunktion τ –, liegt
eine Grenze zwischen diesen beiden Segmenten vor und sie bleiben getrennt, andernfalls
werden die beiden Segmente zusammengefügt.
Der Algorithmus von Felzenszwalb u. Huttenlocher (2004) ist ein sogenannter gieriger
Algorithmus: Anders als z. B. die Graph Cuts von Boykov u. Kolmogorov (2004), die mit
Hilfe einer Energieminimierung eine global optimale Segmentierung suchen, werden bei
einem gierigen Algorithmus die Entscheidungen getroffen, die lokal am besten geeignet
sind. Als Konsequenz daraus folgt, dass gierige Algorithmen deutlich effizienter sind als
Algorithmen, die nach einem globalen Optimum suchen, während sie gleichzeitig eine ausreichend
gute – wenn auch keine global optimale – Lösung finden [Cormen (2001)].
Die Effizienz des Algorithmus von Felzenszwalb u. Huttenlocher (2004) zeigt sich in der
Laufzeit, die mit O(m k log(m k )) angegeben wird, wobei m k die Anzahl der Kanten ist.
Gegenüber anderen gierigen Algorithmen besitzt der Algorithmus von Felzenszwalb u.
Huttenlocher (2004) zusätzlich den Vorteil, dass – aufgrund des adaptiven Segmentierungskriteriums
– in gewisser Weise globale Charakteristiken eines Bildes in der Segmentierung
erhalten bleiben (vgl. die Erläuterungen zu Abbildung 3.8).
Felzenszwalb u. Huttenlocher (2004) wenden ihren Algorithmus auf zwei Arten von Nachbarschaften
(Grid-Graphen und k-nächste-Nachbarn) an und liefern somit direkt eine
Möglichkeit für die Erweiterung des Algorithmus auf die Segmentierung von Punktwolken:
Während die Verwendung von Grid-Graphen nur für die Bildsegmentierung geeignet ist,
bildet die Bestimmung von Nachbarschaften mit Hilfe von Nächste-Nachbarn-Verfahren
die Grundlage für die Segmentierung innerhalb von 3-D-Punktwolken [Shah (2006)](siehe
auch Abschnitt 3.3).
In der Original-Veröffentlichung wird eine Transformation der Pixel eines Bildes in den
Merkmalsraum durchgeführt und für jeden Punkt die k nächsten Nachbarn gesucht, deren
euklidische Distanz im Merkmalsraum gleichzeitig das Kantengewicht darstellt. Sima
u. a. (2013) führen eine Erweiterung des Algorithmus auf Punktwolken durch, indem sie
alle Punkte der 3-D-Punktwolke mit ihren k nächsten Nachbarn verbinden und in die
Berechnung des Kantengewichtes neben der räumlichen Distanz der Punkte die Differenz
40

3.5 Raum-zeitliche Segmentierungsverfahren
der Intensitäten einbeziehen. Zusätzlich zur Berechnung von k nächsten Nachbarn testen
Sima u. a. (2013) die Verwendung einer Radiussuche für die Bestimmung der Nachbarschaften:
Alle Punkte innerhalb einer Kugel mit vorgegebenem Radius r stellen einen
potentiellen Nachbarn des Kugelmittelpunktes dar. Da durch dieses Verfahren bei unregelmäßigen
Punktabständen unterschiedlich viele Nachbarn gefunden werden, werden von
diesen potentiellen Nachbarn eine bestimmte Anzahl zufällig ausgewählt, für die die jeweiligen
Kantengewichte berechnet werden. Diese Möglichkeit der Nachbarschaftsdefinition
schlagen die Autoren für Laserscanaufnahmen mit geringer Auflösung vor, während sie
für hochaufgelöste Aufnahmen die Berechnung der k nächsten Nachbarn empfehlen.
3.5 Raum-zeitliche Segmentierungsverfahren
Ist das Ziel der nachfolgenden High-Level-Schritte eine Veränderungsanalyse oder die Verfolgung
von Personen bzw. Objekten, bilden z. B. Videos oder zu unterschiedlichen Zeitpunkten
aufgenommene Punktwolken die Grundlage für die Segmentierung. Grundsätzlich
kann eine solche Segmentierung als Erweiterung der bisher behandelten (rein) räumlichen
Segmentierungsverfahren um eine zusätzliche Dimension – die Zeit – verstanden werden
[Wang u. a. (2004)]. Die Schwierigkeit bei der Segmentierung raum-zeitlicher Datensätze
liegt in der Bestimmung einer zeitlich stimmigen Segmentierung [Khan u. Shah (2001)].
Nach DeMenthon (2002) lassen sich die Verfahren zur Segmentierung raum-zeitlicher Datensätze
in zwei Kategorien unterteilen, die im Folgenden kurz vorgestellt werden.
3.5.1 Trackingverfahren
Sogenannte Trackingverfahren zeichnen sich dadurch aus, dass die zusätzliche Dimension
der Zeit unabhängig von den räumlichen Komponenten betrachtet wird [Lombaert u. a.
(2011)]. Brendel u. Todorovic (2009) führen eine weitere Unterscheidung dieser Trackingverfahren
in punktbasierte und regionenbasierte Verfahren durch.
3.5.1.1 Tracking von Interest-Punkten
Der punktbasierte Ansatz, auch als Tracking von Interest-Punkten bezeichnet, deckt
zunächst zeitliche Zusammenhänge zwischen Interest-Punkten der unterschiedlichen Auf-
41

3 Segmentierung von Laserscandaten
nahmen auf und verwendet die daraus erhaltenen Punktbewegungen, um Punkte zu zusammenhängenden
Regionen zusammenzufassen [DeMenthon u. Megret (2002)]. Ein Beispiel
für einen punktbasierten Tracking-Ansatz ist in der Veröffentlichung von Cousins
u. a. (2008) zu finden, in der zunächst aus den verschiedenen Frames eines Videos eine
Menge von sogenannten Partikeln bestimmt wird, die Interest-Punkte und ihre Bewegung
von einem Frame zum anderen repräsentieren. Unter der Annahme, dass Punkte mit ähnlichen
Bewegungen eine räumlich zusammenhängende Region bilden, wird anschließend
unter Minimierung einer Energiefunktion die räumliche Segmentierung durchgeführt.
3.5.1.2 Regionentracking
Im Gegensatz dazu werden bei den regionenbasierten Verfahren, dem Regionentracking,
zunächst nur räumliche Zusammenhänge berücksichtigt, indem jede Aufnahme bzw. jedes
Frame eines Videos ohne Berücksichtigung der anderen Aufnahmen segmentiert wird.
Unter Zuhilfenahme von Bewegungsinformationen, die z. B. in Form von Optical-Flow-
Vektoren vorliegen (für nähere Information siehe z. B. Horn u. Schunck (1981)), werden
die Segmente in die zeitlich folgende Aufnahme transformiert und mit den entsprechenden
Segmenten dieser Aufnahme zusammengefügt, wenn sie bestimmte Ähnlichkeitskriterien
wie z. B. räumliche Nähe, geringe Farbunterschiede oder ein ähnliches Bewegungsverhalten
erfüllen [DeMenthon (2002)]. Voraussetzung für die Durchführung eines regionenbasierten
Trackings ist in den meisten Fällen die Annahme, dass sich Größe und Position der
Objekte von einer Aufnahme zur nächsten nur geringfügig ändern.
Gegenüber den punktbasierten Trackingverfahren besitzt der regionenbasierte Ansatz den
Vorteil, dass in der Regel die Anzahl der zu trackenden Segmente geringer ist als die der
Interest-Punkte, was zu einem geringeren Rechenaufwand führt. Hinzu kommt, dass für
die Beschreibung von Regionen aussagekräftige Merkmale wie z. B. die Größe oder die
Form herangezogen werden können, während für eine robuste Beschreibung von Punkten
deutlich größerer Aufwand betrieben werden muss (siehe z. B. auch Abschnitt 2.3).
Problematisch ist hingegen, dass die vorsegmentierten Frames die oben genannte Voraussetzung
der geringfügigen Veränderung nicht immer erfüllen: Obwohl die Objekte sich
nur unwesentlich bewegen, kann es durchaus vorkommen, dass zwei Regionen mit undeutlicher
Grenze in einem Frame als zwei Segmente dargestellt werden, während sie in einem
42

3.5 Raum-zeitliche Segmentierungsverfahren
anderen Frame zusammenhängend segmentiert werden. Daraus ergibt sich zum einen eine
starke Veränderung der Größe und eine Verlagerung des Schwerpunktes des Segmentes,
zum anderen besitzt nicht jedes Segment genau ein Partnersegment in der zeitlich folgenden
Aufnahme [Brendel u. Todorovic (2009)].
Dieses Problem lässt sich mit sogenannten Shape-Matching-Verfahren umgehen, die die
Ähnlichkeit verschiedener Segmente aufgrund der Form beurteilen. Gegenüber dem Vergleich
von z. B. Größe oder Position besitzt diese Beurteilung den entscheidenden Vorteil,
dass Segmentgrenzen zwischen einzelnen Frames kaum durch das oben beschriebene Aufsplitten
oder Zusammenfügen verändert werden.
Brendel u. Todorovic (2009) stellen ein Shape-Matching-Verfahren für Videos vor, das
zwei Objektgrenzen mit Hilfe des Dynamic Time Warping (DTW) bestmöglich ineinander
überführt.
Da in der vorliegenden Arbeit ebenfalls ein auf DTW basierender Shape-Matching-Algorithmus
verwendet wird, werden die für das Verständnis benötigten Grundlagen im Anschluss
an den hier gegebenen Überblick ausführlicher behandelt (siehe Abschnitt 3.5.3).
3.5.2 Segmentierung eines raum-zeitlichen Volumens
Neben den Trackingverfahren existieren Verfahren, die die zeitliche und räumliche Dimension
während der Segmentierung nicht voneinander trennen. Die gesamte Datenmenge
wird dabei im Falle eines Videos als ein dreidimensionales (bzw. 2D + t) und im Falle
einer in zeitlichen Abständen aufgenommenen Punktwolke als ein vierdimensionales (bzw.
3D + t) Volumen interpretiert. Üblicherweise wird die Segmentierung in diesen Fällen entweder
graphbasiert oder mit Hilfe eines Clusterings durchgeführt [DeMenthon u. Megret
(2002)].
3.5.2.1 Graphbasierte raum-zeitliche Segmentierung
Die graphbasierte raum-zeitliche Segmentierung unterscheidet sich kaum von den in Abschnitt
3.4.1.2 vorgestellten Verfahren. Der einzige Unterschied liegt in der Konstruktion
des Graphen, dessen Kanten nicht nur Knoten einer Aufnahme, sondern auch Knoten
unterschiedlicher Aufnahmen miteinander verbinden. Wird ein Grid-Graph verwendet, so
entsteht im Falle einer Videosegmentierung ein dreidimensionaler Würfel (siehe Abbildung
43

3 Segmentierung von Laserscandaten
3.9), auf den prinzipiell alle graphbasierten Segmentierungsverfahren direkt angewendet
werden können [Malmberg (2011)].
y
t
x
Abb. 3.9: Grid-Graph für eine raum-zeitliche Segmentierung (nach Malmberg (2011))
Ein Beispiel für die graphbasierte Segmentierung eines raum-zeitlichen Volumens ist in
der Veröffentlichung von Grundmann u. a. (2010) zu finden, in der der Algorithmus von
Felzenszwalb u. Huttenlocher (2004) für die Videosegmentierung herangezogen wird. Da
die direkte Adaption jedoch keine zufriedenstellende Ergebnisse liefert, führen die Autoren
eine Erweiterung zu einem hierarchischen Algorithmus durch: In einem Initialisierungsschritt
wird eine Übersegmentierung des raum-zeitlichen Volumens mit Hilfe des Algorithmus
von Felzenszwalb u. Huttenlocher (2004) durchgeführt. Diese initialen Segmente
werden dazu verwendet, erneut einen Graphen aufzubauen, der die Grundlage für eine weitere
Segmentierung bildet. Durch Wiederholung dieser Vorgehensweise und gleichzeitige
Veränderung der Konstante κ aus Gleichung 3.31 entsteht eine hierarchische Segmentierung,
deren verschiedene Ebenen unterschiedlich fein segmentiert sind. Das bedeutet,
dass die Konstante κ nicht a priori festgelegt werden muss, sondern eine geeignete Segmentgröße
im Anschluss an die Segmentierung aus den verschiedenen Ebenen ausgewählt
werden kann.
Als weitere Veränderung des ursprünglichen Algorithmus von Felzenszwalb u. Huttenlocher
(2004) werden von Grundmann u. a. (2010) Optical-Flow-Vektoren verwendet: Zum
einen dienen sie dazu, Nachbarschaften zwischen zwei zeitlich verschiedenen Aufnahmen
besser definieren zu können, zum anderen werden sie als weiteres Merkmal zur Bestimmung
der Kantengewichte herangezogen.
44

3.5 Raum-zeitliche Segmentierungsverfahren
Veröffentlichungen zu zeitlichen Segmentierungsverfahren beschäftigen sich hauptsächlich
mit der Videosegmentierung, also mit der Segmentierung in dreidimensionalen Volumina.
Veröffentlichungen zur vierdimensionalen Segmentierung, die auch in dieser Arbeit
eine Rolle spielt, betreffen überwiegend den Bereich der medizinischen Bildverarbeitung.
Gerade in diesem Bereich stellen die Graph Cuts von Boykov u. Kolmogorov (2004) ein
sehr beliebtes Verfahren dar. Lombaert u. a. (2011) z. B. verwenden eine Variante der
Graph Cuts, um medizinische Daten zu segmentieren. Die direkte Anwendung der Graph
Cuts ist aufgrund der Größe der Daten und den daraus resultierenden Anforderungen
an den Hauptspeicher sehr ineffizient; daher werden zunächst Datensätze mit verringerter
Auflösung generiert, auf die die Graph Cuts angewendet werden. Die sich daraus ergebene
grobe Segmentierung wird in einem zweiten Schritt um die jeweiligen Schnittstellen mit
Hilfe eines Region-Growings verfeinert.
3.5.2.2 Raum-zeitliche Clusteringverfahren
Ähnlich wie die graphbasierten Verfahren können auch die Clustering-Verfahren um die
zeitliche Dimension erweitert werden: Um eine raum-zeitliche Segmentierung durchzuführen,
werden die Pixel bzw. Punkte aller Aufnahmen in einen gemeinsamen hochdimensionalen
Merkmalsraum abgebildet, in dem mit Hilfe eines geeigneten Verfahrens Cluster
gesucht werden. Im Gegensatz zu den rein räumlichen Clustering-Verfahren werden bei
der Definition des Merkmalsraumes in der Regel zusätzlich Bewegungsinformationen mit
einbezogen [DeMenthon u. Megret (2002)].
Beispielsweise stellt DeMenthon (2002) für jedes Pixel eines Videos einen siebendimensionalen
Merkmalsvektor auf, der sich aus drei Farb- und vier Bewegungskomponenten
zusammensetzt. Zur Bestimmung der Bewegungskomponenten dienen Optical-Flow-
Vektoren, die für die Berechnung zweier Bewegungswinkel (charakterisieren die Richtung
der Bewegung) sowie zweier Bewegungsdistanzen (repräsentieren die Pixelposition) verwendet
werden. Nach der Transformation der Punkte in den Merkmalsraum wird eine
Clusteranalyse durchgeführt, für die die Autoren die Mean-Shift-Analyse wählen. Bei ihr
handelt es sich um einen nichtparametrischen Dichteschätzer, der die lokalen Dichtegradienten
von im Merkmalsraum benachbarten Punkten bestimmt. Mit Hilfe dieser Dichtegradienten
lassen sich Extrema in den lokalen Punktdichten aufspüren. Über die Richtung
45

3 Segmentierung von Laserscandaten
der Gradienten können die Punkte des Merkmalsraums diesen Extrema und somit ihren
Segmenten zugeordnet werden [Wang u. a. (2004)].
3.5.3 Shape-Matching mit Dynamic Time Warping
Dynamic Time Warping (DTW) ist ein Verfahren aus der Spracherkennung, dessen ursprüngliches
Ziel die zeitliche Zuordnung zweier gegeneinander verzerrter Sprachsignale
ist [Wendemuth u. Andelic (2004)]. Es lässt sich jedoch auch außerhalb der Spracherkennung
anwenden, wenn – allgemein formuliert – zwei Sequenzen X =(x 1 ,x 2 , ..., x n )
und Y =(y 1 ,y 2 , ..., y m ) (siehe Abbildung 3.10) bestmöglich zur Deckung gebracht werden
sollen [Müller (2007)].
Abb. 3.10: Zeitliche Zuordnung zweier Sequenzen X und Y [Müller (2007)]
Die Durchführung eines DTW setzt neben zwei Sequenzen eine Kostenfunktion c(x i ,y i )
voraus, die ein Maß für den Aufwand darstellt, der benötigt wird, um die beiden Sequenzen
zur Deckung zu bringen. Müller (2007) verwendet als Kostenfunktion die Manhatten-
Distanz, die Verwendung anderer Funktionen ist jedoch durchaus denkbar. Aus den lokalen
Kosten c(x i ,y i ), die für jedes Paar (x i ,y i ) berechnet werden, wird die sogenannte
n-x-m-Kostenmatrix C erstellt:
C(i, j) := c(x i ,y j ) mit: i =1, ..., n; j =1, ..., m. (3.34)
Eine beispielhafte Kostenmatrix ist in Abbildung 3.11 (links) graphisch dargestellt, wobei
hohe Kosten durch helle und niedrige Kosten durch dunkle Farben repräsentiert werden.
Die optimale Zuordnung der Sequenzen wird bestimmt, indem der optimale Warping-
Pfad durch die Kostenmatrix berechnet wird, wobei optimal in diesem Fall bedeutet, dass
er von allen möglichen Pfaden die geringsten Gesamtkosten aufweist. In Abbildung 3.11
46

3.5 Raum-zeitliche Segmentierungsverfahren
Abb. 3.11: Dynamische Programmierung zur Durchführung des DTW: beispielhafte Kostenmatrix
(links); dazugehörige akkumulierte Kostenmatrix (rechts) [Müller
(2007)]
ist dieser optimale Warping-Pfad als weiße Linie dargestellt. Die Menge aller möglichen
Warping-Pfade wird durch einige Restriktionen verkleinert: Zum einen müssen Anfangsund
Endpunkte der beiden Sequenzen auch Anfangs- und Endpunkt des Warping-Pfades
darstellen. Damit ist sichergestellt, dass die gesamten Sequenzen und nicht etwa nur Teilsequenzen
ineinander überführt werden [Müller (2007)]. Zum anderen müssen alle Elemente
der Sequenzen in die Berechnung des optimalen Warping-Pfades einfließen. Mit einer dritten
Restriktion, dass die Reihenfolge der Elemente einer Sequenz während der Zuordnung
erhalten bleibt, wird das Auftreten von Rückwärtssprüngen verhindert [Wendemuth u.
Andelic (2004)]. Aufgrund dieser Restriktionen verbleiben nur drei mögliche Schritte im
Warping-Pfad:
X(t) → X(t + 1), Y(t) → Y (t + 1) (3.35)
X(t) → X(t), Y(t) → Y (t + 1) (3.36)
X(t) → X(t + 1), Y(t) → Y (t). (3.37)
Die Suche nach dem optimalen Warping-Pfad erfolgt mit Hilfe der dynamischen Programmierung,
die Optimierungsprobleme durch rekursive Berechnung kumulativer Größen löst:
Zunächst wird die sogenannte akkumulierte Kostenmatrix D aufgestellt, die sich rekursiv
und in einer Laufzeit von O(n m) berechnen lässt [Müller (2007)]:
D(n, m) = min {D(n 1,m 1),D(n 1,m),D(n, m 1)} + c(x n ,y m ). (3.38)
In Abbildung 3.11 (rechts) ist eine solche akkumulierte Kostenmatrix beispielhaft gra-
47

3 Segmentierung von Laserscandaten
phisch dargestellt. Der optimale Warping-Pfad entspricht nun dem Pfad, der zu den kleinsten
kumulativen Distanzen führt [Wendemuth u. Andelic (2004)].
Im Unterschied zu Sprachaufnahmen handelt es sich bei Objektgrenzen um zyklische
Strukturen, weshalb Brendel u. Todorovic (2009) dem hier vorgestellten klassischen Algorithmus
des DTW einen Schritt voranstellen, um Start- und Endpunkt der zyklischen
Sequenz zu identifizieren. Das eigentliche Tracking wird anschließend mit Hilfe des Relaxation
Labelings durchgeführt, wobei die Matching-Kosten aus dem DTW als Ähnlichkeitsmaß
eingehen.
48

4 Entwicklung eines Verfahrens zur
raum-zeitlichen Segmentierung von
natürlichen Objekten
Inhalt dieses Kapitels ist die Entwicklung eines Verfahrens zur raum-zeitlichen Segmentierung
von natürlichen Objekten am Beispiel der Gurkenpflanze. Der entwickelte Algorithmus
wird auf die Datensätze zweier verschiedener Messtage angewendet und im Anschluss
daran analysiert und bewertet. Die Ergebnissegmente bilden die Grundlage für die
Bestimmung geometrischer Veränderungen (Wachstum oder kurzzeitige morphologische
Anpassungen) der Pflanze.
4.1 Schwierigkeiten bei der Segmentierung von
natürlichen Objekten
Wie in Kapitel 3 verdeutlicht wurde, ist die Segmentierung von Bild- und Laserscandaten
ein bereits sehr gut untersuchtes Forschungsfeld. Der Großteil der hierzu veröffentlichten
Publikationen beschäftigt sich jedoch mit der Segmentierung von anthropogenen Objekten
wie z.B. Gebäuden [Wang u. Shan (2009)] oder industriellen Anlagen [Rabbani u. a.
(2007)].
Gegenüber der Segmentierung natürlicher Objekte stellt die Segmentierung anthropogener
Objekte in der Regel das einfachere Problem dar: Sie bestehen meist aus einfachen
regelgeometrischen Primitiven wie Ebenen (z. B. Hauswände und -dächer) oder Zylindern
(z. B. Straßenlaternen oder Rohre in industriellen Anlagen), die sich – sofern die Form
der Objekte bekannt ist – relativ gut mit den in Abschnitt 3.3.2 vorgestellten Verfahren
segmentieren lassen.
49

4 Entwicklung eines Verfahrens zur raum-zeitlichen Segmentierung von natürlichen Objekten
Im Gegensatz dazu lassen sich natürliche
Objekte – sofern sie überhaupt mit Hilfe
von mathematischen Funktionen modellierbar
sind – nur mittels komplexer Geometrien
beschreiben. Nach Finnegan u. a.
(2006) zählen Pflanzen zu den am schwierigsten
zu modellierenden natürlichen Objekten.
Neben ihrer komplexen Struktur
spielen auch die stark variierenden Erscheinungsformen
eine Rolle. Dass diese Problematik
nicht nur Pflanzen unterschiedlicher
Arten, sondern bereits die verschiedenen
Blätter einer einzelnen Pflanze betrifft,
wird aus Abbildung 4.1 ersichtlich:
Die Blätter dieser Beispielpflanze unterscheiden
sich nicht nur in ihrer Größe, sondern
sind auch in sich verformbar und zeigen
daher zusätzlich starke Variationen in
Abb. 4.1: Gurkenpflanze (Aufnahme: Paffenholz)
ihrer Form.
Ein weiteres Problem wurde bereits im Abschnitt 2.2 angedeutet: Aus einer Blickrichtung
betrachtet, sind aufgrund von Verdeckungen nicht alle Blätter der Pflanze vollständig erkennbar.
Die Problematik der Verdeckung besitzt – je nachdem, ob zweidimensionale oder
dreidimensionale Daten vorliegen – unterschiedliche Ausmaße: Sowohl in zwei- als auch in
dreidimensionalen Aufnahmen führen Verdeckungen zu einer unvollständigen Erfassung
des Objektes. Während diese Problematik im dreidimensionalen Fall durch eine geeignete
Aufnahmekonfiguration gelöst werden kann, ist in zweidimensionalen Aufnahmen keine
Tiefeninformation vorhanden, um sich verdeckende Blätter voneinander zu trennen. Diese
Schwierigkeit tritt im dreidimensionalen Fall nur dann auf, wenn sich zwei verdeckende
Blätter berühren.
Bei einer zeitlichen Segmentierung müssen außerdem Bewegungen der Pflanze berücksichtigt
werden, die zum einen auf Wachstum und zum anderen auf tägliche Bewegungszyklen
50

4.1 Schwierigkeiten bei der Segmentierung von natürlichen Objekten
zurückzuführen sind [Alenya u. a. (2011)]. Schwierigkeiten ergeben sich einerseits durch
nicht-rigide Bewegungen, die Deformationen der Blätter zur Folge haben, andererseits
interagiert die Pflanze mit ihrer Umgebung, sodass auch die äußeren Bedingungen die
Bewegung sehr stark beeinflussen. Um das Bewegungsverhalten einer Pflanze zu modellieren,
ist somit eine genaue Kenntnis der Umgebung (z. B. über die Lichtverhältnisse)
sowie Expertenwissen über das Bewegungsverhalten der entsprechenden Pflanze notwendig
[Campbell u. Flynn (2001)].
Trotz dieser geschilderten Schwierigkeiten gibt es bereits einige Veröffentlichungen, die
sich mit der Segmentierung von Pflanzen beschäftigen.
Für das Problem der Verdeckungen in Fotos schlagen Finnegan u. a. (2006) ein bildbasiertes
interaktives Verfahren vor: Im ersten Schritt erfolgt eine automatische Segmentierung
mit Hilfe eines graphbasierten Top-Down-Verfahrens (siehe Abschnitt 3.4.1.2). Aufgrund
ähnlicher Grauwerte und undeutlicher Grenzen zwischen überlappenden Blättern liefert
diese erste Segmentierung kein zufriedenstellendes Ergebnis, weshalb es in einem zweiten
interaktiven Schritt verbessert wird.
Alenya u. a. (2011) dagegen führen die Segmentierung vollautomatisch durch: Die Datenerfassung
erfolgt mit einer Time-of-Flight-Kamera sowie einer Digitalkamera. Ausgangspunkt
für die Segmentierung ist zunächst nur eine Aufnahme. Für den Fall, dass aufgrund
von sich berührenden Blättern eine fehlerhafte Segmentierung entsteht, wird die Position
der Kamera automatisch verändert und die Segmentierung verbessert, indem Aufnahmen
aus anderen Blickrichtungen hinzugezogen werden.
Da eine Beschreibung einzelner Blätter durch einfache regelgeometrische Primitive keine
ausreichend gute Näherung liefert, wird die Extraktion von Primitiven (vgl. Abschnitt
3.3.2) bei Pflanzen generell nicht als erfolgversprechende Segmentierungsstrategie angesehen.
Daher existieren für die Segmentierung von Pflanzen regelbasierte Verfahren, die
z. B. L-Systeme (für detaillierte Informationen siehe z. B. Prusinkiewicz u. Lindenmayer
(1996)) verwenden, um komplexe Modelle zu erstellen [Finnegan u. a. (2006)]. Diese vorab
generierten Modelle werden mit der Punktwolke abgeglichen, sodass Strukturen, die
diesen Modellen ähneln, identifiziert werden können [Mian u. a. (2006)]. Das Aufstellen
geeigneter Modelle erfordert Expertenwissen über den Aufbau einer Pflanze, sodass dieses
Verfahren nur bedingt anwendbar ist [Finnegan u. a. (2006)].
51

4 Entwicklung eines Verfahrens zur raum-zeitlichen Segmentierung von natürlichen Objekten
4.2 Ausgangsdaten
Die Grundlage für den im Folgenden entwickelten Algorithmus für die raum-zeitliche Segmentierung
von Gurkenpflanzen bilden die Daten zweier Messtage, die am 08.05.2013 und
am 23.05.2013 mit Hilfe des in Abschnitt 2.1 beschriebenen MSS in den Gewächshäusern
des IGPS erfasst worden sind. An beiden Messtagen wurden – entsprechend der in Abschnitt
2.2 beschriebenen Aufnahmekonfiguration – Messungen zu unterschiedlichen Zeitpunkten
durchgeführt. Um die Menge der Daten übersichtlich zu halten, werden in dieser
Arbeit nur die Aufnahmen der Scanrichtung Down“ verwendet. Die Tabelle 4.1 gibt
”
einen Überblick über die verwendeten Bezeichnungen dieser Datensätze sowie über die
zeitlichen Abstände der einzelnen Aufnahmen.
Tabelle 4.1: Verwendete Datensätze
Aufnahmedatum Pflanze Bezeichnung ∆t = t i t 1 [min]
E1 08 0
08.05.2013 g1w1 E2 08 53.56
E4 08 74.20
E5 08 87.77
E1 23 0
E2 23 18.39
23.05.2013 g1w1 E3 23 113.73
E4 23 129.68
E5 23 139.04
Jeder Datensatz besteht zunächst aus den direkten Messergebnissen des Laserscanners:
Hierbei handelt es sich zum einen um die spektralen Intensitätswerte (in Abbildung 4.2
(links) in Form eines Intensitätsbildes dargestellt) und zum anderen um die geometrischen
Distanzwerte (in Abbildung 4.2 (rechts) als Distanzbild dargestellt). Durch die zeilenweise
Erfassung der Daten, die letztendlich auch eine einfache Darstellung der erfassten Werte
in Bildform ermöglicht, sind zusätzlich implizite Informationen über die Nachbarschaften
innerhalb einer Scanzeile vorhanden [Paffenholz u. a. (2013)]. Diese Informationen können
gegebenenfalls für die spätere Segmentierung genutzt werden.
52

4.2 Ausgangsdaten
Abb. 4.2: Ausgangsdaten der Aufnahme E1 08 (sPos 0 ◦ ): Intensitätsbild (links); Distanzbild
(rechts)
Die Abbildung 4.2 zeigt, dass die Gurkenpflanze einen im Vergleich zum Hintergrund nur
kleinen Teil der aufgenommenen Daten ausmacht. Aus diesem Grund wird im Postprocessing
der Daten unter Berücksichtigung des Wissens über die Aufnahmekonfiguration
das Blickfeld des Laserscanners eingeschränkt: Unter der Annahme, dass sich die zu untersuchende
Pflanze in einer maximalen Entfernung von 1,5 m vom Laserscanner befindet
und außerdem eine so geringe Ausdehnung besitzt, dass sie mit einem Öffnungswinkel des
Abb. 4.3: Ausgangsdaten der Aufnahme E1 08 (sPos 0 ◦ ) nach Einschränkung des Sichtfeldes:
Intensitätsbild (Ausschnitt) (links); Distanzbild (Ausschnitt) (rechts)
53

4 Entwicklung eines Verfahrens zur raum-zeitlichen Segmentierung von natürlichen Objekten
Laserscanners von 45 ◦ immer noch vollständig erfasst wird, kann die große Datenmenge
auf das Wesentliche – in diesem Fall die Gurkenpflanze – reduziert werden. Das Ergebnis
der Datenreduktion ist in Abbildung 4.3 zu sehen.
Neben den direkten Messwerten liefert die Prozessierung der Distanzwerte und die Registrierung
der drei Aufnahmerichtungen eine 3-D-Punktwolke (X-, Y- und Z-Koordinaten
der Punkte). Diese Punktwolke kann zusätzlich mit den von der Kamera erfassten ebenfalls
spektralen RGB-Werten (siehe Abbildung 4.4 (links) ) eingefärbt werden (siehe Abbildung
4.4 (rechts)).
Abb. 4.4: RGB-Daten der Aufnahme E1 08 : RGB-Bild (sPos 0 ◦ ) (links); eingefärbte
Punktwolke aller drei Aufnahmerichtungen (rechts)
Für die Entwicklung des Segmentierungsansatzes wird im Folgenden nur der Datensatz
vom 08.05.2013 verwendet, während für die Bewertung des Ansatzes auch der zweite
Datensatz herangezogen wird.
4.3 Räumliche Segmentierung
Für die Lösung des Segmentierungsproblems werden zunächst nur die Aufnahmen einer
einzigen Zeitepoche betrachtet; die Segmentierung über die Zeit erfolgt in einem zweiten
Schritt, auf den in Abschnitt 4.4 ausführlich eingegangen wird.
54

4.3 Räumliche Segmentierung
4.3.1 Entwicklung einer Segmentierungsstrategie
Grundsätzlich existieren für die räumliche Segmentierung der in dieser Arbeit verwendeten
Daten zwei Möglichkeiten:
• Jede Aufnahme einer Scanposition wird zunächst unabhängig von den anderen
beiden Aufnahmen der Epoche segmentiert. In diesem Fall können die bildhaften
Darstellungen der Daten (Tiefen-, Intensitäts- und/oder RGB-Bilder) für die Segmentierung
verwendet werden. Diese Strategie bringt die bereits in Abschnitt 3.3
erläuterten Vorteile der Vielfalt an bestehenden Verfahren und der Kenntnis über
die Nachbarschaften mit sich. Speziell auf die vorliegenden Daten bezogen, ergeben
sich jedoch zwei schwerwiegende Nachteile: Zum einen wurde mit Hilfe der sorgfältig
ausgewählten Aufnahmekonfiguration die Pflanze zwar komplett erfasst, aufgrund
der unabhängigen Betrachtung der einzelnen Messungen kommt diese vollständige
Erfassung jedoch gar nicht zum Tragen: In den einzelnen Aufnahmen tritt weiterhin
das Problem der Verdeckung und damit von unvollständigen Blättern auf. Zum
anderen müssen – um eine räumlich stimmige Segmentierung zu erhalten – die Segmente
der drei Aufnahmen in einem zweiten Schritt zusammengefügt werden.
• Diese Probleme können umgangen werden, indem alle drei Aufnahmen einer Zeitepoche
gemeinsam segmentiert werden. Die Segmentierung erfolgt nicht länger auf Bildebene,
sondern direkt in der registrierten 3-D-Punktwolke, deren Punkten zusätzlich
die entsprechenden Intensitäts- und RGB-Werte zugeordnet werden können. Nachteilig
ist bei dieser Vorgehensweise die rechenintensive Nachbarschaftssuche.
In dieser Arbeit erfolgt die Segmentierung in der 3-D-Punktwolke, da die Vorteile gegenüber
der ersten Strategie deutlich überwiegen.
Neben der Frage, ob jede Aufnahme für sich oder die 3-D-Punktwolke als Ganzes segmentiert
wird, spielt die Art der Daten eine Rolle, die für die Segmentierung verwendet
werden: Mit dem Wissen, dass eine Segmentierung nach Ähnlichkeitsmaßen gruppiert,
lassen die Abbildungen 4.3 und 4.4 bereits Vermutungen darüber zu, welche Art der Daten
für eine Segmentierung der Gurkenblätter geeignet sein könnte: Die spektralen Daten
zeigen Variationen innerhalb eines Blattes, die zum Teil durch die Blattstrukturen oder
– im Fall des RGB-Bildes – durch Schattenwurf entstehen. Gleichzeitig liefert diese Art
55

4 Entwicklung eines Verfahrens zur raum-zeitlichen Segmentierung von natürlichen Objekten
der Daten zwar eine deutliche Abgrenzung der Pflanze vom Hintergrund (siehe Abbildung
4.2), die einzelnen Blätter nehmen jedoch sehr ähnliche Werte an. Da eine Abgrenzung
der Pflanze vom Hintergrund aufgrund der Einschränkung des Sichtfeldes nicht mehr notwendig
ist, kann davon ausgegangen werden, dass diese spektralen Daten nicht oder nur
bedingt für die Segmentierung der einzelnen Blätter geeignet sind.
Ein anderes Bild ergibt sich dagegen bei den geometrischen Tiefenwerten: Auch diese zeigen
zwar – hervorgerufen durch Verdeckungen und daraus resultierenden Tiefensprüngen
– Variationen innerhalb eines einzelnen Blattes, gleichzeitig sind die Grenzen zwischen
zwei Blättern in den meisten Fällen jedoch gut zu erkennen. Aus diesem Grund wird bei
der Entwicklung einer Segmentierungsstrategie zunächst der Fokus auf die Segmentierung
der geometrischen Merkmale gelegt (vgl. Abschnitt 3.3).
Da die zu dieser Methodik gehörende Segmentierung durch Extraktion von Primitiven
bereits in Abschnitt 4.1 ausgeschlossen wurde und aufgrund fehlenden Expertenwissens
eine Aufstellung komplexer Modelle entfällt, verbleibt für die Lösung des Segmentierungsproblems
die in Abschnitt 3.3.1 vorgestellte Segmentierung unter Verwendung von Oberflächeneigenschaften.
Von der Vielfalt der bestehenden Algorithmen, die dieser Gruppe
von Verfahren zugeordnet werden können, wird für die Segmentierung der Gurkenblätter
der in Abschnitt 3.4.2 vorgestellte graphbasierte Algorithmus nach Felzenszwalb u. Huttenlocher
(2004) als besonders geeignet angesehen. Den Grund hierfür stellt das adaptive
Segmentierungskriterium dar, welches durch die Abbildung 3.8 motiviert wird. Ein Vergleich
dieser Abbildung mit dem vergrößerten Ausschnitt eines beispielhaft ausgewählten
Tiefenbildes der in dieser Arbeit verwendeten Datensätze (siehe Abbildung 4.5) lässt große
Ähnlichkeiten erkennen: Zum einen weist jedes Blatt aufgrund des starken Messrauschens
eine gewisse Texturierung auf, zum anderen entstehen durch die Blattkrümmungen über
größere Bereiche eines Blattes sich kontinuierlich ändernde Werte, die in einer farblichen
Darstellung als Grauwertrampen identifiziert werden können. Der Algorithmus nach
Felzenszwalb u. Huttenlocher (2004) wird innerhalb der Patch-Type-Verfahren den regionenbasierten
Verfahren zugeordnet, wobei die Segmentierung an sich mit Hilfe eines
Clusterings erfolgt.
56

4.3 Räumliche Segmentierung
Abb. 4.5: Vergrößerter Ausschnitt des Tiefenbildes der Aufnahme E1 08 (sPos 0 ◦ )
4.3.2 Berechnung lokaler Normalenvektoren
Die Segmentierung mit Hilfe des Algorithmus nach Felzenszwalb u. Huttenlocher (2004)
erfordert die Definition von Kantengewichten, die zur Beurteilung der Ähnlichkeit benachbarter
Knoten herangezogen werden. Für die Berechnung der Kantengewichte kommen die
in Abschnitt 4.2 aufgeführten Messwerte in Frage, von denen insbesondere die Tiefeninformation
erfolgversprechend ist. Bei sich berührenden Blättern ist diese Art der Information
jedoch nicht ausreichend. An sich berührenden Oberflächen treten in der Regel Crease-
Edges auf, die aufgrund der Richtungsänderung der lokalen Normalenvektoren entstehen
(siehe Abschnitt 3.3.1.1). Durch Berücksichtigung dieser lokalen Normalenvektoren in der
Segmentierung sollte es also möglich sein, sich berührende Blätter voneinander zu trennen.
Die Berechnung der Normalenvektoren erfolgt – ebenso wie die Segmentierung an sich
– direkt in der 3-D-Punktwolke. In einem ersten Schritt muss somit zunächst für jeden
Punkt p i der Punktwolke eine lokale Nachbarschaft ermittelt werden. Die Definition der
Nachbarschaft erfolgt mit Hilfe einer Radiussuche, die alle Punkte mit einer maximalen
Entfernung r von p i der Nachbarschaft zuordnet. Für eine effiziente Suche wird ein
k-D-Baum verwendet. Unter Berücksichtigung des starken Messrauschens (die Genauigkeitsangabe
des Herstellers beträgt, wie in Abschnitt 2.1 angegeben, 12 mm) wird für
die Bestimmung der lokal besteinpassenden Ebene der in Abschnitt 3.3.2.2 beschriebenen
57

4 Entwicklung eines Verfahrens zur raum-zeitlichen Segmentierung von natürlichen Objekten
robuste RANSAC-Algorithmus verwendet, dessen Ergebnis in einem zweiten Schritt mit
Hilfe der in Abschnitt 3.3.2.1 beschriebenen PCA optimiert wird.
Die Verwendung des RANSAC-Algorithmus erfordert die Definition von vier Parametern:
Die Wahrscheinlichkeit w, dass eine einzelne ausgewählte Beobachtung auf dem korrekten
Modell liegt, wird unter Berücksichtigung des Wissens, dass sich an einer Stelle maximal
zwei Blätter berühren, zu w =0, 5 gesetzt. Da die Wahrscheinlichkeit z, das richtige Modell
zu finden, groß sein soll, wird sie auf 95 % gesetzt. Die Wahl der verbleibenden beiden
Parameter – der Größe der Nachbarschaft, die über den Radius r definiert wird, sowie des
Schwellwertes ɛ R – gestaltet sich aufgrund des starken Messrauschens deutlich schwieriger:
Damit die lokalen Oberflächeneigenschaften der Punktwolke möglichst gut wiedergegeben
werden und die Annahme, dass alle Punkte auf einer Ebene liegen, als gerechtfertigt angesehen
werden kann, sollte die für die Ebenenschätzung verwendete Nachbarschaft eher
klein sein. Das starke Messrauschen führt jedoch dazu, dass die Ebenenschätzung trotz
Verwendung eines robusten Verfahrens bei kleinen Nachbarschaften sehr instabil wird.
Der im Folgenden verwendete Radius von r =2cm bildet einen guten Kompromiss: Mit
einem Durchmesser der verwendeten Punktmenge von damit 4 cm ist die Ausdehnung
der Punktmenge in die beiden Hauptebenenrichtungen deutlich größer als in Richtung
des Normalenvektors, in der eine Ausdehnung in der Größenordnung der Messgenauigkeit
zu erwarten ist, sodass eine robuste Ebenenschätzung möglich wird. Gleichzeitig ist die
Nachbarschaft im Vergleich zum gesamten Blatt (Gurkenblätter erreichen Ausdehnungen
bis deutlich über 20 cm) jedoch klein genug, um die Annahme als gerechtfertigt anzusehen,
dass die Punkte der Nachbarschaft eine Ebene approximieren. Um tatsächlich den
lokalen Normalenvektor des Punktes p i – und nicht etwa den eines der zufällig während
der Durchführung des RANSAC-Algorithmus ausgewählten Punkte der Nachbarschaft –
zu bestimmen, fließt der Punkt p i in jede der Ebenenschätzungen ein, sodass nur zwei weitere
Punkte zufällig aus der Menge der benachbarten Punkte ausgewählt werden müssen.
Für den vierten Wert – den Schwellwert ɛ R – muss ebenfalls ein Kompromiss eingegangen
werden: Zum einen muss das relativ starke Messrauschen Berücksichtigung finden,
zum anderen sollen jedoch auch undeutliche Crease-Edges – d. h. Kanten zwischen zwei
Flächen, deren Oberflächennormalen einen kleinen Winkel einschließen – aufgedeckt werden
können. Aus diesem Grund wird der Schwellwert ɛ R empirisch bestimmt:
58

4.3 Räumliche Segmentierung
Die Abbildung 4.6 zeigt das Ergebnis der Berechnung der lokalen Normalenvektoren unter
Verwendung der Messgenauigkeit (ɛ R = 12 mm) bzw. unter Verwendung der halben
Messgenauigkeit (ɛ R =6mm) als Schwellwert (für die farbcodierte Darstellung wurden
die Normalenvektoren auf den Wertebereich [0, 1] skaliert und als RGB-Werte aufgefasst).
Wie zu erwarten war, ergibt sich für den ersten Fall ein sehr homogenes Bild, was darauf
zurückzuführen ist, dass für die Bewertung der zufällig ausgewählten Ebenenmodelle bis
auf einige Ausreißer so gut wie alle Punkte der lokalen Nachbarschaft einbezogen werden
und die entsprechenden Ebenen aus diesem Grund die tatsächliche Form der Pflanze relativ
gut annähern. Anders sieht dies bei Verwendung der halben Messgenauigkeit aus:
Insbesondere für den Fall, dass es sich bei p i im Vergleich zu seiner lokalen Nachbarschaft
um einen Ausreißer handelt, werden nur sehr wenige Punkte für die Ebenenbewertung
verwendet, was diese Ebenenbestimmung sehr instabil werden lässt und zu einem leicht
verrauschten Eindruck der Normalenvektoren führt. Dennoch wird im Folgenden aus zwei
Gründen der Schwellwert von ɛ R =6mm für die Berechnung der Normalenvektoren verwendet:
Zum einen erfolgt auf diese Art in gewisser Weise eine Ausreißereliminierung,
da bei Verwendung der Normalenvektoren als Ähnlichkeitsmaß die stark verrauschten
Punkte mit großer Wahrscheinlichkeit nicht dem Rest des Blattes zugeordnet werden;
Abb. 4.6: Lokale Normalenvektoren der Aufnahme E1 08 (sPos 0 ◦ ); w =0.5, z =0.95,
r =2cm: Schwellwert ɛ R = 12 mm (links); Schwellwert ɛ R =6mm (rechts)
59

4 Entwicklung eines Verfahrens zur raum-zeitlichen Segmentierung von natürlichen Objekten
das Segment wird somit insgesamt glatter, was eine deutlich zuverlässigere Blattflächenbestimmung
erlaubt. Zum anderen spielt hier die bereits erwähnte Aufdeckbarkeit von
schwachen Crease-Edges eine Rolle: Insbesondere sich berührende Blätter, die – wie in
Abschnitt 4.1 dargelegt – die Hauptschwierigkeit bei der Pflanzensegmentierung darstellen,
schließen zum Teil Winkel nahe 180 ◦ ein. Um diese zuverlässig aufdecken zu können,
müssen auch die beiden lokalen Ebenen gut voneinander zu trennen sein, was bei einem
zu groß gewählten Schwellwert nicht mehr garantiert werden kann.
4.3.3 Glätten der Punktwolke
Bei der Berechnung der Normalenvektoren hat sich bereits angedeutet, dass die vorliegenden
Daten aufgrund des starken Messrauschens bei den erforderlichen Berechnungen
Probleme bereiten. Aufgrund des adaptiven Segmentierungskriteriums ist zwar davon auszugehen,
dass der in dieser Arbeit verwendete Segmentierungsalgorithmus bis zu einem
gewissen Grad mit diesem Messrauschen umgehen kann, spätestens für eine zuverlässige
Blattflächenbestimmung ist eine Glättung der Punktwolke jedoch unabdingbar. Da eine
geglättete Punktwolke auch für einige der folgenden Rechenschritte von Vorteil sein kann,
wird die Glättung bereits an dieser Stelle durchgeführt, sodass im Folgenden sowohl auf
eine geglättete als auch auf eine ungeglättete Punktwolke zurückgegriffen werden kann.
Die Glättung einer Punktwolke kann auf unterschiedliche Arten durchgeführt werden, von
denen drei Möglichkeiten vorgestellt werden:
• Die Rohdaten des Laserscanners – in diesem Fall die Distanzwerte – werden direkt
geglättet. Die prinzipielle Vorgehensweise für die Durchführung einer Glättung
ist die Anwendung eines Tiefpassfilters auf die Daten [Tomasi u. Manduchi (1998)].
Ein populäres Beispiel für einen solchen Tiefpassfilter stellt der Gauß-Filter dar (siehe
z. B. Gonzalez u. Woods (2002)), der jedoch den großen Nachteil besitzt, dass
die Glättung über Kanten hinweg erfolgt, sodass diese verschmieren. Aus diesem
Grund existieren kantenerhaltende Filter wie z. B. der von Tomasi u. Manduchi
(1998) vorgestellte Bilateralfilter, der in der Glättung nicht nur die geometrische
Nähe der benachbarten Punkte, sondern auch die Ähnlichkeit der Funktionswerte
einbezieht.
Da der Erhalt der Kanten für eine korrekte Trennung zweier sich berührender Blätter
60

4.3 Räumliche Segmentierung
Abb. 4.7: Glättung der Rohdaten mit Hilfe des Bilateralfilters: ungeglättete Punktwolke
(links); geglättete Punktwolke (rechts)
notwendig ist, bietet sich eine Glättung der Rohdaten mit Hilfe des Bilaterfilters an.
Der Effekt der Glättung lässt sich besonders gut an der Kiste erkennen, in der die
Gurkenpflanze wächst. Die Abbildung 4.7 zeigt einen Ausschnitt der ungeglätteten
3-D-Punktwolke und der Punktwolke, die entsteht, wenn der Bilateralfilter auf die
Rohdaten angewendet wird. Auf den ersten Blick scheint die Anwendung des Bilateralfilters
eine deutliche Verbesserung mit sich zu bringen: Das starke Rauschen
der linken Punktwolke wird unterdrückt, sodass die ebenen Elemente der Box deutlich
besser zu erkennen sind. Gleichzeitig bleiben die Kanten der Kiste erhalten.
Der Nachteil dieser Art der Glättung besteht darin, dass die Aufnahmen der drei
Scanpositionen unabhängig voneinander gefiltert werden. In den Überlappungsbereichen
kommt es aus diesem Grund nach der Glättung zu Unstimmigkeiten. Die
Abbildung 4.8 verdeutlicht diese Problematik: Dargestellt ist ein Ausschnitt der
registrierten Punktwolken zweier Scanpositionen (die Aufnahme der Scanposition
0 ◦ ist rot, die Aufnahme der Scanposition 120 ◦ grün eingefärbt) vor und nach
Durchführung der Glättung. Während die beiden Punktwolken innerhalb des blauen
Kreises ohne Durchführung der Glättung sehr gut übereinzustimmen scheinen,
ist dies nach der Glättung nicht mehr der Fall. Da sowohl eine Segmentierung als
auch eine spätere Blattflächenbestimmung durch diese Unstimmigkeiten deutlich
erschwert werden, wird dieser Ansatz nicht weiter verfolgt.
61

4 Entwicklung eines Verfahrens zur raum-zeitlichen Segmentierung von natürlichen Objekten
Abb. 4.8: Unstimmigkeiten in den Überlappungsbereichen der Aufnahmen zweier Scanpositionen
(rot bzw. grün eingefärbt) nach der Glättung der Rohdaten mit Hilfe
des Bilateralfilters: ungeglättete Punktwolke (links); geglättete Punktwolke
(rechts)
• Das Problem dieser Unstimmigkeiten kann umgangen werden, indem die Filterung
direkt in der registrierten 3-D-Punktwolke erfolgt und somit alle drei Aufnahmen
einer Zeitepoche gemeinsam geglättet werden. Hierfür wird das Prinzip des 2-D-
Mittelwertfilters (siehe z. B. Gonzalez u. Woods (2002)) auf eine 3-D-Punktwolke
erweitert. Das Prinzip eines solchen räumlichen Mittelwertfilters ist schematisch in
der Abbildung 4.9 (links) dargestellt: Für jeden Punkt p i der Punktwolke – dargestellt
in Schwarz – wird mit Hilfe einer Kugel eine Nachbarschaft definiert; diese
Kugel dient als Filtermaske. Alle Punkte dieser Nachbarschaft – dargestellt in Rot
– werden dazu verwendet, die Koordinaten des Punktes p i neu zu bestimmen. Die
neuen Koordinaten können im einfachsten Fall durch die Berechnung des Mittelwertes
oder mit etwas mehr Rechenaufwand mit Hilfe eines gewichteten Mittels – z. B.
unter Berücksichtigung der Distanzen zu p i – bestimmt werden. Die Abbildung 4.10
zeigt eine Punktwolke vor und nach Anwendung eines solchen 3-D-Mittelwertfilters;
als Filtergröße wurde ein Radius von 2 cm gewählt. Ähnlich wie bei der bilateralen
62

4.3 Räumliche Segmentierung
Abb. 4.9: Anwendung eines 3-D-Mittelwertfilters: Prinzip (links); Blattflächenverkleinerung
in Folge der Glättung (gelb: Ausschnitt aus der ungeglätteten Punktwolke,
hellblau: Ausschnitt aus der geglätteten Punktwolke) (rechts)
Filterung der Distanzwerte ist auch bei der 3-D-Mittelwertfilterung eine Glättung
der Punktwolke erkennbar. Da die Filterung der Aufnahmen aller drei Scanpositionen
gemeinsam durchgeführt wird, treten in den Überlappungsbereichen jedoch
keine Unstimmigkeiten mehr auf. Als Nachteil dieser Art der Glättung erweist sich
das Verschmieren der Kanten, da ein einfacher Mittelwertfilter kein kantenerhal-
Abb. 4.10: Glättung der Rohdaten mit Hilfe eines 3-D-Mittelwertfilters: ungeglättete
Punktwolke (links); geglättete Punktwolke (rechts)
63

4 Entwicklung eines Verfahrens zur raum-zeitlichen Segmentierung von natürlichen Objekten
tender Filter ist. Hinzu kommt, dass die Mittelbildung nicht nur in Aufnahmerichtung
geschieht, sondern in alle drei Koordinatenrichtungen. Das führt dazu,
dass die Punktwolke zusammengezogen“ wird und sich somit die Ausdehnung der
”
Punktwolke quer zur Aufnahmerichtung verändert. Dieser Effekt wird in Abbildung
4.9 (rechts) deutlich, in der sowohl die geglättete Punktwolke (hellblau eingefärbt)
als auch die ungeglättete Punktwolke (gelb eingefärbt) gemeinsam dargestellt sind.
Deutlich erkennbar ist eine Verkleinerung der Blattfläche in Folge der Glättung.
• Diese Verkleinerung der Blattfläche kann vermieden werden, indem die Filterung
nicht in alle Koordinatenrichtungen, sondern nur in Richtung des lokalen Normalenvektors
durchgeführt wird. Die Berechnung der lokalen Normalenvektoren wurde
bereits in Abschnitt 4.3.2 beschrieben; die Filterung in Richtung des lokalen Normalenvektors
baut im Prinzip darauf auf. Mit Hilfe des RANSAC-Algorithmus wird
zunächst eine robuste Ebene bestimmt. Die PCA im Anschluss daran wird an dieser
Stelle jedoch nicht dazu verwendet, die optimalen Ebenenparameter zu bestimmen,
sondern um die drei Hauptrichtungen der RANSAC-Ebene zu ermitteln, die den
Eigenvektoren der Scatter-Matrix entsprechen (vgl. Abschnitt 3.3.2.1). Die aus den
Eigenvektoren bestehende Modalmatrix dient als Rotationsmatrix, um die lokale
Nachbarschaft in das Koordinatensystem der lokalen Hauptachsen zu überführen.
Die Mittelbildung erfolgt in diesem Koordinatensystem entlang des zum kleinsten
Eigenwerts gehörenden Eigenvektors; die anderen beiden Koordinatenrichtungen
bleiben unverändert. Nach der anschließenden Rücktransformation in das ursprüngliche
Koordinatensystem liegt somit eine Punktwolke vor, die entlang des lokalen
Normalenvektors gefiltert wurde, während sie in den anderen Koordinatenrichtungen
unverändert bleibt.
Das Ergebnis der Mittelwertfilterung in Richtung der lokalen Normalenvektoren ist
in der Abbildung 4.11 zu sehen: Während auch in diesem Fall eine deutliche Glättung
erkennbar ist, kommen die Nachteile der beiden anderen beschriebenen Verfahren
nicht zum Tragen: Da die Punktwolke als Ganzes gefiltert wird, treten keine Unstimmigkeiten
in den Überlappungsbereichen auf. Gleichzeitig bleibt die Ausdehnung der
Punktwolke quer zur Normalenrichtung unverändert. Hinzu kommt, dass durch die
Vorauswahl der für die Berechnung der Hauptrichtungen verwendeten Punkte mit
64

4.3 Räumliche Segmentierung
Abb. 4.11: Glättung der Rohdaten in Richtung der lokalen Normalenvektoren: ungeglättete
Punktwolke (links); geglättete Punktwolke (rechts)
Hilfe des RANSAC-Algorithmus Kanten bis zu einem gewissen Grad erhalten bleiben,
wobei die Stärke der Kanten, die erhalten werden, abhängig von der Größe des
Schwellwerts ɛ R ist.
4.3.4 Extraktion der Kiste
Durch die Einschränkung des Sichtfeldes wurde bereits ein Großteil der für die Segmentierung
der Gurkenblätter unwichtigen Daten herausgefiltert. Neben der Pflanze ist in der
3-D-Punktwolke nur noch die Kiste enthalten, in der die Pflanze wächst. Da die unteren
Blätter der Pflanze diese Kiste in der Regel berühren, ist davon auszugehen, dass in einer
gemeinsamen Segmentierung die Trennung der Blätter von der Kiste mit Schwierigkeiten
verbunden ist. Aus diesem Grund erfolgt in einem ersten Segmentierungsschritt eine Extraktion
der Kiste, um die eigentliche Segmentierung der Gurkenblätter mit Hilfe einer
Punktwolke durchführen zu können, in der nur noch die Pflanze enthalten ist.
Die bildhaften Darstellungen der Ausgangsdaten in den Abbildungen 4.3 und 4.4 legen die
Vermutung nahe, dass die Kiste relativ einfach mit Hilfe der RGB-Werte von der Pflanze
getrennt werden kann, da in diesem Fall – anders als bei den Distanz- oder Intensitätswerten
– die Kiste deutlich erkennbar andere Werte annimmt als die Pflanze. Werden auch
die Aufnahmen der anderen beiden Standpunkte der Epoche E1 08 betrachtet (siehe Ab-
65

4 Entwicklung eines Verfahrens zur raum-zeitlichen Segmentierung von natürlichen Objekten
Abb. 4.12: RGB-Bilder der Aufnahme E1 08 : Scanposition sPos 120 ◦ (links); Scanposition
sPos 240 ◦ (rechts)
bildung 4.12), wird jedoch deutlich, dass die ungünstigen Lichtverhältnisse die Extraktion
der Kiste mit Hilfe von RGB-Werten erschweren: Insbesondere die Aufnahme der Scanposition
sPos 240 ◦ liegt fast komplett im Schatten, was die Blätter der Gurkenpflanze
und die Kiste sehr dunkel und somit sehr ähnlich aussehen lässt. Eine übliche Vorgehensweise,
um mit Schatten umzugehen, ist eine Transformation der RGB-Farbinformation
in den HSV-Farbraum (Hue, Saturation, Value) [Cucchiara u. a. (2001)]. Von Interesse
ist in diesem Fall der eigentliche Farbwert (engl. Hue), da er von ungleichmäßigen Beleuchtungsverhältnissen
und dem daraus resultierenden Schattenwurf unbeeinflusst ist. In
der Abbildung 4.13 (links) ist der Hue-Wert der im RGB-Farbraum besonders kritischen
Aufnahme der Scanposition sPos 240 ◦ zu sehen. Zwar nimmt die Pflanze an sich größtenteils
sehr ähnliche Hue-Werte an, die Kiste nimmt jedoch ein sehr breites Spektrum an
Farbwerten an. Da es u. a. auch das Spektrum der Gurkenpflanze enthält, führt diese
Vorgehensweise zu keinem Erfolg. Die Trennung von Kiste und Gurkenpflanze mit Hilfe
der spektralen Information wird aus diesem Grund nicht weiter vertieft, sondern die
geometrische Information sowie das Wissen über Form und Ausmaße der Kiste für die
Lösung des Problems herangezogen:
Bei der Kiste handelt es sich um eine quaderförmige Box, deren Grundfläche die un-
66

4.3 Räumliche Segmentierung
Abb. 4.13: Extraktion der Kiste: Hue-Werte der Aufnahme E1 08 , sPos 240 ◦ (links); Kiste
mit aufliegender Styroporplatte (Aufnahme: Paffenholz) (rechts)
gefähren Ausmaße von 305 mm x 395 mm besitzt. In den in dieser Arbeit verwendeten
Aufnahmen liegt auf der Kiste eine L-förmige Styroporplatte, die an drei Seiten wenige
Zentimeter über den Rand der Kiste hinausragt (siehe Abbildung 4.13 (rechts)). Durch die
seitliche Aufnahme der Pflanze wird die horizontale Oberfläche der Styroporplatte nicht
komplett erfasst; in den Punktwolken sind somit vor allem die vertikalen Oberflächen der
Styroporplatte sowie die vier Seitenwände der Kiste zu erkennen. Diese gilt es im Folgenden
zu extrahieren.
Der Überstand der Styroporplatte ist nicht deutlich größer als das Messrauschen. Aus
diesem Grund wird für eine gute Trennung von Kiste und Platte auf die geglättete
Punktwolke zurückgegriffen. Da sich die Punkte der ungeglätteten Punktwolke eindeutig
ihrem geglätteten Pendant zuordnen lassen, kann die Extraktion anschließend auf die
ungeglättete Punktwolke übertragen werden, sodass spätere Berechnungen auch mit der
ungeglätteten Punktwolke durchgeführt werden können. Um die Suche nach der Kiste
nicht in der gesamten Punktwolke durchführen zu müssen, erfolgt außerdem zu Beginn
der Berechnungen eine Reduktion des Suchraumes, die aufgrund der begrenzten Höhe der
Kiste durchgeführt werden kann: Für die Berechnungen wird nur derjenige Teil der Punktwolke
verwendet, dessen Z-Koordinaten kleiner als ein von der Höhe der Kiste abhängiger
Schwellwert ɛ z sind.
67

4 Entwicklung eines Verfahrens zur raum-zeitlichen Segmentierung von natürlichen Objekten
Da die vier Seitenwände der Kiste einen deutlich größeren Teil der Punktwolke einnehmen
als die Styroporplatte, wird mit der Extraktion der Kiste begonnen. Hierfür wird im Prinzip
viermal hintereinander eine Ebenenextraktion mit Hilfe des RANSAC-Algorithmus
durchgeführt, wobei diejenigen Punkte, die in einer der Iterationen einer Ebene zugeordnet
werden, in der nächsten Iteration nicht mehr berücksichtigt werden; die Punktwolke
wird somit in jedem der vier Iterationsschritte um eine Seitenwand reduziert.
Das direkte Anwenden des RANSAC-Algorithmus liefert zunächst jedoch keine guten Ergebnisse
(siehe Abbildung 4.14 (links)): Trotz Verwendung der geglätteten Punktwolke
erfolgt keine saubere Trennung von Styroporplatte und Seitenwand, was dazu führt, dass
die geschätzte Ebene geneigt im Raum liegt. Aus diesem Grund werden zwei Modifikationen
des RANSAC-Algorithmus durchgeführt:
• Zum einen wird der Suchraum, aus dem die drei für die Bestimmung des Modells
benötigten Punkte ausgewählt werden, weiter eingeschränkt: Ausgewählt werden
nur Punkte aus dem unteren Bereich der Kiste, sodass garantiert keiner auf der Styroporplatte
liegt. Bewertet wird das Modell jedoch weiterhin mit Hilfe der gesamten
Punktwolke.
• Zum anderen wird eine Restriktion eingeführt, die als gültiges Modell nur Ebenen
akzeptiert, die annähernd senkrecht stehen. Ist die Bedingung
n T · e 3
!
< 0.1 (4.1)
mit:
n : Normalenvektor der Ebene
[ ]
e 3 = 0 0 1
nicht erfüllt, so wird die Auswahl als ungültig angesehen und der Berechnungsschritt
zählt nicht als eine der k maximal durchzuführenden Iterationen.
Insgesamt erhöhen diese Modifikationen zwar die Anzahl der durchzuführenden Berechnungsschritte,
dieser erhöhte Rechenaufwand wird jedoch in Kauf genommen, da sich das
Ergebnis deutlich verbessert (Abbildung 4.14 (rechts)).
68

4.3 Räumliche Segmentierung
Abb. 4.14: Extraktion einer Seitenwand der Kiste (blau: Ausgangspunktwolke, rot: Ergebnisebene,
grün: extrahierte Punkte): einfacher RANSAC (links), modifizierter
RANSAC (rechts)
Ist die erste Ebene E 1 gefunden, erlaubt die Kenntnis der Kistenmaße eine erneute Verkleinerung
des Suchraumes: Gesucht wird zunächst die zu E 1 parallele Ebene, sodass –
unabhängig davon, ob die bereits gefundene Ebene eine Quer- oder eine Längsseite der
Kiste darstellt – alle Punkte, die einen Abstand d

4 Entwicklung eines Verfahrens zur raum-zeitlichen Segmentierung von natürlichen Objekten
Abb. 4.15: Extraktion aller vier Seitenwände der Kiste (blau: Ausgangspunktwolke, rot:
Ergebnisebenen, grün: extrahierte Punkte)
Kiste alle Punkte mit einem Abstand d < 140 mm von diesem Schwerpunkt aus der
Punktwolke entfernt werden. Die Extraktion der vertikalen Styroporoberflächen erfolgt
anschließend analog zur Extraktion der Kistenwände, mit dem einzigen Unterschied, dass
nur die drei größten der insgesamt sechs senkrechten Styroporflächen extrahiert werden.
Die anderen drei sind so klein, dass davon ausgegangen werden kann, dass sie die folgende
Segmentierung nicht negativ beeinflussen.
4.3.5 Vorsegmentierung nach Felzenszwalb und Huttenlocher
Nach diesen vorbereitenden Schritten kann mit der eigentlichen Segmentierung der Gurkenpflanze
begonnen werden. Da die Blattstruktur bei der Segmentierung eine wichtige
Rolle spielt, wird die ungeglättete Punktwolke verwendet.
4.3.5.1 Definition der Nachbarschaften
Für eine Segmentierung der Gurkenblätter muss zunächst die Art der Nachbarschaftsdefinition
festgelegt werden. Da die Segmentierung direkt in der 3-D-Punktwolke durchgeführt
wird, bieten sich die von Sima u. a. (2013) vorgeschlagenen k nächsten Nachbarn oder
die Durchführung einer Radiussuche an. Die vorliegenden Daten besitzen im Vergleich
zu anderen Laserscandaten mit einer Punktdichte von ca. 9 Punkten/cm 2 eine geringe
70

4.3 Räumliche Segmentierung
Auflösung. Hinzu kommt, dass die Auflösung innerhalb der Punktwolke aufgrund der
Überlappungsbereiche der drei Aufnahmen deutlich variiert. Um eine isotrope Nachbarschaft
zu garantieren, wird die Nachbarschaft jedes Punktes mit Hilfe einer Radiussuche
definiert. Der Einfluss der Größe dieser Nachbarschaft – bestimmt durch den Radius r –
auf die Segmentierung ist enorm: Zum einen ist die Laufzeit des Algorithmus eine Funktion
in Abhängigkeit von der Anzahl der zu untersuchenden Kanten, die wiederum von
der Anzahl der Nachbarn jedes Punktes abhängt. Zum anderen wirkt sich die Größe
der Nachbarschaft sehr deutlich auf das Segmentierungsergebnis aus, was im Folgenden
verdeutlicht wird, indem dieselbe Punktwolke unter Verwendung von drei beispielhaften
Nachbarschaften segmentiert wird. Alle anderen für die Segmentierung wichtigen Parameter
sind in allen drei Berechnungen identisch (auf die entsprechenden Größen wird in
den nachfolgenden Abschnitten eingegangen).
Den Berechnungen zugrunde liegen die Radien r 1 =5mm, r 2 = 10 mm sowie r 3 = 15 mm.
Die Tabelle 4.2 erlaubt eine Vorstellung darüber, in welchem Maße die Anzahl der Nachbarn
von der Wahl des Radius abhängt:
Tabelle 4.2: Anzahl der Nachbarn in Abhängigkeit vom verwendeten Radius r
Radius [mm] n max n n min
r 1 =5 19 4 0
r 2 = 10 65 20 0
r 3 = 15 139 50 0
Angegeben ist von allen Nachbarschaften der gesamten Punktwolke jeweils die maximale
Anzahl von Nachbarn n max , die mittlere Anzahl der Nachbarn n sowie die minimale
Anzahl von Nachbarn n min . Die Nullspalte resultiert aus Ausreißern, die keine direkten
Nachbarn in ihrer Nähe besitzen. Der deutliche Unterschied zwischen den anderen beiden
Spalten – der maximalen Anzahl der Nachbarn sowie der mittleren Anzahl der Nachbarn
– entsteht zum einen durch die bereits angesprochene starke Variation in der Punktdichte,
hat ihre Ursache zum anderen aber auch in der Struktur der Pflanze: Z. B. besitzen
Punkte an den Rändern von Blättern oder auf dem Stiel deutlich weniger Nachbarn als
ein Punkt in der Mitte eines Blattes.
71

4 Entwicklung eines Verfahrens zur raum-zeitlichen Segmentierung von natürlichen Objekten
In Abbildung 4.16 sind die Ergebnisse dieser Berechnungen dargestellt 1 . Es wird deutlich,
dass mit der Größe einer Nachbarschaft auch die Größe der Ergebnissegmente zunimmt:
Während bei Verwendung des relativ kleinen Radius (r 1 =5mm) die Initialisierung des
Algorithmus annähernd erhalten bleibt und nur ein geringer Teil der Punkte zu größeren
Segmenten zusammengefasst wird, sind bei den beiden größeren Radien (r 2 = 10 mm
und r 3 = 15 mm) die einzelnen Blätter bereits relativ gut anhand der Segmentierung zu
erkennen, wenngleich auch hier Übersegmentierungen auftreten; diese sind umso stärker,
je kleiner die Nachbarschaft gewählt wird. Prinzipiell ist somit eine große Nachbarschaft
vorzuziehen, die jedoch einen erhöhten Rechenaufwand mit sich bringt. Darüber hinaus
zeigt sich, dass die zum Parameter r 3 = 15 mm gehörende Abbildung nicht komplett
übersegmentiert ist: Im oberen Teil der Pflanze werden zwei Blätter zu einem Segment
zusammengefasst (in Abbildung 4.16 (rechts) hellblau eingefärbt), sodass es an dieser
Stelle zu einer Untersegmentierung kommt. Dieses gleichzeitige Auftreten von Unter- und
Übersegmentierung erschwert einen möglichen Nachbearbeitungsschritt; es ist jedoch zu
beachten, dass auch andere Parameter das Ergebnis deutlich beeinflussen und dem Fall
1 Benachbarte Punkte, die zu Segmenten zusammengefasst werden, sind in den gleichen Farben dargestellt.
Für eine bessere Erkennbarkeit sind für diese und alle folgenden Segmentierungsergebnisse
vergrößerte Darstellungen im Anhang A zu finden.
Abb. 4.16: Einfluss der Nachbarschaftsgröße auf das Segmentierungsergebnis (Aufnahme
E1 08 ): r 1 =5mm (links); r 2 = 10 mm (Mitte); r 3 = 15 mm (rechts);
(Vergrößerte Darstellung in Abbildung A1)
72

4.3 Räumliche Segmentierung
der gleichzeitigen Über- und Untersegmentierung entgegenwirken können. Als ein guter
Kompromiss zwischen der Laufzeit und der Qualität der Ergebnisse wird die Verwendung
des Radius r 2 = 10 mm angesehen, der im Folgenden der Nachbarschaftsdefinition
zugrunde liegt. Die Durchführung einer Radiussuche für die Definition der Nachbarschaften
hat zur Folge, dass – über die Punktwolke gesehen – aufgrund der unterschiedlichen
Punktdichten die Anzahl der Nachbarn stark variiert. Um die Nachbarschaften nicht nur
isotrop, sondern auch homogen zu gestalten, wird auf den Ansatz von Sima u. a. (2013)
zurückgegriffen: Die endgültige Nachbarschaft ergibt sich durch zufälliges Auswählen von
n r = n Punkten der sich aus der Radiussuche ergebenden Nachbarschaft. Dieser zusätzliche
Schritt führt zu einer deutlichen Reduktion der Laufzeit, gleichzeitig bleibt die Güte
des Segmentierungsergebnisses jedoch unbeeinflusst.
4.3.5.2 Definition der Kantengewichte
Nach Festlegung einer geeigneten Nachbarschaft stellt sich die Frage nach der Definition
der Kantengewichte, die – allgemein formuliert – ein Maß für die Ähnlichkeit benachbarter
Knoten darstellen. Speziell für die Segmentierung der Gurkenblätter muss das Ähnlichkeitsmaß
eine Aussage darüber erlauben, ob zwei benachbarte Punkte auf demselben Blatt
liegen oder nicht. Prinzipiell können für die Berechnung von Ähnlichkeitsmaßen die in Abschnitt
4.2 vorgestellten Ausgangsdaten sowie sämtliche daraus berechenbare Werte wie z.
B. lokale Normalenvektoren, Krümmungen o. Ä. verwendet werden. Dass insbesondere die
spektralen Daten hierfür nicht geeignet sind, wurde in Abschnitt 4.2 bereits vermutet und
wird durch die Abbildung 4.17 bestätigt: Dargestellt sind die Ergebnisse der Segmentierung
für den Fall, dass die Kantengewichte mit Hilfe der spektralen Information bestimmt
werden. Verwendet wurden als Kantengewichte w die Differenzen der Intensitätswerte I i
bzw. die normierte Differenz der RGB-Farbwerte RGB i benachbarter Punkte p i und p j
mit i ≠ j:
w Iij = I i I j (4.2)
w RGBij = |RGB i RGB j | (4.3)
⎡ ⎤ ⎡ ⎤
R R
=
⎢ G ⎥ ⎢ G ⎥
. (4.4)
⎣ ⎦ ⎣ ⎦
∣ B B ∣
i
j
73

4 Entwicklung eines Verfahrens zur raum-zeitlichen Segmentierung von natürlichen Objekten
Die Segmentierung unter Verwendung der Intensitätswerte teilt die Gurkenpflanze in zwei
große Segmente (dargestellt in Hellblau und Gelb), ein mittelgroßes Segment (dargestellt
in Rot) sowie eine Vielzahl sehr kleiner Segmente. Die starke Untersegmentierung hat
ihre Ursache in den sehr ähnlichen Intensitätswerten benachbarter Blätter, die eine Trennung
der Blätter voneinander unmöglich machen. Dass die Gurkenpflanze nicht zu einem
einzigen Segment zusammengefügt wird, erklärt sich durch die leichten Variationen der
Intensitätswerte, die insbesondere an den Übergängen zwischen Blättern und Stiel auftreten.
Die Vielzahl der kleinen Segmente ist größtenteils auf grobe Fehler in den Daten
zurückzuführen: Hierbei handelt es sich um geometrische Ausreißer, in deren Nachbarschaft
keine weiteren Punkte liegen, sodass sie in der Kantenliste gar nicht erst aufgeführt
werden. Diese Störsegmente“ treten in allen späteren Segmentierungsergebnissen auf und
”
werden nicht weiter beachtet.
Ein ähnliches, wenn auch nicht ganz so extremes Ergebnis liefert die Segmentierung unter
Verwendung der RGB-Werte als Kantengewichte (4.17 (rechts)). Auch in diesem Fall
treten Untersegmentierungen auf (im linken Teil der Pflanze der hellblau dargestellte Bereich
und im oberen Teil der Pflanze der violett dargestellte Bereich), die ebenfalls auf die
starke Ähnlichkeit der Werte zurückzuführen sind. Anders als bei den Intensitätswerten
Abb. 4.17: Ergebnisse der Segmentierung, basierend auf der spektralen Information (Aufnahme
E1 08 ): w I (links), w RGB (rechts);
(Vergrößerte Darstellung in Abbildung A2)
74

4.3 Räumliche Segmentierung
führt eine Verwendung der RGB-Werte als Kantengewicht in einigen Teilen der Pflanze
jedoch auch zu Übersegmentierungen: Am stärksten betrifft dies im Fall des verwendeten
Beispieldatensatzes die Blätter im rechten unteren Teil der Pflanze, die jeweils in zwei
bis drei größere Segmente unterteilt werden. Die Ursache hierfür stellen die ungünstigen
Lichtverhältnisse in den Gewächshäusern dar, die dazu führen, dass einige Teile der
Pflanze im Schatten liegen und somit dunklere Farbwerte aufweisen als die nicht im Schatten
liegenden Teile der Pflanze. Die resultierenden Segmentgrenzen stimmen mit diesen
Schattengrenzen überein. Da diese Schattengrenzen wiederum in keinerlei Bezug zu den zu
detektierenden Blattgrenzen stehen, liefert eine Segmentierung auf Basis der RGB-Werte
nicht die gewünschten Ergebnisse.
Wie zu erwarten war, muss die Definition der Kantengewichte somit auf Basis der geometrischen
Information durchgeführt werden. Einen sehr vielversprechenden Eindruck
für eine erfolgreiche Segmentierung der Gurkenblätter vermitteln die Distanzbilder; diese
können jedoch nicht direkt verwendet werden, da die Segmentierung aus oben genannten
Gründen in der 3-D-Punktwolke durchgeführt wird. Charakteristisches und für die
Segmentierung wichtiges Merkmal der Distanzbilder stellen die durch Tiefensprünge entstehenden
Jump-Edges dar, weshalb im Folgenden ein Kantengewicht definiert wird, das
genau diese Tiefensprünge innerhalb einer Punktwolke aufdeckt.
Ausgangspunkt für die Definition des Kantengewichtes ist der Mittelpunkt p i der bereits
Abb. 4.18: Detektion von Tiefensprüngen in der 3-D-Punktwolke: Prinzip (links); Übersegmentierung
bei starken Blattkrümmungen (Mitte); Untersegmentierung bei
Blattberührungen (rechts)
75

4 Entwicklung eines Verfahrens zur raum-zeitlichen Segmentierung von natürlichen Objekten
definierten Nachbarschaft p n sowie die Tangentialebene der Oberfläche im Punkt p i (siehe
Abbildung 4.18 (links)). Der Abstand der benachbarten Punkte zu dieser Tangentialebene
entspricht der Größe des Tiefensprunges vom Punkt p i zum jeweiligen Punkt der Nachbarschaft
und kann somit direkt als Kantengewicht verwendet werden:
w dij = |n T · p nj + d|, (4.5)
mit:
n : lokaler Normalenvektor
d : Distanz der Tangentialebene zum Ursprung
p nj : Punkt der Nachbarschaft.
Wie aus der Abbildung 4.19 (links) zu erkennen ist, liefert auch eine Segmentierung auf Basis
dieses Kantengewichts kein zufriedenstellendes Ergebnis. Zwar werden Tiefensprünge
erfolgreich aufgedeckt, diese sind für eine brauchbare Segmentierung der Gurkenblätter
jedoch nicht ausreichend: Zum einen ist es unmöglich, Grenzen zwischen sich berührenden
Blättern aufzudecken, da in diesem Fall keine Tiefensprünge auftreten (siehe Abbildung
4.18 (rechts)). Als Konsequenz daraus treten in den entsprechenden Bereichen der
Pflanze Untersegmentierungen auf (in Abbildung 4.19 (links) oben links in Hellblau und
Abb. 4.19: Ergebnisse der Segmentierung, basierend auf der geometrischen Information
(Aufnahme E1 08 ): w d (links), w NV (rechts);
(Vergrößerte Darstellung in Abbildung A2)
76

4.3 Räumliche Segmentierung
unten rechts in Grün dargestellt). Zum anderen können innerhalb eines stark gekrümmten
Blattes sehr große Tiefensprünge auftreten (siehe Abbildung 4.18 (Mitte)), wodurch
es gleichzeitig zu Übersegmentierungen kommt. Eine Segmentierung auf Basis der Detektion
von Tiefensprüngen ist somit nur bedingt geeignet; ein Nachbearbeitungsschritt
wäre unerlässlich. Da ein solcher Nachbearbeitungsschritt sowohl das Zusammenfügen von
übersegmentierten Blättern als auch das Auftrennen von untersegmentierten Blättern erfordern
würde, wird auch diese Variante verworfen.
Nachdem die Detektion von Jump-Edges kein zufriedenstellendes Segmentierungsergebnis
liefert, verbleibt die Detektion von Crease-Edges. Da insbesondere sich berührende Oberflächen
Crease-Edges bilden, sollte mit diesem Ansatz das Problem der Untersegmentierung
gelöst werden können. Als Kantengewicht zwischen zwei benachbarten Knoten wird
der Winkel verwendet, der von den jeweiligen beiden lokalen Normalenvektoren n pi und
n pnj
eingeschlossen wird:
w NVij = arccos
(
n
T
pi · n pnj
|n pi |·|n pnj |
)
. (4.6)
Das Ergebnis dieser Segmentierung – in Abbildung 4.19 (rechts) dargestellt – ist im Vergleich
zu den anderen dreien mit Abstand das beste: Durch geschicktes Auswählen des
Parameters κ – ausführlicher im folgenden Abschnitt behandelt – ist es möglich, Untersegmentierungen
komplett zu vermeiden und gleichzeitig die Übersegmentierung relativ
gering zu halten. Dennoch ist es auch bei dieser Berechnung der Kantengewichte nicht
möglich, alle Blätter vollständig zu segmentieren: Da die Blätter in sich verformbar sind,
treten nicht nur an den Übergängen zwischen zwei verschiedenen Blättern, sondern auch
innerhalb eines Blattes Crease-Edges auf. Eine Unterscheidung zwischen diesen beiden
Arten von Crease-Edges ist jedoch mit Hilfe des Algorithmus von Felzenszwalb u. Huttenlocher
(2004) nicht möglich.
Trotz dieses Nachteils werden im Folgenden die auf Basis der Normalenvektoren berechneten
Kantengewichte verwendet, um die Gurkenblätter zu segmentieren, da dieses Vorgehen
von den vier getesteten Möglichkeiten die Blattstruktur und die Form der Blätter
am besten wiedergibt und somit das brauchbarste Ergebnis liefert.
77

4 Entwicklung eines Verfahrens zur raum-zeitlichen Segmentierung von natürlichen Objekten
4.3.5.3 Definition von κ
Ebenfalls einen starken Einfluss auf das Ergebnis der Segmentierung besitzt die Konstante
κ (siehe Gleichung 3.31): Sie gibt indirekt an, um wie viel die Differenz zweier benachbarter
Segmente größer sein muss als die interne Differenz, damit eine Grenze zwischen
diesen beiden Segmenten erkannt wird, und beeinflusst damit die Größe der Ergebnissegmente.
Dieser Parameter ist somit diejenige Größe, mit Hilfe derer das Maß an Überbzw.
Untersegmentierung gesteuert werden kann.
In Abbildung 4.20 sind die Ergebnisse dreier Segmentierungen zu sehen, bei denen unterschiedliche
Werte für κ gewählt wurden. Da die Kantengewichte bei Verwendung von w NV
im Intervall [0, π] liegen und zwischen zwei sich berührenden Blättern relativ schwache
Crease-Edges aufgedeckt werden müssen, wurden für κ drei Werte gewählt, die im unteren
Bereich dieses Intervalls liegen: κ 1 =0, 1, κ 2 =0, 6 und κ 3 = 1.
Der kleinste dieser Werte liefert ein Ergebnis, das stark übersegmentiert ist: Jedes Blatt
besteht aus vier bis fünf größeren Segmenten und einer Vielzahl kleinerer Segmente. Blattstrukturen
sind in dieser Segmentierung nur sehr schwer zu erkennen. Auch ein zu groß
gewähltes κ liefert kein zufriedenstellendes Ergebnis: Bei Verwendung von κ 3 = 1 nimmt
der Grad der Übersegmentierung im Vergleich zur Verwendung von κ 1 zwar stark ab,
Abb. 4.20: Einfluss der Konstante κ auf das Segmentierungsergebnis (Aufnahme E1 08 ):
κ 1 =0, 1 (links); κ 2 =0, 6 (Mitte); κ 3 = 1 (rechts);
(Vergrößerte Darstellung in Abbildung A3)
78

4.3 Räumliche Segmentierung
gleichzeitig treten jedoch Untersegmentierungen auf. Dieses gleichzeitige Auftreten von
sowohl Über- als auch Untersegmentierungen entsteht dadurch, dass bei sich berührenden
Blättern Crease-Edges zum Teil schwächer ausgebildet sind als innerhalb eines Blattes.
Das Ergebnis dieser Segmentierung verdeutlicht die Schwierigkeit, ein geeignetes κ zu
wählen: Sollen die einzelnen Blätter möglichst vollständig segmentiert werden, so muss
zwangsläufig eine Untersegmentierung akzeptiert werden; wird das κ dagegen so gewählt,
dass sich berührende Blätter immer als zwei Segmente erkannt werden, so ergibt sich in
jedem Fall eine gewisse Übersegmentierung. In keinem Fall ist das Ergebnis für die nachfolgende
Ableitung von geometrischen Merkmalen zufriedenstellend, weshalb zur Verbesserung
der Segmentierung ein nachfolgender Bearbeitungsschritt unabdingbar ist. Um zu
vermeiden, dass in diesem zweiten Schritt sowohl zu kleine Segmente zusammengefügt als
auch zu große Segmente aufgetrennt werden müssen, bietet sich als eine Möglichkeit an,
das größtmögliche κ zu wählen, welches zu keiner Untersegmentierung führt.
Diese Möglichkeit erweist sich aufgrund des Aufbaus der Pflanze jedoch nicht immer als
optimal: Da im oberen Teil der Pflanze kleinere Blätter auftreten als im unteren Teil
und insbesondere diese kleinen Blätter sich häufig berühren, muss für eine Trennung der
oberen Blätter eine starke Übersegmentierung der unteren Blätter in Kauf genommen
werden. Dieser Effekt tritt bei den in dieser Arbeit verwendeten Daten insbesondere beim
Datensatz vom 08.05.2013 auf. Abhilfe kann geschaffen werden, indem in diesen Fällen
κ nicht als Konstante, sondern als Funktion der z-Koordinate aufgefasst wird. In dieser
Arbeit wird ein linearer Zusammenhang verwendet, der dafür sorgt, dass der Wert des
verwendeten κ(z s ) mit der Höhe der beiden untersuchten Segmente abnimmt:
κ(z s ) = a ·
( z
z max
)
+ b (4.7)
= a · z s + b, (4.8)
mit:
a, b : zu wählende Parameter
z : Mittelwert der z-Koordinate der beiden betrachteten Segmente
z max : größte z-Koordinate der Punktwolke; dient zur Skalierung.
79

4 Entwicklung eines Verfahrens zur raum-zeitlichen Segmentierung von natürlichen Objekten
Die Bestimmung der Parameter a und b erfolgt empirisch zu:
a = 0, 8 (4.9)
b = 0, 7. (4.10)
Damit ergeben sich für den Datensatz E1 08 für κ(z s ) Werte zwischen 0, 8 und 0, 15, die
dafür sorgen, dass die großen Blätter im unteren Teil der Pflanze relativ vollständig segmentiert
werden, während im oberen Teil der Pflanze auch sehr schwache Crease-Edges
erkannt werden, sodass zwei sich berührende Blätter voneinander getrennt werden können.
Auch diese veränderte Definition von κ verhindert jedoch nicht, dass weiterhin starke
Übersegmentierungen auftreten. Aus diesem Grund ist ein zweiter Schritt, in dem die
bestehende Segmentierung verbessert wird, unerlässlich.
4.3.6 Statistisch begründetes Region-Merging
Die Grundlage für diesen zweiten Segmentierungsschritt bilden die Ergebnissegmente, die
durch das im vorigen Abschnitt beschriebene Verfahren gewonnen wurden und die im Folgenden
als Superpixel aufgefasst werden (siehe Abschnitt 3.4.1.2). Im Vergleich zum ersten
Segmentierungsschritt bilden somit deutlich weniger Segmente die Startinitialisierung. Da
diese zudem mehr Informationen enthalten als die einzelnen Punkte einer Punktwolke,
kann in dem zweiten Segmentierungsschritt auf komplexere und rechenaufwändigere Berechnungen
zurückgegriffen werden als in der Vorsegmentierung.
Bei Anwendung des Algorithmus nach Felzenszwalb u. Huttenlocher (2004) ist jedoch zu
beachten, dass er Segmente liefert, die sich in ihren Größen deutlich voneinander unterscheiden:
Zum einen existieren Segmente, die fast vollständig einem ganzen Blatt entsprechen,
gleichzeitig existiert eine Vielzahl sehr kleiner Segmente, die aus fünf oder weniger
Punkten bestehen. Letztere werden aus rechentechnischen Gründen von den folgenden
Berechnungen zunächst ausgeschlossen und später gesondert behandelt (siehe Abschnitt
4.3.6.3).
4.3.6.1 Oberflächenbasiertes Region-Merging
Alenya u. a. (2011) lösen das Problem der Segmentierung von Pflanzen ebenfalls in zwei
Schritten und verbessern das Ergebnis aus der Vorsegmentierung u. a. mit Hilfe eines
80

4.3 Räumliche Segmentierung
Region-Mergings: Für zwei benachbarte Segmente S i und S j sowie für das aus diesen
beiden Segmenten zusammengesetzte Segment S i∩j werden die besteinpassenden Ebenen
oder die besteinpassenden Oberflächen zweiten Grades bestimmt. Mit Hilfe der aus den
Schätzungen resultierenden mittleren quadratischen Fehler E i , E j und E i∩j wird beurteilt,
ob die beiden Segmente S i und S j dieselbe Ebene/Oberfläche beschreiben und dementsprechend
zusammengefügt werden müssen.
Die grundsätzliche Idee dieses oberflächenbasierten Region-Mergings wird in dieser Arbeit
übernommen, die Umsetzung jedoch leicht verändert: Aufbauend auf der Annahme,
dass die Ergebnisse aus der Vorsegmentierung so gut sind, dass für jedes Blatt ein großes
Segment existiert, das als Repräsentant dieses Blattes angesehen werden kann und – für
eine vollständige Segmentierung des entsprechenden Blattes – um einige kleinere Segmente
ergänzt werden muss, werden jedem Segment S i mit einer bestimmten Mindestgröße
zunächst alle diejenigen Segmente als Nachbarn zugeordnet, die einen Abstand d

4 Entwicklung eines Verfahrens zur raum-zeitlichen Segmentierung von natürlichen Objekten
Die Abbildung 4.21 (links) zeigt beispielhaft die beschriebene Situation: Dargestellt ist
in Blau das Segment S i , in Grün eines der gefundenen Nachbarsegmente S j und in Hellblau
die Untermenge des Segmentes S i , die in die weiteren Berechnungen einfließt. Da
das Nachbarsegment im Vergleich zu S i relativ klein ist, geht dieses als Ganzes in die
Oberflächenschätzung ein.
Die Oberflächenschätzung wird durchgeführt, indem sowohl die Untermenge S isub als
auch das aus S isub und S j zusammengesetzte Segment S isub ∩j mit Hilfe einer mathematischen
Funktion bestmöglich approximiert werden. Da die Punkte aufgrund der starken
Krümmungen der Gurkenblätter nicht auf einer Ebene liegen, werden die Segmente daher
im Folgenden ausschließlich durch Oberflächen zweiten Grades beschrieben.
Die Schätzung dieser Oberflächen zweiten Grades kann auf unterschiedliche Arten erfolgen:
Eine Möglichkeit ist die Bestimmung einer besteinpassenden Quadrik, die funktional
wie folgt beschrieben werden kann:
√ √ √
0 = a 1 x 2 + a 2 y 2 + a 3 z 2 + a 4 2xy + a5 2xz + a6 2yz + a7 x + a 8 y + a 9 z + a 10 . (4.12)
Für die Bestimmung der besteinpassenden Quadrik schlägt Drixler (1993) eine Überführung
des eigentlich zu verwendenden Gauß-Helmert-Modells in ein Gauß-Markov-Modell
vor. Die Lösung des Ausgleichungsproblems erfolgt dann mit Hilfe einer Eigenwertzerlegung,
wobei die entsprechenden Eigenwerte die geometrische Figur dieser Quadrik spe-
Abb. 4.21: Durchführung der Oberflächenschätzung: Einschränkung der verwendeten
Punkte (blau: Segment S i , hellblau: Untermenge von S i (S isub ), grün: Nachbarsegment
S j ) (links); Ergebnis der Oberflächenschätzung nach Drixler (1993)
(rechts)
82

4.3 Räumliche Segmentierung
zifizieren. Die verschiedenen geometrischen Formen, die eine Quadrik annehmen kann,
stellen für ihre Anwendung in dieser Arbeit ein Problem dar: In Abbildung 4.21 (rechts)
ist die auf diese Art bestimmte besteinpassende Quadrik der Punktmenge S isub zu sehen.
Anders als erwartet, ergibt sich als besteinpassende Quadrik jedoch keine Ellipsoid- oder
Zylinderoberfläche, sondern ein – für die hier beschriebene Aufgabe ungeeignetes – Hyperboloid.
Soll dieser Ansatz weiter verfolgt werden, müsste z. B. mit Hilfe einer Restriktion
vermieden werden, dass die besteinpassende Quadrik eine ungeeignete Form annimmt.
Da es sich hierbei um eine nichttriviale Aufgabe der Formschätzung handelt und eine
Vertiefung dieses Themas den Rahmen dieser Arbeit übersteigen würde, wird der Ansatz
der Quadrikenschätzung nicht weiter verfolgt.
Alenya u. a. (2011) verwenden ein deutlich einfacheres mathematisches Modell zur Beschreibung
einer Oberfläche zweiten Grades:
z = ax 2 + by 2 + cx + dy + e. (4.13)
Da es sich hierbei – anders als bei 4.12 – um eine explizite Formulierung handelt, kann
zur Lösung des Ausgleichungsproblems ein Gauß-Markov-Modell verwendet werden. Diese
Vorgehensweise besitzt jedoch einen Nachteil: Bei einer solchen Formulierung wird nur
die Z-Koordinate als Messung aufgefasst, während die X- und Y-Koordinaten als deterministisch
angesehen werden [Shah (2006)]. Das allein könnte an dieser Stelle als gültige
Vereinfachung hingenommen werden, hinzu kommt jedoch, dass eine Minimierung der
quadratischen Distanz nur entlang der Z-Richtung erfolgt, was zu numerischen Instabilitäten
führt, wenn die zu bestimmende Oberfläche annähernd senkrecht im Raum steht.
Dieses Problem kann umgangen werden, indem in diesen Fällen vor Bestimmung der besteinpassenden
Oberfläche eine Hauptachsentransformation der Punktwolke durchgeführt
wird. In dem neuen Koordinatensystem erfolgt eine Minimierung entlang des zum kleinsten
Normalenwerts gehörenden Normalenvektors.
In Abbildung 4.22 ist das Ergebnis einer solchen Oberflächenschätzung zu sehen: Die
hellblau dargestellte Oberfläche approximiert die Punktmenge S isub ,während die besteinpassende
Oberfläche zweiten Grades der Punktmenge S isub ∩j in Grün eingefärbt ist. Im
Vergleich zur Vorgehensweise nach Drixler (1993) liefert das in Gleichung 4.13 angegebene
funktionale Modell für die hier zu lösende Aufgabe das deutlich plausiblere Ergebnis.
Da die Interpretation der X- und Y-Koordinaten als deterministische Werte an dieser
83

4 Entwicklung eines Verfahrens zur raum-zeitlichen Segmentierung von natürlichen Objekten
Abb. 4.22: Ergebnis der Oberflächenschätzung nach Alenya u. a. (2011)
Stelle nicht schwer wiegt und das Problem der senkrechten Oberflächen mit Hilfe einer
Hauptachsentransformation gelöst werden kann, werden im Folgenden auf diese Weise
die besteinpassenden Oberflächen bestimmt. Zu beachten ist, dass es sich bei diesem
Lösungsansatz um ein Optimierungsproblem nach kleinsten Quadraten und somit um
kein robustes Verfahren handelt. Aus diesem Grund ist davon auszugehen, dass das starke
Messrauschen die Ergebnisse negativ beeinflusst, sodass für die Schätzungen auf die
geglättete Punktwolke zurückgegriffen wird.
Die Beurteilung, ob zwei verwendete Punktmengen auf derselben Oberfläche liegen, erfolgt
in dieser Arbeit mit Hilfe eines Hypothesentests, der die Parameter der beiden geschätzten
Oberflächen auf Signifikanz testet: Verwendet wird der Differenztest nach Welsch u. a.
(2000), der von den Autoren ursprünglich zur Aufdeckung von Punktbewegungen vorgeschlagen
wurde. Die Theorie zum Testen von Hypothesen wird an dieser Stelle als bekannt
vorausgesetzt; detaillierte Informationen zu diesem Thema finden sich z. B. in Welsch u. a.
(2000) oder in Niemeier (2008).
Ausgangspunkt für den Differenztest bilden die beiden geschätzten Parametervektoren ˆx 1
und ˆx 2 , die die geschätzten Parameter der beiden Oberflächen enthalten:
ˆx 1 =
ˆx 2 =
[
[
â 1
ˆb1 ĉ 1
ˆd1 ê 1
] T
(4.14)
â 2
ˆb2 ĉ 2
ˆd2 ê 2
] T
. (4.15)
84

4.3 Räumliche Segmentierung
Im ersten Schritt des Hypothesentests werden die Null- bzw. die Alternativhypothese (H 0
bzw. H A ) formuliert:
H 0 : E {d} =0 (4.16)
H A : E {d} ≠0 (4.17)
mit:
d = ˆx 1 ˆx 2 .
Die Testgröße
T = dT · Q dd 1 · d
p · s 2 0
(4.18)
mit:
Q dd = Q x1 x 1
+ Q x2 x 2
p = Rang(Q dd )
s 2 0 = (vT 1 · Q x1 x 1 1 · v 1 )+(v T 2 · Q x2 x 2 1 · v 2 )
f 1 + f 2
f 1 ,f 2 : Freiheitsgrade
folgt der Fisher-Verteilung, sodass sich das Quantil q wie folgt bestimmen lässt:
mit:
q = F p,f,α (4.19)
f = f 1 + f 2
α = 95% : Sicherheitswahrscheinlichkeit.
Damit ergeben sich der Annahme- bzw. der Verwerfungsbereich zu:
A = [0,q] (4.20)
V = (q, ∞). (4.21)
Die Nullhypothese wird angenommen und dementsprechend die beiden Segmente zusammengefügt,
wenn
T ∈ A. (4.22)
85

4 Entwicklung eines Verfahrens zur raum-zeitlichen Segmentierung von natürlichen Objekten
Andernfalls muss davon ausgegangen werden, dass die beiden getesteten Segmente nicht
dieselbe Oberfläche beschreiben und somit nicht zusammengefügt werden dürfen.
Das Ergebnis des oberflächenbasierten Region-Mergings ist in Abbildung 4.23 beispielhaft
an zwei Blättern dargestellt: Abgebildet ist für jedes Blatt in Blau das Segment S i ,
welches direkt aus der Vorsegmentierung stammt und welches in beiden Fällen die Blattform
schon relativ gut wiedergibt. In Rot und Grün sind die gefundenen Nachbarsegmente
eingefärbt, wobei Rot“ bedeutet, dass diese Segmente aufgrund des Hypothesentests mit
”
S i zusammengefügt werden, während für die in Grün dargestellten Segmente die Nullhypothese
verworfen wird.
Die Abbildung zeigt, dass das Ergebnis der Vorsegmentierung durch dieses Region-Merging
zwar leicht verbessert wird, da Lücken innerhalb des Segments S i geschlossen werden. Im
Großen und Ganzen ist das Ergebnis jedoch immer noch nicht zufriedenstellend, denn
ein Großteil der grün eingefärbten Segmente gehört offensichtlich zum selben Blatt wie
S i , werden diesem jedoch nicht zugeordnet. Dieser Effekt hat zwei Gründe: Zum einen
führt trotz der Durchführung einer Glättung das Messrauschen dazu, dass auch kleine
Segmente die geschätzten Oberflächen so stark verändern können, dass die Nullhypothese
verworfen werden muss. (Dieser Fall tritt sehr ausgeprägt im linken Beispielblatt der
Abbildung 4.23 auf.) Zum anderen löst der hier beschriebene Ansatz nicht das Problem
der Crease-Edges innerhalb eines Blattes: Ein Abknicken eines Blattes verändert die von
Abb. 4.23: Ergebnis des oberflächenbasierten Region-Mergings: (blau: Segment S i , rot:
Nachbarsegmente, die S i zugeordnet werden, grün: Nachbarsegmente, die S i
nicht zugeordnet werden)
86

4.3 Räumliche Segmentierung
den Punkten beschriebene Oberfläche so stark, dass insbesondere an den Knickstellen die
Ergebnisse aus der Vorsegmentierung mit Hilfe des Ansatzes von Alenya u. a. (2011) nicht
verbessert werden können. Dieser Effekt tritt im rechten Beispielblatt der Abbildung 4.23
auf, dessen linke und rechte obere Ecke nach hinten knicken und aus diesem Grund nicht
dem Segment S i zugeordnet werden.
4.3.6.2 Kantenbasiertes Region-Merging
In Abbildung 4.24 sind ein unvollständig segmentiertes Blatt sowie seine Nachbarsegmente
dargestellt. Der Vergleich eines Übergangs zwischen zwei Segmenten, die demselben Blatt
angehören mit dem Übergang zwischen zwei Segmenten, die zwei verschiedenen Blättern
angehören, motiviert ein kantenbasiertes Region-Merging, um die bisherigen Ergebnisse
zu verbessern: Anders als bei Segmenten, die zwei sich berührenden Blättern angehören,
beschreiben die Grenzkanten zweier Segmente desselben Blattes dieselbe Raumkurve (dargestellt
in Gelb). Das Aufdecken von Segmentgrenzen und die Beurteilung, ob diese Grenzen
dieselbe Raumkurve beschreiben, stellt den zweiten in dieser Arbeit durchgeführten
Region-Merging-Schritt dar.
Um einen kantenbasierten Ansatz umzusetzen, müssen zunächst die Segmentgrenzen bestimmt
werden, was sich aufgrund der komplexen Form eine Blattes nicht als trivial er-
Abb. 4.24: Motivation für einen kantenbasierten Ansatz: Grenzkante zweier Segmente,
die sich berührenden Blättern angehören (Hellblau), und Grenzkante zweier
Segmente desselben Blattes (Gelb)
87

4 Entwicklung eines Verfahrens zur raum-zeitlichen Segmentierung von natürlichen Objekten
weist. Um den Einfluss der Blattform abzuschwächen, wird eine Initialisierung durchgeführt,
indem die beiden am weitesten voneinander entfernten Punkte eines Segmentes
als Punkte der Segmentgrenze deklariert werden. Durch diese beiden Punkte wird eine
Hilfsebene E H1 gelegt, die parallel zum lokalen Normalenvektor der Mitte des Segmentes
verläuft und dieses somit in zwei Punktmengen teilt. Von jeder dieser beiden Punktmengen
wird derjenige Punkt gesucht, der den größten Abstand zur Hilfsebene hat. Diese beiden
Punkte werden ebenfalls als Randpunkte festgelegt (siehe Abbildung 4.25 (links)). Diese
insgesamt vier Randpunkte unterteilen die gesamte Segmentgrenze in vier ungefähr gleich
große Abschnitte. Auf jeden dieser Abschnitte wird eine Variante des Douglas-Peucker-
Algorithmus, der eigentlich für die Generalisierung von Linien gedacht ist [Douglas u.
Peucker (1973)], angewendet. Mit dieser Variante können die restlichen Kantenpunkte wie
folgt rekursiv identifiziert werden: In dem durch die zwei Punkte p 1 und p 2 begrenzten
Abschnitt wird zunächst ein weiterer Randpunkt p 3 identifiziert. Dieser neue Randpunkt
unterteilt den bestehenden Abschnitt in zwei Teile, die durch p 1 und p 3 bzw. durch p 3 und
p 2 begrenzt werden. Auf diese beiden Abschnitte wird der Algorithmus erneut angewendet.
Die Identifikation des gesuchten Randpunktes p 3 erfolgt, in dem durch die beiden den
Abschnitt begrenzenden Punkte p 1 und p 2 eine Hilfsebene E H2 gelegt wird, die senkrecht
auf dem Segment steht und dieses in zwei Punktmengen teilt: Eine große Punktmenge P B ,
Abb. 4.25: Bestimmung der Segmentränder: Initialisierung (blau: Beispielsegment, rot:
Initialisierungspunkte, grün: Hilfsebene) (links); Unterteilung der Punktwolke
in zwei Punktmengen (gelb: P B , grün: P R ) (rechts)
88

4.3 Räumliche Segmentierung
die in Abbildung 4.25 (rechts) gelb dargestellt ist und den Großteil des Blattes enthält,
sowie eine kleine, grün eingefärbte Punktmenge P R , die aufgrund des gekrümmten Rands
des Gurkenblattes entsteht und nur einen kleinen Rest des Blattes enthält. Eine schematische
Darstellung dieser Situation ist in Abbildung 4.26 (links) zu sehen: In Grün bzw.
in Gelb sind die beiden Punktmengen dargestellt; die rot umkreisten Punkte sind jeweils
diejenigen Punkte, die automatisch als Rand identifiziert werden müssen.
Für die Menge P R lässt sich der gesuchte Randpunkt sehr einfach identifizieren, indem
der Algorithmus von Douglas u. Peucker (1973) auf die dritte Dimension erweitert wird:
Für jeden Punkt dieser Menge P R wird der Abstand d Ri zur Hilfsebene E H2 bestimmt und
der Punkt p 3R mit dem maximalen Abstand d Rmax
zur Ebene als gesuchter Randpunkt
identifiziert. Für die Menge P B dagegen entspricht der Punkt p 3B mit dem geringsten
Abstand d Bmin
zur Hilfsebene dem gesuchten Kantenpunkt. Diese beiden Fälle werden
miteinander kombiniert und der gesuchte Punkt p 3 ergibt sich zu:
⎧
⎨ p 3R , falls d Rmax >d Bmin
p 3 =
⎩ p 3B , sonst.
(4.23)
Die Iteration wird abgebrochen, wenn der Abstand der Punkte p 1 und p 2 kleiner wird als
ein vorgegebener Schwellwert ɛ DP .
Das Ergebnis der Bestimmung der Randpunkte für ein beispielhaft ausgewähltes Segment
ist in Abbildung 4.26 (rechts) zu sehen. Obwohl es sich um ein verhältnismäßig großes und
Abb. 4.26: Randbestimmung: schematische Darstellung des Prinzips (links); Ergebnis mit
ɛ DP = 15 mm (rechts)
89

4 Entwicklung eines Verfahrens zur raum-zeitlichen Segmentierung von natürlichen Objekten
stark gekrümmtes Segment handelt, identifiziert die hier entwickelte Variante des Algorithmus
von Douglas u. Peucker (1973) die Randpunkte so gut wie fehlerfrei, sodass sie im
Folgenden als Grundlage für ein kantenbasiertes Region-Merging dienen. Zu beachten ist
jedoch, dass der Algorithmus zur Bestimmung der Randpunkte nur für Segmente geeignet
ist, die eine gewisse Größe besitzen; andernfalls werden direkt alle Punkte des Segmentes
als Rand identifiziert. Aus diesem Grund werden für einen zuverlässigen kantenbasierten
Ansatz im Folgenden alle Segmente, die aus weniger als 20 Punkten bestehen, vom kantenbasierten
Region-Merging ausgeschlossen.
Für spätere Berechnungen wie z. B. die Bestimmung des Umfangs eines Blattes können die
gefundenen Randpunkte jedoch noch nicht direkt verwendet werden, da der Algorithmus
zunächst eine unsortierte Liste von Randpunkten liefert. Die Sortierung dieser Punkte
ist aufgrund der komplexen Form der Segmente nicht trivial, kann aber gelöst werden,
indem sie als das Problem eines Handlungsreisenden (engl.: Traveling Salesman Problem
(TSP)) aufgefasst wird: Hierbei handelt es sich um ein Optimierungsproblem mit dem
Ziel, die optimale Route durch n Städte zu finden [Applegate (2007)]. Die Lösung dieses
Optimierungsproblems ist das Thema einer Vielzahl von Veröffentlichungen und wird in
dieser Arbeit nicht vertieft. Eine Möglichkeit für die Lösung des TSP bietet die Klasse
der genetischen Algorithmen (siehe z. B. Bryant (2000)), von denen eine existierende Implementierung
2 für die notwendige Sortierung der Randpunkte verwendet wird.
Das kantenbasierte Region-Merging beginnt mit der Suche der gemeinsamen Grenze zwischen
einem Segment S i und seinen Nachbarsegmenten, die bereits in den Berechnungen
des Abschnitts 4.3.6.1 bestimmt wurden. Als Grenzkante werden diejenigen Randpunkte
eines Segmentes definiert, die von den Randpunkten des benachbarten Segmentes weniger
als 2 cm entfernt sind. In Abbildung 4.27 (links) ist eine solche Situation anhand zweier
beispielhaft ausgewählter Segmente dargestellt: Zu sehen ist in Blau das Segment S i ,
dessen Randpunkte der gemeinsamen Grenzkante in Rot eingefärbt sind. Das Nachbarsegment
und die zu diesem Segment gehörenden Punkte der Grenzkante sind in Grün bzw.
in Magenta dargestellt. Für ein kantenbasiertes Region-Merging müssen die Raumkurven
durch diese Grenzkanten bestimmt und die Parameter anschließend auf Signifikanz
2 Verwendet wurde die Matlab-Implementierung von Joseph Kirk vom 23 Aug 2008 ”
Fixed Start Open
Traveling Salesman Problem - Genetic Algorithm“
90

4.3 Räumliche Segmentierung
Abb. 4.27: Kantenbasiertes Region-Merging: Grenzkante im Raum (rot: Randpunkte des
blau eingefärbten Segmentes S i , magenta: Randpunkte des grün eingefärbten
Nachbarsegmentes) (links); Ergebnis (blau: Segment S i , rot: Nachbarsegmente,
die S i aufgrund des oberflächenbasierten Ansatzes zugeordnet werden, gelb:
Nachbarsegmente, die S i aufgrund des kantenbasierten Ansatzes zugeordnet
werden, grün: Nachbarsegmente, die S i nicht zugeordnet werden) (rechts)
getestet werden. Das Schätzen einer Raumkurve ist im Vergleich zur Schätzung von 3-D-
Oberflächen oder 2-D-Kurven aufwändiger, da Raumkurven in der Regel in parametrischer
Form ausgedrückt werden. Um eine Ausgleichung dieser Art zu umgehen, kann das Problem
entweder durch eine Projektion um eine Dimension reduziert oder die Raumkurve
als Schnitt zweier Oberflächen im Raum beschrieben werden [Shah (2006)]. Eine mögliche
Dimensionsreduktion kann z. B. mit Hilfe einer PCA durchgeführt werden: Nach Transformation
der Grenzkante in das von den Eigenvektoren der Scatter-Matrix aufgespannte
Koordinatensystem wird die Koordinatenrichtung mit dem geringsten Informationsgehalt
– d. h. die Koordinatenrichtung entlang des lokalen Normalenvektors – in die Ausgleichung
nicht mit einbezogen. Da dieses Vorgehen einen Informationsverlust mit sich bringt, wird
in dieser Arbeit auf die zweite Möglichkeit zurückgegriffen: Für die Beschreibung der
beiden Raumkurven wird jeweils eine Hilfsoberfläche konstruiert, indem die Grenzkanten
entlang der lokalen Normalenrichtung verschoben werden. Hierdurch entsteht eine Oberfläche,
deren Schnitt mit dem Segment der Grenzkante entspricht. Da ein ähnlicher Verlauf
der beiden Raumkurven eine ähnliche Form der beiden Hilfsoberflächen impliziert, ist es
91

4 Entwicklung eines Verfahrens zur raum-zeitlichen Segmentierung von natürlichen Objekten
an dieser Stelle ausreichend, die Parameter dieser beiden Hilfsoberflächen zu bestimmen
und anschließend auf Signifikanz zu testen. Hierfür kann analog zu der in Abschnitt 4.3.6.1
beschriebenen Weise vorgegangen werden.
Das Ergebnis des kantenbasierten Region-Mergings ist für ein beispielhaft ausgewähltes
Segment in Abbildung 4.27 (rechts) zu sehen. Verglichen mit dem Ergebnis des oberflächenbasierten
Ansatzes kommt eine neue Punktmenge hinzu: In Gelb sind alle diejenigen
Segmente eingefärbt, die aufgrund des gerade beschriebenen kantenbasierten Ansatzes
zu dem in Blau dargestellten Segment S i hinzugefügt werden. Für das in Abbildung 4.27
(rechts) dargestellte Beispielblatt führt diese Vorgehensweise zu einem sehr guten Ergebnis:
Der bislang fälschlicherweise als einzelnes Segment dargestellte abknickende Teil des
Blattes wird durch diesen kantenbasierten Ansatz als zu S i gehörig erkannt und somit diesem
Segment zugeordnet. Probleme treten jedoch dann auf, wenn zwei sich berührende
Blätter eine gemeinsame Grenzkante besitzen (siehe Abbildung 4.28 (links)). Der kantenbasierte
Ansatz unterscheidet bislang keine Grenzkanten zwischen den Segmenten zweier
verschiedener Blätter von den Grenzkanten zweier Segmente desselben Blattes, sodass
Abb. 4.28: Schwierigkeiten beim kantenbasierten Region-Merging: Grenzkante zweier
fälschlicherweise zusammengefügter Segmente (links); Ergebnis nach
Einführung einer Restriktion (blau: Segment S i , rot: Nachbarsegmente, die S i
aufgrund des oberflächenbasierten Ansatzes zugeordnet werden, gelb: Nachbarsegmente,
die S i aufgrund des kantenbasierten Ansatzes zugeordnet werden,
grün: Nachbarsegmente, die S i nicht zugeordnet werden) (rechts)
92

4.3 Räumliche Segmentierung
Segmente fälschlicherweise zusammengefügt werden. Ein Vergleich der beiden Arten von
Grenzkanten in Abbildung 4.27 (links) und 4.28 (links) motiviert eine Unterscheidung mit
Hilfe der Länge der gemeinsamen Grenze: Während bei zwei sich berührenden Blättern
eine im Verhältnis zu den Umfängen der beiden Segmente sehr kleine gemeinsame Grenze
auftritt, ist die gemeinsame Grenze bei zwei Segmenten desselben Blattes deutlich
länger. Diese Überlegung motiviert ein Kriterium, welches die Länge der Grenzkante im
Vergleich zum Umfang der beiden Segmente beurteilt und eine Entscheidung darüber erlaubt,
ob die beiden Segmente zum selben Blatt gehören oder nicht. Die Definition eines
solchen Kriteriums gestaltet sich ohne Expertenwissen über zu erwartende Blattgrößen in
bestimmten Wachstumsstadien einer Pflanze jedoch schwierig. Aus diesem Grund wurden
für die in dieser Arbeit verwendeten Datensätze empirische Schwellwerte bestimmt,
die unter Berücksichtigung der Umfänge U 1 und U 2 zweier Segmente die Mindestlänge
l min der gemeinsamen Grenzkante festlegen, die die Durchführung eines kantenbasierten
Region-Mergings erlaubt:
⎧
⎪⎨
l min =
⎪⎩
10 cm, für min(U 1 ,U 2 ) ≥ 100 cm
5 cm, für 100 cm > min(U 1 ,U 2 ) ≥ 50 cm
2 cm, für 50 cm > min(U 1 ,U 2 ) ≥ 10 cm
1, 5 cm, sonst .
(4.24)
Ist die Kantenlänge kleiner als l min , wird davon ausgegangen, dass es sich um Segmente
zweier sich berührender Blätter handelt, die nicht zusammengefügt werden dürfen. Mit
dieser Modifikation werden zwei sich berührende Blätter nicht länger fälschlicherweise zusammengefügt,
wie die Abbildung 4.28 (rechts) zeigt: Während die zum selben Blatt wie
S i gehörenden Segmente größtenteils zu diesem hinzugefügt werden, bleibt das zu einem
benachbarten Blatt gehörende Segment unverändert.
Dass diese Vorgehensweise nicht nur für beispielhaft ausgewählte Blätter erfolgreich ist,
zeigen die Abbildungen A6 bis A10 im Anhang A: Dargestellt sind alle Blätter der Aufnahme
E1 08 nach Durchführung des oberflächen- und des kantenbasierten Region-Mergings:
Während der oberflächenbasierte Ansatz das Ergebnis aus der Vorsegmentierung nur in
kleinem Maße verbessert und vor allem kleinere Lücken in den Ergebnissegmenten der
Vorsegmentierung schließt, ist der kantenbasierte Ansatz deutlich erfolgreicher: Die Segmente
aus der Vorsegmentierung werden mit Hilfe dieses Ansatzes so zusammengesetzt,
93

4 Entwicklung eines Verfahrens zur raum-zeitlichen Segmentierung von natürlichen Objekten
dass die Ergebnissegmente im Großen und Ganzen den Blättern der Gurkenpflanze entsprechen.
Gleichzeitig wird eine erfolgreiche Unterscheidung zwischen Crease-Edges innerhalb
eines Blattes und Crease-Edges, die von zwei sich berührenden Blättern gebildet
werden, durchgeführt: Das kantenbasierte Region-Merging fügt in keinem einzigen Fall
zwei Segmente zusammen, die zwei benachbarten Blättern angehören, und löst somit für
die Gurkenblätter das Hauptproblem der Pflanzensegmentierung. Zwar gibt es auch im
Anschluss an das kantenbasierte Region-Merging kleinere Segmente, die dem Blatt fälschlicherweise
nicht zugeordnet werden; diese haben jedoch kaum Einfluss auf die Blattfläche
oder -form, vielmehr ist sogar davon auszugehen, dass diese in der Regel die auf der Segmentierung
aufbauenden Berechnungen wie z. B. die Blattflächenbestimmung verfälschen
würden (siehe hierzu auch 4.3.6.3).
4.3.6.3 Umgang mit kleinen Segmenten
Zu Beginn dieses Abschnittes wurden zunächst alle kleinen Segmente mit fünf oder weniger
Punkten aus den Berechnungen ausgeschlossen. Der Grund hierfür ist, dass diese Segmente
keine repräsentative Oberfläche beschreiben und im kantenbasierten Ansatz aufgrund ihrer
Größe ohnehin nicht berücksichtigt werden. Mit diesen kleinen Segmenten kann auf zwei
Arten umgegangen werden: Entweder sie werden demjenigen Nachbarsegment zugeordnet,
zu dem sie den kleinsten Abstand haben, oder sie werden ohne weitere Berechnungen
einer Störklasse zugeordnet. In dieser Arbeit wird aus folgendem Grund der zweite Ansatz
bevorzugt: Der Algorithmus nach Felzenszwalb u. Huttenlocher (2004) berücksichtigt
aufgrund des adaptiven Segmentierungskriteriums ein gewisses Maß an Rauschen in den
Messdaten. Wenn insbesondere sehr kleine Punktgruppen innerhalb einer Segmentierung
dennoch von den benachbarten Punkten getrennt werden, ist davon auszugehen, dass diese
Punkte besonders stark rauschen. Im Hinblick auf die folgenden Berechnungen, die u. a.
eine Blattflächenbestimmung beinhalten, führt ein starkes Rauschen zu einer Verfälschung
des Ergebnisses (siehe hierzu auch Abschnitt 5.2). Das Trennen dieser Punktgruppen von
den benachbarten Punkten durch den Algorithmus nach Felzenszwalb u. Huttenlocher
(2004) kann somit als eine Art Ausreißerbeseitigung interpretiert werden.
94

4.3 Räumliche Segmentierung
4.3.7 Ergebnisse der räumlichen Segmentierung
Die endgültig segmentierte Punktwolke der Aufnahme E1 08 ist in Abbildung 4.29 (links)
zu sehen. Sowohl die extrahierte Kiste, in der die Gurkenpflanze wächst, als auch alle
Segmente, denen weniger als n = 500 Punkte angehören, werden der weiß dargestellten
Störklasse zugeordnet. Damit verbleibt ein zum Stiel der Pflanze gehörendes Segment im
unteren Teil der Pflanze (in Abbildung 4.29 in Magenta dargestellt), das über die Position
als nicht zu den Blättern zugehörig identifiziert werden kann, sowie die gesuchten Blätter,
die in Abbildung 4.29 (rechts) noch einmal gesondert dargestellt sind. Die Betrachtung der
gesamten segmentierten Punktwolke zeigt bereits, dass das Ziel der Segmentierung – die
Extraktion der Blätter vom Rest der Punktwolke – mit dem in dieser Arbeit entwickelten
Ansatz für den verwendeten Datensatz erreicht wird.
Abb. 4.29: Segmentierte Punktwolke der Aufnahme E1 08 : Gesamte Punktwolke (links);
segmentierte Blätter (rechts);
(Vergrößerte Darstellung in Abbildung A4)
Die Segmentierungsergebnisse der anderen Datensätze vom ersten Messtag befinden sich
im Anhang A in der Abbildung A11 und bestätigen größtenteils diesen Eindruck, es treten
jedoch auch Unstimmigkeiten auf:
• Zum einen wird eines der beiden obersten Blätter in den drei zeitlich späteren Aufnahmen
der Störklasse zugeordnet, während es in der zeitlich ersten Aufnahme als
95

4 Entwicklung eines Verfahrens zur raum-zeitlichen Segmentierung von natürlichen Objekten
Blatt segmentiert wird (eingefärbt in Hellblau). Die Ursache hierfür liegt in der
Größe des Segmentes, die in den verschiedenen Segmentierungen um den Schwellwert
schwankt, der für die Zuordnung zur Störklasse ausschlaggebend ist. Falls dieses
Blatt für spätere Berechnungen von Interesse wäre, müsste dieser Schwellwert
gegebenenfalls angepasst werden.
• Zum anderen treten in den beiden Aufnahmen E2 08 und E4 08 an einem bzw. an
zwei Blättern Übersegmentierungen auf. Diese beiden Blätter sind in der Abbildung
4.30 gesondert dargestellt. Die beiden Segmente des linken Blattes besitzen – obwohl
sie demselben Blatt angehören – eine im Verhältnis zu den Segmentumfängen kurze
Grenzkante, sodass die Bedingung 4.24 nicht erfüllt ist und ein mögliches kantenbasiertes
Region-Merging fälschlicherweise abgefangen wird. Wie die vollständigen
Segmentierungen dieses Blattes in den anderen beiden Datensätzen zeigen, erweist
sich die Länge dieser Grenzkante jedoch als Grenzfall, da sie nur in zwei der Aufnahmen
unter der geforderten Mindestlänge l min liegt. Dass dieser Fall überhaupt auftritt,
liegt daran, dass die gelb umkreisten, weiß dargestellten Punkte der Störklasse
keinem der beiden Segmente zugeordnet werden, woraus die zu kurze Grenzkante
resultiert. Dass diese Punkte in der Segmentierung nicht dem Blatt zugeordnet werden,
liegt an der verhältnismäßig geringen Punktdichte in diesem Bereich, die z. B.
durch immer noch auftretende Verdeckungen verursacht wird. Die geringe Punkt-
Abb. 4.30: Übersegmentierte Blätter der Aufnahme E4 08
96

4.3 Räumliche Segmentierung
dichte erschwert die Berechnung eines zuverlässigen Normalenvektors, sodass dieser
Bereich nach der Vorsegmentierung der Störklasse zugeordnet wird.
Die beiden Segmente des rechten Blattes in Abbildung 4.30 besitzen eine Grenzkante,
deren Länge oberhalb der für ein kantenbasiertes Region-Merging geforderten
Mindestlänge liegt. Aufgrund des Hypothesentests wird die Nullhypothese jedoch
verworfen, sodass dieses Blatt entweder ein typischer Fall für das Vorliegen eines
Fehlers 1. Art ist oder die beiden Grenzkanten nicht deutlich genug ausgeprägt
sind, sodass sie tatsächlich zwei verschiedene Raumkurven beschreiben. Abgesehen
von dieser Übersegmentierung handelt es sich bei diesem Blatt ohnehin um einen
Problemfall“: Dass aufgrund der nicht segmentierten Blattspitze sowie nicht segmentierter
Punkte in der Mitte des Blattes ein sehr unvollständiger Eindruck
”
entsteht,
liegt nicht etwa an einer fehlerhaften Segmentierung, sondern an den Daten,
die in der Mitte des Blattes nur in sehr geringer Auflösung vorliegen und somit eine
zusammenhängende Segmentierung erschweren. Hinzu kommt, dass die Blattspitze
in der Punktwolke direkt in das Gelb umkreiste Target übergeht. Das führt in dieser
Aufnahme dazu, dass sie nicht als dem Blatt zugehörig erkannt wird, während in der
Aufnahme E1 08 dieses Target über die Verbindung mit der Blattspitze dem Blatt
fälschlicherweise zugeordnet wird (siehe Abbildung 4.29).
Die beiden Blätter aus Abbildung 4.30 bilden jedoch die Ausnahme in einer ansonsten sehr
zufriedenstellenden Segmentierung. Die Abbildung 4.31 fasst die Qualität der erzielten Ergebnisse
sehr gut anhand zweier beispielhaft ausgewählter Segmente zusammen: Zu sehen
sind in beiden Darstellungen dieselben Segmente (eingefärbt in Grün bzw. in Gelb), wobei
in der linken der beiden Abbildungen zusätzlich die Punkte der Störklasse dargestellt
sind. Diese zusätzlich dargestellte Störklasse lässt eine Beurteilung der Vollständigkeit der
segmentierten Blätter zu: Zwar liegen insbesondere im Innern eines Blattes viele Punkte
vor, die dem Blatt nicht zugeordnet werden; diese haben aufgrund der immer noch hohen
Punktdichte jedoch keine Auswirkungen auf die spätere Ableitung von geometrischen
Merkmalen. Problematisch ist in dieser Hinsicht nur eine unvollständige Segmentierung
der Randbereiche, die bei diesen beiden Beispielblättern jedoch nur an der rot umkreisten
Stelle deutlich erkennbar auftritt. Im Großen und Ganzen geben die Segmente somit die
tatsächliche Form der Blätter sehr gut wieder – unabhängig davon, wie stark die Blätter
97

4 Entwicklung eines Verfahrens zur raum-zeitlichen Segmentierung von natürlichen Objekten
Abb. 4.31: Beispielhaft ausgewählte segmentierte Blätter: mit Darstellung der Störklasse
(links); ohne Darstellung der Störklasse (rechts)
Abb. 4.32: Segmentierte Punktwolke der Aufnahme E1 23 : gesamte Punktwolke (links);
segmentierte Blätter (rechts);
(Vergrößerte Darstellung in Abbildung A5)
98

4.3 Räumliche Segmentierung
verformt sind. Gleichzeitig erfolgt eine saubere Trennung von benachbarten Blättern.
Bislang wurde der Segmentierungsalgorithmus nur auf den Datensatz vom 08.05.2013
angewandt. Dass der in der vorliegenden Arbeit entwickelte Algorithmus auch für eine
Pflanze in einem anderen Wachstumsstadium zufriedenstellende Ergebnisse liefert, zeigt
die Abbildung 4.32, in der der segmentierte Datensatz E1 23 dargestellt ist. Das Ergebnis
ist prinzipiell dem Segmentierungsergebnis der Daten vom 08.05.2013 sehr ähnlich:
Die Blätter der Gurkenpflanze sind im Großen und Ganzen vollständig segmentiert, ohne
dass Untersegmentierungen auftreten. Probleme zeigen sich dagegen erneut an Stellen
mit geringerer Punktdichte, wie aus der Abbildung 4.33 ersichtlich ist, in der zwei Blätter
beispielhaft dargestellt sind. Beide Blätter sind in den beiden rot umkreisten Bereichen
unvollständig erfasst, wie die zusätzliche Darstellung der Störklasse verdeutlicht.
Abb. 4.33: Übersegmentierte Blätter der Aufnahme E1 23 , frontale Blickrichtung auf Beispielblatt
1 (links); Blickrichtung von oben auf Beispielblatt 2 (rechts)
Im Fall des linken Blattes kann diese Datenlücke nur durch eine ungleichmäßige horizontale
Bewegung des MSS erklärt werden, da der Laserscanner dieses Blatt frontal erfasst
und daher keine Verdeckungen auftreten können.
Die unvollständige Erfassung des rechten Blattes ist dagegen in der horizontalen Ausrichtung
des Laserscanners begründet und stellt somit ein generelles Problem dar, das sich
aus dem Aufbau des MSS ergibt. Die Abbildung 4.34 verdeutlicht diese Situation: Die
Laserstrahlen werden vom Laserscanner zwar in gleichen horizontalen Abständen ausgesandt,
treffen aufgrund der Krümmung der Blätter jedoch nicht in gleichen Abständen
99

4 Entwicklung eines Verfahrens zur raum-zeitlichen Segmentierung von natürlichen Objekten
Abb. 4.34: Schematisch dargestellter Verlauf der Laserstrahlen bei annähernd horizontal
ausgerichteten Blättern
auf die Pflanze. Besonders problematisch wirkt sich das bei Blättern aus, von denen Teile
ebenfalls horizontal im Raum liegen. Diese Bereiche (in Abbildung 4.34 blau umkreist)
können mit einem horizontal ausgerichteten Laserscanner nicht oder nur unvollständig
erfasst werden. In den Daten des Messtages 05.08.2013 tritt dieses Problem nicht auf,
da die Blätter alle nach unten geneigt sind. Dagegen tritt es in den Daten des zweiten
Messtages – wie die Segmentierungsergebnisse der Aufnahmen E2 23 bis E5 23 in Abbildung
A12 zeigen – als generelles Problem auf, das eine zufriedenstellende Segmentierung aller
Blätter unmöglich macht. Da für eine Lösung dieses Problems jedoch die Art der Datenerfassung
modifiziert werden müsste – beispielsweise durch Veränderung der Ausrichtung
des Laserscanners – und die Ursache für die zum Teil fehlerhaften Segmentierungsergebnisse
nicht in der Segmentierung an sich liegt, können die vorliegenden Ergebnisse als
zufriedenstellend angesehen werden und somit als Grundlage für die Segmentierung der
zeitlich aufeinanderfolgenden Aufnahmen dienen.
4.4 Segmentierung in zeitlich aufeinanderfolgenden
Aufnahmen
Aus den Ergebnissen der räumlichen Segmentierung können geometrische Merkmale wie
z. B. Blattgröße, -umfang o. Ä. abgeleitet werden. Für die Beobachtung einer Pflanze,
insbesondere die Feststellung von Veränderungen, sind diese Ergebnisse jedoch noch nicht
geeignet, da zwischen den einzelnen Aufnahmen kein zeitlicher Bezug besteht. Die Herstellung
eines solchen Bezuges mit Hilfe einer zeitlichen Segmentierung stellt den Schwerpunkt
dieses Abschnittes dar.
100

4.4 Segmentierung in zeitlich aufeinanderfolgenden Aufnahmen
4.4.1 Entwicklung einer zeitlichen Segmentierungsstrategie
Im Abschnitt 3.5 wurden zwei Vorgehensweisen für eine zeitliche Segmentierung vorgestellt.
Da im ersten Schritt der räumlichen Segmentierung ein graphbasiertes Verfahren
verwendet wurde (vgl. Abschnitt 4.3.5), bietet es sich prinzipiell an, für die zeitliche Segmentierung
den verwendeten Graphen um die vierte Dimension zu erweitern und direkt
dieses raum-zeitliche Volumen zu segmentieren (vgl. Abschnitt 3.5.2). Würde die Segmentierung
mit Hilfe des Algorithmus nach Felzenszwalb u. Huttenlocher (2004) direkt
ein zufriedenstellendes Ergebnis liefern, wäre diese Vorgehensweise die einfachste. Da dies
jedoch nicht der Fall ist und daher in dem relativ aufwändigen Region-Merging auch die
vierte Dimension berücksichtigt werden müsste, wird von dieser Vorgehensweise abgesehen.
Stattdessen erfolgt in dieser Arbeit eine zeitliche Segmentierung mit Hilfe eines Regionentrackings,
indem auf die aus der räumlichen Segmentierung vorhandene Information
über die Blattform und -größe zurückgegriffen wird, um die entsprechenden Blätter in der
zeitlich nächsten Aufnahme wiederzufinden.
Die Segmentierungsergebnisse der einzelnen räumlichen Aufnahmen zeigen in einigen
Fällen den von Brendel u. Todorovic (2009) beschriebenen Effekt, dass sich Segmente
von einer Aufnahme zur nächsten aufteilen. Dieser Effekt tritt z. B. beim Datensatz vom
08.05.2013 von der zeitlich ersten zur zeitlich zweiten Aufnahme auf, wie aus der Abbildung
4.35 ersichtlich ist: Während das weiß umkreiste Gurkenblatt in der Segmentierung
des Datensatzes E1 08 durch ein einziges Segment repräsentiert wird, befinden sich an der
Stelle dieses Blattes in der zeitlich folgenden Aufnahme zwei Segmente 3 . Aus diesem
Grund bietet es sich an, für die zeitliche Segmentierung ein Shape-Matching-Verfahren
anzuwenden, welches korrespondierende Segmente mit Hilfe ihrer Form identifiziert, sodass
der oben beschriebene Effekt nur geringen Einfluss auf die Segmentierungsergebnisse
besitzt. Bestenfalls sollten sogar Übersegmentierungen unter Zuhilfenahme der Segmentierungsergebnisse
anderer Aufnahmen aufgedeckt und eliminiert und somit das zum Teil
fehlerhafte Ergebnis der räumlichen Segmentierung verbessert werden können.
3 Zu beachten ist, dass in diesen Darstellungen übereinstimmende Farben derselben Blätter zufällig
entstehen. Die Farbcodierungen der Segmente lassen also keine Aussagen über vorliegende Korrespondenzen
zu.
101

4 Entwicklung eines Verfahrens zur raum-zeitlichen Segmentierung von natürlichen Objekten
Abb. 4.35: Aufteilung eines Segmentes von einer räumlichen Segmentierung zur nächsten:
Segmentierungsergebnis der Aufnahme E1 08 (links); Segmentierungsergebnis
der Aufnahme E2 08 (rechts)
Von der Vielzahl bestehender Verfahren wird das von Brendel u. Todorovic (2009) vorgeschlagene
Shape-Matching-Verfahren auf Basis des DTW-Algorithmus verwendet, da
dieser auch einen Vergleich sehr komplexer Segmentränder erlaubt.
4.4.2 Registrierung der Aufnahmen unterschiedlicher
Aufnahmeepochen
Für die Durchführung eines solchen Shape-Matchings müssen zunächst in den zeitlich
verschiedenen Aufnahmen potentielle korrespondierende Segmente identifiziert werden,
deren Ähnlichkeit anschließend mit Hilfe des DTW-Algorithmus beurteilt wird. Die Suche
nach Korrespondenzen kann in dieser Arbeit sehr einfach gestaltet werden, da sich
die Position der Pflanze an sich nicht verändert. Die einzigen zu erwartenden Bewegungen
finden in den Blättern statt, wobei es sich hierbei vor allem um Verformungen oder ein
leichtes Auf- und Abbewegen der Blätter handelt – die Position am Stiel wird jedoch trotz
dieser Bewegungen immer beibehalten. Aus diesem Grund kann eine grobe Zuordnung der
Segmente aus den unterschiedlichen Zeitepochen über die Position erfolgen.
102

4.4 Segmentierung in zeitlich aufeinanderfolgenden Aufnahmen
Die einzige Voraussetzung für eine solche Vorgehensweise
ist, dass alle Aufnahmen im selben Koordinatensystem
vorliegen. Die Wiederherstellbarkeit
der jeweiligen Aufnahmepositionen (vgl.
Abschnitt 2.3.3) führt zwar dazu, dass die verschiedenen
Aufnahmen grob registriert sind, was
jedoch nicht ausreicht, wie die Abbildung 4.36
zeigt: Zu sehen sind zwei zu verschiedenen Zeitpunkten
aufgenommene Punktwolken, die in der
X- und Y-Koordinate zwar sehr gut übereinzustimmen
scheinen, in der Z-Koordinate jedoch
einen deutlich erkennbaren Offset besitzen. Eine
Verbesserung dieser Grobregistrierung ist somit
Abb. 4.36: Offset in der Z-Koordinate unerlässlich. Sie erfolgt an dieser Stelle mit Hilfe
eines Matching-Verfahrens. Als korrespondie-
zweier zu verschiedenen
Zeitpunkten aufgenommenen
Punktwolken
der Kiste, die zum einen stabil und zum anderen
rende Punkte dienen die oberen vier Eckpunkte
in allen Aufnahmen enthalten sind und darüber
hinaus relativ einfach extrahiert werden können:
Diese vier Punkte werden durch die vier bereits extrahierten senkrechten Seitenwände der
Kiste sowie die waagerechte Unterseite der Styroporplatte definiert. Letztere kann zwar
nicht direkt aus dem Scan extrahiert werden, kann jedoch aus den Unterkanten der drei
extrahierten senkrechten Styroporflächen konstruiert werden. Die vier gesuchten Punkte
ergeben sich damit als die vier Schnittpunkte dieser fünf Ebenen. Diese Situation ist beispielhaft
in Abbildung 4.37 (links) dargestellt. Zu sehen sind in Blau alle Punkte, die den
Seitenwänden der Kiste zugeordnet werden. Da fälschlicherweise auch Punkte der Styroporplatte
diesen Flächen zugeordnet werden, können die Seitenwände der Kiste nicht für
die Definition der oberen Kistenkante verwendet werden. Hingegen beschreiben die grün
eingefärbten Styroporflächen nach unten hin saubere Kanten, aus denen sich die benötigte
fünfte Ebene konstruieren lässt und die gesuchten vier Kantenpunkte – dargestellt in
Gelb – bestimmen lassen.
103

4 Entwicklung eines Verfahrens zur raum-zeitlichen Segmentierung von natürlichen Objekten
Abb. 4.37: Zeitliche Registrierung: Bestimmung der Kisten-Eckpunkte (links); Ergebnis
(rechts)
Da vier Punkte für die Durchführung einer stabilen Registrierung nicht ausreichend sind,
werden durch Verschieben dieser Punkte in Z-Richtung vier weitere Punkte konstruiert,
sodass in jeder Aufnahme insgesamt acht Punkte vorliegen, die die Grundlage für das
Matching bilden. Die Zuordnung dieser Punkte zu ihren Korrespondenzen in einer zeitlich
späteren Aufnahme kann aufgrund der kontrollierten Umgebung über die Suche nach
nächsten Nachbarn erfolgen. Die gesuchten Transformationsparameter werden nach Identifikation
der Korrespondenzen mit Hilfe einer 3-D-Helmert-Transformation nach Blech
u. Illner (1989) bestimmt.
Das Ergebnis einer solchen zeitlichen Registrierung ist beispielhaft für die Datensätze
E1 08 und E2 08 in Abbildung 4.37 (rechts) zu sehen. Dargestellt ist ein Ausschnitt beider
Punktwolken – blau bzw. grün eingefärbt –, in dem die Kiste zu erkennen ist, deren Kanten
durch diese hier beschriebene zeitliche Registrierung sehr gut zur Deckung gebracht
wurden.
Zur Beurteilung der Qualität der zeitlichen Registrierung lässt sich der mittlere Fehler
der korrespondierenden Punkte heranziehen: Während dieser für die Registrierung der
Datensätze E1 08 und E2 08 vor der Durchführung der Transformation knapp 25 mm beträgt,
liegt er nach der Registrierung der Datensätze mit 8 mm deutlich unterhalb der
Messgenauigkeit. Damit sind die Aufnahmen für die folgende Anwendung ausreichend
gut registriert, sodass auf eine anschließende Feinregistrierung verzichtet werden kann.
104

4.4 Segmentierung in zeitlich aufeinanderfolgenden Aufnahmen
4.4.3 Shape-Matching mit Hilfe des Dynamic Time Warping
Nach Durchführung der Registrierung sind alle Voraussetzungen erfüllt, um ein Shape-
Matching durchzuführen. Das grundsätzliche Ziel dieser zeitlichen Segmentierung ist die
Identifizierung von identischen Blättern in den verschiedenen Punktwolken. Hierbei müssen
prinzipiell zwei Fälle unterschieden werden:
• Die verschiedenen Aufnahmen wurden in relativ kurzen zeitlichen Abständen durchgeführt.
Das gilt z. B. für den Datensatz vom 08.05.2013 oder für den Datensatz vom
23.05.2013. Ziel des Pflanzenmonitorings ist das Aufdecken von kurzfristigen morphologischen
Anpassungen, die z. B. durch Trockenstress hervorgerufen werden. Da
diesen Aufnahmen kurz hintereinander erfolgen, findet kein aufdeckbares Wachstum
der Pflanze statt; die Blattgrößen an sich bleiben also unverändert und es finden
verhältnismäßig geringe Bewegungen und/oder Verformungen statt. In solch einer
Situation können die Segmentierungsergebnisse von anderen Aufnahmen herangezogen
werden, um die Segmente eines fälschlicherweise übersegmentierten Blattes
zu einem Segment zusammenzufassen und somit die räumliche Segmentierung zu
verbessern.
• Liegt ein großer zeitlicher Abstand zwischen den Aufnahmen der verschiedenen Zeitepochen
– beispielsweise zwischen der ersten Aufnahme des 08.05.2013 und der
ersten Aufnahme des 23.05.2013 –, findet neben deutlichen Bewegungen und Verformungen
auch ein Wachstum der Blätter statt. In diesem Fall verändern sich die
Blätter so stark, dass eine Verbesserung der räumlichen Segmentierung nicht möglich
sein wird.
Im Folgenden wird zunächst das Shape-Matching für den ersten der beiden Fälle beschrieben,
bevor anschließend dieser Ansatz modifiziert wird, um ihn auch für den zweiten Fall
anwendbar zu machen.
Die Grundlage für das Shape-Matching bilden mindestens zwei bereits segmentierte Datensätze
D j und D j+1 , die zu den Zeitpunkten t j bzw. t j+1 aufgenommen wurden. Im
ersten Schritt des Shape-Matchings werden in den Segmenten S j+1
l
der Aufnahme D j+1
potentielle Matching-Partner zu den Segmenten S j i
der Aufnahme D j gesucht. Aufgrund
der relativ geringen Blattbewegungen kann diese erste grobe Zuordnung über eine Ra-
105

4 Entwicklung eines Verfahrens zur raum-zeitlichen Segmentierung von natürlichen Objekten
diussuche erfolgen, in der jedes Segment durch seinen Schwerpunkt charakterisiert wird.
Im optimalen Fall liefert diese Radiussuche für das Segment S j i genau einen Matching-
Partner. Es kommt jedoch durchaus vor, dass sich mehr als ein Segment in der näheren
Umgebung befindet; das ist dann der Fall, wenn Blätter sehr dicht beieinander liegen oder
wenn ein Blatt in einer der beiden Aufnahmen übersegmentiert ist.
Das Ziel des Shape-Matchings ist es, aus dieser Liste von potentiellen Matching-Partnern
das zu S j i
ähnlichste Segment bzw. diejenige Kombination von Segmenten, die als Gesamtheit
die größte Ähnlichkeit mit S j i
besitzen, auszuwählen.
Die Beurteilung der Ähnlichkeit zweier Segmente S j i
und Sj+1
l
der Formen, die durch die beiden sortierten Sequenzen der Randpunkte R j i
erfolgt über einen Vergleich
bzw. Rj+1
l
(vgl.
Abschnitt 4.3.6.2) charakterisiert werden: Mit Hilfe des in Abschnitt 3.5.3 vorgestellten
DTW werden die Gesamtkosten bestimmt, die bei einer Überführung von R j i in R j+1
l
entstehen, wobei als Kostenfunktion in dieser Arbeit die euklidische Distanz verwendet
wird. Um den Einfluss von Blattbewegungen auf die Kosten des DTW abzuschwächen,
wird vor Berechnung der Kosten eine Translation des potentiellen Matching-Partners auf
den Schwerpunkt des Segmentes S j i durchgeführt, wobei sich der Translationsvektor aus
der Differenz der Schwerpunkte berechnet.
Zu beachten ist, dass es sich bei R j i
und Rj+1
l
zunächst um zyklische Sequenzen handelt, die
für eine Anwendung des klassischen DTW-Algorithmus an einem geeigneten Punkt aufgetrennt
werden müssen. Brendel u. Todorovic (2009) stellen mit ihrem Circular-Dynamic-
Time-Warping-Algorithmus eine Möglichkeit für die Lösung dieses Problems vor. In der
vorliegenden Arbeit können aufgrund der Tatsache, dass keine Verdrehungen der Blätter
zu erwarten sind, für ein Aufsplitten der beiden Sequenzen diejenigen Punkte aus R j i und
R j+1
l
verwendet werden, die den geringsten Abstand voneinander besitzen.
Durch diese Vorgehensweise können für das Segment S j i
und jeden seiner potentiellen
Matching-Partner die Gesamtkosten des DTW c DTW berechnet werden. Diese Gesamtkosten
sind untereinander jedoch noch nicht vergleichbar, da sie sich aus der Addition aller
Einzelkosten ergeben und somit umso größer werden, je mehr Randpunkte ein Segment
besitzt. Aus diesem Grund wird nach Berechnung der Kosten eine Normierung durchgeführt,
die die mittleren Kosten c DTW liefert:
c DTW =
c DTW
min(n 1 ,n 2 ) , (4.25)
106

4.4 Segmentierung in zeitlich aufeinanderfolgenden Aufnahmen
mit:
n 1 : Anzahl der Punkte in R j i (4.26)
n 2 : Anzahl der Punkte in R j+1
l
. (4.27)
Für den Fall, dass keine Übersegmentierungen auftreten und somit jedes Segment genau
ein korrespondierendes Segment besitzt, kann dieses über den kleinsten dieser Kostenwerte
c min identifiziert werden. Da – wie die Ergebnisse der räumlichen Segmentierung zeigen
– solch eine Situation jedoch nicht vorausgesetzt werden kann, werden ähnlich wie von
Husain u. a. (2006) vorgeschlagen, zusätzlich die Kosten für zusammengesetzte Segmente
bestimmt: Ausgangspunkt ist das Segment mit den niedrigsten Kosten, das mit jedem
verbleibenden potentiellen Matching-Kandidaten zu jeweils einem neuen Segment zusammengesetzt
wird. Aus der Gesamtheit dieser Zweierkombinationen wird erneut dasjenige
zusammengesetzte Segment ausgewählt, welches die niedrigsten Kosten c min2
verursacht.
Sind diese Kosten kleiner als die Kosten c min , wird analog zu dieser Vorgehensweise Schritt
für Schritt der jeweils am besten passende potentielle Matching-Partner diesem zusammengesetzten
Segment hinzugefügt. Die Iteration wird entweder abgebrochen, wenn das
zusammengesetzte Segment alle potentiellen Matching-Partner enthält oder wenn sich der
Kostenwert durch Hinzufügen eines weiteren Teilsegmentes erhöht.
Das Ergebnis dieses Verfahrens ist eine Liste, die jedem Segment S j i
ein oder mehrere
korrespondierende Segmente S j+1
l
zuordnet. In diesem Fall dienen die Segmente S j i als
eine Art Template, sodass Übersegmentierungen im Datensatz D j+1 aufgedeckt werden
können. Um im Umkehrschluss auch Übersegmentierungen im Datensatz D j aufdecken
zu können, wird das Verfahren mit den Segmenten S j+1
l
als Templates wiederholt. Im
Anschluss daran werden aus beiden Listen diejenigen Segment-Paare ausgewählt, die die
geringsten Kosten verursachen. Diese Suche erfolgt gierig, d. h. es wird zunächst dasjenige
Segment-Paar ausgewählt, welches unter allen möglichen Paaren die geringsten Kosten
verursacht. Nach Identifizierung dieses ersten Paares werden alle weiteren Paare aus der
Liste entfernt, die eines der beiden Segmente enthalten, und aus den verbleibenden Paaren
wird erneut das mit den geringsten Kosten ausgewählt. Die Iteration wird so lange
durchgeführt, bis keine Segmentpaare mehr in der Liste enthalten sind.
107

4 Entwicklung eines Verfahrens zur raum-zeitlichen Segmentierung von natürlichen Objekten
Für den zu Beginn dieses Abschnitts beschriebenen zweiten Fall kann dieses Verfahren
vereinfacht werden: Da eine Verbesserung der räumlichen Segmentierung für diese Situation
ausgeschlossen wurde, müssen keine zusammengesetzten Segmente betrachtet werden,
womit auch die abwechselnde Betrachtung der Segmente beider Datensätze als Templates
überflüssig wird. Es reicht somit aus, für jedes Segment und seine möglichen Matching-
Partner die Kosten des DTW zu berechnen. Die Auswahl der zusammengehörenden Segmente
erfolgt anschließend wie oben beschrieben.
4.4.4 Ergebnisse der zeitlichen Segmentierung
Das Ergebnis der zeitlichen Segmentierung für den Fall, dass die Aufnahmen in kurzen
zeitlichen Abständen erfolgen, ist in Abbildung 4.38 dargestellt. Zu sehen sind die segmentierten
Aufnahmen E1 08 und E2 4 08 . Die Abbildungen zeigen, dass der verwendete
Shape-Matching-Algorithmus die Erwartungen voll und ganz erfüllt: Zum einen erfolgt ein
Tracking der Segmente über die Zeit, d. h. jedem Segment aus der zeitlich ersten Aufnahme
wird sein Pendant aus den zeitlich folgenden Aufnahmen zugeordnet. Erkennbar wird
diese erfolgreiche Zuordnung durch die Einfärbung der Segmente: Besitzt ein Segment in
allen Aufnahmen dieselbe Farbe, wird es als dasselbe Segment erkannt. Zum anderen wird
4 Die gesamte segmentierte Zeitreihe dieses Datensatzes findet sich im Anhang, in der Abbildung A13.
Abb. 4.38: Ergebnis der zeitlichen Segmentierung bei kurzen Zeitabständen: Aufnahme
E1 08 (links); Aufnahme E2 08 (rechts)
108

4.4 Segmentierung in zeitlich aufeinanderfolgenden Aufnahmen
das Ergebnis der räumlichen Segmentierung in der zeitlichen Segmentierung verbessert.
Besonders deutlich wird dieser Effekt bei dem in Abbildung 4.38 gelb eingefärbten Segment.
Dieses Segment entspricht dem linken der beiden in Abbildung 4.30 dargestellten
Problemblätter“, welches in zwei der vier Aufnahmen ohne Betrachtung der zeitlichen
”
Zusammenhänge übersegmentiert wird. Nach der zeitlichen Segmentierung wird dieses
Blatt in allen vier Aufnahmen als ein einziges Segment dargestellt – die Information aus
der ersten Aufnahme, dass sich an dieser Position nur ein einziges Blatt befindet, wird
somit erfolgreich dazu verwendet, die Übersegmentierung zu eliminieren.
Das Tracking der Blätter des Datensatzes vom 08.05.2013 gelingt insofern problemlos, als
so gut wie keine Blattbewegungen auftreten. Völlig anders sieht das bei einer zeitlichen
Segmentierung über einen größeren Zeitraum aus. In Abbildung 4.39 ist die zeitliche Segmentierung
der Datensätze E1 08 und E1 23 zu sehen – zwischen diesen Aufnahmen liegen
somit nicht nur einige Minuten, sondern gut zwei Wochen. Auffällig sind zunächst die
weiß eingefärbten Segmente: Bei ihnen handelt es sich um Segmente, die in der zeitlich
vorhergehenden/nachfolgenden Aufnahme keinen Matching-Partner besitzen. In der rechten
der beiden Abbildungen ist dieser Effekt zu erwarten, da sich durch das Wachstum
der Pflanze neue Blätter gebildet haben, zu denen kein Pendant in der zeitlich früheren
Abb. 4.39: Ergebnis der zeitlichen Segmentierung bei langen Zeitabständen: Aufnahme
E1 08 (links); Aufnahme E1 23 (rechts)
109

4 Entwicklung eines Verfahrens zur raum-zeitlichen Segmentierung von natürlichen Objekten
Aufnahme existieren kann. Diese weißen Segmente treten jedoch auch in der linken der
beiden Aufnahmen im oberen Teil der Pflanze auf und entstehen dann, wenn die Blattbewegungen
so stark sind, dass die korrespondierenden Blätter (gekennzeichnet durch die
farbigen Umkreisungen) über die Radiussuche nicht gefunden werden. Dieses Problem
betrifft den oberen Teil der Pflanze, da insbesondere in diesem Bereich aufgrund des
Wachstums starke Blattbewegungen und -verformungen stattfinden. Ein weiteres nicht
zugeordnetes Segment tritt in der zeitlich späteren Aufnahme in der Mitte der Pflanze
auf (hellblau umkreist). Dass es keinem Segment aus der zeitlich früheren Aufnahme zugeordnet
wird, hat seine Ursache in einer Falschzuordnung: Auslöser ist das in der rechten
Darstellung blau umkreiste Segment: Bei dem entsprechenden Blatt handelt es sich um
eines der Keimblätter, das in der zeitlich früheren Aufnahme so klein ist, dass es nicht
als Blatt erkannt wird, sondern zusammen mit dem Stiel der Störklasse zugeordnet wird.
Mit dem Entstehen“ eines neuen Blattes in den unteren Teilen der Pflanze kann der Algorithmus
nicht umgehen: Aufgrund der ähnlichen Form und der zusätzlichen räumlichen
”
Nähe erfolgt an dieser Stelle eine Falschzuordnung, womit für das hellblau umkreiste Segment
kein Matching-Partner mehr vorhanden ist. Von dieser Falschzuordnung abgesehen,
liefert die zeitliche Segmentierung auch für einen zeitlich großen Abstand gute Ergebnisse:
Für die sieben restlichen Blätter werden trotz deutlich erkennbarer Blattbewegungen die
richtigen Korrespondenzen gefunden.
4.5 Analyse und Bewertung des entwickelten
Segmentierungsansatzes
In Abschnitt 4.3.7 wurde bereits gezeigt, dass die Punktwolke einer Zeitepoche mit Hilfe
des in der vorliegenden Arbeit entwickelten Segmentierungsalgorithmus trotz des starken
Rauschens in den Daten zufriedenstellend segmentiert wird: In keiner der segmentierten
Beispieldatensätze treten Untersegmentierungen auf; gleichzeitig besitzt der Großteil der
auftretenden Übersegmentierungen kaum einen Einfluss auf spätere Berechnungen, da es
sich in der Regel um kleinere Punktgruppen handelt, die sich in der Mitte eines Blattes
befinden. Kritisch werden Übersegmentierungen nur dann, wenn sie sich am Rand eines
Blattes befinden und dazu führen, dass die Form des Blattes durch das entsprechende
110

4.5 Analyse und Bewertung des entwickelten Segmentierungsansatzes
Segment nur unvollständig wiedergegeben wird. Diese Fälle treten zwar auf, sind in der
Regel jedoch auf eine geringe Datendichte zurückzuführen, die in der Datenerfassung begründet
liegt.
Die Güte der endgültigen Segmentierung ist stark vom Ergebnis der Vorsegmentierung
abhängig: Die Voraussetzung für ein erfolgreiches Region-Merging stellt eine vorsegmentierte
Punktwolke ohne Untersegmentierungen dar. Ist diese Bedingung nicht erfüllt,
treten garantiert auch im endgültigen Ergebnis Untersegmentierungen auf, was für die
späteren Anwendungen nicht als zufriedenstellend angesehen werden kann. Gleichzeitig
erschweren zu starke Übersegmentierungen ein Region-Merging, denn insbesondere der
kantenbasierte Ansatz setzt voraus, dass für jedes der Blätter ein verhältnismäßig großes
Segment existiert, welches um benachbarte kleinere Segmente erweitert wird. Würde sich
jedes Blatt aus einer Vielzahl kleiner Segmente zusammensetzen, würde die Einführung
einer Kantenmindestlänge ihren Zweck nicht erfüllen und damit die Unterscheidung zwischen
Crease-Edges innerhalb eines Blattes und Crease-Edges, die von zwei benachbarten
Blättern gebildet werden, scheitern. Der Parameter, der das Auftreten von Über- und Untersegmentierungen
steuert, ist die Konstante κ bzw. die von der mittleren Z-Koordinate
abhängige Funktion κ(z min ): Allein sie steuert die Güte der Vorsegmentierung und damit
die Güte der endgültigen Segmentierung; eine sorgfältige Wahl ist somit unerlässlich. Für
die beiden in dieser Arbeit verwendeten Datensätze wurden geeignete Werte festgelegt,
diese müssen jedoch nicht zwangsläufig für alle Wachstumsstadien einer Gurkenpflanze
geeignet sein.
Abgesehen von der Wahl dieses Parameters führt der entwickelte Algorithmus die Segmentierung
vollautomatisch durch und bildet somit die Grundlage für eine automatische
Phänotypisierung.
Neben der Güte der Ergebnisse spielt für die Beurteilung des Algorithmus auch die Laufzeit
eine Rolle: Der für die Vorsegmentierung verwendete Algorithmus von Felzenszwalb
u. Huttenlocher (2004) ist ein gieriger Algorithmus, dessen Laufzeit allein von der Anzahl
der Kanten im Graphen abhängt und somit sehr effizient ist. Den mit Abstand größten
Rechenaufwand in der Berechnungskette erfordert das Region-Merging, obwohl auch an
dieser Stelle nur lokale Entscheidungen getroffen werden: In diesem Schritt müssen für
jedes Segment mit einer bestimmten Mindestgröße alle Nachbarsegmente gefunden und
111

4 Entwicklung eines Verfahrens zur raum-zeitlichen Segmentierung von natürlichen Objekten
anschließend Oberflächen geschätzt, Randpunkte bestimmt und die Raumkurven bzw.
die entsprechenden Hilfsoberflächen berechnet werden. Aufgrund der starken Übersegmentierung
nach Durchführung der Vorsegmentierung besitzen manche Segmente bis zu
50 Nachbarn. Hinzu kommt, dass ein erfolgreiches Region-Merging sowohl Oberflächen
als auch Grenzkanten zwischen bereits getesteten Segmenten signifikant verändern kann,
sodass in diesen Fällen die Berechnungen wiederholt werden müssen. Die Existenz so zahlreicher
Nachbarsegmente erklärt sich durch das starke Rauschen der Daten: Lägen weniger
verrauschte Daten vor, wäre das Ergebnis der Vorsegmentierung deutlich weniger stark
übersegmentiert, wodurch die Rechenintensität des Region-Mergings deutlich abnehmen
würde. Für die vorliegenden verrauschten Daten muss für ein zufriedenstellendes Segmentierungsergebnis
das rechenintensive Region-Merging somit in Kauf genommen werden.
Dagegen fallen die Berechnung der Normalenvektoren oder die Nachbarschaftssuche in
der Punktwolke bei der Beurteilung der Effizienz nicht ins Gewicht.
Im Vergleich zu den bestehenden Phänotypisierungsverfahren besitzt der in dieser Arbeit
entwickelte Ansatz neben der bereits genannten Automatisierung sowie der berührungsfreien
Datenerfassung einen weiteren entscheidenden Vorteil, der aus der Abbildung 4.40
ersichtlich wird. Dargestellt sind zwei Pflanzenmodelle der beiden Messtage, die mit Hilfe
der manuellen Digitalisierung von charakteristischen Punkten (siehe z. B. Kahlen u.
Stützel (2007)) erstellt wurden. Für diese Digitalisierung wurden pro Blatt 17 charakte-
Abb. 4.40: Ergebnisse der manuellen Digitalisierung von charakteristischen Punkten einer
Gurkenpflanze: Modell vom 08.05.2013 (links); Modell vom 23.05.2013 (rechts)
112

4.5 Analyse und Bewertung des entwickelten Segmentierungsansatzes
ristische Punkte gemessen und daraus ein – wie die Abbildungen zeigen – stark vereinfachtes
Modell der Pflanze berechnet. Der direkte Vergleich eines Blattes des Modells vom
08.05.2013 mit dem identischen segmentierten Gurkenblatt in Abbildung 4.41 lässt bereits
erahnen, dass Letzteres gegenüber dem Digitizer-Modell einen deutlich höheren Detailgrad
besitzt, sodass auch eine zuverlässigere Blattflächenbestimmung möglich sein sollte.
Die Bestimmung von geometrischen Merkmalen aus der segmentierten Punktwolke ist Bestandteil
des Kapitels 5, in dem ausführlicher auf den Vergleich mit dem Digitzer-Modell
eingegangen wird.
Abb. 4.41: Ergebnisse der manuellen Digitalisierung von charakteristischen Punkten einer
Gurkenpflanze: Modell vom 08.05.2013 (links); Modell vom 23.05.2013 (rechts)
Ähnlich gute Ergebnisse wie die räumliche Segmentierung liefert die zeitliche Segmentierung:
Insbesondere bei geringen Blattbewegungen gelingt eine fehlerlose Identifizierung
korrespondierender Blätter, gleichzeitig werden die zeitlichen Zusammenhänge für eine
Eliminierung von Übersegmentierungen verwendet. Zu beachten ist jedoch, dass dieses
Verfahren nur dann zum Erfolg führt, wenn keine Untersegmentierungen vorliegen. Andernfalls
würde die zeitliche Segmentierung die räumlichen Segmentierungen verschlechtern,
indem nicht zusammengehörende Segmente zusammengefügt werden. Eine mögliche
Untersegmentierung muss dementsprechend vor Durchführung der zeitlichen Segmentierung
ausgeschlossen werden können.
Der Algorithmus stößt an seine Grenzen, wenn sich die Blätter von einer Aufnahme
zur nächsten sehr stark bewegen und gleichzeitig aufgrund von Wachstum ihre Form
113

4 Entwicklung eines Verfahrens zur raum-zeitlichen Segmentierung von natürlichen Objekten
verändern. In diesem Fall treffen die zwei grundlegenden Annahmen, auf denen der Algorithmus
dieser Arbeit basiert – die unmittelbare Nachbarschaft zweier korrespondierender
Segmente sowie die Ähnlichkeit zweier korrespondierender Segmente –, nicht mehr
zu. Für eine erfolgreiche Segmentierung über einen längeren Zeitraum hinweg müssten
dementsprechend die zeitlichen Abstände der Aufnahmen so gewählt werden, dass diese
Annahmen noch zutreffen.
Ebenso wie die räumliche Segmentierung erfolgt das Tracking der Blätter über die Zeit
vollautomatisch. Von den durchzuführenden Berechnungschritten der zeitlichen Segmentierung
erfordert das DTW den größten Rechenaufwand, da es sich hierbei um das einzige
Optimierungsproblem des gesamten Algorithmus handelt. Im Vergleich zum Rechenaufwand
des Region-Mergings ist der Zeitaufwand für diese Berechnung jedoch ebenfalls vernachlässigbar.
Die Entscheidung über die Korrespondenzen erfolgt schlussendlich wieder
gierig, sodass auch dieser Berechnungsschritt sehr effizient ist.
114

5 Ableitung von geometrischen
Merkmalen
Das folgende Kapitel gibt einen Einblick in eine mögliche Vorgehensweise, um aus den segmentierten
Gurkenblättern geometrische Merkmale abzuleiten und Veränderungen über
die Zeit zu bestimmen.
5.1 Vermaschung
Nach der Segmentierung liegt zunächst noch immer eine Punktwolke vor. Um aus dieser
Punktwolke z. B. Blattflächen bestimmen zu können, wird die von den entsprechenden
Punkten gebildete Oberfläche benötigt. Eine solche Oberfläche wird in der Regel durch
eine Vermaschung der Punktwolke bestimmt [Linsen (2001)].
Ein übliches Verfahren für die Vermaschung einer Punktwolke ist die Bestimmung sogenannter
α-Shapes, die ursprünglich von Edelsbrunner u. a. (1983) für den zweidimensionalen
Fall vorgestellt und von Edelsbrunner u. Mücke (1994) um die dritte Dimension
erweitert wurden.
α-Shapes stellen eine Verallgemeinerung der konvexen Hülle einer Punktwolke dar und
tragen ihren Namen aufgrund des Parameters α, der den Detaillierungsgrad der Vermaschung
angibt. Da das vorliegende Kapitel nur einen Einblick in eine mögliche Vorgehensweise
geben soll, wird auf eine ausführliche Erläuterung dieses Themas an dieser Stelle
verzichtet und stattdessen auf die oben genannten Veröffentlichungen verwiesen.
Die Vermaschung eines beispielhaft ausgewählten Ergebnissegmentes mit Hilfe von drei
verschiedenen α-Shapes ist in Abbildung 5.1 zu sehen: Dargestellt sind Vermaschungen,
bei denen für den Parameter α die Werte α 1 = 10 mm, α 2 = 20 mm bzw. α 3 = 50 mm
gewählt wurden. Der Einfluss dieses Parameters wird anhand der drei Abbildungen sehr
115

5 Ableitung von geometrischen Merkmalen
Abb. 5.1: α-Shapes eines beispielhaft ausgewählten Ergebnissegmentes: α 1
(links); α 2 = 20 mm (Mitte); α 3 = 50 mm (rechts)
= 10 mm
gut deutlich: Der größte der drei α-Werte liefert eine sehr grobe Vermaschung, die von
allen drei Ergebnissen die größte Ähnlichkeit mit der konvexen Hülle der Punktwolke
besitzt. Je kleiner α gewählt wird, desto feiner wird die Vermaschung, bis sie in der linken
der drei Abbildungen so fein wird, dass sogar Lücken in der Vermaschung entstehen.
Die Bestimmung einer korrekten Blattfläche beginnt somit bereits mit der Wahl eines
geeigneten α. Für das ausgewählte Beispielblatt scheint der Wert α 2 = 20 mm am besten
geeignet, dennoch ist eine Blattfläche, die aus einer solchen Vermaschung berechnet wird,
noch nicht zufriedenstellend: Aufgrund des starken Messrauschens ergibt sich eine sehr
stachelige“ Oberfläche, die – bei Berechnung der Blattfläche als Summe aller Dreiecksflächen
– deutlich größer als die tatsächliche Blattfläche ist. Aus diesem Grund wird
”
an
dieser Stelle auf die geglättete Punktwolke zurückgegriffen. Der Einfluss der Glättung ist
– wie aus der Abbildung 5.2 deutlich wird – enorm: Dargestellt ist die seitliche Ansicht eines
beispielhaft ausgewählten und vermaschten Segmentes, zum einen unter Verwendung
der ungeglätteten Punktwolke (linke Abbildung) und zum anderen nach Durchführung
einer Glättung mit einer 2 cm großen Filtermaske (rechte Abbildung). Während in der
linken Abbildung der bereits erwähnte ”
stachelige“ Eindruck vorherrscht, formt die Vermaschung
in der rechten Abbildung größtenteils eine sehr glatte und damit auch deutlich
realistischere Oberfläche. Dennoch ist auch dieses Ergebnis noch nicht optimal: Im oberen
Teil des Segmentes (in Abbildung 5.2 (rechts) rot umkreist) existieren Punkte, die so
stark verrauscht sind, dass deren Einfluss auf die Vermaschung trotz der Glättung nicht
komplett eliminiert wird.
116

5.1 Vermaschung
Abb. 5.2: α-Shapes eines beispielhaft ausgewählten Ergebnissegmentes: ungeglättete
Punktwolke (links); geglättete Punktwolke (rechts)
Nichtsdestotrotz werden diese geglätteten und anschließend vermaschten Segmente im
Folgenden für einen – zunächst visuellen – Vergleich mit dem Digitizer-Modell herangezogen.
Abb. 5.3: Gegenüberstellung der vermaschten Punktwolke und des Digitizer-Modells: vermaschte
Punktwolke vom 08.05.2013 (links); Digitizer-Modell vom 08.05.2013
(rechts)
117

5 Ableitung von geometrischen Merkmalen
In Abbildung 5.3 (links) ist das gesamte vermaschte Segmentierungsergebnis des Datensatzes
E1 08 zu sehen. Der Eindruck, der bereits bei Betrachtung eines einzelnen Segmentes
entsteht (vgl. Abbildung 5.2), wird durch diese Darstellung bestätigt: Trotz der ursprünglich
sehr verrauschten Daten ergibt sich größtenteils ein sehr glattes und realistisches Modell
der Gurkenblätter. Einzig und allein bei Segmenten mit geringer Punktdichte – in der
Abbildung 5.3 (links) insbesondere bei dem unteren in Magenta eingefärbten Segment –
ergeben sich Probleme, da in diesem Fall das gewählte α 2 = 20 mm zu klein ist.
Das Digitizer-Modell dieses Datensatzes ist in Abbildung 5.3 (rechts) dargestellt. Die
zu den Segmenten der vermaschten Punktwolke korrespondierenden Blätter sind direkt
über die Position identifizierbar; zu beachten ist jedoch, dass die beiden obersten der
vom Laserscanner erfassten Blätter kein Pendant im Digitizer-Modell besitzen. Ebenso
wenig wurde das grün eingefärbte Segment im linken unteren Teil der Punktwolke digitalisiert,
das einem Keimblatt entspricht und für die Phänotypisierung ohne Bedeutung ist.
Bereits die Gegenüberstellung dieser beiden
Modelle zeigt, dass das Digitizer-Modell die
Form der Blätter stark vereinfacht, während
sie durch die segmentierte Punktwolke sehr
gut wiedergegeben werden. Noch deutlicher
wird dieser Effekt, wenn ein beispielhaft ausgewähltes
Blatt des Digitizer-Modells über
sein Pendant aus der vermaschten Punktwolke
gelegt wird (siehe Abbildung 5.4). Das
Blatt des Digitizer-Modells setzt sich aus wenigen
großen Dreiecken zusammen. Daraus resultiert
eine Oberfläche, die aus relativ großen
Abb. 5.4: Vergleich eines Blattes aus
ebenen Flächen besteht und nur an den wenigen
Dreiecksseiten Knicke aufweist. Im Ge-
dem Digitizer-Modell (rot eingefärbt)
mit demselben segmentierten
Blatt (dargestellt in
gensatz dazu beschreibt das vermaschte Segment
aufgrund der höheren Punktdichte und
Grautönen)
der daraus resultierenden vergleichsweise kleinen
Dreiecke sowie der weniger stark ausge-
118

5.2 Blattflächenbestimmung
prägten Knicke die tatsächliche Blattoberfläche deutlich besser. Nicht nur die Oberfläche
an sich, sondern auch die Randbereiche des Blattes aus dem Digitizer-Modell sind vereinfacht:
Die wenigen gemessenen Randpunkte werden durch lange Geradenstücke miteinander
verbunden, sodass sie den abgerundeten Rand des Blattes sehr stark generalisieren.
Zu beachten ist, dass auch die Segmente die Blattform nicht zwangsläufig komplett wiedergeben:
Aufgrund von Übersegmentierungen kommt es durchaus vor, dass kleinere Teile
des Blattes nicht in dem Segment wiederzufinden sind. Für das Blatt in Abbildung 5.4
gilt das beispielsweise für die Blattspitze, die nicht komplett diesem Segment zugeordnet
wird.
5.2 Blattflächenbestimmung
Die bislang allein auf dem visuellen Eindruck beruhende Vermutung, dass das Digitizer-
Modell die Form der Gurkenblätter stark vereinfacht, wird durch die in der Tabelle 5.1
aufgeführten Blattflächen rechnerisch bestätigt.
Tabelle 5.1: Gegenüberstellung der Blattflächen des Digitzer-Modells A D und der Blattflächen
der segmentierten Gurkenblätter bei Verwendung der ungeglätteten
(A Su ) bzw. der geglätteten Punktwolke (A Sg )
Blatt-ID A D [cm 2 ] A Su [cm 2 ] A Sg [cm 2 ] ∆ A = A Sg A D [cm 2 ] V A = A D /A Sg
3 449,1 510,92 464,27 15,17 0,967
4 480,45 536,16 504,43 23,98 0,952
5 357,92 403,81 363,10 5,18 0,986
6 389,16 519,60 465,96 76,8 0,835
7 371,43 415,53 372,54 1,11 0,997
8 489,06 595,96 540,02 50,96 0,906
9 503,85 591,90 522,78 18,93 0,964
10 394,13 484,15 446,04 51,91 0,884
Die jeweiligen Flächeninhalte der Gurkenblätter ergeben sich sowohl beim Digitizer-Modell
als auch bei der segmentierten Punktwolke durch Addition der Flächeninhalte aller die
Oberfläche approximierender Dreiecke. Im Fall der segmentierten Punktwolke werden die
119

5 Ableitung von geometrischen Merkmalen
Blattflächen der ungeglätteten Punktwolke A Su und die der geglätteten Punktwolke A Sg
unterschieden. In der Tabelle sind beispielhaft die auf diese Weise errechneten Blattflächen
des Datensatzes E1 08 aufgeführt. Die Nummerierung der Blätter erfolgt von unten nach
oben (vgl. Abbildung 5.3 (rechts)), wobei die Zählung erst bei ID 3 beginnt, da die Blatt-
IDs 1 und 2 den im Digitizer-Modell nicht auftretenden Keimblättern entsprechen.
Die Werte in dieser Tabelle bestätigen zunächst den bereits vermuteten starken Einfluss
der Glättung: Im Mittel verkleinert sich der Flächeninhalt durch die Glättung der Punktwolke
um knapp 50 cm 2 . Aufgrund der visuellen Beurteilung der vermaschten Segmente
ist davon auszugehen, dass die Werte der vierten Spalte (A Sg ) somit deutlich realistischere
Maße für die Blattflächen darstellen, sodass im Folgenden diese Spalte für einen Vergleich
mit den Blattflächen des Digitizer-Modells herangezogen wird. Die Unterschiede zwischen
den Blattflächen des Digitizer-Modells und der segmentierten Punktwolke sind in der fünften
Spalte der Tabelle 5.1 aufgeführt. Wie erwartet, sind die aus der Punktwolke errechneten
Flächen für jedes der Blätter etwas größer als die entsprechenden Flächen der Blätter
des Digitizer-Modells, was auf die bereits angesprochene Generalisierung des Digitizer-
Modells zurückzuführen ist. Unter Berücksichtigung dieser Generalisierung stimmen die
errechneten Blattflächen aus beiden Modellen jedoch sehr gut überein, was insbesondere
durch die sechste Spalte deutlich wird, in der das Verhältnis der entsprechenden Blattflächen
aufgeführt ist: Mit Werten, die meist über 90% liegen, kann das Ergebnis als sehr
zufriedenstellend angesehen werden.
Die Ergebnisse der zeitlichen Segmentierung erlauben darüber hinaus einen Blattflächenvergleich
der verschiedenen Aufnahmen. In Tabelle 5.2 sind die Blattflächen der Datensätze
vom 08.05.2013 aufgeführt. Für eine bessere Vergleichbarkeit wurden zudem für
jedes Blatt der Mittelwert A und die Standardabweichung σ A bestimmt. Besonders aussagekräftig
ist in diesem Fall die Standardabweichung, die eine Aussage darüber zulässt,
wie stark die ermittelten Blattflächen aus den vier verschiedenen Aufnahmen variieren.
Da die Aufnahmen in kurzen zeitlichen Abständen durchgeführt wurden und somit keine
Veränderungen in der Blattfläche zu erwarten sind, ist mit einer Standardabweichung
nahe Null zu rechnen. Einige der Blattflächen weisen auch tatsächlich relativ geringe Standardabweichung
auf, jedoch nicht alle: Die mit knapp 50 cm größte Standardabweichung
besitzt das Blatt 4. Da es sich bei diesem Blatt um das bereits erwähnte Problemblatt“
”
120

5.2 Blattflächenbestimmung
Tabelle 5.2: Vergleich der Blattflächen der unterschiedlichen Aufnahmen des Messtages
08.05.2013
Blatt-ID A1 08 [cm 2 ] A2 08 [cm 2 ] A4 08 [cm 2 ] A5 08 [cm 2 ] A [cm] 2 σ A [cm]
3 464,27 452,06 514,42 486,17 479,23 23,71
4 504,43 455,39 520,06 392,04 467,98 49,92
5 363,10 389,86 341,10 380,81 368,72 18,62
6 465,96 474,29 466,21 442,91 462,34 11,71
7 372,54 382,27 403,20 377,34 383,84 11,70
8 540,02 584,80 582,72 533,98 560,38 23,49
9 522,78 539,01 515,26 540,18 529,31 10,63
10 446,04 500,83 522,66 441,98 477,88 34,77
handelt, wird es im Folgenden von der Bewertung ausgeschlossen. Außer diesem Blatt
weisen jedoch auch vollständig erfasste Blätter eine sehr große Standardabweichung auf.
Die Ursache wird sehr schnell bei Betrachtung des Blattes 10 deutlich, für das sich die
zweitgrößte Standardabweichung ergibt. Die Vermaschungen der vier unterschiedlichen
Aufnahmen dieses Blattes sind in Abbildung 5.5 dargestellt: Zum einen variiert die Blatt-
Abb. 5.5: Durch die Vermaschung verursachten Abweichungen in den Blattflächen
fläche aufgrund unvollständiger Segmentierungen. Das ist z. B. bei der zweiten Abbildung
von links der Fall, in der die Blattspitze in der Segmentierung nicht enthalten ist. Dennoch
beschreibt dieses Segment sogar eine größere Oberfläche als zwei der anderen beiden
Segmente. Ursache für diesen Effekt sind Ausreißer in den Punktwolken, die die ansonsten
glatte Oberfläche stachelig“ wirken lassen und somit zu einer Vergrößerung der
”
Blattfläche führen. Für eine verlässliche Blattflächenbestimmung müssen somit zunächst
121

5 Ableitung von geometrischen Merkmalen
die Ausreißer in den Daten entfernt werden. Eine diesbezügliche Untersuchung übersteigt
jedoch den Rahmen dieser Arbeit.
122

6 Zusammenfassung/Ausblick
In der vorliegenden Arbeit wurde ein Algorithmus für die raum-zeitliche Segmentierung
von natürlichen Objekten in stark verdeckten Szenen entwickelt. Als Beispielobjekt diente
eine Gurkenpflanze, die an zwei verschiedenen Messtagen mit einem Laserscanner raumzeitlich
hochauflösend erfasst worden war und die mit Hilfe der Segmentierungsergebnisse
phänotypisiert werden soll.
Für die räumliche Segmentierung wurde ein zweistufiger Bottom-Up-Ansatz gewählt:
Zunächst wurde mit einem graphbasierten Clustering eine Vorsegmentierung der 3-D-
Punktwolke durchgeführt. Die Schwierigkeit der Trennung von sich berührenden Blättern
wurde unter Verwendung eines auf den lokalen Normalenvektoren basierenden Ähnlichkeitsmaßes
gelöst. Die sich daraus ergebende übersegmentierte Punktwolke bildete die
Grundlage für ein statistisch basiertes Region-Merging. In diesem zweiten Schritt wurden
ein regionenbasiertes und ein kantenbasiertes Verfahren verwendet, die auf statistischen
Tests basierten, die eine Aussage darüber erlaubten, ob zwei Segmente demselben Blatt
angehörten. Das war entweder dann der Fall, wenn die beiden Segmente dieselbe Oberfläche
beschrieben oder wenn die Ränder der Segmente über eine gewisse Distanz dieselbe
Raumkurve beschrieben. Die benötigten Randpunkte wurden mit Hilfe einer Variante des
Douglas-Peucker-Algorithmus ermittelt. Insbesondere das kantenbasierte Region-Merging
führte zu einer deutlichen Verbesserung der Ergebnisse aus dem ersten Segmentierungsschritt.
Der entwickelte Segmentierungsalgorithmus lieferte für die getesteten Datensätze sehr zufriedenstellende
Ergebnisse: Die Gurkenblätter waren im Großen und Ganzen vollständig
segmentiert. In Bereichen mit geringer Datendichte traten zwar weiterhin leichte Übersegmentierungen
auf, dieses Problem lag jedoch in der Art der Datenerfassung begründet.
Zu betonen ist, dass in keinem Fall Untersegmentierungen auftraten und somit die größte
123

6 Zusammenfassung/Ausblick
Schwierigkeit bei der Pflanzensegmentierung – die Trennung sich berührender Blätter –
für die Gurkenpflanzen gelöst werden konnte.
Als problematisch erwies sich in sämtlichen Berechnungen das starke Messrauschen: Trotz
Verwendung des robusten RANSAC-Algorithmus zur Bestimmung der lokalen Normalenvektoren
führte es zu einem stark übersegmentierten Ergebnis in der Vorsegmentierung,
woraus ein hoher Rechenaufwand während des Region-Mergings resultierte.
Im Anschluss erfolgte die Segmentierung der zeitlichen Dimension unabhängig von der
räumlichen Segmentierung. Verwendet wurde ein auf Dynamic Time Warping basierendes
Shape-Matching-Verfahren, welches die korrespondierenden Segmente der zu unterschiedlichen
Zeitpunkten erfassten Datensätze über die Form identifizierte. Dieses Verfahren
erwies sich insbesondere für eine zeitliche Segmentierung von Aufnahmen mit relativ geringen
zeitlichen Abständen und damit geringen Blattbewegungen und -verformungen als
sehr zufriedenstellend: Neben dem reinen Tracking der Segmente über die Zeit gelang
es, Übersegmentierungen in den verschiedenen Aufnahmen zu identifizieren und zu eliminieren.
Das Verfahren stieß jedoch an seine Grenzen, wenn zwischen den verschiedenen
Aufnahmen so große Zeitabstände lagen, dass sich sowohl die Position eines Blattes als
auch insbesondere seine Form deutlich verändert hatten.
Um das Potential der Ergebnisse für eine Phänotypisierung der Gurkenpflanzen zu testen,
wurden die Segmente mit α-Shapes vermascht und basierend auf dieser Vermaschung die
entsprechenden Blattflächen bestimmt. Der Vergleich der auf Grundlage unterschiedlicher
Segmentierungsergebnisse errechneten Flächeninhalte zeigte, dass für eine aussagekräftige
Phänotypisierung zunächst weitergehende Untersuchungen sowohl in Bezug auf die Generierung
einer optimalen Vermaschung als auch hinsichtlich der Eliminierung von Ausreißern
durchzuführen sind.
Ausblickend bleibt festzuhalten, dass bereits durch eine Modifikation der Aufnahmekonfiguration
das Segmentierungsproblem leichter zu lösen ist: Für Daten mit geringerem
Messrauschen ist eine signifikante Verringerung des Rechenaufwands für das Region-
Merging zu erwarten. Hinzu kommt, dass für eine vollständige Segmentierung eine über
die gesamte Punktwolke gleichmäßige Datendichte vorliegen muss. Bislang ist diese Voraussetzung
aufgrund der Ausrichtung des Laserscanners insbesondere bei horizontalen
Blattoberflächen nicht gegeben. Eine Änderung der Ausrichtung des Laserscanners bzw.
124

eine zweifache Erfassung der Punktwolke unter zwei unterschiedlichen Ausrichtungen sollte
dieses Problem lösen.
Von den verschiedenen Rechenschritten erfordert insbesondere das oberflächenbasierte
Region-Merging weiterführende Untersuchungen: Bislang wurde zur Bestimmung der Oberflächen
eine sehr einfache Funktion zweiten Gerades verwendet, die die komplexe Form
eines Gurkenblattes häufig nicht ausreichend gut wiedergab. Für die Modellierung solcher
Freiformflächen finden in der Regel deutlich komplexere mathematische Beschreibungen
Anwendung. Ein bekanntes Beispiel stellen die Non-uniform rational B-Splines (NURBS)
dar, die es erlauben, auch große komplexe Oberflächen in einer einheitlichen und mathematisch
exakten Form zu repräsentieren [Turner (1992)]. Die Verwendung von NURBS
für die Modellierung der Gurkenblätter wäre sicherlich eine Möglichkeit, eine bessere Approximation
der Blattoberflächen zu erhalten.
Von den in Kapitel 1 genannten Gestaltprinzipien fließen in den in dieser Arbeit entwickelten
Algorithmus mit der Bestimmung einer Nachbarschaft das Gesetz der Nähe und mit
der Definition eines Ähnlichkeitsmaßes das Gesetz der Ähnlichkeit ein. Insbesondere bei
der Pflanzensegmentierung kann jedoch eine zusätzliche Berücksichtigung des Gesetzes
der Symmetrie eine weitere Verbesserung des Ergebnisses mit sich bringen. Paproki u. a.
(2011) stellen einen auf Symmetrien basierenden Segmentierungsansatz für Blätter vor,
der in ähnlicher Form auch auf die Segmentierung der Gurkenblätter angewendet werden
kann. Das Wissen, dass Blätter und damit auch die Ergebnissegmente achsensymmetrisch
sein müssen, kann z. B. für die Verbesserung einer bestehenden Segmentierung verwendet
werden.
Da der verwendete Segmentierungsalgorithmus auf lokalen Entscheidungen aufbaut, bietet
es sich darüber hinaus an, einen Segmentierungsalgorithmus zu testen, der eine global
optimale Lösung findet. Eine mögliche Alternative zu dem in dieser Arbeit entwickelten
Algorithmus stellen daher die Graph Cuts von Boykov u. Kolmogorov (2004) dar. Zu
beachten ist jedoch, dass diese nur für den Zweiklassenfall das globale Optimum finden –
im Mehrklassenfall, wie er in dieser Arbeit vorliegt – nähern sie dieses globale Optimum
in der Regel nur an [Boykov u. Veksler (2006)]. Darüber hinaus erfordern Graph Cuts
in der Regel einen interaktiven Schritt, um die Terminal-Knoten festzulegen (siehe z. B.
Ulén (2013)). Um die Graph Cuts für eine wie in dieser Arbeit geforderte vollautomati-
125

6 Zusammenfassung/Ausblick
sche Segmentierung anwenden zu können, sind daher mit Sicherheit einige Modifikationen
notwendig.
Die Behebung der Probleme, die in der zeitlichen Segmentierung auftraten, sobald sich
die Gurkenblätter von einer Aufnahme zur nächsten stark bewegt und/oder verformt hatten,
setzt eine Berücksichtigung des Bewegungsverhaltens der Pflanze voraus, um den
Suchraum für die Bestimmung möglicher Matching-Partner einschränken und die Anzahl
der Fehlzuordnungen minimieren zu können. Eine solche Modellierung des Bewegungsverhaltens
erfordert jedoch Expertenwissen über die zu erwartenden Auswirkungen von
Umwelteinflüssen auf die Pflanze sowie über ihr Wachstum.
126

Literaturverzeichnis
[Achanta u. a. 2012] Achanta, R. ; Shaji, A. ; Smith, K. ; Lucchi, A. ; Fua, P.;
Süsstrunk, S.: SLIC Superpixels Compared to State-of-the-art Superpixel Methods.
In: IEEE Transactions on Pattern Analysis and Machine Intelligence 34 (2012), Nr.
11, S. 2274–2282
[Ahn 2004] Ahn, Sung J.: Lecture notes in computer science. Bd. 3151: Least squares
orthogonal distance fitting of curves and surfaces in space. Berlin [u.a.] : Springer, 2004
[Alenya u. a. 2011] Alenya, G.;Dellen, B.;Torras, C.: 3D modelling of leaves from
color and ToF data for robotized plant measuring. In: IEEE International Conference
on Robotics and Automation (ICRA), 2011, S. 3408–3414
[Applegate 2007] Applegate, David L.: The traveling salesman problem: A computational
story. Princeton : Princeton Univ. Press, 2007 (Princeton series in applied
mathematics)
[Arman u. Aggarwal 1993] Arman, Farshid ; Aggarwal, J. K.: Model-based object
recognition in dense-range images – a review. In: ACM Computing Surveys 25 (1993),
Nr. 1, S. 5–43. – ISSN 03600300
[Bellon u. a. 1999] Bellon, O.R.P ; Direne, A. I. ; Silva, L.: Edge detection to guide
range image segmentation by clustering techniques. In: Proceedings 1999 International
Conference on Image Processing, IEEE, 1999, S. 725–729
[Belton 2008] Belton, David: Classification and Segmentation of 3D Terrestrial Laser
Scanner Point Clouds. Dissertation, Perth, Curtin University of Technology, 2008
I

Literaturverzeichnis
[Besl u. McKay 1992] Besl, P.J.;McKay, H. D.: A method for registration of 3-D
shapes. In: IEEE Transactions on Pattern Analysis and Machine Intelligence 14 (1992),
Nr. 2, S. 239–256. – ISSN 0162–8828
[Besl 1988] Besl, Paul J.: Surfaces in range image understanding. New York : Springer,
1988 (Springer series in perception engineering)
[Bhandarkar u. Siebert 1992] Bhandarkar, Suchendra M. ; Siebert, Andreas: Integrating
edge and surface information for range image segmentation. In: Pattern Recognition
25 (1992), Nr. 9, S. 947–962. – ISSN 00313203
[Blech u. Illner 1989] Blech ; Illner: Strenge Lösung der räumlichen Koordinatentransformation
durch iterative Berechnung. In: Allgemeine Vermessungsnachrichten
96 (1989), Nr. 4, S. 133–144
[Bolton u. Krzanowski 1999] Bolton, Richard J. ; Krzanowski, Wojtek J.: A Characterization
of Principal Components for Projection Pursuit. In: The American Statistician
53 (1999), Nr. 2, S. 108–109. – ISSN 0003–1305
[Boykov u. Kolmogorov 2004] Boykov, Y. ; Kolmogorov, V.: An experimental comparison
of min-cut/max-flow algorithms for energy minimization in vision. In: IEEE
Transactions on Pattern Analysis and Machine Intelligence 26 (2004), Nr. 9, S. 1124–
1137. – ISSN 0162–8828
[Boykov u. Veksler 2006] Boykov,Y.;Veksler, O.: Graph Cuts in Vision and Graphics:
Theories and Applications. In: Paragios, Nikos (Hrsg.) ; Chen, Yunmei (Hrsg.) ;
Faugeras, Olivier (Hrsg.): Handbook of Mathematical Models in Computer Vision.
New York : Springer, 2006, S. 79–96
[Brendel u. Todorovic 2009] Brendel, William ; Todorovic, Sinisa: Video object segmentation
by tracking regions. In: IEEE 12th International Conference on Computer
Vision (ICCV), 2009, S. 833–840
[Bryant 2000] Bryant, K.: Genetic Algorithms and the Traveling Salesman Problem:
www.math.hmc.edu/seniorthesis/archives/2001/kbryant/kbryant-2001-thesis.pdf; (letzter
Abruf: 05.10.2013). 2000
II

Literaturverzeichnis
[Bundesministerium für Forschung und Bildung a] Bundesministerium für Forschung
und Bildung: Deutsches Pflanzen-Phänotypisierungs-Netzwerk (DPPN);
www.bmbf.de/de/21116.php (letzter Abruf: 13.09.2013)
[Bundesministerium für Forschung und Bildung b] Bundesministerium für Forschung
und Bildung: Die Vermessung der Pflanze; www.bmbf.de/press/3411.php
(letzter Abruf: 13.09.2013)
[Campbell u. Flynn 2001] Campbell, Richard J. ; Flynn, Patrick J.: A Survey Of Free-
Form Object Representation and Recognition Techniques. In: Computer Vision and
Image Understanding 81 (2001), Nr. 2, S. 166–210. – ISSN 10773142
[Coleman u. Andrews 1979] Coleman, G. B. ; Andrews, H. C.: Image segmentation by
clustering. In: Proceedings of the IEEE 67 (1979), Nr. 5, S. 773–785. – ISSN 0018–9219
[Cormen 2001] Cormen, Thomas H.: Introduction to algorithms. 2nd ed. Cambridge and
Mass : MIT Press, 2001
[Cousins u. a. 2008] Cousins, Steve ; Beaudouin-Lafon, Michel ; Goldman, Dan B.
; Gonterman, Chris ; Curless, Brian ; Salesin, David ; Seitz, Steven M.: Video
object annotation, navigation, and composition. In: the 21st annual ACM symposium,
2008, S. 3–12
[Cucchiara u. a. 2001] Cucchiara, R.;Crana, C.;Piccardi, M.;Prati, A.;Sirotti,
S.: Improving shadow suppression in moving object detection with HSV color
information. In: IEEE Intelligent Transportation Systems. Proceedings, 2001, S. 334–339
[DeMenthon 2002] DeMenthon, D.: Spatio-Temporal Segmentation of Video by Hierarchical
Mean Shift Analysis. In: Statistical Methods in Video Processing Workshop
(2002)
[DeMenthon u. Megret 2002] DeMenthon, D. ; Megret, R. ; Language
and Media Processing (Hrsg.): Spatio-Temporal Segmentation
of Video by Hierarchical Mean Shift Analysis: lampsrv02.umiacs.umd.edu/pubs/TechReports/LAMP
090/LAMP 090.pdf (letzter Abruf:
11.10.2013). 2002
III

Literaturverzeichnis
[Dezso u. a. 2012] Dezso, B.;Giachetta, R.;Laszlo, I.;Fekete, I.: Experimental
study on graph-based image segmentation methods in the classification of satellite
images. In: EARSeL eProceedings 11 (2012)
[Drixler 1993] Drixler, Erwin: Deutsche Geodätische Kommission bei der Bayerischen
Akademie der Wissenschaften : Reihe C, Dissertationen. Bd. 409: Analyse der Form
und Lage von Objekten im Raum. München : Verl. der Bayerischen Akad. der Wiss.,
1993
[Eberius u. Lima-Guerra 2009] Eberius,M.;Lima-Guerra, J.: High-Throughput Plant
Phenotyping - Data Acquisition, Transformation and Analysis. In: Edwards, David
(Hrsg.) ; Stajich, Jason E. (Hrsg.) ; Hansen, David (Hrsg.): Bioinformatics. New
York : Springer, 2009
[Edelsbrunner u. a. 1983] Edelsbrunner, H.;Kirkpatrick, D. ; Seidel, R.: On the
shape of a set of points in the plane. In: IEEE Transactions on Information Theory 29
(1983), Nr. 4, S. 551–559. – ISSN 0018–9448
[Douglas u. Peucker 1973] Douglas, David. ; Peucker, Thomas: Algorithms for the
reduction of the number of points required to represent a digitized line or its caricature.
In: Cartographica: The International Journal for Geographic Information and
Geovisualization 10 (1973), Nr. 2, S. 112–122. – ISSN 0317–7173
[Edelsbrunner u. Mücke 1994] Edelsbrunner, Herbert ; Mücke, Ernst P.: Threedimensional
alpha shapes. In: ACM Transactions on Graphics 13 (1994), Nr. 1, S.
43–72. – ISSN 07300301
[Felzenszwalb u. Huttenlocher 2004] Felzenszwalb, Pedro F. ; Huttenlocher, Daniel
P.: Efficient Graph-Based Image Segmentation. In: International Journal of Computer
Vision 59 (2004), Nr. 2, S. 167–181. – ISSN 0920–5691
[Finnegan u. a. 2006] Finnegan, John ; Dorsey, Julie ; Quan, Long ; Tan, Ping ; Zeng,
Gang ; Yuan, Lu;Wang, Jingdong ; Kang, Sing B.: Image-based plant modeling.
In: ACM SIGGRAPH, 2006
IV

Literaturverzeichnis
[Fischler u. Bolles 1981] Fischler, Martin A. ; Bolles, Robert C.: Random sample
consensus: a paradigm for model fitting with applications to image analysis and automated
cartography. In: Communications of the ACM 24 (1981), Nr. 6, S. 381–395. –
ISSN 00010782
[Gonzalez u. Woods 2002] Gonzalez, Rafael C. ; Woods, Richard E.: Digital image
processing. 2nd. Upper Saddle River : Prentice Hall, 2002
[Grundmann u. a. 2010] Grundmann, Matthias ; Kwatra, Vivek ; Han, Mei ; Essa, Irfan:
Efficient hierarchical graph-based video segmentation. In: IEEE Computer Society
Conference on Computer Vision and Pattern Recognition, IEEE, 2010, S. 2141–2148
[Harary 1994] Harary, Frank: Graph theory. Reading : Perseus Books, 1994
[Hoffman u. Jain 1987] Hoffman, Richard ; Jain, Anil K.: Segmentation and Classification
of Range Images. In: IEEE Transactions on Pattern Analysis and Machine
Intelligence PAMI-9 (1987), Nr. 5, S. 608–620. – ISSN 0162–8828
[Hoover u. a. 1996] Hoover, A. ; Jean-Baptiste, G. ; Jiang, X. ; Flynn, P.J.;
Bunke, H. ; Goldgof, D.B.;Bowyer, K. ; Eggert, D.W.;Fitzgibbon, A.;
Fisher, R. B.: An experimental comparison of range image segmentation algorithms.
In: IEEE Transactions on Pattern Analysis and Machine Intelligence 18 (1996), Nr. 7,
S. 673–689. – ISSN 0162–8828
[Horn u. Schunck 1981] Horn, Berthold K. ; Schunck, Brian G.: Determining optical
flow. In: Artificial Intelligence 17 (1981), Nr. 1-3, S. 185–203. – ISSN 00043702
[Husain u. a. 2006] Husain, Mustafa ; Saber, Eli ; Misic, Vladimir ; Joralemon,
Stephen: Dynamic Object Tracking by Partial Shape Matching for Video Surveillance
Applications. In: International Conference on Image Processing, 2006, S. 2405–2408
[Jain u. Dubes 1988] Jain, Anil K. ; Dubes, Richard C.: Algorithms for clustering data.
Englewood Cliffs : Prentice Hall, 1988 (Prentice Hall advanced reference series)
[Jianbo u. Malik 2000] Jianbo, S. ; Malik, J.: Normalized cuts and image segmentation.
In: IEEE Transactions on Pattern Analysis and Machine Intelligence 22 (2000), Nr. 8,
S. 888–905. – ISSN 0162–8828
V

Literaturverzeichnis
[Jiang u. Bunke 1997] Jiang, Xiaoyi ; Bunke, Horst: Range image segmentation: Adaptive
grouping of edges into regions. In: Chin, Roland (Hrsg.) ; Pong, Ting-Chuen
(Hrsg.): Lecture Notes in Computer Science. Berlin and Heidelberg : Springer, 1997, S.
299–306
[Jiang u. Bunke 1999] Jiang, Xiaoyi ; Bunke, Horst: Edge Detection in Range Images
Based on Scan Line Approximation. In: Computer Vision and Image Understanding
73 (1999), Nr. 2, S. 183–199. – ISSN 10773142
[Johnson u. Hebert 1999] Johnson, A.E.;Hebert, M.: Using spin images for efficient
object recognition in cluttered 3D scenes. In: IEEE Transactions on Pattern Analysis
and Machine Intelligence 21 (1999), Nr. 5, S. 433–449. – ISSN 0162–8828
[Johnson u. Wichern 2007] Johnson, Richard A. ; Wichern, Dean W.: Applied multivariate
statistical analysis. 6th ed., Pearson international. Upper Saddle River : Pearson
Prentice Hall, Pearson Education International, 2007
[Kahlen u. Stützel 2007] Kahlen, K. ; Stützel, H.: Estimation of Geometric Attributes
and Masses of Individual Cucumber Organs Using Three-dimensional Digitizing and
Allometric Relationships. In: Journal of the American Society for Horticultural Science
132 (2007), Nr. 4, S. 439–446
[Khan u. Shah 2001] Khan,S.;Shah, M.: Object based segmentation of video using color,
motion and spatial information. In: IEEE Computer Society Conference on Computer
Vision and Pattern Recognition. CVPR 2001, 2001, S. II–746–II–751
[Kootstra u. a. 2011] Kootstra, G.;Bergström, N. ; Kragic, D.: Gestalt Principles
for Attention and Segmentation in Natural and Artificial Vision Systems. In: Semantic
Perception, Mapping and Exploration (SPME), ICRA 2011 Workshop, May 9, 2011,
Shanghai, China (2011)
[Krishnapuram u. Gupta 1992] Krishnapuram, Raghu ; Gupta, Sundeep: Morphological
methods for detection and classification of edges in range images. In: Journal of
Mathematical Imaging and Vision 2 (1992), Nr. 4, S. 351–375. – ISSN 0924–9907
VI

Literaturverzeichnis
[Kruskal 1956] Kruskal, Joseph B.: On the shortest spanning subtree of a graph and
the traveling salesman problem. In: Proceedings of the American Mathematical Society
7 (1956), Nr. 1. – ISSN 0002–9939
[Lamdan u. Wolfson ] Lamdan, Y.;Wolfson, H. J.: Geometric Hashing: A General
And Efficient Model-based Recognition Scheme. In: Second International Conference
on Computer 1988, S. 238–249
[Lézoray u. Grady 2012] Lézoray, Olivier ; Grady, Leo: Image processing and analysis
with graphs: Theory and practice. Boca Raton : Taylor & Francis, 2012 (Digital imaging
and computer vision series)
[Linsen 2001] Linsen, Lars: Point cloud representation: www.faculty.jacobsuniversity.de/llinsen/publications/Linsen01a.pdf
(letzter Abruf: 10.10.2013). 2001
[Lombaert u. a. 2011] Lombaert, Herve ; Sun, Yiyong ; Cheriet, Farida ; Dawant,
Benoit M. ; Haynor, David R.: Fast 4D segmentation of large datasets using graph
cuts. In: SPIE Medical Imaging, SPIE, 2011 (SPIE Proceedings)
[Malmberg 2011] Malmberg, F.: Graph-based Methods for Interactive Image Segmentation.
Dissertation. Uppsala, 2011
[Merziger u. Wirth 2006] Merziger, Gerhard ; Wirth, Thomas: Repetitorium der höhe\-
ren Mathematik. 5. Aufl. Springe : Binomi, 2006
[Mian u. a. 2006] Mian, A.S. ; Bennamoun, M.;Owens, R.: Three-Dimensional Model-
Based Object Recognition and Segmentation in Cluttered Scenes. In: IEEE Transactions
on Pattern Analysis and Machine Intelligence 28 (2006), Nr. 10, S. 1584–1601. –
ISSN 0162–8828
[Montemerlo u. a. 2002] Montemerlo, M. ; Thrun, S. ; Whittaker, W.: Conditional
particle filters for simultaneous mobile robot localization and people-tracking. In: Proceedings
IEEE International Conference on Robotics and Automation, IEEE, 2002, S.
695–701
[Müller 2007] Müller, Meinard: Information Retrieval for Music and Motion. Berlin
and Heidelberg : Springer, 2007
VII

Literaturverzeichnis
[Neugebauer 1997] Neugebauer, Peter J.: Reconstruction of real-world objects via simultaneous
registration and robust combination of multiple range images. In: International
journal of shape modeling 3 (1997), Nr. 182, S. 71–90
[Niemeier 2008] Niemeier, Wolfgang: Ausgleichungsrechnung: Statistische Auswertemethoden.
2., überarb. und erw. Aufl. Berlin [u.a.] : De Gruyter, 2008 (De Gruyter
Lehrbuch)
[Oishi u. a. 2003] Oishi, T.;Sagawa, R.;Nakazawa, A.;Kurazume, R.;Ikeuchi,
K.: Parallel alignment of a large number of range images. In: Fourth International
Conference on 3-D Digital Imaging and Modeling, 2003, S. 195–202
[Paffenholz 2012] Paffenholz, J.-A.: Beschreibung des WiF II-Projektes ”Raumzeit\-lich
dich\-tes Monitoring von Pflanzenbeständen mittels Messrobotern”;
http://www.dezernat4.uni-hannover.de/688.html (letzter Abruf: 07.10.2013). 2012
[Paffenholz u. a. 2013] Paffenholz, J.-A. ; Huang, H.;Wiechers, D.;Wagner,
C., Stützel, H ; Brenner, C. ; Sester, M.: Monitoring and modeling of plants by
means of 3D point clouds (Manuskript in Vorbereitung). 2013
[Paproki u. a. 2011] Paproki, Anthony ; Fripp, Jurgen ; Salvado, Olivier ; Sirault,
Xavier ; Berry, Scott ; Furbank, Robert: Automated 3D Segmentation and Analysis
of Cotton Plants. In: 2011 International Conference on Digital Image Computing:
Techniques and Applications (DICTA), 2011, S. 555–560
[Pfeifer u. a. 2007] Pfeifer, N. ; Dorninger, P.;Haring, A. ; Fan, H.: Investigating
terrestrial laser scanning intensity data: quality and functional relations. 8th Conference
on Optical 3-D Measurement Techniques. Zurich, 2007
[Prim 1957] Prim, R. C.: Shortest connection networks and some generalizations. In:
Bell System Technology Journal 36 (1957), S. 1389–1401
[Prusinkiewicz u. Lindenmayer 1996] Prusinkiewicz, Przemyslaw ; Lindenmayer,
Aris\-tid: The algorithmic beauty of plants. First soft cover printing. New York [u.a.] :
Springer, 1996 (The virtual laboratory)
VIII

Literaturverzeichnis
[Rabbani u. a. 2007] Rabbani, Tahir ; Dijkman, Sander ; Heuvel, Frank van d. ; Vosselman,
George: An integrated approach for modelling and global registration of point
clouds. In: ISPRS Journal of Photogrammetry and Remote Sensing 61 (2007), Nr. 6,
S. 355–370. – ISSN 09242716
[Rao 1964] Rao, C. R.: The Use and Interpretation of Principal Component Analysis in
Applied Research. In: Sankhya: The Indian Journal of Statistics 26 (1964), Nr. 4, S.
329–358
[Ren u. Malik 2003] Ren ; Malik: Learning a classification model for segmentation. In:
9th International Conference on Computer Vision, 2003, S. 10–17 vol. 1
[Roberts 1978] Roberts, Fred S.: CBMS-NSF regional conference series in applied mathematics.
Bd. 29: Graph theory and its applications to problems of society. Philadelphia
: Society for Industrial and Applied Mathematics, 1978
[Schnabel u. a. 2007] Schnabel, R.;Wahl, R.;Klein, R.: Efficient RANSAC for Point-
Cloud Shape Detection. In: Computer Graphics Forum 26 (2007), Nr. 2, S. 214–226. –
ISSN 0167–7055
[Shah 2006] Shah, Tahir R.: Publications on geodesy. Bd. 62: Automatic reconstruction of
industrial installations using point clouds and images. Delft : Nederlandse Commissie
voor Geodesie, 2006
[Sima u. a. 2013] Sima, Mihai-Cotizo ; Nüchter, Andreas ; Wang, Yulin ; Tan, Liansheng
; Zhou, Jianhong: An extension of the Felzenszwalb-Huttenlocher segmentation
to 3D point clouds. In: Fifth International Conference on Machine Vision: Computer
Vision, Image Analysis and Processing, SPIE, 2013
[Szeliski 2010] Szeliski, R.: Computer Vision: Algorithms and Applications:
http://szeliski.org/Book/ (letzter Abruf: 12.10.2013). 2010
[Tomasi u. Manduchi 1998] Tomasi, C. ; Manduchi, R.: Bilateral filtering for gray and
color images. In: IEEE 6th International Conference on Computer Vision, 1998, S.
839–846
IX

Literaturverzeichnis
[Torr u. Zisserman 1998] Torr, P.;Zisserman, A.: Robust computation and parametrization
of multiple view relations. In: IEEE 6th International Conference. 1998, S.
727–732
[Turner 1992] Turner, A. K.: NATO ASI Series, Series C: Mathematical and Physical
Sciences. Bd. 354: Three-Dimensional Modeling with Geoscientific Information
Systems. Dordrecht : Springer Netherlands, 1992
[Ulén 2013] Ulén, J.: Multi-Region Segmentation Using Graph-Cuts:
www.maths.lth.se/matematiklth/personal/petter/rapporter/multi-label.pdf; (letzter
Abruf: 01.10.2013). 2013
[Vosselman u. Maas 2010] Vosselman, G. ; Maas, Hans-Gerd: Airborne and terrestrial
laser scanning. Dunbeath : Whittles Publishing, 2010
[Wang u. a. 2004] Wang, Jue ; Thiesson, Bo ; Xu, Yingqing ; Cohen, Michael: Image
and Video Segmentation by Anisotropic Kernel Mean Shift. In: Kanade, Takeo (Hrsg.):
Computer Vision - ECCV 2004 Bd. 3022. Berlin and Heidelberg : Springer, 2004, S.
238–249
[Wang u. Shan 2009] Wang, Jun ; Shan, Jie: Segmentation of LiDAR point clouds for
building extraction. In: ASPRS 2009 Annual Conference; Baltimore, Maryland (2009)
[Welsch u. a. 2000] Welsch, W. ; Heunecke, Otto ; Kuhlmann, Heiner: Auswertung
geodätischer Überwachungsmessungen. Heidelberg : Wichmann, 2000 (Handbuch Ingenieurgeodäsie)
[Wendemuth u. Andelic 2004] Wendemuth, Andreas ; Andelic, Edin: Grundlagen der
stochastischen Sprachverarbeitung. München : Oldenbourg, 2004
[Wertheimer 1923] Wertheimer, Max: Untersuchungen zur Lehre von der Gestalt. II.
In: Psychologische Forschung 4 (1923), Nr. 1, S. 301–350. – ISSN 0340–0727
[Xinming u. a. 1994] Xinming,Y.;Bui,T.D.;Krzyzak, A.: Robust estimation for range
image segmentation and reconstruction. In: IEEE Transactions on Pattern Analysis and
Machine Intelligence 16 (1994), Nr. 5, S. 530–538. – ISSN 01628828
X

Literaturverzeichnis
[Yokoya u. Levine 1989] Yokoya, N. ; Levine, M. D.: Range image segmentation based
on differential geometry: a hybrid approach. In: IEEE Transactions on Pattern Analysis
and Machine Intelligence 11 (1989), Nr. 6, S. 643–649. – ISSN 01628828
[Zahn 1971] Zahn, C. T.: Graph-Theoretical Methods for Detecting and Describing
Gestalt Clusters. In: IEEE Transactions on Computers C-20 (1971), Nr. 1, S. 68–86. –
ISSN 0018–9340
[Zhan u. Yu 2012] Zhan, Qingming ; Yu, Liang: Segmentation of LiDAR Point Cloud
Based on Similarity Measures in Multi-dimension Euclidean Space. In: Zeng, Dehuai
(Hrsg.): Advances in Computer Science and Engineering Bd. 141. Berlin and Heidelberg
: Springer, 2012, S. 349–357
XI

Abbildungsverzeichnis
1.1 Zwei der Gestaltprinzipien: Prinzip der Nähe (links); Prinzip der Ähnlichkeit
(rechts) (nach Wertheimer (1923)) . . . . . . . . . . . . . . . . . . . . 2
1.2 Messergebnis der Aufnahme einer Gurkenpflanze mit dem am IKG entwickelten
MSS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
2.1 Multi-Sensorsystem
[Paffenholz u.a. (2013)] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2.2 Messkonfiguration [Paffenholz u. a. (2013)] . . . . . . . . . . . . . . . . . . 8
2.3 Berechnung eines Spin-Images [Johnson u. Hebert (1999)] . . . . . . . . . . 11
2.4 Berechnung eines Tensors (Ausschnitt aus [Mian u. a. (2006)]) . . . . . . . 12
2.5 Schematischer Überblick über den Registrierungsvorgang [Paffenholz u. a.
(2013)] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
3.1 Kantentypen in Tiefenbildern: Jump-Edge (links); Crease-Edge (Mitte);
Smooth-Edge (rechts) (nach Krishnapuram u. Gupta (1992)) . . . . . . . . 21
3.2 Beispielgraphen: ungerichteter Graph (links); gerichteter Graph (rechts)
(nach Roberts (1978)) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.3 Beispielgraphen: Pfad in einem Graphen (links); Zyklus in einem Graphen
(rechts) (nach Lézoray u. Grady (2012)) . . . . . . . . . . . . . . . . . . . 34
3.4 Beispielgraphen: verbundener Graph (links); nicht verbundener Graph (rechts)
(nach Roberts (1978)) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
3.5 Spannbäume (nach Zahn (1971)) . . . . . . . . . . . . . . . . . . . . . . . 35
3.6 Interpretation eines Bildes als Graph: Ausschnitt eines Grauwertbildes (links);
auf Vierernachbarschaft basierender Grid-Graph (Mitte); auf Achternachbarschaft
basierender Grid-Graph (rechts) (nach Malmberg (2011)) . . . . 35
XIII

3.7 Unterteilung von Eingangsbildern in unterschiedlich große Superpixel [Achanta
u.a. (2012)] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3.8 Motivation für ein adaptives Segmentierungskriterium: Originalbild [Felzenszwalb
u. Huttenlocher (2004)] (links); menschliche Wahrnehmung des
Bildes (rechts) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
3.9 Grid-Graph für eine raum-zeitliche Segmentierung (nach Malmberg (2011)) 44
3.10 Zeitliche Zuordnung zweier Sequenzen X und Y [Müller (2007)] . . . . . . 46
3.11 Dynamische Programmierung zur Durchführung des DTW: beispielhafte
Kostenmatrix (links); dazugehörige akkumulierte Kostenmatrix (rechts)
[Müller (2007)] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
4.1 Gurkenpflanze (Aufnahme: Paffenholz) . . . . . . . . . . . . . . . . . . . . 50
4.2 Ausgangsdaten der Aufnahme E1 08 (sPos 0 ◦ ): Intensitätsbild (links); Distanzbild
(rechts) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
4.3 Ausgangsdaten der Aufnahme E1 08 (sPos 0 ◦ ) nach Einschränkung des
Sichtfeldes: Intensitätsbild (Ausschnitt) (links); Distanzbild (Ausschnitt)
(rechts) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
4.4 RGB-Daten der Aufnahme E1 08 : RGB-Bild (sPos 0 ◦ ) (links); eingefärbte
Punktwolke aller drei Aufnahmerichtungen (rechts) . . . . . . . . . . . . . 54
4.5 Vergrößerter Ausschnitt des Tiefenbildes der Aufnahme E1 08 (sPos 0 ◦ ) . . 57
4.6 Lokale Normalenvektoren der Aufnahme E1 08 (sPos 0 ◦ ); w =0.5, z =0.95,
r =2cm: Schwellwert ɛ R = 12 mm (links); Schwellwert ɛ R =6mm (rechts) 59
4.7 Glättung der Rohdaten mit Hilfe des Bilateralfilters: ungeglättete Punktwolke
(links); geglättete Punktwolke (rechts) . . . . . . . . . . . . . . . . . 61
4.8 Unstimmigkeiten in den Überlappungsbereichen der Aufnahmen zweier Scanpositionen
(rot bzw. grün eingefärbt) nach der Glättung der Rohdaten mit
Hilfe des Bilateralfilters: ungeglättete Punktwolke (links); geglättete Punktwolke
(rechts) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
4.9 Anwendung eines 3-D-Mittelwertfilters: Prinzip (links); Blattflächenverkleinerung
in Folge der Glättung (gelb: Ausschnitt aus der ungeglätteten
Punktwolke, hellblau: Ausschnitt aus der geglätteten Punktwolke) (rechts) 63
XIV

4.10 Glättung der Rohdaten mit Hilfe eines 3-D-Mittelwertfilters: ungeglättete
Punktwolke (links); geglättete Punktwolke (rechts) . . . . . . . . . . . . . 63
4.11 Glättung der Rohdaten in Richtung der lokalen Normalenvektoren: ungeglättete
Punktwolke (links); geglättete Punktwolke (rechts) . . . . . . . . 65
4.12 RGB-Bilder der Aufnahme E1 08 : Scanposition sPos 120 ◦ (links); Scanposition
sPos 240 ◦ (rechts) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
4.13 Extraktion der Kiste: Hue-Werte der Aufnahme E1 08 , sPos 240 ◦ (links);
Kiste mit aufliegender Styroporplatte (Aufnahme: Paffenholz) (rechts) . . . 67
4.14 Extraktion einer Seitenwand der Kiste (blau: Ausgangspunktwolke, rot:
Ergebnisebene, grün: extrahierte Punkte): einfacher RANSAC (links), modifizierter
RANSAC (rechts) . . . . . . . . . . . . . . . . . . . . . . . . . . 69
4.15 Extraktion aller vier Seitenwände der Kiste (blau: Ausgangspunktwolke,
rot: Ergebnisebenen, grün: extrahierte Punkte) . . . . . . . . . . . . . . . . 70
4.16 Einfluss der Nachbarschaftsgröße auf das Segmentierungsergebnis (Aufnahme
E1 08 ): r 1 =5mm (links); r 2 = 10 mm (Mitte); r 3 = 15 mm (rechts);
(Vergrößerte Darstellung in Abbildung A1) . . . . . . . . . . . . . . . . . . 72
4.17 Ergebnisse der Segmentierung, basierend auf der spektralen Information
(Aufnahme E1 08 ): w I (links), w RGB (rechts);
(Vergrößerte Darstellung in Abbildung A2) . . . . . . . . . . . . . . . . . . 74
4.18 Detektion von Tiefensprüngen in der 3-D-Punktwolke: Prinzip (links); Übersegmentierung
bei starken Blattkrümmungen (Mitte); Untersegmentierung
bei Blattberührungen (rechts) . . . . . . . . . . . . . . . . . . . . . . . . . 75
4.19 Ergebnisse der Segmentierung, basierend auf der geometrischen Information
(Aufnahme E1 08 ): w d (links), w NV (rechts);
(Vergrößerte Darstellung in Abbildung A2) . . . . . . . . . . . . . . . . . . 76
4.20 Einfluss der Konstante κ auf das Segmentierungsergebnis (Aufnahme E1 08 ):
κ 1 =0, 1 (links); κ 2 =0, 6 (Mitte); κ 3 = 1 (rechts);
(Vergrößerte Darstellung in Abbildung A3) . . . . . . . . . . . . . . . . . . 78
XV

4.21 Durchführung der Oberflächenschätzung: Einschränkung der verwendeten
Punkte (blau: Segment S i , hellblau: Untermenge von S i (S isub ), grün: Nachbarsegment
S j ) (links); Ergebnis der Oberflächenschätzung nach Drixler
(1993) (rechts) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
4.22 Ergebnis der Oberflächenschätzung nach Alenya u. a. (2011) . . . . . . . . 84
4.23 Ergebnis des oberflächenbasierten Region-Mergings: (blau: Segment S i , rot:
Nachbarsegmente, die S i zugeordnet werden, grün: Nachbarsegmente, die
S i nicht zugeordnet werden) . . . . . . . . . . . . . . . . . . . . . . . . . . 86
4.24 Motivation für einen kantenbasierten Ansatz: Grenzkante zweier Segmente,
die sich berührenden Blättern angehören (Hellblau), und Grenzkante zweier
Segmente desselben Blattes (Gelb) . . . . . . . . . . . . . . . . . . . . . . 87
4.25 Bestimmung der Segmentränder: Initialisierung (blau: Beispielsegment, rot:
Initialisierungspunkte, grün: Hilfsebene) (links); Unterteilung der Punktwolke
in zwei Punktmengen (gelb: P B , grün: P R ) (rechts) . . . . . . . . . . 88
4.26 Randbestimmung: schematische Darstellung des Prinzips (links); Ergebnis
mit ɛ DP = 15 mm (rechts) . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
4.27 Kantenbasiertes Region-Merging: Grenzkante im Raum (rot: Randpunkte
des blau eingefärbten Segmentes S i , magenta: Randpunkte des grün
eingefärbten Nachbarsegmentes) (links); Ergebnis (blau: Segment S i , rot:
Nachbarsegmente, die S i aufgrund des oberflächenbasierten Ansatzes zugeordnet
werden, gelb: Nachbarsegmente, die S i aufgrund des kantenbasierten
Ansatzes zugeordnet werden, grün: Nachbarsegmente, die S i nicht zugeordnet
werden) (rechts) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
4.28 Schwierigkeiten beim kantenbasierten Region-Merging: Grenzkante zweier
fälschlicherweise zusammengefügter Segmente (links); Ergebnis nach Einführung
einer Restriktion (blau: Segment S i , rot: Nachbarsegmente, die S i aufgrund
des oberflächenbasierten Ansatzes zugeordnet werden, gelb: Nachbarsegmente,
die S i aufgrund des kantenbasierten Ansatzes zugeordnet werden,
grün: Nachbarsegmente, die S i nicht zugeordnet werden) (rechts) . . . . . . 92
XVI

4.29 Segmentierte Punktwolke der Aufnahme E1 08 : Gesamte Punktwolke (links);
segmentierte Blätter (rechts);
(Vergrößerte Darstellung in Abbildung A4) . . . . . . . . . . . . . . . . . . 95
4.30 Übersegmentierte Blätter der Aufnahme E4 08 . . . . . . . . . . . . . . . . 96
4.31 Beispielhaft ausgewählte segmentierte Blätter: mit Darstellung der Störklasse
(links); ohne Darstellung der Störklasse (rechts) . . . . . . . . . . . . . . 98
4.32 Segmentierte Punktwolke der Aufnahme E1 23 : gesamte Punktwolke (links);
segmentierte Blätter (rechts);
(Vergrößerte Darstellung in Abbildung A5) . . . . . . . . . . . . . . . . . . 98
4.33 Übersegmentierte Blätter der Aufnahme E1 23 , frontale Blickrichtung auf
Beispielblatt 1 (links); Blickrichtung von oben auf Beispielblatt 2 (rechts) . 99
4.34 Schematisch dargestellter Verlauf der Laserstrahlen bei annähernd horizontal
ausgerichteten Blättern . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
4.35 Aufteilung eines Segmentes von einer räumlichen Segmentierung zur nächsten:
Segmentierungsergebnis der Aufnahme E1 08 (links); Segmentierungsergebnis
der Aufnahme E2 08 (rechts) . . . . . . . . . . . . . . . . . . . . . . . . 102
4.36 Offset in der Z-Koordinate zweier zu verschiedenen Zeitpunkten aufgenommenen
Punktwolken . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
4.37 Zeitliche Registrierung: Bestimmung der Kisten-Eckpunkte (links); Ergebnis
(rechts) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
4.38 Ergebnis der zeitlichen Segmentierung bei kurzen Zeitabständen: Aufnahme
E1 08 (links); Aufnahme E2 08 (rechts) . . . . . . . . . . . . . . . . . . . 108
4.39 Ergebnis der zeitlichen Segmentierung bei langen Zeitabständen: Aufnahme
E1 08 (links); Aufnahme E1 23 (rechts) . . . . . . . . . . . . . . . . . . . . . 109
4.40 Ergebnisse der manuellen Digitalisierung von charakteristischen Punkten
einer Gurkenpflanze: Modell vom 08.05.2013 (links); Modell vom 23.05.2013
(rechts) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
4.41 Ergebnisse der manuellen Digitalisierung von charakteristischen Punkten
einer Gurkenpflanze: Modell vom 08.05.2013 (links); Modell vom 23.05.2013
(rechts) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
XVII

5.1 α-Shapes eines beispielhaft ausgewählten Ergebnissegmentes: α 1 = 10 mm
(links); α 2 = 20 mm (Mitte); α 3 = 50 mm (rechts) . . . . . . . . . . . . . . 116
5.2 α-Shapes eines beispielhaft ausgewählten Ergebnissegmentes: ungeglättete
Punktwolke (links); geglättete Punktwolke (rechts) . . . . . . . . . . . . . 117
5.3 Gegenüberstellung der vermaschten Punktwolke und des Digitizer-Modells:
vermaschte Punktwolke vom 08.05.2013 (links); Digitizer-Modell vom 08.05.2013
(rechts) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
5.4 Vergleich eines Blattes aus dem Digitizer-Modell (rot eingefärbt) mit demselben
segmentierten Blatt (dargestellt in Grautönen) . . . . . . . . . . . . 118
5.5 Durch die Vermaschung verursachten Abweichungen in den Blattflächen . . 121
A1 Einfluss der Nachbarschaftsgröße auf das Segmentierungsergebnis (Aufnahme
E1 08 ): r 1 =5mm (links); r 2 = 10 mm (Mitte); r 2 = 15 mm (rechts);
(Vergrößerte Darstellung) . . . . . . . . . . . . . . . . . . . . . . . . . . . XXVI
A2 Ergebnisse der Segmentierung, basierend auf der spektralen und der geometrischen
Information (Aufnahme E1 08 ); von links nach rechts: w I , w RGB ,
w d , w NV ; (Vergrößerte Darstellung) . . . . . . . . . . . . . . . . . . . . . . XXVII
A3 Einfluss der Konstante κ auf das Segmentierungsergebnis (Aufnahme E1 08 ):
κ 1 =0, 1 (links); κ 2 =0, 6 (Mitte); κ 3 = 1 (rechts); (Vergrößerte Darstellung)XXVIII
A4 Segmentierte Punktwolke der Aufnahme E1 08 : Gesamte Punktwolke (links);
Punktwolke ohne Störklasse (rechts); (Vergrößerte Darstellung) . . . . . . . XXIX
A5 Segmentierte Punktwolke der Aufnahme E1 23 : Gesamte Punktwolke (links);
segmentierte Blätter (rechts); (Vergrößerte Darstellung) . . . . . . . . . . XXX
A6 Ergebnis des Region-Mergins (E1 08 ) (a): Blatt 1 (links); Blatt 2 (rechts) . XXXI
A7 Ergebnis des Region-Mergins (E1 08 ) (b): Blatt 3 (links); Blatt 4 (rechts) . XXXI
A8 Ergebnis des Region-Mergins (E1 08 ) (c): Blatt 5 (links); Blatt 6 (rechts) . . XXXII
A9 Ergebnis des Region-Mergins (E1 08 ) (d): Blatt 7 (links); Blatt 8 (rechts) . XXXII
A10 Ergebnis des Region-Mergins (E1 08 ) (e): Blatt 9 (links); Blatt 10 (rechts) . XXXII
A11 Ergebnisse der Segmentierung; Von links nach rechts die Datensätze E1 08 ,
E2 08 , E4 08 , E5 08 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . XXXIII
A12 Ergebnisse der Segmentierung; Von links nach rechts die Datensätze E2 23 ,
E3 23 , E4 23 , E5 23 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . XXXIV
XVIII

A13 Ergebnisse der zeitlichen Segmentierung; Von links nach rechts die Datensätze
E1 08 , E2 08 , E4 08 , E5 08
. . . . . . . . . . . . . . . . . . . . . . . . XXXV
XIX

Tabellenverzeichnis
4.1 Verwendete Datensätze . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
4.2 Anzahl der Nachbarn in Abhängigkeit vom verwendeten Radius r . . . . . 71
5.1 Gegenüberstellung der Blattflächen des Digitzer-Modells A D und der Blattflächen
der segmentierten Gurkenblätter bei Verwendung der ungeglätteten
(A Su ) bzw. der geglätteten Punktwolke (A Sg ) . . . . . . . . . . . . . . . . . 119
5.2 Vergleich der Blattflächen der unterschiedlichen Aufnahmen des Messtages
08.05.2013 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
XXI

Abkürzungsverzeichnis
BMBF:
DTW:
GPS:
ICP:
IGPS:
IKG:
IMU:
MkQ:
MSAC:
MSS:
MST:
NURBS:
PCA:
RANSAC:
SLAM:
TSP:
VKM:
Bundesministerium für Bildung und Forschung
Dynamic Time Warping
Global Positioning System
Iterative Closest Point
Institut für Gartenbauliche Produktionssysteme
Institut für Kartographie und Geoinformatik
Inertial Measurement Unit
Methode der kleinsten Quadrate
M-Estimator Sample Consensus
Multi-Sensorsystem
Minimal Spanning Tree
Non-uniform rational B-Splines
Principal Component Analysis
Random Sample Consensus
Simultaneous Localization and Mapping
Traveling Salesman Problem
Varianz-Kovarianz-Matrix
XXIII

Anhang
A Ergänzende Abbildungen
Zusätzlich zu den Darstellungen innerhalb der Arbeit werden im Folgenden ergänzende
Abbildungen aufgeführt: In den Abbildungen A1 bis A5 befinden sich die vergrößerten
Darstellungen der segmentierten Punktwolken, die sich in den jeweiligen Kapiteln in kleinerer
Ausführung befinden.
Die Abbildungen A6 bis A10 zeigen für jedes Blatt des Datensatzes E1 08 das Ergebnis des
Region-Mergings: Die rot eingefärbten Punkte werden aufgrund des oberflächenbasierten
Ansatzes dem in Blau dargestellten Segment zugeordnet. Alle gelb eingefärbten Punkte
werden aufgrund des kantenbasierten Ansatzes als zugehörig erkannt, während für die
grün dargestellten Segmente beide Nullhypothesen verworfen werden.
Die endgültigen Segmentierungsergebnisse sind in der Arbeit nur beispielhaft an ausgewählten
Datensätzen dargestellt. Ergänzend dazu befinden sich die Ergebnisse der
räumlichen Segmentierung für alle verwendeten Datensätze in den Abbildungen A11 und
A12, sowie die gesamte segmentierte Zeitreihe des Datensatzes vom 08.05.2013 in der
Abbildung A13.
XXV

Vergrößerte Abbildungen
Abb. A1: Einfluss der Nachbarschaftsgröße auf das Segmentierungsergebnis (Aufnahme E108): r1 =5mm (links); r2 = 10 mm (Mitte);
r2 = 15 mm (rechts); (Vergrößerte Darstellung)
XXVI

Abb. A2: Ergebnisse der Segmentierung, basierend auf der spektralen und der geometrischen Information (Aufnahme E108); von links
nach rechts: wI, wRGB, wd, wNV ; (Vergrößerte Darstellung)
XXVII

Abb. A3: Einfluss der Konstante κ auf das Segmentierungsergebnis (Aufnahme E108): κ1 =0, 1 (links); κ2 =0, 6 (Mitte); κ3 =1
(rechts); (Vergrößerte Darstellung)
XXVIII

Abb. A4: Segmentierte Punktwolke der Aufnahme E108: Gesamte Punktwolke (links); Punktwolke ohne Störklasse (rechts); (Vergrößerte
Darstellung)
XXIX

Abb. A5: Segmentierte Punktwolke der Aufnahme E123: Gesamte Punktwolke (links); segmentierte Blätter (rechts); (Vergrößerte
Darstellung)
XXX

Ergebnisse des Region-Mergings
Abb. A6: Ergebnis des Region-Mergins (E1 08 ) (a): Blatt 1 (links); Blatt 2 (rechts)
Abb. A7: Ergebnis des Region-Mergins (E1 08 ) (b): Blatt 3 (links); Blatt 4 (rechts)
XXXI

Abb. A8: Ergebnis des Region-Mergins (E1 08 ) (c): Blatt 5 (links); Blatt 6 (rechts)
Abb. A9: Ergebnis des Region-Mergins (E1 08 ) (d): Blatt 7 (links); Blatt 8 (rechts)
Abb. A10: Ergebnis des Region-Mergins (E1 08 ) (e): Blatt 9 (links); Blatt 10 (rechts)
XXXII

Ergebnisse der räumlichen Segmentierung
Abb. A11: Ergebnisse der Segmentierung; Von links nach rechts die Datensätze E108, E208, E408, E508
XXXIII

XXXIV
Abb. A12: Ergebnisse der Segmentierung; Von links nach rechts die Datensätze E223, E323, E423, E523

Ergebnisse der zeitlichen Segmentierung
Abb. A13: Ergebnisse der zeitlichen Segmentierung; Von links nach rechts die Datensätze E108, E208, E408, E508
XXXV

B Matlab-Skripte
Sämtliche Berechnungen dieser Arbeit wurden mit Matlab (R2013a) durchgeführt. Auf
dem beiliegenden Datenträger befinden sich die entsprechenden Matlab-Skripte sowie die
gemessenen Datensätze, die den Berechnungen zugrunde liegen ( ”
g1w1 08.mat“ sowie
g1w1 23.mat“). Die Hauptfunktion main.m berechnet sowohl die räumliche als auch die
”
zeitliche Segmentierung. Alle hierfür geschriebenen Funktionen, die in dieser Hauptfunktion
aufgerufen werden, sind in den entsprechenden Matlab-Skripten beschrieben.
Neben den Matlab-Skripten befindet sich auf dem Datenträger die digitale Version dieser
Arbeit.
XXXVII