Das 3d-Puzzle-Problem - Institut für Robotik und Prozessinformatik ...

Das 3d-Puzzle-Problem
Effiziente Methoden zum paarweisen Zusammensetzen
von dreidimensionalen Fragmenten
Von der Carl-Friedrich-Gauß-Fakultät für Mathematik und Informatik
der Technischen Universität Carolo-Wilhelmina zu Braunschweig
zur Erlangung des Grades eines Doktor-Ingenieurs (Dr.-Ing.)
genehmigte
D i s s e r t a t i o n
von Dipl.-Inform. Simon Winkelbach
aus (Geburtsort) Göttingen
1. Referent: Prof. Dr.-Ing. Friedrich M. Wahl
2. Referent: Prof. Dr.-Ing. Hans Burkhardt
eingereicht am: 16. 06. 2006
mündliche Prüfung am: 18. 09. 2006

Vorwort
Die vorliegende Dissertation entstand im Rahmen meiner Tätigkeit als wissenschaftlicher
Mitarbeiter am Institut für Robotik und Prozessinformatik der Technischen Universität
Braunschweig.
Mein besonderer Dank gilt dem Leiter des Instituts Herrn Prof. Dr.-Ing. Friedrich M.
Wahl, denn ohne seine hilfreiche fachliche Betreuung wäre diese Arbeit sicherlich nicht
möglich gewesen. Er hat mich bereits als Student frühzeitig gefördert und meine Arbeit
kontinuierlich durch viele konstruktive Ideen und wertvolle Erfahrungen unterstützt.
Herrn Prof Dr.-Ing. Hans Burkhardt, der sich zur Übernahme des Koreferats bereit
erklärt hat, gilt ebenfalls mein Dank.
Herzlicher Dank gebührt natürlich auch allen Kolleginnen und Kollegen, sowie Studenten
des Instituts für ihre aktive Mitwirkung und für die vielen interessanten und anregenden
Diskussionen. Insbesondere Herr Markus Rilk, Herr Sven Molkenstruck und Herr Christoph
Schönfelder haben bei den umfangreichen Implementierungsarbeiten tatkräftig
mitgeholfen.
Meinen Kollegen Herrn Ralf Westphal, sowie unseren Projektpartnern an der Unfallchirurgischen
Klinik der Medizinischen Hochschule Hannover unter der Leitung von Prof.
Dr. med. Christian Krettek danke ich für die ausgezeichnete Zusammenarbeit und die
Bereitstellung des umfangreichen Datenmaterials.
Schließlich möchte ich mich ganz herzlich bei der deutschen Forschungsgemeinschaft
(DFG) für die finanzielle Unterstützung dieser Arbeit im Rahmen des Projektes ” 3d-
Puzzle-Problem“ (WA 848/14–1) und des Projektes ” Roboterunterstützte Femurmarknagelung“
(WA 848/10–1) bedanken.
Braunschweig, im Juni 2006 Simon Winkelbach
i

Inhaltsverzeichnis
1 Einleitung 1
1.1 Zielsetzung und Aufbau der Arbeit . . . . . . . . . . . . . . . . . . . . . 3
2 Gewinnung und Repräsentation von Basisdaten 5
2.1 Tiefendaten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2.1.1 Lasertriangulation . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2.1.2 Der Codierte Lichtansatz . . . . . . . . . . . . . . . . . . . . . . . 10
2.2 Oberflächennormalen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.2.1 Oberflächenrekonstruktion durch Projektion zweier Streifenmuster 12
2.2.2 Oberflächenrekonstruktion durch Projektion eines Streifenmusters 18
2.2.3 Tiefenbilder aus Gradientenkarten . . . . . . . . . . . . . . . . . . 22
2.2.4 Experimentelle Ergebnisse . . . . . . . . . . . . . . . . . . . . . . 29
2.3 Volumendaten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.3.1 Computertomographie . . . . . . . . . . . . . . . . . . . . . . . . 31
2.3.2 Extraktion von Isoflächen . . . . . . . . . . . . . . . . . . . . . . 33
2.4 Repräsentationsformen von Oberflächendaten . . . . . . . . . . . . . . . 36
3 Matching von Oberflächen: Problemstellung und Stand der Technik 39
3.1 Oberflächenregistrierung versus 3d-Puzzle-Problem . . . . . . . . . . . . 39
3.2 Feinregistrierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.3 Grobregistrierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3.3.1 Merkmalsbasierte Korrespondenzsuche . . . . . . . . . . . . . . . 42
3.3.2 Hypothesen-Akkumulation (Pose Clustering) . . . . . . . . . . . . 44
3.3.3 Hypothesengenerierung und Hypothesenverifizierung . . . . . . . 45
3.4 Stand der Technik beim 3d-Puzzle-Problem . . . . . . . . . . . . . . . . 46
4 Matching von 3d Objektfragmenten (3d-Puzzle-Problem) 49
4.1 Einführung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
4.2 Formale Problemstellung und Begriffsdefinitionen . . . . . . . . . . . . . 51
4.3 Ein zufallsbasierter Ansatz: ’Random Sample Matching’ . . . . . . . . . . 56
4.3.1 Das RANSAC-Konzept . . . . . . . . . . . . . . . . . . . . . . . . 56
4.3.2 Schnelle Generierung von Lagehypothesen . . . . . . . . . . . . . 59
4.3.3 Effiziente Bewertung der Lagehypothesen . . . . . . . . . . . . . . 63
4.3.4 Experimentelle Ergebnisse . . . . . . . . . . . . . . . . . . . . . . 64
iii

iv Inhaltsverzeichnis
4.3.5 Diskussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
4.4 Ein Grob-zu-Fein-Ansatz: ’Cluster Tree Matching’ . . . . . . . . . . . . . 78
4.4.1 Transformationsfreies Matching von orientierten Punktwolken . . 80
4.4.2 Hierarchische Zerlegung von Punktwolken . . . . . . . . . . . . . 82
4.4.3 Hierarchisches Matching . . . . . . . . . . . . . . . . . . . . . . . 86
4.4.4 Beschleunigungsmöglichkeiten . . . . . . . . . . . . . . . . . . . . 89
4.4.5 Experimentelle Ergebnisse und Diskussion . . . . . . . . . . . . . 90
4.5 Anpassung an spezielle Fragmenttypen . . . . . . . . . . . . . . . . . . . 94
5 Anwendungen und Einsatzgebiete 97
5.1 Anwendungen in der Chirurgie . . . . . . . . . . . . . . . . . . . . . . . . 97
5.1.1 Repositionierung von gebrochenen Oberschenkelknochen . . . . . 97
5.1.2 Repositionierung von gebrochenen Beckenknochen . . . . . . . . . 112
5.2 Anwendungen in der Archäologie . . . . . . . . . . . . . . . . . . . . . . 123
5.3 Registrierung von Oberflächendaten . . . . . . . . . . . . . . . . . . . . . 126
5.4 Objekterkennung und Lageschätzung . . . . . . . . . . . . . . . . . . . . 132
6 Zusammenfassung und Ausblick 135
A Ungenauigkeiten bei perspektivischer Projektion 139
B Ergänzungen zu den experimentellen Ergebnissen 143
C Eigene Veröffentlichungen 145
Literaturverzeichnis 149
Index 157

Kurzfassung
Das Zusammenfügen von dreidimensionalen Objekten aus Einzelteilen (3d-Puzzle-Problem)
ist in vielen wichtigen Forschungs- und Anwendungsbereichen, wie zum Beispiel
der Archäologie, der Medizin, sowie der Bioinformatik und Robotik, von hoher Relevanz.
So müssen in der Archäologie zerbrochene historische Artefakte rekonstruiert, in der
Chirurgie gebrochene Knochen repositioniert und fixiert, in der Bioinformatik Proteine
zusammengesetzt und in der Robotik Bauteile gefügt werden.
In dieser Arbeit wird die gesamte Prozesskette von der Datenakquisition mittels unterschiedlicher
Sensoren, über die allgemeine Registrierung von Oberflächen, bis hin zu
speziellen Anforderungen beim Zusammensetzen von Fragmenten in unterschiedlichen
Anwendungsfällen, betrachtet. Insbesondere werden zwei neue Ansätze vorgestellt, mit
denen ein paarweises Matching von Fragmentoberflächen äußerst effizient gelöst werden
kann. Hierbei wird eine hohe Robustheit gegenüber Messungenauigkeiten, Fragmentschädigungen
und Materialverschleiß erreicht. In ihrer Basiskonfiguration berechnen beide
Verfahren diejenige relative Lage, bei der die Fragmente einen möglichst großen Oberflächenkontakt
aufweisen. Der erste Ansatz beruht auf einer zufallsbasierten Generierung
von wahrscheinlichen Lagehypothesen und einer schnellen Hochrechnung der Kontaktfläche.
Der zweite Ansatz basiert auf einer deterministischen ” Grob-zu-Fein-Strategie“
und kommt ohne Zufallskomponente aus.
Des Weiteren wird untersucht, auf welche Weise Vorwissen über die zerbrochenen Objekte
(z.B. über Form, Symmetrieebenen, Achsen, etc.) genutzt werden kann, um die
Effizienz, Genauigkeit und Robustheit zu erhöhen. Insbesondere gelingt es in dieser Arbeit
durch Einbeziehung von Vorwissen gebrochene Oberschenkel- und Beckenknochen
virtuell zusammenzufügen und somit einen wichtigen Baustein für die computerassistierte
Frakturbehandlung in der Chirurgie zu schaffen.
Neben den 3d-Puzzle-Problemen findet das automatische Anpassen von Oberflächendaten
(engl. ’surface matching’) auch in vielen anderen wichtigen Bereichen des 3d-
Computer-Sehens Anwendung. In diesem Zusammenhang wird gezeigt, dass die entwickelten
Ansätze unter anderem auch für die Erkennung und Lageschätzung von Objekten
im Raum und für die Registrierung von Tiefendaten eingesetzt werden können.
v

Abstract
The reconstruction of three-dimensional fragmented objects (3d-puzzle-problem) is a
highly relevant task with many applications. The field of application comprises archaeology,
surgery, bioinformatics and robotics. Examples are the reconstruction of broken
archaeological artefacts, human bone fracture reduction in surgery, protein-docking, and
the assemblage of industrial components.
This work considers the whole processing chain, starting from data acquisition with different
sensors, the general registration of surfaces, up to special requirements for matching
fragments in different applications. In this context, two novel and efficient pairwise
matching approaches will be introduced, which are highly robust against measurement
inaccuracies, material deterioration and noise. In their basic configuration, both methods
search for a relative pose, where the surface contact between all fragments is as
high as possible. The first approach is based on a randomized generation of likely pose
hypotheses and an efficient forecasting of the contact area. The second approach is based
on a deterministic coarse-to-fine strategy without any random variables.
Furthermore, this work discusses how a priori knowledge of the broken objects (like
shape priors, mirror symmetries and symmetry axes) can be used to increase the efficiency,
accuracy and robustness. Particularly, it shows how to use a priori knowledge
to reconstruct broken femurs (thigh bones) and pelvis fractures, which is an important
building block for computer-assisted fracture reduction in surgery.
In addition to the 3d-puzzle-problem, an automatic matching of surfaces has applications
in many other important computer vision related fields. It will be shown that the
developed approaches are also applicable for 3d object recognition and pose estimation,
as well as for registration of range data.
vii

Kapitel 1
Einleitung
Die Bildverarbeitung hat seit Einsatz des Computers große Fortschritte gemacht. So
ist es beispielsweise heutzutage mit geeigneten zweidimensionalen bildgebenden Sensoren
möglich, automatisiert handgeschriebene Texte zu erkennen, industrielle Bauteile
zu vermessen und zu prüfen, Gesichter und Fingerabdrücke zu identifizieren oder mobilen
Robotern das Erkennen von Hindernissen zu ermöglichen. Neben den weit verbreiteten
2d-Bildsensoren wie Farbbildkameras oder Röntgengeräte kommen auch immer
häufiger 21 2d-Bildsensoren zum Einsatz. Hierunter fallen z.B. taktile Sensoren, Stereokameras,
Lasertriangulationssensoren, Lichtschnittsensoren, strukturierte Beleuchtungssensoren
und Lichtlaufzeitsensoren. Diese Sensoren ermöglichen eine hochauflösende Erfassung
von geometrischen Formen. Neben den genannten Sensoren zur Vermessung
von 21 2d-Oberflächenkoordinaten gibt es insbesondere im medizinischen Bereich auch
Technologien zur Vermessung volumetrischer 3d-Raumdaten. Hierunter fallen z.B die
Computertomographie (CT), die Magnetresonanztomographie (MRT), die Positronenemissionstomographie
(PET) sowie moderne sonographische Technologien. Durch die
schnittbildgebenden Sensoren wie CT und MRT ist es möglich, dreidimensionale Objekte
raumfüllend in ihrer äußeren Form und ihrer inneren Zusammensetzung zu erfassen.
Somit können Organe und Knochen im Körper segmentiert und analysiert werden. Auch
in der Industrie gewinnt die Computertomographie immer mehr an Bedeutung. Mit ihr
ist es möglich, Elemente und Strukturen aus dem Inneren von Materialien, so z.B. Ma-
terialdefekte oder innere Werkstückelemente sichtbar zu machen. Durch moderne 2 1
2 dund
3d-Sensoren können also dreidimensionale Objekte in eine hochauflösende digitale
Form gebracht werden. Ein aktiver Forschungsbereich beschäftigt sich deshalb mit
der Entwicklung von Methoden und Techniken zur computerbasierten Nutzung dieser
Daten. In diesem Bereich ist auch die vorliegende Arbeit einzuordnen.
Ein Mensch besitzt im Allgemeinen die kognitiven und motorischen Fähigkeiten, ein
zerbrochenes Objekt wieder zu einem Ganzen zusammenzusetzen, in vielen Fällen sogar
dann, wenn er die Form des ursprünglichen Objektes nicht kennt. Hierbei müssen die
Bruchstücke (Fragmente) in die ursprüngliche (also vor dem Zerbrechen vorherrschende)
relative räumliche Lage gebracht werden. In Anlehnung an das allseits bekannte
zweidimensionale Puzzlespiel, soll das Problem des Zusammensetzens von dreidimensionalen
Fragmenten im Folgenden kurz 3d-Puzzle-Problem genannt werden. Die Lösung
1

2 Kapitel 1. Einleitung
(a) (b)
(c) (d)
Abbildung 1.1 Exemplarische Fragmente unterschiedlicher Art: (a) Archäologisches Artefakt;
(b) Beckenfraktur; (c) Bauteile; (d) Proteine.
dieses Problems ist nicht nur beim spielerischen Geduldsspiel oder beim Reparieren
von Ton- und Glasgefäßen erforderlich, sondern hat auch maßgebliche Relevanz im Bereich
Archäologie, Medizin, Bioinformatik und Robotik. So müssen zum Beispiel in der
Archäologie wertvolle archäologische Artefakte rekonstruiert, in der Medizin/Chirurgie
Knochen repositioniert und fixiert, in der Bioinformatik Proteine zusammengesetzt und
in der Robotik Bauteile gefügt oder Tiefendaten fusioniert werden. Wie diese Beispiele
verdeutlichen, findet man das Problem in unterschiedlichen Bereichen mit Fragmenten
völlig unterschiedlicher Art. Hierbei muss es sich nicht zwangsweise um Fragmente von
zerbrochenen Objekten handeln, sondern es können prinzipiell beliebige zusammensetzbare
Teile sein. Insbesondere sind hier starre dreidimensionale Fragmente gemeint, deren
Oberflächen mit anderen Fragmenten eine möglichst passgenaue Verbindung eingehen
können. Vier solcher Fragmentarten sind exemplarisch in Abbildung 1.1 dargestellt.
In vielen Bereichen ist jedoch ein manuelles Zusammensetzen der Fragmente prinzipiell
nicht möglich, zu ungenau oder mit zu hohen Kosten und Zeitaufwand verbunden. Die
manuelle Bearbeitung ist oft nicht innerhalb eines sinnvollen Zeitrahmens zu bewerk-

1.1. Zielsetzung und Aufbau der Arbeit 3
stelligen, da die kombinatorischen Möglichkeiten explosionsartig mit der Fragmentanzahl
steigen. Im Fall von gebrochenen Knochen geht der behandelnde Chirurg ein nicht
unerhebliches Gesundheitsrisiko ein, da der Fixierungsvorgang laufend durch eine Vielzahl
von Röntgenbildaufnahmen (und damit verbundener Strahlenbelastung) überwacht
werden muss. In der pharmazeutischen Forschung müssen beispielsweise große Strukturdatenbanken
nach einem Protein durchsucht werden, welches eine stabile molekulare
Verbindung mit einem anderen Protein bildet. Eine mögliche Anwendung ist die Suche
nach einer Substanz, die ein Enzym blockieren (inhibieren) und damit eine Virusinfektion
eindämmen kann.
Aus diesen Gründen besteht großes Interesse an effizienten Methoden zur automatischen
Lösung des 3d-Puzzle-Problems. In der heutigen Zeit bietet der Einsatz von Sensoren,
Robotern und Computern prinzipiell die Möglichkeit zu einer schnelleren, genaueren und
günstigeren automatischen Lösung zu gelangen. Die Fragmentoberflächen müssen hierzu
zuerst in eine geeignete digitale Form gebracht werden. Das Ziel ist dann, durch spezielle
Methoden aus dem Bereich Bildverarbeitung, 3d-Computer-Sehen und Mustererkennung,
die einzelnen Fragmente virtuell zusammenzusetzen und somit ’Baupläne’ oder
Bindungsfähigkeitsinformationen zu generieren. Diese Informationen können zum manuellen
oder robotergeführten Zusammensetzen der realen Teile oder in der Biochemie
und Pharmazie zur Vorhersage von Proteininteraktionen genutzt werden.
Neben der Anwendung beim 3d-Puzzle-Problem findet das automatische Anpassen von
Oberflächendaten auch in vielen anderen wichtigen Bereichen des 3d-Computer-Sehens
Anwendung. Beispiele hierfür sind die Erkennung und Lageschätzung von Objekten im
Raum, sowie die Registrierung oder Fusion von verschiedenen Daten desselben Körpers,
welche aus unterschiedlichen Sichtrichtungen aufgenommen wurden.
1.1 Zielsetzung und Aufbau der Arbeit
Das Ziel dieser Arbeit ist es, konkrete Methoden zum Lösen des 3d-Puzzle-Problems
vorzustellen. Dabei wird die gesamte Prozesskette, von der Datenakquisition mittels
unterschiedlicher Sensoren, über das allgemeine Matching von Oberflächen, bis hin zu
speziellen Anforderungen beim Matching von Fragmenten in unterschiedlichen Anwendungsfällen,
betrachtet. Besonderer Wert wird auf die anschauliche und intuitiv verständliche
Darstellung der Techniken gelegt. Neben der Robustheit und Genauigkeit
steht immer auch die Effizienz der Verfahren im Vordergrund, da diese ein entscheidendes
Kriterium für die Praxistauglichkeit ist:
• Effiziente Algorithmen ermöglichen das Zusammensetzen mehrerer Fragmente in
einem sinnvollen Zeitrahmen,
• sie versprechen in der Chirurgie kürzere Operationszeiten (und damit verbesserte
Heilungschancen und geringere Kosten),
• sie können während der Laufzeit (beispielsweise bei der automatisierten Montage)
eingesetzt werden,

4 Kapitel 1. Einleitung
• sie ermöglichen es, große Datenbanken schneller nach einem passenden Gegenstück
zu durchsuchen
• und können schließlich für Systeme mit interaktiver Benutzerschnittstelle eingesetzt
werden.
Alle Kapitel dieser Arbeit sind so weit wie möglich voneinander unabhängig aufgebaut
und auch getrennt voneinander nachvollziehbar. Die Arbeit ist folgendermaßen gegliedert:
In Kapitel 2 wird zunächst die Akquisition und Vorverarbeitung von räumlichen
Daten behandelt, welche die Basis sämtlicher Matching- und Registrierungsmethoden
sind. Dabei liegt der Schwerpunkt auf aktiven berührungslosen Ansätzen zur Gewinnung
von hochaufgelösten Daten. Bei diesen Daten kann es sich je nach Verfahren um Tiefendaten,
Oberflächennormalen oder Volumendaten handeln. Für jeden Typ werden ein
bis zwei besonders geeignete Verfahren vorgestellt. Besonderes Augenmerk liegt dabei
auf eigenen Arbeiten in diesem Bereich. Nach der Datenakquisition und -aufbereitung
kann das Oberflächen-Matching beginnen.
Kapitel 3 gibt einen Überblick über diverse aus der Literatur bekannte Ansätze zum Registrieren
von Oberflächendaten. Diese Registrierungsverfahren werden im Allgemeinen
zur Fusion von Tiefendaten oder zur 3d-Lageschätzung von Objekten eingesetzt. Obwohl
das Zusammensetzen von zerbrochenen Teilen ein sehr ähnlicher Anwendungsfall
ist, sind diese Methoden hierfür nur begrenzt geeignet. Gründe dafür liegen beispielsweise
in der oft fehlenden Initiallösung, in der teilweise geringen Oberflächenüberlappung,
im Materialverschleiß, sowie in der Notwendigkeit Durchdringungen zu vermeiden.
Aus diesem Grund werden in Kapitel 4 zwei neue Verfahren vorgestellt, mit denen
das 3d-Puzzle-Problem wesentlich effizienter und robuster als mit bisherigen Ansätzen
gelöst werden kann. In ihrer Basiskonfiguration suchen beide Verfahren diejenige relative
Lage, bei der die Fragmente den größtmöglichen Oberflächenkontakt aufweisen. Der
erste Ansatz beruht auf einer zufallsbasierten Suche von wahrscheinlichen Kontaktlagen
und einer schnellen Hochrechnung der Kontaktgüte. Dabei besticht der Algorithmus
vor allem durch seine Einfachheit und Geschwindigkeit. Die Suche terminiert sobald
die gewünschte Güte erreicht oder ein vorgegebenes Zeitlimit überschritten wurde. Der
zweite Ansatz tastet hingegen den Suchraum mit einer ” Grob-zu-Fein-Strategie“ ab,
kommt ohne Zufallskomponente aus und terminiert nach endlicher Zeit.
In Kapitel 5 werden die Ansätze in unterschiedlichen Anwendungsszenarien untersucht.
Die vorgestellten Anwendungen umfassen u.a. die Repositionierung von gebrochenen
Oberschenkel- und Beckenknochen, die Registrierung von Tiefendaten und die Erkennung
und Lageschätzung von Objekten im 3d Raum. Je nach Anwendung wird zusätzliches
” a priori Wissen“ genutzt, wodurch eine wesentlich höhere Robustheit und Genauigkeit
erzielt wird. Abschließend folgt in Kapitel 6 ein Ausblick auf mögliche zukünftige
Aktivitäten auf diesem interessanten Forschungsgebiet.

Kapitel 2
Gewinnung und Repräsentation von
Basisdaten
Die Basis sämtlicher Matching- und Registrierungsmethoden sind digitale Daten von realen
dreidimensionalen Objekten. Ganz am Anfang des 3d-Puzzle-Problems steht deshalb
die wichtige Frage, wie diese Objekte in eine digitale Form überführt werden können.
In diesem Kapitel sollen einige geeignete Methoden zur berührungslosen Gewinnung
von räumlichen Daten erläutert werden. Inzwischen gibt es eine Vielzahl unterschiedlicher
Ansätze. Zu unterscheiden sind passive und aktive Verfahren. Passive Verfahren
nehmen im Allgemeinen das reflektierte Umgebungslicht der Szene mittels ein oder
mehrerer optischer Systeme auf, während aktive Verfahren die Reflektion oder Emission
einer zusätzlichen Strahlen- oder Magnetquelle messen. Neben der Unterteilung in
aktiv und passiv, können die Verfahren auch nach der Art der gewonnen Daten (Tiefendaten,
Oberflächennormalen, Volumendaten) gegliedert werden. Tabelle 2.1 zeigt eine
Gliederung nach beiden Unterscheidungskriterien.
Natürlich gibt es noch weitere Verfahren die hier nicht genannt wurden. Das Ziel dieses
Tabelle 2.1 Unterschiedliche Methoden zur berührungslosen Gewinnung räumlicher Daten.
Tiefendaten Oberflächennormalen Volumendaten
passiv Stereobildanalyse Shape from Shading
Shape from Motion Shape from Texture
Shape from Focus Shape from Reflexion
Shape from Silhouette
aktiv Lasertriangulation Photometrisches Stereo CT
Codierter Lichtansatz Moiré Interferometrie MRT
Strukturiertes Licht Shape from Stripe Pattern PET
Phasenshift (Ultraschall)
Time-of-Flight
5

6 Kapitel 2. Gewinnung und Repräsentation von Basisdaten
Kapitels ist es, einen Überblick über die wichtigsten bzw. zweckmäßigsten Methoden zu
vermitteln. In den folgenden Abschnitten werden insbesondere diejenigen Techniken genauer
erläutert, die in den Experimenten in Kapitel 4 und 5 eingesetzt und/oder durch
Eigenentwicklungen erweitert wurden. Abschnitt 2.1 befasst sich mit der Akquisition
von Tiefendaten, in Abschnitt 2.2 werden Ansätze zu Gewinnung von Oberflächenorientierungen
bzw. Oberflächennormalen vorgestellt und in Abschnitt 2.3 wird kurz auf
die Akquisition und Verarbeitung von Volumendaten eingegangen.
2.1 Tiefendaten
Die bekanntesten und am häufigsten verwendeten Verfahren zur berührungslosen Gewinnung
von Tiefendaten basieren auf der optischen Tiangulation. Hierbei erfolgt die
Vermessung der Oberfläche über Schnittpunktberechnungen von Seh- bzw. Beleuchtungsstrahlen
mindestens zweier optischer Systeme. Zum Beispiel werden bei der Stereobildanalyse
(siehe z.B. Grimson [30], Marr & Poggio [59]) die zum selben Oberflächenpunkt
gehörigen Sehstrahlen zweier Kameras mathematisch zum Schnitt gebracht.
Der gewonnene 3d-Schnittpunkt stellt dann einen Punkt der Objektoberfläche im Raum
dar. Die Hauptschwierigkeit beim Stereo-Verfahren ist das so genannte Korrespondenzproblem.
Um eine Schnittberechnung durchführen zu können, müssen in beiden Kamerabildern
Bildpunkte gleichen Ursprungs gefunden werden. Bei falscher Zuordnung werden
falsche Raumpunkte berechnet. Im Fall von homogenen unstrukturierten Oberflächen
ist das Korrespondenzproblem ohne zusätzliche aktive Beleuchtung nahezu unlösbar, so
dass oftmals die Tiefeninformation großer Bildbereiche nur durch Interpolation aus den
angrenzenden Gebieten gewonnen werden kann. Die daraus resultierende geringe Genauigkeit
und die begrenzte laterale Auflösung reicht für viele praktische Anwendungen
nicht aus. Genauere Daten und eine bessere Auflösung (insbesondere bei homogenen
Oberflächen) kann durch den Einsatz aktiver Beleuchtung erzielt werden. Das Korrespondenzproblem
wird hierbei durch Projektion von Laser- oder Lichtmustern gelöst. Die
Lichtmuster dienen dabei zur eindeutigen Kodierung der Beleuchtungsrichtung. Dabei
kann die Kodierung räumlich (Strukturiertes Licht) oder räumlich und zeitlich (Lichtschnitt,
Codiertes Licht, Phasenshift) erfolgen (siehe z.B. Blais [11] für einen umfassenden
Überblick über bekannte Techniken). Völlig ohne Triangulation kommen Sensoren
zur Messung der Lichtlaufzeit (engl. ’time-of-flight’) aus. Sogenannte ’Time-of-flight
Massenspektrometer’ zur Messung einzelner punktueller Distanzwerte gibt es bereits
seit über 50 Jahren (siehe z.B. Wiley & McLaren [94]). In den letzten Jahren wurden
allerdings neuartige auf CMOS/CCD-Technologie basierende Lichtlaufzeitsensoren
entwickelt (siehe z.B. Lange & Seitz [54]). Bis dato sind diese Sensoren jedoch noch
kostenintensiv, ungenau und haben nur eine geringe laterale Auflösung. Es ist jedoch
zu erwarten, dass diese Sensoren an Bedeutung gewinnen werden, denn mit ihnen ist es
möglich Tiefendaten von bewegten Objekten in Kamera-Frame-Rate zu akquirieren.

2.1. Tiefendaten 7
2.1.1 Lasertriangulation
Auf Triangulation basierende Laser- oder Lichtschnittverfahren wurden bereits vor über
zwei Jahrzehnten vorgeschlagen (siehe z.B. Hall et al. [34], Pipitone & Marshall [68])
und kommen noch immer in vielen Anwendungsbereichen zum Einsatz. Das Anwendungsfeld
umfasst Computergrafik, Robotik, industrielles Design, Medizin, Archeologie,
Multimedia und Web-Design, sowie ’rapid prototyping’ und computergestützte Qualitätskontrolle.
Die meisten kommerziellen Systeme benutzen eine Kamera und einen
Laserstrahl oder eine Laser- oder Lichtebene. Dort wo das Licht auf das zu vermessende
Objekt auftrifft, also in der sichtbaren Schnittlinie zwischen Laser-/Lichtebene und
Objektoberfläche, werden die Lichtstrahlen diffus in den Raum zurückreflektiert. Diese
Linie wird von einer seitlich versetzen Kamera erfasst. Um nun die Raumkoordinaten der
Oberflächenpunkte auf der Linie zu ermitteln, müssen nur die Lichtstrahlen (in diesem
Zusammenhang spricht man auch von ’Sehstrahlen’) zurückverfolgt und mathematisch
mit der Laser-/Lichtebene zum Schnitt gebracht werden. Wird eine flächendeckende
Oberflächenvermessung benötigt, muss entweder der Laser- bzw. die Lichtebene über
die Szene geschwenkt (oder die Objekte selbst gedreht oder transliert) werden. Da für
die Triangulation der Oberflächenpunkte zu jedem Zeitpunkt die räumliche Lage des
Lasers bzw. des Lichtprojektors (bzw. die Orientierung der Drehvorrichtung) bekannt
sein muss, erfordert dies eine hochgenau kalibrierte Aktorik.
Einige alternative, handgeführte Geräte vermeiden diese teure Aktorik und erhöhen damit
außerdem die Flexibilität beim Scanningprozess. Bei diesen Ansätzen muss die Lage
des Lasergerätes im Raum online (also während der Laufzeit) ermittelt werden. Diese
Echtzeit-Lagebestimmung erfolgt durch unterschiedliche Mechanismen, wie optischem
LED Tracking, elektromagnetischen Sensoren oder mechanischen Positionierarmen (siehe
Blais [11], Zagorchev & Goshtasby [106]).
In einer eigenen Arbeit wurde deshalb ein Verfahren zur Oberflächenvermessung mit
einem manuell geführten Laser entwickelt, das ohne externes Trackingsystem auskommt
(siehe Molkenstruck [62], Winkelbach et al. [97]). Die Laserebene wird dabei online
durch Analyse der Laserlinien im Kamerabild kalibriert. Die Laserlinie wird mehrfach
per Hand über das zu scannende Objekt geschwenkt. Diese Methode hat einige Vorteile:
• Die geringen Hardwarekosten können auch von Studenten und privaten Entwicklern
aufgebracht werden.
• Es muss nur der leichte Laser gehalten werden, was ein komfortables Scannen
gewährleistet.
• Die Beleuchtungsrichtung bleibt flexibel, wodurch Laserschatten und Ausreißer
vermieden werden können.
Die einzige Voraussetzung ist eine a priori bekannte Hintergrundgeometrie, die der Kalibrierung
das Lasers dient.
Abbildung 2.1 zeigt eine typische Versuchsanordnung mit bekannte Hintergrundgeometrie
(im einfachsten Fall zwei Ebenen, die eine Raumecke bilden). Die räumliche Lage der

8 Kapitel 2. Gewinnung und Repräsentation von Basisdaten
Laser
Laserebene
Raumecke
zu messendes Objekt
Bildebene
Kamera
Abbildung 2.1 Oberflächenscanner mit manuell geführtem Laser.
Kamera bzgl. der Hintergrundgeometrie, sowie die intrinsischen Kameraparameter müssen
natürlich im Vorfeld kalibriert werden. Danach können die vom Laser beleuchteten
’Hintergrundpunkte’ per Schnitt von zugehörigen Sehstrahlen und Hintergrundgeometrie
berechnet werden. Da diese Hintergrundpunkte in der Laserebene liegen, spannen sie
(sofern sie linear unabhängig sind) die Laserebene im Raum auf. Diese Vorgehensweise
erfordert eine schnelle, genaue und robuste Online-Registrierung von redundanten Hintergrundpunkten
und der Laserebene. Hierfür wurde ein effizientes RANSAC-Verfahren
implementiert. Der RANSAC-Algorithmus wird in Kapitel 4.3 aufgegriffen und genauer
erläutert, da er auch als Basis für das effiziente Matching von Oberflächen verwendet
werden kann. Abbildung 2.2 zeigt exemplarisch zwei experimentelle Ergebnisse des
Ansatzes. Hier ist die erreichte Detailgenauigkeit gut zu erkennen. Die Oberflächengenauigkeit
ist abhängig von der Kalibriergenauigkeit des Laser und der Kamera, von
der Genauigkeit der Bildverarbeitung sowie vom Triangulationswinkel zwischen Laser
und Kamera. Untersuchungen der Messgenauigkeit mit einem bekannten Testobjekt, einem
Triangulationswinkel von ca. 30-35 ◦ und einem Kameraabstand von 600 mm zum
Messobjekt ergaben eine Standardabweichung von nur 0,37 mm.

2.1. Tiefendaten 9
(a) (b)
(c) (d)
Abbildung 2.2 (a) Kamerabild eines texturierten Testobjektes; (b) rekonstruierte Oberfläche
künstlich beleuchtet; (c) Kamerabild einer Beethovenbüste; (d) rekonstruierte Oberfläche
künstlich beleuchtet.

10 Kapitel 2. Gewinnung und Repräsentation von Basisdaten
2.1.2 Der Codierte Lichtansatz
Eine weitere, gut geeignete und mittlerweile in etlichen kommerziellen Systemen eingesetzte,
Messtechnik aus der Klasse der aktiven Triangulationsverfahren ist der so
genannte ” Codierte Lichtansatz“ (CLA). Das zugrundeliegende Messprinzip wurde im
Kern erstmals von Altschuler et al. [2], [3], vorgeschlagen und wurde kurze Zeit später
von Wahl [88], [89] und unabhängig davon von Inokuchi et al. [43], [73] zu seiner
heute gebräuchlichen und praxistauglichen Form weiterentwickelt. Die Idee ist es, statt
eine einzelne Laser- oder Lichtebene über die Szene zu schwenken, ein flächendeckendes
Streifenmuster zu projizieren. Wie Abbildung 2.3 zeigt, kommen dabei typischerweise
ein LCD-Projektor und eine seitlich versetzte Graubildkamera zum Einsatz. Jeder projizierte
Hell-Dunkel-Übergang eines Streifenmusters kann als Ebene im Raum angesehen
werden. Der Schnitt einer solchen Beleuchtungsebene mit dem zugehörigen Sehstrahl
der Kamera liefert (wie beim Lichtschnittverfahren) die entsprechenden Koordinaten
eines Oberflächenpunktes. Damit das Korrespondenzproblem (also die Zuordnung von
Beleuchtungsebenen und Sehstrahlen) leicht gelöst werden kann, werden die Streifen
zeitlich codiert. Durch n binäre Musterprojektionen können bereits 2 n unterschiedliche
Beleuchtungsrichtungen codiert werden. Beim Codierten Lichtansatz kommt hierfür ein,
gegenüber Bit-Fehlern robuster, Gray-Code [28] zum Einsatz (siehe Abbildung 2.4).
ÈÖÓ���ØÓÖ
ÅÙ×Ø�Ö×�ÕÙ�ÒÞ
ÞÙÑ�××�Ò��×Ç����Ø ��Ð�×�ÕÙ�ÒÞ
���
t
Abbildung 2.3 Setup für den Codierten Lichtansatz.

2.2. Oberflächennormalen 11
Abbildung 2.4 Kamerabildsequenz mit Gray-codiertem Streifenmuster beim Codierten Lichtansatz.
2.2 Oberflächennormalen
Im Gegensatz zu den Verfahren zur Gewinnung von Tiefendaten wird bei den Verfahren
zur Gewinnung von Oberflächennormalen keine Triangulation durchgeführt, sondern
aufgrund bestimmter Merkmale eines Bildpunktes, wie zum Beispiel der Textur (’Shape
from texture’, siehe z.B. Witkin [102]) oder der Grauschattierung (’Shape from shading/photometrisches
Stereo’, siehe z.B. Horn [40], Coleman & Jain [16] und Woodham
[103]), die Orientierungen der Oberflächennormalen ermittelt. Diese Verfahren müssen
also kein Korrespondenzproblem lösen. Die gewonnenen Oberflächennormalen können
bereits als Grundlage für viele Anwendungen dienen. Hierunter fallen beispielsweise:
• die Gewinnung robuster 3d Merkmale von Freiformflächen (Flächenorientierungen,
Krümmungen, Kanten, lokale Maxima, etc.).
• die Segmentierung von Oberflächen in geometrische Grundformen (Ebene, Kugel,
Zylinder, Kegel, etc.),
• die Erkennung und Lageschätzung von Objekten im Raum,
• die Berechnung eines beleuchtungsunabhängigen Modells, sowie die künstliche Beleuchtung
aus einer beliebigen Richtung,
• und die Berechnung von Tiefendaten mittels 2d Integration.

ÞÙÑ�××�Ò��×Ç����Ø ��Ð����Ò�
���
12 Kapitel 2. Gewinnung und Repräsentation von Basisdaten
ËØÖ����ÒÑÙ×Ø�Ö
ÈÖÓ���ØÓÖ
Abbildung 2.5 Versuchsanordnung mit einem Streifenlichtprojektor und einer Graubildkamera.
Bei den durch 2d Integration berechneten Tiefendaten handelt es sich allerdings nicht um
absolute, sondern lediglich um relative Tiefendaten, da bei der Integration ein konstanter
Anteil unbekannt bleibt (genaueres zur 2d Integration folgt in Abschnitt 2.2.3).
Im Folgenden wird eine effiziente, auf aktiver Streifenlichtprojektion basierende Methode
vorgestellt. Das Verfahren beruht im Gegensatz zum Strukturierten oder Codierten
Lichtansatz nicht auf Tiefendatengewinnung durch Triangulation, sondern auf der Messung
von Oberflächennormalen. Außerdem liefert es genauere und robustere Daten als
der photometrische Stereo-Ansatz. Benötigt wird hierzu eine Graubildkamera und ein
oder mehrere Lichtprojektoren, welche Streifenmuster auf das zu rekonstruierende Objekt
projizieren. Abbildung 2.5 zeigt eine mögliche Versuchsanordnung. Gut zu erkennen
ist, dass das projizierte regelmäßige Streifenmuster auf der Objektoberfläche deformiert
und dann durch die seitlich versetzte Kamera erfasst wird. Die Deformation des Streifenmusters
wird im Folgenden analysiert und hieraus die lokalen Oberflächenorientierungen
berechnet.
2.2.1 Oberflächenrekonstruktion durch Projektion zweier Streifenmuster
Der erste hier vorgestellte Ansatz wurde von uns erstmals in Winkelbach [96] und Winkelbach
& Wahl [99] vorgestellt und beruht darauf, dass je nach Orientierung der Oberfläche
des Objektes ein anderer Winkel des projizierten Streifens im Graubild entsteht.

2.2. Oberflächennormalen 13
Abbildung 2.6 Schritte zur Rekonstruktion der Oberfläche aus zwei Aufnahmen mit unterschiedlich
rotierten Streifenprojektionen.

14 Kapitel 2. Gewinnung und Repräsentation von Basisdaten
Jeder Streifenwinkel schränkt einen Freiheitsgrad der zugehörigen Oberflächennormale
ein. Die Oberflächenrekonstruktion lässt sich wie in Abbildung 2.6 dargestellt in mehrere
Arbeitsschritte unterteilen. Als erstes werden Graubilder mit zwei unterschiedlich
rotierten Streifenmustern von der Szene aufgenommen. Unerwünschte Informationen
wie inhomogene Objektschattierungen und Texturen werden durch eine geeignete Vorverarbeitung
eliminiert. In den Streifenbildern können per Gradientenoperator die lokalen
Winkel der Streifenkanten ermittelt werden. Nach der Streifenwinkelmessung erhält
man zwei Winkelbilder, bei denen noch schlechte Messergebnisse extrahiert und fehlende
Punkte interpoliert werden müssen. Mit Hilfe jeweils zweier Streifenwinkel in einem
Bildpunkt kann nun im nachfolgenden Schritt die 3d-Oberflächenorientierung bzw. Oberflächennormale
an jedem Punkt berechnet werden. Die Oberflächennormalen können im
letzten Schritt zur Rekonstruktion der Oberfläche benutzt werden.
Vorverarbeitung
Hat die zu vermessende Oberfläche eine ausreichend homogene Reflektionscharakteristik,
können die Streifen ohne Umwege im Kamerabild analysiert werden. Oberflächentexturen
und andere Reflektionsvariationen können allerdings die Analyse des Streifensignals
beeinträchtigen. In diesem Fall sollte im ersten Schritt eine Vorverarbeitung erfolgen,
die das Streifenmuster von den Oberflächenreflexionseigenschaften des Objektes trennt.
Abbildung 2.7 zeigt eine mögliche Vorgehensweise: Zusätzlich zu der Aufnahme mit
Streifenmuster (a) wird eine Aufnahme mit ausgeschaltetem Projektor (b) und eine
weitere mit eingeschaltetem Projektor ohne Streifenmaske (c) angefertigt. Durch die
absolute Differenz d = |a − b| werden die dunklen Streifen auf den Grauwert Null gesenkt
und die Einflüsse dritter Beleuchtungsquellen beseitigt. In diesem Differenzbild
(d) bleiben allerdings die durch das Projektorlicht verursachten Schattierungen und variierende
Reflexionsstärken bei den hellen Streifen bestehen. Aus diesem Grund wird
das Streifensignal auf eine konstante Höhe normiert, indem durch die absolute Differenz
(e) zwischen beleuchtetem und unbeleuchtetem Bild geteilt wird f = d/e. Durch die
Normierung wird natürlich auch das Bildrauschen auf den gleichen Kontrast wie das
Streifenmuster gehoben. Verrauschte Werte ergeben sich an denjenigen Stellen, an denen
das Objekt nur schwach vom Projektor beleuchtet wurde und können deshalb mit
der Maske f = e > Schwelle ausmaskiert werden.

2.2. Oberflächennormalen 15
Abbildung 2.7 Zur Vorverarbeitung: (a) Messobjekt mit Streifenmuster; (b) Messobjekt bei
ausgeschaltetem Projektor; (c) Messobjekt bei eingeschalteten Projektor ohne Streifen; (d) absolute
Differenz von a und b; (e) absolute Differenz von b und c; (f) Normalisiertes Streifenbild;
(g) Maske.
Bestimmung des lokalen Streifenwinkels
Nachdem das Streifenbild aufbereitet wurde, kann die lokale Messung der Streifenwinkel
mittels bekannter Gradientenoperatoren, wie Sobel, Canny, etc. erfolgen. Abbildung 2.8
zeigt die Anwendung des Sobel-Operators auf das vorverarbeitete Streifenbild (a) einer
Kugeloberfläche. Im resultierenden Winkelbild (b) (die Winkel wurden hier als unterschiedliche
Grauwerte dargestellt) entstehen zwischen den Streifenkanten verrauschte
Bereiche, die darauf zurückzuführen sind, dass an diesen Stellen das Fenster des Sobel-
Operators homogene Bereiche überdeckt. Diese verrauschten Gradientenwinkel weisen
allerdings einen geringen Gradientenbetrag auf und können deshalb ausmaskiert (c) und
dann über die gültigen Winkel in der Nachbarschaft interpoliert werden (d).

16 Kapitel 2. Gewinnung und Repräsentation von Basisdaten
(a) (b)
(c) (d)
Abbildung 2.8 Zur Berechnung der Streifenwinkel: (a) Streifenbild; (b) Gradientenwinkel
(Winkelbild) des Sobel-Operators; (c) über die Gradientenlänge ausmaskiertes Winkelbild;
(d) linear interpoliertes Winkelbild.
Oberflächennormalen aus Streifenwinkeln
Um aus den Streifenwinkeln die Oberflächennormalen zu berechnen, gibt es zwei Möglichkeiten:
Zum einen die mathematisch korrekte Berechnung bei einem voll kalibrierten
System (Kamera und Projektoren) und zum anderen die Verwendung einer experimentell
erstellten LookUp-Tabelle, welche jeweils zwei Streifenwinkel auf eine Oberflächennormale
abbildet. Das Erstellen der LookUp-Tabelle funktioniert analog zum Ansatz
beim photometrischen Stereo [16]: Durch die bisher beschriebenen Schritte werden die
Streifenwinkel der beiden gedrehten Streifenprojektionen auf einer Kugeloberfläche (Kalibrierobjekt)
gemessen. Da die Position der Kugel im Bild berechenbar ist und deren
Oberflächennormalen bekannt sind, sind alle Informationen vorhanden, um die LookUp-
Tabelle zu füllen und anschließend fehlende Werte zu interpolieren. Die LookUp-Tabelle

2.2. Oberflächennormalen 17
Lichtebene
Beleuchtungsrichtung
der
Streifen
�p
�v1
Objekt
�c
�v ′
Sehebene
ω
�s
Kamera
Bildebene
Abbildung 2.9 Zur Berechnung der Oberflächennormalen: Schematische Darstellung der Projektion
einer Streifenkante auf ein Objekt und deren Abbild in der Bildebene.
dient dann dazu, bei einer Messung mit unbekanntem Objekt die gemessenen Streifenwinkel
auf die Oberflächennormalen abzubilden. Da bei diesem Ansatz die Streifenwinkel
unabhängig von Bildkoordinaten und Projektorkoordinaten auf die Oberflächennormalen
abgebildet werden, können die Auswirkungen der perspektivischen Projektion nicht
berücksichtigt werden. Das heißt, es wird implizit von einem parallel projizierenden
Projektor und einer parallel abbildenden Kamera ausgegangen.
Genauere Daten liefert eine modellbasierte mathematische Berechnung. Abbildung 2.9
visualisiert den geometrischen Zusammenhang zwischen Oberflächenorientierung im 3d
und der Streifenrichtung im Kamerabild. Zu jedem Bildpunkt kann über das kalibrierte
Kameramodell ein Sehstrahlrichtungsvektor �s berechnet werden. Der lokale Streifenwinkel
ω an diesen Bildkoordinaten definiert den Streifenrichtungsvektor �v ′ in der Bildebene
und spannt zusammen mit �s eine ” Sehebene“ auf. Die Normale �c = �s × �v ′ steht
senkrecht auf dieser Sehebene. Die reale Streifenrichtung �v1 des projizierten Streifenmusters
auf der Oberfläche des Objektes liegt sowohl in der Sehebene als auch in der
Beleuchtungsebene und steht somit senkrecht auf der Normalen der Sehebene �c und der
durch die Kalibrierung bekannten Normale der Beleuchtungsebene �p. Dies ermöglicht
die einfache Berechnung der 3d Streifenrichtung per Kreuzprodukt �v1 = �c �p. Dieser 3d
Streifenrichtungsvektor �v1 entspricht einer Tangentenrichtung auf der Oberfläche und
schränkt somit einen Freiheitsgrad der zugehörigen Oberflächennormale �n ein. Durch
eine zweite Messung unter anderer Streifenorientierung erhalten wir eine zweite Tangentenrichtung
�v2 pro Messpunkt und können dann die Oberflächennormale wiederum
mittels Kreuzprodukt �n = �v1 �v2 berechnen. Im folgenden Abschnitt werden wir sehen,
dass die zweite Tangentenrichtung auch über die Breite der Streifen berechnet werden
kann, so dass man bereits mit einer einzelnen Streifenbildaufnahme auskommt. Mit der
mathematischen Berechnung können alle Kameradaten inklusive der Brennweite und

18 Kapitel 2. Gewinnung und Repräsentation von Basisdaten
Zylinderlinse
Laserarray
�r
Beleuchtungsebenen
Abbildung 2.10 Parallele Beleuchtungsebenen mittels Laserarray.
Linsenverzeichnungen berücksichtigt werden. Allerdings geht auch diese Berechnung von
einem parallel projizierenden Projektor aus. Der Grund dafür ist die fehlende Information
über die Nummer des Streifens im Kamerabild. Die Streifen im Kamerabild können
also nicht bestimmten Streifen im Projektionsmuster zugeordnet werden, weshalb für
alle Streifen die gleiche Projektionsrichtung angenommen werden muss. Diese Annahme
trifft allerdings nur bei einem parallel projizierenden Projektor (wie in Abbildung 2.10
vorgeschlagen) zu. Im Anhang A auf Seite 139 werden die durch herkömmliche perspektivische
Projektoren entstehenden Ungenauigkeiten ausführlicher untersucht.
2.2.2 Oberflächenrekonstruktion durch Projektion eines Streifenmusters
In den letzten Abschnitten wurde besprochen, wie man die Oberflächennormalen mittels
Projektion zweier Streifenmuster gewinnen kann. Im Folgenden werden wir zeigen, dass
dieses auch mittels einer einzelnen Projektion eines statischen Streifenmusters möglich
ist. Ein großer Vorteil dieser Technik ist es, dass zum einen nur ein kleiner kostengünstiger
Festmusterprojektor benötigt wird und zum anderen die Akquisition von dynamischen
Objekten möglich wird. Der Ansatz basiert auf der Tatsache, dass nicht nur
der Streifenwinkel sondern auch die Streifenbreite von der Orientierung der Oberfläche
abhängig ist. Die Berechnung der Oberflächennormalen basiert in diesem Fall auf einer
zusätzlichen Analyse der lokalen Streifenbreiten des deformierten 2d Streifenbildes.
Diese Idee wurde bereits von Asada et al. [4] vorgeschlagen, jedoch wurde dort nur äußerst
knapp auf die erforderlichen Bildverarbeitungs- und Berechnungsschritte eingegangen,
während der Schwerpunkt auf der Segmentierung von planaren Objektflächen lag.
Abbildung 2.11 zeigt die nötigen Arbeitsschritte, welche zum Großteil mit denen aus
Abbildung 2.6 übereinstimmen, nur dass dieses Mal von einem einzelnen Streifenbild
ausgegangen wird und zusätzlich zu den Streifenwinkeln die Streifenbreiten gemessen
werden.
�r
�r
�p
�r

2.2. Oberflächennormalen 19
Abbildung 2.11 Schritte zur Rekonstruktion der Oberfläche aus einem einzelnen Streifenbild.

20 Kapitel 2. Gewinnung und Repräsentation von Basisdaten
Bestimmung der lokalen Streifenbreite
Die Bestimmung der Streifenbreite sollte auf jeden Fall auf Subpixelebene geschehen, um
eine ausreichende Genauigkeit zu erzielen. Im Fall eines vertikalen Streifenverlaufs können
die Zeilen des Kamerabildes unabhängig voneinander betrachtet werden, so dass nur
eindimensionale Signalverarbeitungsoperationen notwendig sind. Die pixelgenaue Lage
der Streifenkanten kann über die lokalen Maxima der Gradienten (die bereits zur Bestimmung
der Streifenwinkel berechnet wurden) erfolgen. Zur subpixelgenauen Bestimmung
der Streifenkanten hat sich in eigenen Untersuchungen der Ansatz zur Berechnung der
” fotometrischen Mitte“ von Roth [70] als etwas besser als das herkömmliche ” Linear
Mixing Model“ von Merickel et al. [61] herausgestellt. Hierbei wird der Grauwertverlauf
rund um jede Kante (siehe Abbildung 2.12 links) analysiert. Die rechte Seite von Abbildung
2.12 zeigt das Modell einer solchen Kantenregion. Die fotometrische Mitte ai
einer Kante i kann mit Hilfe der Kantenhöhe hi, der Kantenbreite ci, sowie der Fläche Ai
unter der abgetasteten Kante über das Verhältnis von Breite und Fläche berechnet werden:
ai
ci
= Ai
ci · hi
⇐⇒ ai = Ai
hi
(2.1)
Nach Berechnung der exakten Kantenlagen kann die Breite aller Streifen über den Abstand
der angrenzenden Kanten bestimmt werden. Abbildung 2.13 zeigt exemplarisch
das Ergebnis dieser Berechnung. Es muss jedoch beachtet werden, dass bei ungünstiger
Kameraeinstellung die hellen Streifen breiter als die dunklen Streifen erscheinen können.
Dieser Effekt ist bei einer übersteuerten Kamera als so genanntes ’blooming’ zu
beobachten. In diesen Fällen erhält man ein einwandfreies Ergebnis durch die Mittelung
jeweils zweier benachbarter Streifenbreiten. Dies hat allerdings eine leichte aber
vertretbare Glättung zur Folge.
ci
Ai
ci+1 ci+2
ai ci- ai
ci
Abbildung 2.12 (Links) Unterteilung eines Zeilenschnittes in kleine Bereiche mit jeweils einer
Kante; (Rechts) Modell einer Streifenkante zur subpixelgenauen Berechnung der Kantenlage.
hi

2.2. Oberflächennormalen 21
Abbildung 2.13 (Oben) Normalisiertes Streifenbild und ein Zeilenschnitt; (Mitte) Berechnete
Streifenbreite und Zeilenschnitt; (Unten) Linear interpolierte Streifenbreite als Graubild und
zugehöriger Zeilenschnitt.
Oberflächennormalen aus Streifenbreite und Streifenwinkel
In Abschnitt 2.2.1 haben wir bereits gesehen, wie man mit Hilfe zweier Streifenprojektionen
und dessen lokalen Streifenwinkeln die Oberflächennormalen berechnen kann. Wir
erinnern uns, dass man pro Streifenwinkel eine Oberflächentangentenrichtung �vi erhält
und dann die Oberflächennormale �n über das Kreuzprodukt �n = �v1×�v2 berechnen kann.
Die zweite Tangentenrichtung �v2 kann allerdings auch über die Streifenbreite berechnet
werden, wodurch die zweite Streifenprojektion eingespart werden kann. Wie bisher müssen
wir von einer parallelen Streifenprojektion ausgehen und in diesem Fall zusätzlich
eine parallele Kameraabbildung voraussetzen. In der Praxis eignen sich deshalb Systeme
mit langer Brennweite. Zur Berechnung von �v2 auf Basis der Streifenbreite reicht
es aus, das einfache 2d Modell in Abbildung 2.14 zu betrachten. Die Abbildung zeigt
den Zusammenhang zwischen Streifenbreite im Bild und Oberflächenorientierung. Die
Streifenbreite d der Streifenmusterbeleuchtung und der konstante Winkel γ zwischen

22 Kapitel 2. Gewinnung und Repräsentation von Basisdaten
Oberfläche
h
b
d
g γ
d
Projektor
b
Kamera
Abbildung 2.14 Modell zur Berechnung der Oberflächenneigung aus der Streifenbreite.
Beleuchtungsrichtung und Kamerablickrichtung muss in einer vorausgehenden Kalibrierung
bestimmt werden. Unter Verwendung der gemessenen Streifenbreite b im Kamerabild
können wir den Oberflächengradienten p mit Hilfe einfacher trigonometrischer
Zusammenhänge berechnen:
Hieraus folgt
was den Oberflächengradienten
h + g = d
sin γ
h = d
sin γ
p = h
b
− b
tanγ
und g = b
. (2.2)
tanγ
d − b · cosγ
= , (2.3)
sinγ
= d/b − cosγ
sin γ
(2.4)
ergibt. Die zweite Oberflächentangentenrichtung ist dann durch �v2 = � 1 0 -p � T gegeben.
2.2.3 Tiefenbilder aus Gradientenkarten
Die Oberflächennormalen können bereits als Grundlage für viele Anwendungen dienen,
wie zum Beispiel zur Berechnung von Oberflächenmerkmalen, zur Oberflächensegmentierung
und zur Objekterkennung und Lageschätzung. Sind jedoch Tiefendaten erwünscht,
müssen diese aus den Oberflächennormalen rekonstruiert werden. Dieser Schritt ist

2.2. Oberflächennormalen 23
nicht nur bei den gerade genannten, auf Streifenmustern basierenden, Akquisitionstechniken
notwendig, sondern kommt bei allen ” Shape from X“-Verfahren (insbesondere
dem ’Shape from Shading’ und ’Photometrischen Stereo’) zum Einsatz, die ein dichtes
Gradientenfeld liefern. Bei den Oberflächennormalen bzw. Oberflächengradienten
(P(x,y),Q(x,y)) handelt es sich mathematisch gesehen um die partiellen Ableitungen
des Tiefenbildes Z(x,y), also
P(x,y) = ∂Z(x,y)
∂x
; Q(x,y) = ∂Z(x,y)
. (2.5)
∂y
Das heißt das Tiefenbild kann umgekehrt durch eine 2d Integration aus den Gradienten
rekonstruiert werden.
Klette & Schlüns [50] unterteilen die bekannten Ansätze in zwei Klassen: Verfahren
zur lokalen Integration entlang Pfaden und globale Integrationstechniken. Die lokalen
Verfahren breiten sich inkrementell von vorgegebenen Startpunkten aus und berechnen
meist eindimensionale Kurven- oder Linienintegrale. Sie sind zwar effizient, sind aber
insbesondere bei verrauschten Daten relativ ungenau, da sich die Fehler fortpflanzen.
Globale Verfahren hingegen fassen die Integration als globales Optimierungsproblem
auf und minimieren beispielsweise den mittleren quadratischen Fehler F zwischen gemessenen
Oberflächengradienten (P(x,y),Q(x,y)) und den partiellen Ableitungen des
geschätzten Tiefenbildes � Z(x,y):
F = �
� �2 � �2 � ∂Z(x,y) � ∂Z(x,y) �
− P(x,y) + − Q(x,y) −→ min. (2.6)
∂x ∂y
y
x
Klette & Schlüns zeigen, dass die globale Methode von Frankot & Chellappa [24] im Fall
von realen verrauschten Daten robuster und genauer arbeitet als lokale Techniken. Die
2d Integration nach Frankot & Chellappa arbeitet im Fourierraum. Die Fourierreihendarstellung
eines Bildsignals entspricht einer Summe von Sinus-/Cosinusschwingungen.
Demnach kann sowohl die Ableitung als auch die Integration über eine Phasenverschiebung
der Sinus-/Cosinusschwingungen erreicht werden. Die Berechnungsschritte sind in
Algorithmus 1 wiedergegeben (vgl. [24] und [50]).
Algorithmus 1 2d Integration nach Frankot & Chellappa
1: function Integrate(P, Q)
2: R ← 0; S ← 0; ⊲ Initialize images for imaginary numbers
3: FFT(P, R); FFT(Q, S) ⊲ Fast Fourier transform of P and Q
4: for all u �= 0, v �= 0 do
5: Z1(u, v) ← (u · R(u, v) + v · S(u, v))/(u 2 + v 2 ); ⊲ Phase shift
6: Z2(u, v) ← (−u · P(u, v) − v · Q(u, v))/(u 2 + v 2 );
7: Z1(0, 0) ← c; Z2(0, 0) ← 0 ⊲ c is the unknown offset
8: FFT −1 (Z1, Z2); ⊲ Inverse fast Fourier transform
9: return Z1;
Die Integration bringt jedoch in vielen Fällen Probleme mit sich. Zum einen geht bei
der Ableitung ein konstanter Offset verloren und kann nicht mehr per Integration rekon-

24 Kapitel 2. Gewinnung und Repräsentation von Basisdaten
(a) (b)
(c) (d)
Abbildung 2.15 (a) Tiefenbild eines K-förmigen Polyeders; (b) 3d Plot des Tiefenbildes; (c)
Ergebnis der 2d Integration nach Frankot-Chellappa; (d) Ergebnis der iterativen Verbesserung.
struiert werden (die absolute Distanz des Objektes bleibt also unklar) und zum anderen
sind C0-unstetige Oberflächen im Allgemeinen nicht integrierbar. Genauer gesagt können
plötzliche Sprünge in der Tiefe (wie z.B. bei mehreren nicht zusammenhängenden
Objekten) nicht korrekt rekonstruiert werden, da die Sprünge nicht in den Oberflächennormalen
wiederzufinden sind. Aber selbst bei stetigen Oberflächen gibt es immer dann
große Probleme, wenn die gemessenen Oberflächennormalen nicht den gesamten Bildbereich
ausfüllt. In diesem Fall gibt es immer C0-Unstetigkeiten an den Grenzübergängen
zwischen gemessenen und unbekannten Oberflächennormalen (z.B. zwischen Objekt und
Hintergrund). Bei dem vorgestellten globalen Fourier-Ansatz ist es leider nicht möglich,
sich nur auf die gemessenen Bereiche zu beschränken. Die Auswirkungen werden in Abbildung
2.15 deutlich. Bild (a) zeigt das künstlich erzeugte Tiefenbild eine K-förmigen
Polyeders. Die partiellen Ableitungen in x- und y-Richtungen dienen nun als Testbasis
für die 2d-Integration. Bild (b) zeigt einen 3d-Plott des Tiefenbildes und ist gewissermaßen
der zu erreichende Goldstandard. Abbildung (c) zeigt nun das auffallend stark defor-

2.2. Oberflächennormalen 25
mierte Ergebnis der Frankot-Chellappa-Integration. Die Deformationen sind vor allem
auf die beträchtlichen Distanzsprünge zwischen Objekt und Hintergrund zurückzuführen,
aber auch innerhalb des Objektbereiches gibt es C0- und C1-Unstetigkeiten die zu
Ungenauigkeiten führen. Die drei Bilder (a-c) entsprechen weitestgehend der Testreihe,
die auch in [50] zu finden ist. Bei dem genannten Verfahren müssen die nicht gemessenen
Bereiche mit Werten für die Oberflächengradienten initialisiert werden. Häufig setzt man
die P- und Q- Werte für den Hintergrund einfach auf konstant Null, was einer zur Bildebene
parallelen Ebene entspricht. Hieraus ergeben sich die genannten Tiefensprünge
zwischen Objekt und Hintergrund. Die globale Integration glättet diese Unstetigkeiten
im Sinne des kleinsten Fehlerquadrats, was einer weichen Verschmelzung zwischen
Objekt und Ebene gleichkommt. Abbildung 2.15 (d) zeigt hingegen das vergleichsweise
deutlich bessere Ergebnis nach einer eigenen Erweiterung. Bei dieser Erweiterung
handelt es sich um eine iterative Verbesserung des Tiefenbildes in den Regionen, in
denen tatsächlich Oberflächennormalen gemessen wurden. Das Verfahren ist auch bei
Szenen mit mehreren sich überdeckenden Objekten mit dazwischen befindlichen C0-
Unstetigkeiten erfolgreich, wenn die einzelnen Objekte segmentiert werden können. Der
zu minimierende mittlere quadratische Fehler aus Gleichung (2.6) sollte also wie folgt
FM = �
⎡�
� ∂Z(x,y) �
M(x,y) ⎣ − P(x,y)
∂x
y
x
� 2
� � ⎤
2
∂Z(x,y) �
+ − Q(x,y) ⎦ (2.7)
∂y
auf die Bildbereiche jeweils eines (stetigen) Objektes beschränkt werden, wobei M(x,y)
eine Maske mit den Werten 1 für Objektpunkte und 0 sonst beschreibt. Da diese Maskierung
nicht ohne weiteres im Fourierraum durchzuführen ist, arbeitet Algorithmus 2
über einen iterativen Optimierungsansatz. Die Vorgehensweise des Algorithmus ist auch
in Abbildung 2.16 veranschaulicht. In einer Schleife werden zuerst die gemessenen Oberflächengradienten
Psensor und Qsensor mit dem Fourier-Ansatz (Algorithmus 1) integriert
und dann wieder partiell abgeleitet und als P1,Q1 abgelegt. Entlang der Tiefensprünge
kommt es zu beiderseitig ausgebreiteten Abweichungen zwischen (Psensor,Qsensor) und
(P1,Q1), wodurch die unbekannten Tiefensprünge global ausgeglichen werden. Da die
Abweichungen in den gemessenen Objektbereichen unzulässig, aber sonst (z.B. im Hintergrundbereich)
erlaubt sind, werden im nächsten Schritt die ungenauen Gradienten
(P1,Q1) im Objektbereich wieder durch die gemessenen Gradienten (Psensor,Qsensor) ersetzt.
Diese Schritte werden nun iterativ wiederholt. Hierdurch ergibt sich eine stetige
Verschiebung der Ungenauigkeiten vom Objektbereich in den Hintergrundbereich, bis
die gemessene Oberfläche im Sinne von Gleichung (2.7) optimal ist.

26 Kapitel 2. Gewinnung und Repräsentation von Basisdaten
Algorithmus 2 Iterative Verbesserung
1: function ImproveIntegrate(P, Q, M, steps)
2: P0 ← P; Q0 ← Q; ⊲ Initialization
3: for i = 1...steps do
4: Zi ← Integrate(Pi−1, Qi−1); ⊲ Integration
5: Pi(x, y) ← DerivateX(Zi); ⊲ Derivation in x-direction
6: Qi(x, y) ← DerivateY(Zi); ⊲ Derivation in y-direction
7: for all x,y do
8: Pi(x, y) ← P(x, y) · M(x, y) + Pi(x, y) · (1 − M(x, y));
9: Qi(x, y) ← Q(x, y) · M(x, y) + Qi(x, y) · (1 − M(x, y));
10: return Integrate(Pi, Qi);
Abbildung 2.17 zeigt die Zwischenergebnisse der iterativen Verbesserung im Fall einer
realen Messung. Bei dem Datensatz handelt es sich um eine schräg zum Sensor
liegende Flasche. Das erste Bild links oben zeigt das Ergebnis der standard Frankot-
Chellappa-Integration und die darauf folgenden Bilder die stetige Verbesserung nach
jedem Iterationsschritt. In den folgenden Experimenten wurde dieser Algorithmus äußerst
erfolgreich eingesetzt, um die Unstetigkeiten zwischen Objekt und Hintergrund
korrekt zu rekonstruieren. Eine genaue mathematische Verifizierung des Ansatzes bleibt
jedoch zukünftigen Arbeiten vorbehalten. Um auch die Unstetigkeiten innerhalb des
Objektes robust zu rekonstruieren, bedarf es weiterer Randbedingungen, wie z.B. im
Bild vorgegebene Unstetigkeitskurven (siehe Karaçali & Snyder [49]).

2.2. Oberflächennormalen 27
Abbildung 2.16 Iterativer Algorithmus zur 2d Integration.

28 Kapitel 2. Gewinnung und Repräsentation von Basisdaten
Abbildung 2.17 Die ersten acht Iterationsschritte der Integration am Beispiel einer schräg
zum Sensor liegenden Flasche.

2.2. Oberflächennormalen 29
2.2.4 Experimentelle Ergebnisse
Zur experimentellen Evaluierung des ’shape from stripe pattern’-Ansatzes diente eine
handelsübliche CCD-Kamera und ein konventioneller Video-Beamer. Für die Projektion
eines einzelnen Streifenmusters kann auch ein einfacher Diaprojektor oder ein preisgünstiger
statischer Musterprojektor verwendet werden. Die beschriebenen Methoden sind
vollkommen unbeeinflusst gegenüber Musterverschiebungen und nur leicht beeinflusst
durch eine defokussierte Musterbeleuchtung oder eine unscharfe Kameraabbildung. Diese
Ansätze wurden mit einer Reihe von unterschiedlichen Testobjekten erprobt. Abbildung
2.18 zeigt einige der Rekonstruktionsergebnisse der ’one-shot’-Technik. Was
die Genauigkeit betrifft sollte man berücksichtigen, dass die hier vorgestellten Experimente
nur zwei Parameter (die Beleuchtungsrichtung γ und die Streifenmusterbreite
d) aus einer vereinfachten Projektorkalibrierung verwenden. Aus diesem Grund entstehen
Ungenauigkeiten natürlich auch durch die vernachlässigten intrinsischen Kameraund
Projektorparametern. Abbildung 2.18 (a) zeigt eine Kugeloberfläche, die mit einem
Streifenmuster beleuchtet wurde. Dieses einzelne Bild reicht bereits für die Rekonstruktion
der Oberflächennormalen aus. Abbildung (b) zeigt einige (0,1%) der rekonstruierten
Oberflächennormalen (diese werden in jedem Bildpunkt mit Streifenkante berechnet
und zwischen den Streifenkanten interpoliert). Durch Vergleich der berechneten (nicht
interpolierten) Oberflächennormalen mit den mathematisch exakten Normalen der Kugeloberfläche,
lässt sich eine mittlere Ungenauigkeit von 1,79 Grad mit einer Standardabweichung
von 1,22 Grad feststellen. Abbildung (c) zeigt einen 3d Plot des aus den
Oberflächennormalen rekonstruierten Tiefenbildes. Die folgenden drei Abbildungen (d)-
(f) zeigen die gleiche Sequenz mit einem würfelförmigen Testobjekt. Bei der oberen
Würfelfläche ergibt der Vergleich zwischen berechneten und exakten Normalen eine Genauigkeit
von 1,14 Grad und eine Standardabweichung von 0,58 Grad. Die ungenauesten
Normalen mit einem mittleren Winkelfehler von 1,95 Grad und 2,12 Grad Standardabweichung
sind bei der unteren linken Würfelfläche zu beobachten. Diese Fläche ist stark
vom Projektor weggeneigt, wodurch der Abstand der Streifenkanten sehr schmal und die
Berechnung der Streifenwinkel und Streifenbreiten ungenauer ist. Die letzten drei Bilder
(g)-(i) zeigen die gleiche Sequenz mit einem Kunststoffkopf. Wie man sehen kann, ist mit
diesem Ansatz eine adäquate Oberflächenrekonstruktion mit angemessener Genauigkeit
(ausreichend für viele Anwendungen) und mit kostengünstigem Equipment möglich. Die
Rekonstruktion der Oberflächennormalen kann mit LookUp-Tabellen in der Framerate
der Kamera erfolgen. Die 2d-Integration zur Berechnung des Tiefenbildes dauert etwas
länger (je nach Iterationstiefe zwischen 0,3 und 3 Sekunden auf einem 1 Ghz Pentium 4
Prozessor).

30 Kapitel 2. Gewinnung und Repräsentation von Basisdaten
(a) (b) (c)
(d) (e) (f)
(g) (h) (i)
Abbildung 2.18 Ergebnisse: (a) Kugel mit projiziertem Streifenmuster; (b) resultierende Oberflächennormalen;
(c) 3d Plot der rekonstruierten Oberfläche; (d-f) entsprechende Bildfolge von
einem Würfel; (h-i) entsprechende Bildfolge von einem Kunststoffkopf.

2.3. Volumendaten 31
2.3 Volumendaten
Neben den genannten Sensoren zur Vermessung von 21 2d-Oberflächenkoordinaten und
Oberflächennormalen werden insbesondere im medizinischen Umfeld Technologien zur
Vermessung von volumetrischen 3d-Raumdaten eingesetzt. Hierunter fallen die Computertomographie
(CT), die Magnetresonanztomographie (MRT), die Positronenemissionstomographie
(PET) sowie moderne sonographische Technologien. Durch die schnittbildgebenden
Sensoren wie CT und MRT ist es möglich, dreidimensionale Körper raumfüllend
in ihrer äußeren Form und ihrer inneren Zusammensetzung zu erfassen. Somit
können Organe und Knochen segmentiert und analysiert werden.
Eines der wichtigsten Anwendungsgebiete für Verfahren zum Lösen des 3d-Puzzle-Problems
ist sicherlich das Zusammensetzen von gebrochenen Knochen in der Chirurgie. Für
die Akquisition der Knochenoberflächen im Körperinneren ist die Computertomographie
besonders gut geeignet, da das dichte Knochengewebe einen hohen Kontrast zu den
umliegenden Weichteilen bildet. Sämtliche Knochenfragmente aus dieser Arbeit wurden
per CT aufgenommen und weiterverarbeitet. Aus diesem Grund soll in den nächsten
Abschnitten eine kurze Einführung in die eingesetzten Verfahren vermittelt werden.
2.3.1 Computertomographie
Der Begriff ” Tomographie“ entstand aus den griechischen Wörtern ” tomeo“ (Schnitt)
und ” graphia“ (schreiben). Die Computertomographie basiert auf Röntgenaufnahmen,
die aus unterschiedlichen Richtungen aufgenommen werden. Aus diesen zweidimensionalen
Projektionen wird durch Bildverarbeitungsmethoden ein dreidimensionales Volumen
rekonstruiert. Die Rekonstruktion basiert auf der Idee des böhmischen Mathematikers
J. H. Radon, der 1917 bewies, dass die Werte einer zweidimensionaler Funktion aus
ihren eindimensionalen integralen Projektionen rekonstruiert werden können [69]. Die
Radontransformierte r(ϕ,a) einer zweidimensionalen Funktion f(x,y) ist als
r(ϕ,a) =
�
+∞
−∞
f(a cosϕ − b sinϕ,asin ϕ + b cosϕ) db (2.8)
definierbar. Dabei kann ϕ anschaulich als Richtung der Integrationsgerade (bzw. des
Projektionsstrahls) und a als Abstand der Gerade zum Ursprung interpretiert werden.
Bei einem konstanten ϕ von 0◦ ergibt sich beispielsweise eine einfache Integration in
y-Richtung
�+∞
r(0,a) = f(a, b) db . (2.9)
−∞
Die eindimensionalen Projektionen aus allen Orientierungen ergeben dann zusammen
die 2d-Radontransformierte. Die Projektion mittels Integral entspricht, abgesehen von
der exponentiellen Abschwächung, genau der Röntgenprojektion, wie sie auch im CT

32 Kapitel 2. Gewinnung und Repräsentation von Basisdaten
Abbildung 2.19 Das Prinzip der Computerthomographie und der Rekonstruktion des Schnittbildes
aus den eindimensionalen Projektionen mittels Fouriertransformation.
entsteht. Die exponentielle Abschwächung lässt sich durch einfache Logarithmierung
der Röntgenprojektion kompensieren. Das Prinzip ist in Abbildung 2.19 anschaulich
dargestellt. Um nun aus den Projektionen bzw. aus der Radontransformierten Funktion
wieder die ursprüngliche Funktion zu gewinnen, muss man die inverse Radontransformation
berechnen. Von großer Bedeutung ist hierbei das Zentralschnitt-Theorem,
welches einen Zusammenhang zur Fouriertransformation herstellt. Es besagt, dass die
Fouriertransformierte Funktion F(u,v) der Objektfunktion f(x,y) aus den eindimensionalen
Projektionen rekonstruiert werden kann. Hierzu müssen die eindimensionalen
Projektionen Fouriertransformiert, um ϕ gedreht und im Ursprung eines 2d-Rasters eingetragen
werden. Eine inverse 2d-Fouriertransformation liefert dann die ursprüngliche
Objektfunktion f(x,y). Das Problem bei dieser Vorgehensweise ist die Umrechnung der
Polarkoordinaten auf das 2d-Raster. Hierbei fallen teilweise Daten auf denselben Rasterpunkt
und müssen gemittelt werden, während andere Rasterpunkte unbesetzt bleiben
bzw. interpoliert werden müssen. Deshalb bedient man sich meist der gefilterten Rückprojektionstechnik
(FBP, filtered backprojection). Hierbei werden die 1d-Projektionen
mit einem speziellen Faltungskern gefaltet und entlang der ursprünglichen Strahlenrichtung
in den 2d-Raum zurückprojiziert und überlagert. Für weiterführende Informationen
siehe Kalender [46].
Ein interessanter Aspekt in diesem Zusammenhang ist, dass die Radontransformation
auch andere Anwendungen in der digitalen Bildverarbeitung hat. So lassen sich mit ihrer
Hilfe z.B. lineare (geradenhafte) Strukturen in Graubildern finden (siehe z.B. Beyerer
& León [10]). Abbildung 2.20 zeigt die Radontransformation angewandt auf zwei
Testbilder. Bei Binärbildern liefert die Radontransformation exakt das gleiche Resultat
wie die wohlbekannte Houghtransformation für Geraden in Hessescher-Normalform

2.3. Volumendaten 33
(a) (b)
(c) (d)
Abbildung 2.20 (a) CT-Schitt; (b) Radontransformierte des CT-Schnittes; (c) Binärbild mit
Kanten; (d) Radontransformierte des Kantenbildes (nach logarithmischer Intensitätsskalierung).
(siehe Duda & Hart [20]). Somit kann die Radontransformation als Erweiterung der
Houghtransformation auf Graubilder angesehen werden. Eine denkbare Anwendung ist
die Erkennung von Geraden bzw. Kanten in reelwertigen Gradientenbildern.
2.3.2 Extraktion von Isoflächen
Da es beim 3d-Puzzle-Problem nicht auf das Objektinnere sondern auf die Oberflächen
ankommt, müssen diese aus den Volumendaten extrahiert werden (siehe Abbildung 2.21).
Eine der populärsten Methoden zur Berechnung von Oberflächenmodellen aus Volumendaten
ist der Marching-Cube-Algorithmus, der unabhängig voneinander 1986 von
Wyvill et al. [104] sowie 1987 von Lorensen & Cline [58] vorgestellt wurde. Das Verfahren
extrahiert Isoflächen in Form von Dreiecksnetzen. Eine Isofläche bezeichnet dabei eine
zweidimensionale Fläche im dreidimensionalen Volumen mit konstantem Grauwert S
(bzw. konstanter Hounsfieldeinheit bei CT-Daten), welche der Oberfläche des zu extrahierenden
Körpers entspricht. Die Isofläche ist implizit durch die Gleichung f(�v) = S

34 Kapitel 2. Gewinnung und Repräsentation von Basisdaten
Abbildung 2.21 Übergang von 2d-Schnittbilder über die 3d-Volumenrepräsentation hin zum
Oberflächenmodell.
definiert, wobei die Funktion f(�v) den Grauwert an den Volumenkoordinaten �v zurückgibt.
Der Marching-Cube-Algorithmus läuft mit einem 2×2×2-Fenster über das gesamte
Volumen und überprüft ob die Grauwerte im Fenster über- oder unterhalb der Schwelle
S liegen und klassifiziert die Voxel des Volumen in ” innerhalb“ und ” außerhalb“ des
Objektes. Falls in einem lokalen Fenster sowohl Grauwerte überhalb, als auch unterhalb
von S (also innerhalb und außerhalb des Objektes) liegen, so muss es zwangsläufige
eine Trenn-/Isofläche dazwischen geben. Hierbei gibt es exakt 2 8 = 256 verschiedene
Möglichkeiten wie die acht Voxel im Fenster klassifiziert sein können. Wenn man alle
Möglichkeiten die durch Rotation oder Inversion aufeinander abbildbar sind zusammenfasst,
so erhält man 15 Äquivalenzklassen. Abbildung 2.22 zeigt jeweils einen Repräsentanten
dieser 15 Äquivalenzklassen. Alle 256 Fälle können im Programm auf effiziente
Weise mittels einer LookUp-Tabelle ihrer entsprechenden Äquivalenzklasse zugewiesen
werden. Die Abbildung zeigt außerdem die zugehörigen Dreiecke, die die Isofläche approximieren.
Die Knoten der Dreiecke liegen dabei immer auf den Kanten des Quaders,
welcher durch die acht Voxel im Fenster aufgespannt wird. Genauer gesagt liegt immer

2.3. Volumendaten 35
Abbildung 2.22 Äquivalenzklassen und zugehörige Dreiecksflächen beim Marching Cube.
f(�v1)
f
S
f(�v2)
�v1 �p �m �v2 Koordinatenachse
Abbildung 2.23 Lineare Interpolation des Schnittpunktes �p zwischen zwei Grauwerten mit
Koordinaten �v1, �v2 unter Anwendung der Schwelle S; im Vergleich zum Mittelpunkt �m der bei
einer binären Anwendung der Schwelle entstehen würde.
dann ein Dreiecksknoten auf einer Quaderkante, wenn die beiden zugehörigen Voxel mit
Koordinaten �v1, �v2 an den Kantenenden unterschiedlich klassifiziert sind und demnach
die Isofläche die Kante schneiden muss. Der subvoxel-genaue Schnittpunkt �p berechnet
sich dann durch
�p := (1 − ω)�v1 + ω�v2 mit ω := f(�v1) − S
f(�v1) − f(�v2)
. (2.10)
Wie in Abbildung 2.23 dargestellt, wird hierbei ein lineare Grauwertverlauf zwischen
zwei Voxeln angenommen.
Normalerweise approximiert der Marching-Cube-Algorithmus die Oberfläche des Objektes
in Form eines vollständig geschlossenen Dreiecksnetzes. Allerdings können in seltenen

36 Kapitel 2. Gewinnung und Repräsentation von Basisdaten
Abbildung 2.24 Alternative Dreieckskonfigurationen zur Vermeidung von Löchern.
ungünstigen Fällen Löcher im Netz entstehen. Aus diesem Grunde wurden z.B. von Montani
et al. [63] sowie Schroeder et al. [75] zusätzliche Dreieckskonfigurationen eingeführt
(siehe Abbildung 2.24), mit denen das Problem gelöst werden kann. Eine alternative
Möglichkeit die Löcher zu vermeiden, ist die Zerlegung des ’Cubes’ in mehrere Tetraeder
(siehe z.B. Payne & Toga [67] und Hall & Warren [35]). Ein Vorteil dieser Methode
ist eine genauere Approximation der Isofläche, was allerdings mit einer mehr als doppelt
so hohen Dreiecksanzahl und einer längeren Berechnungszeit erkauft wird. Neben dem
Standard Marching-Cube-Algorthimus gibt es eine Vielzahl von Varianten und Erweiterungen,
die sich z.B. in der Form der verwendeten Oberflächenprimitive (Dreiecke,
Vierecke, Patches) sowie der Interpolationsmethode (z.B. linear, quadratisch, trilinear)
unterscheiden.
2.4 Repräsentationsformen von Oberflächendaten
In der einschlägigen Literatur werden eine Vielzahl von unterschiedlichen Repräsentationsformen
und Datenstrukturen für Oberflächen vorgeschlagen. Typische Repräsentationsformen
für Oberflächen sind Punktwolken, polygonale Netze, parametrische
Oberflächen wie Spline-Patches und Isoflächen in volumetrischen Daten. Welche ist nun
für das 3d-Puzzle-Problem vorzuziehen? Im Bereich Computergraphik werden häufig
polygonale Netze zur Repräsentation von Oberflächen verwendet. Eine Hürde bei der
Verarbeitung von polygonalen Netzen ist die Aufrechterhaltung von Topologie und Netzstruktur
ohne Faltenbildung oder entartete Polygone. Dies ist oftmals schwierig und mit
großem Implementierungsaufwand verbunden. In der Computergraphik sind Dreiecksnetze
besonders beliebt, da aktuelle Grafikkarten Dreiecke hardwarebeschleunigt darstellen
können. Im Bereich der Bildverarbeitung werden hingegen häufig Punktwolken
als Repräsentationsform gewählt, da sie sehr einfach sind, wenig Speicher erfordern und
von vornherein Ausgabe vieler Oberflächensensoren sind. Im Gegensatz hierzu liegen die
Daten in medizinischen Anwendungen oft in volumetrischer Form (z.B. CT und MRT)
vor. Zu jeder Repräsentationsform existieren Algorithmen, die diese in eine jeweils andere
Repräsentationsform überführen können.
Für jede Repräsentationsform gibt es hierarchische Datenstrukturen die sich nicht nur
zum schnellen Schnitt-, Kollisions-, bzw. Kontakttest, sondern auch zur schnellen Approximation
von Oberflächen in verschiedenen Auflösungsstufen (’level-of-detail’) eignen.
Typische hierarchische Datenstrukturen sind Octrees, Hüllkörperhierarchien, KD-Trees

2.4. Repräsentationsformen von Oberflächendaten 37
(siehe Friedman et al. [25]), Binary Space Partitionings (BSPs) (siehe Fuchs et al. [26]),
Progressive Meshes (siehe z.B. Hoppe [39]) oder Normal Meshes (siehe Guskov et al.
[33]). Die verwendete Datenstruktur ist die Ausgangsbasis für alle weiteren Verarbeitungsschritte
und beeinflusst deren erreichbare Effizienz und Genauigkeit maßgeblich.
Die aus der Computergraphik bekannten polygonalen Methoden zur Auflösungsreduktion
haben meist die Beschleunigung der Grafikausgabe zum Ziel und sind nicht für
Bildverarbeitungszwecke konzipiert. So werden bei der Grafikausgabe glatte Oberflächen
durch möglichst wenige große Dreiecke approximiert, was wiederum zu einer ungleichmäßigen
Verteilung der Eckpunkte führt und für Bildverarbeitungsansätze ungeeignet
sein kann. Eine der wenigen Ausnahmen wird z.B. von Johnson & Hebert [45] vorgeschlagen,
bei der eine äquidistante Verteilung der Punkte angestrebt wird. Bei der
Auflösungsreduktion und Vorverarbeitung ist es beim 3d-Puzzle-Problem nicht unbedingt
entscheidend, dass die Form möglichst unverändert bleibt. Es muss lediglich sichergestellt
werden, dass sich die Form auf dem komplementären Fragment gleichartig
ändert, damit die Teile weiterhin zusammenpassen. Bei stark verrauschten Fragmentoberflächen
ist eine Glättung der Oberflächendaten vor der Berechnung von Oberflächennormalen,
Krümmungen und weiteren Merkmalen sinnvoll. Da bei der Normalen- und
Krümmungsberechnung stets ein- oder mehrfach differenziert werden muss, ist eine Glättung
unerlässlich. Je nach gewählter Basisdatenstruktur kann die Glättung, Normalenund
Merkmalsberechnung auf unterschiedliche Weise erfolgen. Bei volumetrischen Repräsentationsformen
können die Oberflächen beispielsweise durch eine faltungsbasierte
Tiefpassfilterung geglättet werden. Die Normalenberechnung entspricht in diesem Fall
einer Gradientenberechnung an den Objektgrenzen und kann durch diskrete Richtungsableitungen
gewonnen werden. Dies trifft natürlich ebenso auf alle hierarchischen Datenstrukturen,
die die volumetrischen Daten abbilden, wie beispielsweise Octrees, zu. Bei
Punktwolken muss ein anderer Ansatz für Glättung und Normalenberechnung gewählt
werden, beispielsweise über eine gewichtete Polynomflächenanpassung an einen lokalen
Bereich (siehe z.B. Alexa et al. [1], Levin [55]).

Kapitel 3
Matching von Oberflächen:
Problemstellung und Stand der
Technik
Nachdem die Fragmente in eine geeignete digitale Form gebracht wurden, kann das
Zusammensetzen der Oberflächen beginnen. Warum benötigt man nun neue Methoden
für das 3d-Puzzle-Problem? Wurde dies nicht schon mit der Vielzahl an publizierten
Matching-Ansätzen ausreichend gelöst? Um diese berechtigte Frage zu beantworten, ist
ein Überblick über den derzeitigen Stand der Technik notwendig. Im Mittelpunkt der
folgenden Betrachtung stehen deshalb die mit dem 3d-Puzzle-Problem eng verwandten
und bekannten Verfahren zur Registrierung von Oberflächen.
3.1 Oberflächenregistrierung versus 3d-Puzzle-Problem
Viele Arbeiten betrachten das Problem des Zusammensetzens von vollständig oder partiell
überlappenden Oberflächen, wie z.B. das Zusammensetzen mehrerer Tiefenbilder. Es
handelt sich hierbei meist um zwei oder mehrere Datensätze desselben Objektes, die in
ein gemeinsames Koordinatensystem gebracht werden sollen. In diesem Zusammenhang
spricht man auch von Registrierung ∗ . Abbildung 3.1 veranschaulicht unterschiedliche
Überlappungstypen die nach ihrer Schwierigkeit geordnet sind. Die ersten drei Typen
sind klassische Basisdaten für die herkömmlichen Registrierungsverfahren. Bei Typ 1
handelt es sich um zwei Datensätze eines Objektes die durch eine starre Transformation
vollständig zur Deckung gebracht werden können. Dies ist der einfachste aller Fälle,
bei dem bereits eine einfache Ausrichtung von Schwerpunkt und Hauptachsen zum Ziel
führen kann. Bei Typ 2 ist der Datensatz B eine Teilmenge des Datensatzes A. Bei A
∗ Definition des Begriffes ’Registrierung’ (engl. ’registration’) aus TheFreeDictionary.com: ” In Computer Vision
different sets of data acquired by sampling the same scene or object will be in different coordinate systems.
Registration is the process of transforming the different sets of data into one coordinate system. In medical
imaging (e.g. data of the same patient taken at different points in time) registration often additionally involves
elastic registration to cope with elastic deformation of the body parts imaged.“
39

40 Kapitel 3. Matching von Oberflächen: Problemstellung und Stand der Technik
Typ 1 Typ 2 Typ 3 Typ 4
Abbildung 3.1 Vier unterschiedliche Überlappungstypen: 1. Kongruenz; 2. Bijektion; 3. partielle
Überlappung; 4. 3d-Puzzle-Problem.
könnte es sich beispielsweise um ein vollständiges Modell und bei B um eine Messaufnahme
aus einer Sichtrichtung handeln. Hierbei gibt es zu jedem Punkt aus B genau einen
korrespondierenden Punkt in A, allerdings hat nicht jeder Punkt aus A einen korrespondierenden
Punkt in B. Typische Probleme aus dieser Klasse sind Objekterkennungs- und
Lageschätzungsaufgaben. Typ 3 zeigt den Fall von zwei sich partiell überlappenden Datensätzen.
Sowohl in A als auch in B gibt es Bereiche die keine Entsprechung im jeweils
anderen Datensatz haben. Ein typisches Problem aus dieser Klasse ist die Fusionierung
von sich überlappenden Tiefendaten eines Objektes aus unterschiedlichen Sichtrichtungen.
Während es sich bei Typ 1 bis 3 im Allgemeinen um aufeinander abbildbare Daten
desselben Objektes handelt, so handelt es sich bei Typ 4 um unterschiedliche Objektteile
die zu einem Ganzen zusammenfügbar sind. Die Fragmente besitzen also Oberflächenbereiche
die geometrisch komplementär zu einem Gegenstück sind. Alle vier Typen weisen
folgende gemeinsame Schwierigkeiten bezüglich des 3d-Matchings auf:
• Im Fall von nur zwei Datensätzen hat der Suchraum im Allgemeinen bereits sechs
Freiheitsgrade (nämlich drei rotatorische und drei translatorische Freiheiten der
relativen Lage).
• Der Wunsch nach einer effizienten Lösung, trotz massiver Menge an Oberflächendaten,
stellt hohe Anforderungen an den verwendeten Algorithmus und die zugrunde
liegende Datenstruktur.
• Die digitalisierten Oberflächen liegen oft in ungenauer und verrauschter Form vor.
Allerdings gibt es beim allgemeinen 3d-Puzzle-Problem einige zusätzliche Schwierigkeiten,
die die Anwendbarkeit der bis dato bekannten Methoden stark einschränkt:
• Anders als zum Beispiel bei der Fusion von Tiefenbildern, ist eine gute Initiallösung,
die für eine Iteration in ein globales Optimum erforderlich wäre, im Allgemeinen
nicht verfügbar.
• Sehr große Oberflächenregionen haben keine korrespondierenden Bereiche auf dem
Gegenstück. Das heißt, oftmals besteht die Fragmentoberfläche nur zu einem ge-

3.2. Feinregistrierung 41
ringen Teil aus Bruchfläche die zu einem Gegenstück passt.
• Objektdurchdringungen müssen vermieden werden.
• Fehlende Fragmente, Materialverschleiß und Schädigungen erschweren das Matching.
Eine Methode zur Lösung des Problems vom Typ 4 sollte also ohne eine Initiallösung
auskommen, trotz großer Datenmengen mit geringer Überlappung effizient arbeiten, Objektdurchdringungen
vermeiden und möglichst robust gegenüber Rauschen, Schädigungen
und Materialverschleiß sein. Eine zeiteffiziente Methode ist, insbesondere im Fall
von vielen Fragmentstücken und der daraus resultierenden kombinatorischen Vielfalt,
erforderlich.
In der Literatur wird häufig zwischen ” Grobregistrierung“ und ” Feinregistrierung“ unterschieden
(siehe auch Campbell & Flynn [12]). Bei der Feinregistrierung liegt bereits
eine initiale Lageschätzung vor, die (meist iterativ) optimiert wird. Falls keine initiale
Lageschätzung vorliegt, ist eine Grobregistrierung erforderlich, bei der die grobe Ziellage
gesucht wird. Im Folgenden soll ein kurzer Überblick über bekannte Arbeiten gegeben
werden, die allerdings nur zur Lösung des Überlappungstyps 1-3 entwickelt wurden und
häufig nur auf Tiefenbildern arbeiten.
3.2 Feinregistrierung
Die wohl gebräuchlichste Methode zum Registrieren von Oberflächen ist der so genannte
’Iterative Closest Point’-Algorithmus (ICP) von Besl & McKay [9]. Dieser Ansatz versucht
eine gegebene Initiallösung iterativ zu verbessern. Hierzu werden in jedem Iterationsschritt
zuerst zu Punkten auf der einen Oberfläche nahe liegende Punkte (engl. ’closest
points’) auf der anderen Oberfläche gesucht und dessen Abstände dann im Sinne des
minimalen Fehlerquadrats mit dem Verfahren von Horn [41] minimiert. Der ursprüngliche
Algorithmus erfreut sich immer noch sehr großer Beliebtheit, da er sehr einfach zu
implementieren ist. Allerdings ist er in seiner Grundform relativ langsam, äußerst fehleranfällig
gegenüber Ausreißern und kann oft trotz guter Initiallösung keine akzeptable
Lösung finden, da das Minimum im Sinne des Fehlerquadrats häufig nicht der gesuchten
tatsächlichen Lösung entspricht. Seit der Publikation des ICP-Algorithmus wurden viele
Verbesserungen vorgeschlagen. Diese empfehlen meist eine effizientere oder robustere Suche
von korrespondierenden Punkten (siehe z.B. Dalley & Flynn [19], Greenspan & Yurick
[29], Krebs et al. [52], Masuda [60], Sharp et al. [77]). Trotz dieser Verbesserungen
wird jedoch immer eine gute initiale Lageschätzung benötigt. Eine Übersicht über einige
effiziente Varianten des ICP-Algorithmus findet sich beispielsweise in einer Arbeit von
Rusinkiewicz & Levoy [71]. Da beim 3d-Puzzle-Problem im Allgemeinen keine initiale
Lage vorliegt, sind diese Verfahren nicht direkt einsetzbar bzw. können allenfalls zur
lokalen Verbesserung einer bereits gefundenen Lösung dienen.

42 Kapitel 3. Matching von Oberflächen: Problemstellung und Stand der Technik
(a) (b) (c)
Abbildung 3.2 Zur Berechnung von ’spin images’: (a) 3d Modell und Normalenachse durch
einen Oberflächenpunkt zu dem ein ’spin image’ berechnet werden soll; (b) Rotation des 3d
Modells um die Normalenachse; (c) Projektion der Oberflächenpunkte auf die Abbildungsebene
ergibt ein ’spin image’.
3.3 Grobregistrierung
3.3.1 Merkmalsbasierte Korrespondenzsuche
In den meisten Arbeiten zur Grobregistrierung werden lokale Oberflächenmerkmale für
die Suche nach korrespondierenden Oberflächenpunkten verwendet. Hierzu müssen in
einem Vorverarbeitungsschritt auf beiden Oberflächen Merkmale extrahiert und dann
einander zugeordnet werden. Die verwendeten Merkmale reichen von einfachen Oberflächeneigenschaften
wie Krümmungen bis hin zu komplexen mehrdimensionalen Merkmalsvektoren.
Johnson & Hebert [44] schlagen so genannte ’spin images’ für die Oberflächenregistrierung
und 3d-Objekterkennung vor. Hierzu wird in jeden Oberflächenpunkt ein zur
Oberflächennormale ausgerichtetes Koordinatensystem gelegt und jeweils alle Punkte
relativ zu diesem Koordinatensystem durch Rotation um die Normalenachse auf eine
Bildebene akkumuliert (siehe Abbildung 3.2). Dies entspricht einer Umrechnung der
Euklidischen Koordinaten in relative Zylinderkoordinaten und einer Projektion entlang
des Rotationswinkels. Hierdurch entsteht für jeden Oberflächenpunkt ein rotationsinvariantes
Abbild des gesamten Objektes. Da jeweils das gesamte Objekt und nicht nur
die lokale Umgebung abgebildet wird, handelt sich bei den ’spin images’ um globale
Merkmale. Für die Registrierung von zwei Oberflächen werden nun die ’spin images’
miteinander verglichen, um korrespondierende Punkte zu finden. Nach der Zuordnung
korrespondierender Punkte werden die Oberflächen grob ausgerichtet und die relative
Lage dann per ICP-Algorithmus verfeinert.

3.3. Grobregistrierung 43
Die Oberflächensignaturen (engl. ’surface signatures’) von Yamany & Farag [105] sind
konzeptionell den ’spin images’ sehr ähnlich. Statt Zylinderkoordinaten werden Kugelkoordinaten
verwendet, und statt Punkte zu akkumulieren, werden Krümmungen in
den Projektionsbildern gemittelt. Außerdem wird die Anzahl von Signaturen durch eine
Vorauswahl von Punkten mit hoher Krümmung reduziert.
Schön & Häusler [74] suchen ebenfalls nach markanten Punkten (engl. ’salient points’)
auf den Oberflächen. Genauer gesagt sind Oberflächenpunkte gemeint, die eine hohe
Krümmungsentropy (also möglichst viele unterschiedliche partielle Oberflächenkrümmungen
je nach Ausbreitungs-/Blickrichtung) in ihrer lokalen Nachbarschaft haben. Es
werden dann die hundert markantesten Punkte ausgewählt und für die Registrierung
weiterverwendet. Um nun korrespondierende Punkte zu finden, werden zugehörige lokale
rotationsinvariante Merkmalsvektoren berechnet. Ein Merkmalsvektor entspricht dabei
einem 2d Histogramm, in dem die lokalen Punkte der Umgebung akkumuliert werden.
Als Histogrammindizes dienen dabei der relative Abstand und die partielle Krümmung.
Demnach haben die Histogramme ganz ähnliche Eigenschaften wie die ’spin images’ und
’surface signatures’, allerdings sind sie auf die jeweilige lokale Umgebung beschränkt.
Sun et al. [82] definieren ’Fingerabdrücke’ (engl. ’finger prints’) auf Oberflächen. Hierbei
handelt es sich um eine Menge von Kurven mit gleicher geodesischer Distanz zu
einem ausgewähltem Oberflächenpunkt. Die Oberflächeneigenschaften (wie Krümmung
oder Farbe) entlang dieser Kurven werden dann orthogonal auf die Tangentialeben projiziert
und repräsentieren die lokale Oberflächenregion. In einer Vorauswahl werden nur
Punkte selektiert dessen ’finger prints’ möglichst irregulär und damit unverkennbar sind.
Da diese Merkmale nicht rotationsinvariant sind, muss bei der Korrespondenzsuche ein
verbleibender rotatorischer Freiheitsgrad per Kreuzkorrelation bestimmt werden.
Neben den ” Punktmerkmalen“, die die Umgebung eines ausgezeichneten Punktes charakterisieren,
gibt es auch ” Kurvenmerkmale“, die eine eindimensionale Ausbreitung auf
der Oberfläche beschreiben. Häufig werden Randkurven und Kanten mit hoher Krümmung
vorgeschlagen (siehe z.B. Krebs et al. [51], Papaioannou & Theoharis [66] und
Sappa et al. [72]). Eine etwas allgemeinere Variante sind die ’level curves of constant
mean curvature’ also Isokrümmungskurven in Tiefendaten von Krsek et al. [53]. Auch
Vanden Wyngaerd & Van Gool [85] detektieren charakteristische Kurven - so genannte
’bitangent curves’ - für die Registrierung der Oberflächen. Hierbei handelt es sich um
spezielle Kurvenpaare, bei denen jede Tangentialebene der einen Kurve auch gemeinsame
Tangentialebene der andern Kurve ist.
Wie diese unterschiedlichen Beispiele verdeutlichen, sind die verwendeten Oberflächenmerkmale
zwar ähnlich, unterscheiden sich jedoch unter anderem in ihrer Lokalität. Eine
zu hohe Lokalität (bzw. ein zu kleiner Einflussbereich) der Oberflächenmerkmale macht
diese schlecht unterscheidbar, empfindlich gegenüber Rauschen und erhöht die Zuordnungskomplexität.
Eine zu geringe Lokalität hingegen birgt bei partiell überlappenden
Oberflächen die Gefahr, dass Bereiche mit einbezogen werden, die keine Korrespondenz
auf dem Gegenstück haben. Dies wiederum macht die Suche nach korrespondierenden
Merkmalen schwieriger. Ein anderes Unterscheidungskriterium ist die Rotations-

44 Kapitel 3. Matching von Oberflächen: Problemstellung und Stand der Technik
invarianz der Oberflächenmerkmale. Auch hier sind Vor- und Nachteile festzustellen.
Rotationsinvariante Merkmale sind zwar schneller vergleichbar, können aber mehrdeutig
sein, denn es gibt meist viele unterschiedliche Oberflächenformen, die jeweils exakt
die gleichen Merkmalsvektoren hervorrufen. Rotationsvariante Merkmale wie die ’finger
prints’ oder die Kurvenmerkmale sind demgegenüber zwar eindeutiger, erfordern
aber einen aufwändigeren Vergleich (beispielsweise eine Kreuzkorrelation oder eine ICP-
Registrierung).
Ein Überblick über weitere merkmalsbasierte Registrierungsansätze findet sich z.B. in
Seeger & Labourex [76]. Der Nachteil von merkmalsbasierten Ansätzen ist der verhältnismäßig
hohe Zeitaufwand, der in der Vorverarbeitung für die Merkmalsextraktion und
Sortierung benötigt wird. Sind die Merkmale nicht robust messbar (z.B. aufgrund von
Rauschen oder fehlenden Oberflächenstrukturen) oder wenig prägnant bzw. nicht eindeutig
einander zuzuordnen (Korrespondenzproblem), können diese Verfahren für sich
allein genommen das Problem nicht lösen, aber häufig den Suchraum erheblich einschränken.
3.3.2 Hypothesen-Akkumulation (Pose Clustering)
Eine zum 3d-Puzzle-Problem verwandte Klasse von Methoden, die meist zur Erkennung
und Lokalisierung von Objekten dienen, sind die so genannten ’pose clustering’-
Ansätze (auch bekannt unter den Begriffen Hypothesenakkumulation oder verallgemeinerte
Hough-Transformation, siehe zum Beispiel Ballard [5], Stockman [81], Linnainmaa
et al. [57] und Olson [64]). Die Basisidee ist es, low-level-Lagehypothesen in einem
Parameterraum bzw. einer Voting-Tabelle zu akkumulieren, gefolgt von einer Clusterbzw.
Maximasuche, welche die meist besuchten Hypothesen identifiziert. Der größte
Nachteil von Voting-Tabellen ist der relativ hohe Zeit- und Speicherbedarf, insbesondere
im Fall von großen Datenmengen und einem 6d Such-/Parameterraum.
Einige Arbeiten versuchen diese Komplexität durch die Einbeziehung von lokalen Oberflächenmerkmalen
zu beherrschen. Ein interessanter Ansatz von Barequet & Sharir
[6], [7] verwendet hierfür beispielsweise so genannte ’gerichtete und ungerichtete footprints’.
Im einfachsten Fall sind dies Oberflächennormalen als gerichtete Merkmale und
Oberflächenkrümmungen als ungerichtete (also rotationsinvariante) Merkmale. Sowohl
gerichtete als auch ungerichtete Merkmale können die Anzahl der möglichen Lagehypothesen
stark einschränken, denn es kommen nur solche Lagehypothesen in Frage, bei
denen die gerichteten Merkmale in den Kontaktpunkten korrekt ausgerichtet sind und
die ungerichteten Merkmale übereinstimmen. Die Hypothesen müssen jedoch weiterhin
in einem 6d Parameterraum akkumuliert werden. Um den enormen Speicherbedarf zu reduzieren,
schlagen Barequet und Sharir deshalb die Verwendung einer Hashtabelle statt
eines 6d Arrays vor. Hierdurch können theoretisch leere Bereiche im Parameterraum
besser ausgenutzt werden. Die Verwendung einer Hashtabelle bedeutet jedoch zusätzlichen
Aufwand bei der Behandlung von Kollisionen und führt im ungünstigen Fall sogar
zu einem erheblich größeren Rechenaufwand. Außerdem gehen die Nachbarschaftsbeziehungen
des Arrays verloren, was dazu führt, dass das Finden von leicht ausgedehnten

3.3. Grobregistrierung 45
Clustern erheblich erschwert wird.
3.3.3 Hypothesengenerierung und Hypothesenverifizierung
Die DARCES-Methode (’data-aligned rigidity-constrained exhaustive search’) von Chen
et al. [14] zur Registrierung von Tiefendaten kommt ohne Initiallösung und ohne Oberflächenmerkmalen
aus. Damit ist dieser Ansatz auch für das allgemeine 3d-Puzzle-Problem
interessant. Die Lösung wird über eine alterniernde Hypothesengenerierung und Hypothesenverifizierung
gesucht. Eine solche Vorgehensweise werden wir auch im ersten
Lösungsansatz für das 3d-Puzzle-Problem in Kapitel 4 aufgreifen. Bei der DARCES-
Methode werden Lagehypothesen gesucht und getestet, bei denen die Oberflächen einen
Kontakt an drei oder mehr Punkten aufweisen. Im uneingeschänkten Fall müssen bei
der Suche von jeweils drei Punkten pro Oberfläche, die per Rotation und Translation in
Kontakt gebracht werden können, eine enorme Anzahl von Kombinationsmöglichkeiten
betrachtet werden. Bei n Punkten pro Oberfläche gibt es bereits ca. n 3 Punkttripel pro
Oberfläche und demnach n 6 Kombinationen von zwei Punkttripeln, die dann auf Kongruenz
überprüft werden müssten. Um diese kombinatorische Explosion zu bewältigen,
müssen eine Reihe von Einschränkungen getroffen werden: (i) Die Oberflächenpunkte
werden auf eine kleine zufällig ausgewählte Untermenge von ” Referenzpunkten“ reduziert.
Der Algorithmus arbeitet dann nur noch auf dieser kleineren Referenzpunktmenge.
(ii) Es werden nur solche Punkttripel zugelassen, bei denen die Punkte einen fest vorgegebenen
Abstand haben (also nur gleichschenklige Dreiecke mit fester Größe). Der
vorgegebene Abstand sollte nicht zu klein sein, da ansonsten die Lagehypothese instabil
gegenüber Rauschen wird, aber auch nicht zu groß sein, da sonst die Suche eines kongruenten
Punkttripels ineffizient wird. (iii) Die Suche des kongruenten Tripels, als auch
die Verifizierung der Lagehypothesen arbeitet ganz speziell auf Tiefenbildern (bzw. auf
der Projektion der Punktwolken auf eine Indexebene).
Diese starken Einschränkungen zu Gunsten der Effizienz bringen jedoch einige Probleme
mit sich: Die Reduzierung der Punktmenge führt zu einer gröberen Abtastung
des Suchraums und birgt damit die Gefahr, dass das globale Optimum verfehlt wird.
Die Beschränkung auf Punkttripel mit festem Abstand verstärkt diesen Effekt noch
weiter. Außerdem kann dies dazu führen, dass bestimmte Oberflächen (z.B. Fragmente
mit langen und schmalen oder lückenhaften Bruchflächen) nicht registriert werden
können, da sich keine entsprechenden Dreiecke auf ihnen finden lassen. Bei den Lagehypothesen
wird kein tangentialer Kontakt gefordert, wodurch sich die Fragmente bei
sehr vielen Lagehypothesen durchdringen werden. Und letztlich wird die Projektion auf
eine Indexebene benötigt, was bei Tiefenbildern natürlich Sinn macht, da sie bereits eine
solche Projektion darstellen, aber bei vollständigen 3d Objekten problematisch ist, da
keine Projektionsrichtung alle Daten überdeckungsfrei abbildet.
In einer der neuesten Arbeiten zum Thema Registrierung von Tiefendaten von Silva et al.
[78], [79] wird diejenige relative Lage gesucht, bei der die Oberflächen eine möglichst
hohe Anzahl an Durchdringungspunkten aufweisen. Die Suche der besten relativen Lage
basiert auf einem neuartigen genetischen Algorithmus. Viele Durchdringungspunkte sind

46 Kapitel 3. Matching von Oberflächen: Problemstellung und Stand der Technik
jedoch auch ein starkes Indiz für die komplette Durchdringung der 3d Fragmente, was
im Fall des 3d-Puzzle-Problems unerwünscht ist. Der komplexe Algorithmus arbeitet
speziell auf Dreiecksnetzen und benötigt eine relativ lange Laufzeit für eine paarweise
Registrierung (fünf Minuten für 10.000 Punkte auf einem 1,7 GHz PC). Die Ansätze, die
in der vorliegenden Arbeit vorgeschlagen werden, erreichen jedoch Laufzeiten von unter
einer Sekunde für weitaus größere Datensätze.
3.4 Stand der Technik beim 3d-Puzzle-Problem
Das allgemeine 3d-Puzzle-Problem wurde bis zum jetzigen Zeitpunkt nur sehr wenig
untersucht. Einige interessante Arbeiten behandeln die Rekonstruktion von wertvollen
zerbrochenen archäologischen Tongefäßen oder Keramiken anhand ihrer Bruchkanten,
Texturen oder Rotationssymmetrieeigenschaften (siehe z.B. Cooper et al. [17], Kampel
& Sablatnig [48], [47], da Gama Leitão & Stolfi [18], Goldberg et al. [27], Willis
& Cooper [95]). Diese Methoden lösen also eher ein 2d-Puzzle-Problem und können
im Allgemeinen nicht auf 3d Fragmente übertragen werden.
Eine der wenigen Arbeiten, die das dreidimensionale Puzzle-Problem untersuchen, basiert
auf einer Lagefehlerschätzung unter Verwendung von Z-Buffern (Papaioannou et al.
[65]). Wie Abbildung 3.3 veranschaulicht, werden die Fragmente solange rotiert und verschoben,
bis die 2d Abstandsfunktionen (Z-Buffer) zu einer separierenden Referenzebene
stark korrelieren (der Ansatz muss dabei sieben Freiheitsgrade optimieren). Obwohl der
vorgeschlagene Algorithmus eine ’simulated annealing’-Optimierung einsetzt, so degeneriert
er doch zu einer vollständigen Suche, wenn die optimale Fügerichtung auf einen
kleinen Winkelbereich beschränkt ist. Ein weiterer Nachteil ist die zeitineffiziente Generierung
und Korrelierung der Z-Buffer, die in jeder zu überprüfenden Lage erfolgen muss.
Abbildung 3.3 Prinzip des Z-Buffer-Matchings.

3.4. Stand der Technik beim 3d-Puzzle-Problem 47
In einer Folgearbeit [66] werden deshalb Bruchkanten als Merkmale integriert, um zum
einen die Effizienz zu Verbessern und zum anderen auch dünnwandige archäologische
Artefakte (wie Scherben) erfolgreich zusammenzufügen.
Einige weitere Arbeiten gibt es auf dem Gebiet des ’Protein-Dockings’ (siehe z.B. Chen
& Weng [15] sowie Fernandez-Recio et al. [22]), welche eine gemeinsame methodische
Schnittmenge mit dem allgemeinen 3d-Puzzle-Problem aufweisen. Auch hier dient die
äußere geometrische Struktur als Basis für die Kontaktsuche. Ein Überblick über aktuelle
Arbeiten auf dem Gebiet des Protein-Dockings findet sich z.B. in Smith & Sternberg
[80] und Via et al. [86]. Die geometrische Komplementarität von Bereichen ist eine notwendige,
aber nicht hinreichende Bedingung für die Bildung eines Proteinkomplexes. Die
Proteine müssen auch chemisch (beispielsweise bezüglich ihrer elektrostatischen Wechselwirkungen)
komplementär sein. Des Weiteren sind die für das Protein-Docking konzipierten
Ansätze speziell auf Struktureigenschaften von Molekülketten angepasst und
nicht für zerbrochene Objekte geeignet. Deshalb wird in dieser Arbeit nur im Ausblick
kurz auf das Protein-Docking-Problem eingegangen.

Kapitel 4
Matching von 3d Objektfragmenten
(3d-Puzzle-Problem)
Im vorhergehenden Kapitel wurde deutlich, dass trotz vieler Arbeiten auf dem Forschungsgebiet
der Oberflächenregistrierung das allgemeine 3d-Puzzle-Problem im Fall
von dreidimensionalen Fragmenten kaum behandelt und noch nicht zufriedenstellend
gelöst wurde. Aus diesem Grund wollen wir uns nun zwei neuartigen Ansätzen zuwenden,
die speziell auf das effiziente und robuste Zusammensetzen von 3d Fragmenten
zugeschnitten sind. Im Gegensatz zu den meisten bekannten Verfahren zur Oberflächenregistrierung
basieren die neuen Methoden nicht auf komplexen Merkmalsvektoren,
sondern offerieren grundlegende und innovative Suchstrategien. Ähnlich wie der bewährte
ICP-Algorithmus als ausbaufähige Basis für die Feinregistrierung angesehen werden
kann, sind die folgenden Ansätze als elementare Basis für die Grobregistrierung und das
paarweise Zusammensetzen von Fragmenten zu verstehen.
4.1 Einführung
Wie bereits erwähnt, ist das 3d-Puzzle-Problem bereits bei nur zwei Fragmenten ein
komplexes Problem mit sechs zu lösenden Freiheitsgraden. In diesem sechsdimensionalen
Parameterraum beschreibt jeder Punkt die relative Lage eines Fragmentes bezüglich
der Lage eines anderen. In diesem Zusammenhang spricht man in der Robotik auch von
Konfigurationsräumen. Für jeden Punkt im 6d Konfigurationsraum kann ein Fehlerbzw.
Gütemaß berechnet werden, welches die Passgenauigkeit in der aktuellen Lage bewertet.
Die Bewertung einer Lage ist allerdings ein relativ zeitaufwändiger Prozess. Aus
diesem Grund ist es wichtig, die Anzahl der zu bewertenden Punkte im Parameterraum
möglichst weitgehend zu reduzieren. Bei näherer Betrachtung stellt man fest, dass der
Raum große Bereiche hat, in denen die Fragmente sich nicht berühren. Diese Bereiche
sollten von vornherein nicht untersucht werden. Stattdessen sollten nur relative Lagen
betrachtet werden, bei denen ein Kontakt zwischen den Fragmentoberflächen besteht.
Genauer gesagt sollten die Oberflächen sich an den Kontaktpunkten stets tangential
berühren, da sie sich sonst durchdringen würden. Die Oberflächennormalen beider Sei-
49

50 Kapitel 4. Matching von 3d Objektfragmenten (3d-Puzzle-Problem)
ten müssen demnach an den Kontaktflächen entgegengerichtet sein. Unter Ausnutzung
dieses Wissens kann der zu betrachtende Parameterraum bei zwei Fragmenten auf fünf
Dimensionen begrenzt werden (zwei Dimensionen für die Wahl des Kontaktpunktes auf
der ersten Oberfläche, plus zwei Dimensionen für die Wahl des Kontaktpunktes auf
der zweiten Oberfläche, plus eine Dimension für die Rotation um die Oberflächennormale
im Kontaktpunkt). Darüber hinaus kommen nur Oberflächenkontakte in Frage,
bei denen die lokale Umgebung beider Seiten komplementär zueinander ist (eine konvexe
Oberflächenregion passt zum Beispiel nur zu einer konkaven, usw.). Dies führt
zur optionalen Verwendung geeigneter Merkmale wie beispielsweise im einfachsten Fall
Oberflächenkrümmungen.
Um nun den verbleibenden Parameterraum zu durchsuchen, bedarf es geeigneter Methoden
und Strategien. Die meisten bekannten Optimierungsverfahren (wie Gradientenabstieg,
’hill climber’, ’simulated annealing’, etc.) profitieren von kleinen Bewegungen
in ein lokales Optimum. Viele Optimierungsverfahren müssen in jedem Schritt mehrere
benachbarte Konfigurationen bewerten, um die Richtung des Optimums zu schätzen.
Im Fall des 3d-Puzzle-Problems ist dies ein Nachteil, da gerade die Bewertungsfunktion
relativ zeitaufwändig ist. Untersuchungen haben außerdem gezeigt, dass beim 3d-Puzzle-
Problem der Parameterraum oft äußerst stark mit lokalen Optima frequentiert ist. Aus
diesem Grund entarten diese Optimierungsverfahren zu einer nahezu vollständigen Suche,
bei der ein Großteil der Zeit für die Iteration in falsche lokale Optima verschwendet
wird. Einige Verfahren zum Registrieren von Objekten (wie beispielsweise die ’pose
clustering’-Ansätze) setzen deshalb auf die vollständige Durchsuchung des Parameterraums
und konzentrieren sich auf eine Beschleunigung der Bewertungsmethode. Die
gefundene Lösung kann dann im Nachhinein als Initiallösung für eine Feinoptimierung
genutzt werden.
Natürlich kann ein kontinuierlicher Raum nicht ” vollständig“, sondern nur an diskreten
Punkten bewertet werden. Der Parameterraum muss also geeignet diskretisiert bzw. die
Parameter geeignet quantisiert werden. (Eine Verteilung von diskreten Punkten entsteht
im übrigen ebenso, wenn die Startpunkte für eine lokale Optimasuche gesetzt werden).
Diese Quantisierung kann auf unterschiedliche Weise erfolgen. Im einfachsten Fall wird
der Parameterraum mit einem regelmäßigem Abtastgitter überlagert. Da dieses Gitter
sich nicht an der Gestalt der Fragmente orientiert, ist die Gefahr groß, dass das globale
Optimum zwischen die Abtastpunkte fällt. Eine ähnliche Vorgehensweise, die sich allerdings
besser an der Gestalt orientiert, ist die Verwendung diskreter Punkte auf der Oberfläche,
welche zur Kontaktbildung herangezogen werden und somit diskrete Lagepunkte
ergeben. In den meisten Fällen liegen die Oberflächen von vornherein in diskreter Form
vor (z.B. bei Punktwolken), so dass diese Vorgehensweise keinen Nachteil darstellt. Im
Fall von großen Datensätzen kann eine geeignete Unterauswahl von Oberflächenpunkten
den Such- und Bewertungsvorgang stark beschleunigen. Problematisch ist die oft verwendete
Kombination von diskreten Gitterpunkten im Parameterraum und diskreten
Punkten auf der Oberfläche (wie beispielsweise beim Ansatz von Barequet & Sharir [6]
vorgeschlagen). Aufgrund der doppelten Abtastung in unterschiedlichen Räumen führt
diese Vorgehensweise leicht zu Abtastfehlern und damit verbundenen Falschbewertun-

4.2. Formale Problemstellung und Begriffsdefinitionen 51
gen von Lösungen. Zusammengefasst bedeutet dies, dass folgende Ziele bei der Entwicklung
eines neuen Ansatzes zum Matchen von Fragmentoberflächen berücksichtigt
werden müssen:
• Es sollten nur Lagen, bei denen die Fragmente in Kontakt sind, betrachtet werden.
• Oberflächenmerkmale können den Suchraum weiter einschränken. Die verwendeten
Merkmale müssen trotz Messrauschen stabil berechenbar und signifikant sein.
• Die Lagebewertung sollte möglichst effizient sein.
• Der Parameterraum kann äußerst viele lokale Optima besitzen, insbesondere wenn
die Oberflächen rau oder verrauscht sind. Auf die Verbesserung lokaler Optima
sollte keine Zeit verschwendet werden.
• Eine geeignete Parameterquantisierung muss gewählt werden, da sie entscheidend
für die Robustheit des Verfahrens ist.
4.2 Formale Problemstellung und Begriffsdefinitionen
Bevor wir zu konkreten Lösungsansätzen für das 3d-Puzzle-Problem übergehen, benötigen
wir eine solide mathematische Basis. Deshalb werden wir im Folgenden einige
mathematische Hilfskonstrukte formal definieren, die in dieser Arbeit durchgängig verwendet
werden.
Angenommen es liegen die Oberflächen von zwei Fragmenten in Form von Punktwolken
vor. Gegeben sei also die Menge PA der 3d Punktkoordinaten �p1,...,�pk auf der
Oberfläche des Fragmentes A und die Menge NA von zugehörigen Oberflächennormalen
�n1,...,�nk. Hierbei gehen wir stets von senkrecht nach außen zeigenden Oberflächennormalen
mit der Länge eins aus. Durch Kombination von Punktkoordinaten und Oberflächennormalen
erhalten wir für jeden Oberflächenpunkt einen 6d Parametervektor, den
wir im Folgenden orientierten Punkt nennen wollen (engl. ’oriented point’ siehe auch
Johnson & Hebert [44]).
Definition 1 (orientierter Punkt) Ein orientierter Punkt ist ein Raumpunkt mit einer
Orientierung. In dieser Arbeit besteht ein orientierter Punkt �u aus den Koordinaten
eines Punktes auf der Fragmentoberfläche und der zugehörigen Oberflächenorientierung.
Wir fassen ihn als 6d Vektor �u := [�pu,�nu] ∈ IR 6 auf, wobei �pu ∈ IR 3 die Koordinaten des
Punktes und �nu ∈ IR 3 die zugehörigen Oberflächennormale beschreibt.
Die Punktwolken können damit als eine Menge A von orientierten Punkten auf Fragment
A und die Menge B von orientierten Punkten auf dem Gegenstück B aufgefasst
werden:
A := {�u = [�pu,�nu] | �pu ∈ PA und �nu ∈ NA} (4.1)
B := {�v = [�pv,�nv] | �pv ∈ PB und �nv ∈ NB} . (4.2)

52 Kapitel 4. Matching von 3d Objektfragmenten (3d-Puzzle-Problem)
Abbildung 4.1 Zur Darstellung der Oberflächen.
Abbildung 4.1 zeigt links die Oberfläche eines Fragmentes in Form einer solchen Punktwolke
bestehend aus vielen einzelnen orientierten Punkten. Da diese Form der Darstellung
für den Menschen nur sehr schlecht interpretierbar ist, wird in den Abbildungen
dieser Arbeit statt dessen immer ein gerendertes Dreiecksnetz der Oberflächen dargestellt.
Dennoch ist eine Dreiecksvernetzung für die folgenden Ansätze nicht notwendig.
Ziel ist es nun, diejenige relative Lage zu finden, die die Fragmente ” richtig“ zusammenfügt.
Was das bedeutet, hängt vom Anwendungsfall ab. Um die beste aller relativen
Lagen zu finden, werden anwendungsspezifische Güte- oder Fehlermaße zur Bewertung
benötigt. Denkbare Kriterien sind beispielsweise die Glattheit der intakten Oberfläche
nach dem Zusammenfügen oder der ” Verzahnungsgrad“ der Bruchflächen. Hierauf werden
wir noch in Abschnitt 4.5 näher eingehen. Eines der wichtigsten Kriterien ist jedoch
sicherlich die Größe der Kontaktfläche zwischen den Fragmenten, auf das wir uns im Folgenden
konzentrieren wollen. Verfahren die die gesamte Kontaktfläche berücksichtigen
versprechen eine höhere Robustheit als Verfahren die allein auf lokalen Oberflächenmerkmalen
beruhen. Ein Kontakt liegt vor, wenn sich die Oberflächen der Fragmente
an mindestens einem Punkt tangential berühren.
Definition 2 (tangentialer Kontakt zwischen zwei orientierten Punkten) Bei
einer gegebenen relativen Lage A TB (relative Transformationsmatrix in homogener Koordinatenschreibweise)
liegt genau dann ein tangentialer Kontakt zwischen den orientierten
Punkten �a ∈ A und � b ∈ B vor, wenn die Punktkoordinaten in dieser Lage zusammenfallen
�pa = A TB ·�pb und die zugehörigen Oberflächennormalen entgegengerichtet
sind �na = − A TB · �nb.

4.2. Formale Problemstellung und Begriffsdefinitionen 53
Definition 3 (tangentialer Kontakt zwischen Punkt und Fragment) Bei einer
gegebenen relativen Lage steht ein orientierter Punkt �a genau dann in tangentialem
Kontakt mit Fragment B, wenn es einen orientierten Punkt � b ∈ B gibt, der in tangentialem
Kontakt mit �a steht.
Die Menge MAB( A TB) bezeichnet im Folgenden die Punkte von Fragment A, die unter
einer gegebenen Transformation A TB in tangentialem Kontakt mit Fragment B stehen.
Mathematisch ausgedrückt
MAB( A �
TB) := �a ∈A | ∃� �
�
b ∈B : ��pa − A �
�
TB · �pb � < εp ∧
�
�
��na· A �
�
TB · �nb + 1
� < εn
�
.
(4.3)
Im Gegensatz zu Definition 2 wird in dieser Festlegung eine maximale translatorische
Abweichung von εp und eine rotatorische Abweichung von εn toleriert. Diese Toleranzen
sind notwendig, da im Allgemeinen real gemessene Daten mit Ungenauigkeiten behaftet
sind. Das heißt εp und εn sollten an die Genauigkeit der Oberflächen angepasst werden.
Die relative Größe der Kontaktfläche auf Fragment A kann dann über das Verhältnis
der Anzahl an Kontaktpunkten zur Gesamtpunktanzahl
Ω := |MAB( A TB)|
|A|
(4.4)
approximiert werden. Gesucht ist diejenige relative Transformation A TB, die die Kontaktfläche
Ω maximiert. Entscheidend ist hierbei jedoch, dass nur relative Transformationen
gewertet werden, bei denen die Fragmente sich nicht durchdringen.
Definition 4 (Durchdringung) Zwei Fragmente mit geschlossener Oberfläche durchdringen
sich genau dann, wenn es Punkte auf der Oberfläche des einen Fragments gibt,
die sich innerhalb des anderen Fragments befinden. Eine solche relative Lage ist bei
starren Fragmenten physikalisch nicht möglich.
Wie diese Anforderung algorithmisch realisiert werden kann, wird später in den beiden
Lösungsstrategien in Abschnitt 4.3 und 4.4 genau erläutert.
Bis zum jetzigen Zeitpunkt haben wir die relative Lage zwischen zwei Fragmenten ausschließlich
mit Hilfe einer homogenen 4×4-Transformationsmatrix A TB ausgedrückt. Wie
bereits in der Einführung erläutert wurde, wollen wir nicht den 6d Raum aller relativen
Transformationen diskretisieren und nach einem Maximum durchsuchen, sondern nur
diejenigen Lagen betrachten, bei denen die Fragmente in Kontakt stehen. Eine Lagehypothese
ist in unserem Fall also immer eine Kontaktsituation.
Definition 5 (Lagehypothese) Eine Lagehypothese bezeichnet die vorläufige Annahme
einer relativen Position und Orientierung von zwei oder mehreren Fragmenten zueinander.
Lagehypothesen sollten durch weitere Untersuchungen verifiziert oder falsifiziert
werden. In dieser Arbeit wird eine Lagehypothese stets aus der Annahme eines tangentialen
Kontaktes zwischen mehreren Oberflächenpunkten abgeleitet.
Wir können uns beispielsweise eine Lagehypothese zwischen zwei Fragmenten A und B
konstruieren, indem wir einen tangentialen Kontakt zwischen den orientierten Punkten

�Ñ�ÒØ× 54 Kapitel 4. Matching von 3d Objektfragmenten (3d-Puzzle-Problem)
A
�pa
�na
�pc
�nc
�pd
�A �nd
�B
AÌB
B
Abbildung 4.2 Zur Berechnung der relativen Transformation A TB .
�a ∈ A und � b ∈ B sowie zwischen �c ∈ A und � d ∈ B annehmen. Diese Annahme beschränkt
alle Freiheitsgrade der relativen Lage. Aus einer solchen Lagehypothese kann
natürlich bei Bedarf eine homogene 4×4-Transformationsmatrix berechnet werden. Abbildung
4.2 illustriert eine mögliche Vorgehensweise. Die relative Transformation A TB
wird hier mittels zweier Koordinatensysteme FA und FB (jeweils ein Koordinatensystem
pro Fragment) ermittelt:
A TB = F −1
A · F B (4.5)
mit FA :=F(�a,�c) und FB :=F( � b ∗ , � d ∗ ), wobei der hochgestellte Stern (in Anlehnung an
die komplexe Konjugation) die Invertierung der Oberflächennormale kennzeichnet
� b ∗ :=[�pb, −�nb] ; � d ∗ :=[�pd, −�nd] (4.6)
und die Funktion F(�u,�v) eine homogene 4×4 Transformationsmatrix repräsentiert, welche
zwischen den orientierten Punkten �u und �v liegt:
⎡
⎤
F(�u,�v) :=
⎣ �puv×�nuv
��puv�nuv� �puv
�puv�nuv�puv
��puv�nuv�puv�
�nb
�pu+�pv
2
0 0 0 1
mit dem Differenzvektor �puv und dem kombinierten Normalenvektor �nuv
�pb
⎦ (4.7)
�puv := �pv − �pu
��pv − �pu� ; �nuv := �nu + �nv. (4.8)
Um singuläre Koordinatensysteme zu vermeiden, muss sichergestellt werden, dass die
Länge von �puv und �nuv größer null ist. Die hiermit berechnete Transformation A TB richtet
beide Punktpaare im Sinne des minimalen quadratischen Fehlers aus. Allerdings ist ein
exakter tangentialer Kontakt an zwei Punkten nur dann möglich, wenn die Abstände

4.2. Formale Problemstellung und Begriffsdefinitionen 55
der Punktpaare und die Oberflächenorientierungen an den Kontaktpunkten übereinstimmen.
Genauer gesagt müssen wir überprüfen, ob das orientierte Punktpaar (�a,�c)
geometrisch komplementär zu dem orientierten Punktpaar ( � b, � d) ist.
Definition 6 (geometrisch komplementär / geometrisch kongruent) Zwei orientierte
Punktmengen A und B sind geometrisch komplementär, wenn es eine relative
Lage gibt, bei der jeder Punkt von A mit einem Punkt von B in tangentialem Kontakt
steht und umgekehrt jeder Punkt von B in tangentialem Kontakt mit einem Punkt von
A steht. Äquivalent dazu sind A und B genau dann geometrisch komplementär, wenn
A geometrisch kongruent zu B ∗ := { � b ∗ | � b ∈ B} ist.
ÈË�Ö��Ö�ÔÐ��Ñ�ÒØ×
Bei genauerer Betrachtung stellt man fest, dass die räumliche Beziehung zwischen zwei
orientierten Punkten auf einem Fragment eindeutig durch vier Relationen definiert werden
kann:
bestehend aus der euklidischen Distanz duv, den Neigungswinkeln αuv,βuv zwischen
duv := ��pv − �pu� , (4.9)
αuv := arccos(�nu · �puv), (4.10)
βuv := arccos(�nv · �puv), (4.11)
δuv := atan2 (�nu · (�puv × �nv), (�nu × �puv) · (�puv × �nv)), (4.12)
�nu
αuv
�pu
duv
δuv
βuv
Abbildung 4.3 Relationen zwischen den orientierten Punkten �u und �v
den Oberflächennormalen und der Verbindungsgeraden durch �pu und �pv, sowie dem
Rotationswinkel δuv zwischen den Oberflächennormalen um die Verbindungsgerade. Die
Skizze in Abbildung 4.3 veranschaulicht die vier Relationen. Es ist sofort ersichtlich, dass
diese Relationen stets invariant gegenüber Rotation und Translation sind. Zwei orientierte
Punktpaare sind also genau dann geometrisch kongruent, wenn die vier Relationen
bei beiden Paaren übereinstimmen.
Nachdem wir nun formal definiert haben, wie man gute Lagehypothesen konstruieren
kann und nach welchem Gütemaß die Hypothesen bewertet werden, stellt sich sofort die
Frage, wie dieser Ansatz effizient realisiert werden soll. Bei n Oberflächenpunkten pro
Fragment gibt es zu jedem Fragment bereits n 2 verschiedene Punktpaare. Ein naiver
Algorithmus, der alle Paarkombinationen auf Kongruenz überprüft, um gültige Hypothesen
zu finden, hätte bereits eine Zeitkomplexität von O(n 4 ). Jede gültige Hypothese
�pv
�nv

56 Kapitel 4. Matching von 3d Objektfragmenten (3d-Puzzle-Problem)
muss dann noch durch Auszählen von tangentialen Kontakten bewertet werden, was in
einer naiven Implementierung nochmals einen zusätzlichen Faktor von n 2 bedeutet. In
den folgenden Abschnitten werden wir jedoch zwei Ansätze vorstellen, die diese Problematik
äußerst effizient lösen.
4.3 Ein zufallsbasierter Ansatz: ’Random Sample Matching’
Der erste Ansatz beruht auf einer zufallsbasierten Generierung von wahrscheinlichen
Lagehypothesen und einer schnellen Hochrechnung der Kontaktfläche. Es handelt sich
also um eine alternierende Hypothesengenerierung und Hypothesenverifizierung, die im
Kern auf den klassischen RANSAC-Algorithmus zurückzuführen ist.
4.3.1 Das RANSAC-Konzept
Der Ausdruck ” RANSAC“ steht für ’Random Sample Consensus’ und wurde 1981 von
Fischler & Bolles [23] geprägt. Bei dem RANSAC-Ansatz handelt es sich um einen
Algorithmus zum Schätzen von Modellparametern aus einer Menge von Datenpunkten.
Häufig wird der Ansatz zum Detektieren von analytisch beschreibbaren Geometrien (z.B.
von Geraden oder Kreisen in Bildern) oder zum Kalibrieren von extrinsischen Kameraparametern
verwendet. Somit ist der Ansatz auf die gleiche Problemklasse anwendbar,
die auch von den ’Pose Clustering’-Verfahren (siehe Kapitel 3.3.2), wie z.B. der Hough-
Transformation gelöst werden kann. Der zufallsbasierte Algorithmus ist zugleich einfach
und mächtig: Zuerst wird eine zufällige Untermenge aus der Menge aller gemessenen
Datenpunkte ausgewählt. Die Anzahl der auszuwählenden Punkte entspricht typischerweise
der Mindestanzahl, die nötig ist, um alle Modellparameter festzulegen. Danach
werden die Parameter des Modells unter Verwendung der ausgewählten Daten berechnet.
Die Güte der Hypothese wird nun möglichst effizient unter Berücksichtigung aller
vorhandenen Datenpunkte geschätzt. Ein gebräuchliches Gütemaß ist die Anzahl der
Datenpunkte, die unter einer gewissen Toleranz zu der Hypothese passen. Der Vorgang
wird solange wiederholt bis eine hinreichend gute Lösung gefunden oder ein Zeitlimit
überschritten wurde. Der folgende Algorithmus verdeutlicht die Vorgehensweise nochmals
an einem konkreten Anwendungsbeispiel:
RANSAC-Algorithmus zur Detektion von Geraden in Binärbildern
Gegeben sei ein beliebiges Binärbild in dem geradenhafte Strukturen gesucht werden
sollen. In jedem Durchlauf werden zuerst zufällig zwei gesetzte Bildpunkte ausgewählt
und angenommen, dass durch diese Punkte eine Gerade verläuft. Danach wird geprüft,
wie viele weitere Punkte zu dieser Geraden passen.
1. Wähle zufällig zwei Punkte p1 und p2 aus der Menge aller gesetzten Bildpunkte
aus.

4.3. Ein zufallsbasierter Ansatz: ’Random Sample Matching’ 57
2. Berechne die Parameter einer Geraden g die durch p1 und p2 verläuft.
3. Schätze die Güte von g durch Auszählen der gesetzten Bildpunkte deren Abstand
zu g kleiner als ε ist.
4. Wiederhole Schritt 1-3 bis die Lösung gut genug ist, alle Punktpaare ausgewählt
wurden, oder ein Zeitlimit überschritten ist.
Der Algorithmus ist aufgrund seiner Zufallskomponente nicht deterministisch, aber terminiert
nach endlicher Zeit, falls in Schritt 1 dafür gesorgt wird, dass kein Punktpaar
doppelt ausgewählt wird. Die Kernidee besteht darin, zum einen nur Geraden zu prüfen,
die durch mindestens zwei Punkte verlaufen und zum anderen so schnell es geht möglichst
viele dieser Geraden zu überprüfen. Die Laufzeit des Algorithmus hängt erheblich
von der Effizienz der Güteberechnung in Schritt 3 ab. Bei einer großen Anzahl von
gesetzten Punkten kann die Güteberechnung stark von einer schnellen Hochrechnung
profitieren. Jede Hypothese wird dabei zuerst mit einer geringen Anzahl von gesetzten
Bildpunkten getestet. Falls eine Hochrechnung auf die Gesamtmenge eine schlechte
Güte vorhersagt bzw. die Güte weit unter dem bis dato besten Ergebnis liegt, wird
die Güteberechnung abgebrochen und eine neue Hypothese generiert. Das RANSAC-
Verfahren bietet die gleiche Robustheit gegenüber Ausreißern wie die wohl bekannte
Hough-Transformation für Geraden [42] (siehe auch Abbildung 4.4), bietet aber einige
zusätzliche Vorteile:
(i) Es wird kein Akkumulartorarray (Hough-Raum) benötigt, weshalb der Speicherbedarf
marginal ist. Außerdem werden die Modellparameter nicht auf einen diskreten
Raum abgebildet. Die Parameterquantisierung grenzt die Genauigkeit der Hough-
Transformation ein, da der Speicherbedarf mit Erhöhung der Genauigkeit ansteigt
und die lokalen Optima in Cluster zerfallen, die über mehrere Hough-Raumzellen
verteilt sind, was die Suche nach Clustern erschwert.
(ii) Der RANSAC-Algorithmus findet durch seine datenpunktgetriebene zufällige Abtastung
des Lösungsraums sehr schnell ” gute“ Lösungen, wodurch die Güteberechnung
schneller wird, da im Folgenden immer mehr Hypothesen frühzeitig durch die
Hochrechnung ausgemustert werden.
(iii) Die Suche kann jederzeit abgebrochen werden. Ein Abbruchkriterium könnte beispielsweise
eine Gütevorgabe sein, die zu erfüllen ist oder ein Zeitlimit, das überschritten
wurde. Letzteres macht das Verfahren besonders interessant für Echtzeitanwendungen.
(iv) Die Implementierung ist sehr einfach und ohne Probleme zu parallelisieren.
Tabelle 4.1 zeigt die Zeit- und Speicherkomplexität der Hough-Transformation und des
RANSAC-Ansatzes im Vergleich. Die asymptotische Zeitkomplexität ist bei beiden Methoden
vergleichbar. Starke Laufzeitunterschiede zeigen sich jedoch in einem Vorfaktor,
der bei der Hough-Transformation von der gewünschten Genauigkeit (Auflösung des
Hough-Raums) und bei dem RANSAC-Algorithmus vom Prozentsatz der ’inlier’ abhängt.
Dieser Unterschied verdeutlicht auch die Nachteile des RANSAC-Ansatzes: Die

�Ù×Ö����Ö
58 Kapitel 4. Matching von 3d Objektfragmenten (3d-Puzzle-Problem)
ÔÐ��Ñ�ÒØ× ��Ö���Ð�ÖÕÙ��Ö�Ø� ÇÔØ�ÑÙÑ���Å�Ò�Ñ��ÖÙÒ�
Á���Ð�ÅÓ��Ð��Ö���
Abbildung 4.4 Die lineare Regression bzw. Minimierung der Fehlerquadrate kann aufgrund
von Ausreißern leicht zum falschen Ergebnis führen.
Tabelle 4.1 Komplexitätsvergleich von Hough-Transformation und RANSAC-Verfahren: n ist
die Anzahl der Datenpunkte; m ist die Anzahl der ’inlier’; d ist die Anzahl der Freiheitsgrade
des Modells; b ist die Auflösung des Hough-Raums. Unter der realistischen Annahme, dass b
und n/m konstant sind, werden sämtliche Zeitkomplexitäten zu O (n) und alle Speicherkomplexitäten
zu O (1).
Geradensuche Allgemein
Hough-Trans.
Zeit
O (n · b)
Speicher
O (b
Zeit Speicher
2 ) O � n · b d−1� O � b d�
RANSAC O � n · ( n
m )2�
O(1) O � n · ( n
m )d�
Laufzeit steigt an, wenn die Anzahl der ’inlier’ im Verhältnis zur Gesamtpunktanzahl
abfällt, da in diesem Fall die Wahrscheinlichkeit, zufällig eine gute Lösung zu finden, kleiner
wird. Bei einer hohen Anzahl von ’outlier’ und geringen Genauigkeitsanforderungen
ist die Hough-Transformation effizienter. Zum anderen kann der nichtdeterministische
Charakter des RANSAC-Verfahrens als Nachteil angesehen werden, da im Vorfeld nie
ganz klar ist, wie lange der Algorithmus benötigt.
RANSAC übertragen auf das 3d-Puzzle-Problem
Im Folgenden werden wir das RANSAC-Konzept auf das Matchen von Oberflächen
übertragen. Der vorgeschlagene Ansatz durchsucht auf effiziente Weise den Raum aller
relativen Lagen zweier Fragmente. Transformationen, bei denen die Fragmente nicht
in Kontakt stehen, werden von vornherein ausgeschlossen. Die gesuchte relative Lage
wird danach bewertet, wie groß der Oberflächenkontakt zwischen den Fragmenten ist.
Des weiteren sollten Fragmentdurchdringungen vermieden werden, weshalb sie eine Gütestrafe
erhalten. Wie beim klassischen RANSAC-Algorithmus werden wahrscheinliche
O(1)

4.3. Ein zufallsbasierter Ansatz: ’Random Sample Matching’ 59
Hypothesen generiert und deren Güte durch eine effiziente Hochrechnung geschätzt. Der
Basisalgorithmus besteht aus den folgenden Schritten:
1. Konstruiere eine Lagehypothese durch Annahme eines tangentialen Kontaktes zwischen
dem zufällig ausgewählten orientierten Punktpaar �a,�c ∈ A und einem dazu
geometrisch komplementären Punktpaar � b, � d ∈ B.
Optional: Überprüfe ob lokale Merkmale an den Kontaktpunkten übereinstimmen.
2. Berechne die Güte (die Größe der Kontaktfläche) der Lagehypothese. Die Effizienz
dieses Schrittes wird erheblich durch eine schnelle zufallsbasierte Hochrechnung
gesteigert.
3. Wiederhole die Schritte 1 und 2 und speichere das jeweils beste Ergebnis, solange
bis die Güte hinreichend hoch ist, alle Hypothesen getestet wurden oder die
maximale Suchzeit abgelaufen ist.
Es ist offensichtlich, dass die Wahrscheinlichkeit korrespondierende Oberflächenpunkte
zu finden durch die Berücksichtigung von lokalen Oberflächenmerkmalen stark erhöht
werden kann. In den Experimenten in Abschnitt 4.3.4 wird beispielsweise die mittlere
Krümmung verwendet, wodurch auf einfache Weise über 95% der Kontaktpunktpaare
ausgeschlossen werden können.
Die Stärke des Algorithmus ist seine Unabhängigkeit gegenüber der Fragmentform. Die
Effizienz ist direkt proportional zu der Größe der kompatiblen Bruchfläche und bleibt
unbeeinflusst gegenüber einem kleinen Konvergenzradius ∗ oder einer geringen Fügerichtungstoleranz
(wie beispielsweise beim Fügen von Stift und Loch oder Stecker und
Sockel).
4.3.2 Schnelle Generierung von Lagehypothesen
In einer eigenen Arbeit (siehe Winkelbach et al. [98]) wurde bereits eine sehr schnelle
Methode zur Generierung von Lagehypothesen vorgestellt. Dieser Ansatz wurde inzwischen
jedoch weiterentwickelt, wodurch der Matching-Algorithmus um ein Vielfaches
beschleunigt wurde. In den experimentellen Ergebnissen ist eine Beschleunigung um
den Faktor 20 bis 40 bzw. bei der Registrierung von Tiefendaten sogar ein Faktor von
40 bis 100 (siehe Winkelbach et al. [97]) zu beobachten.
In Abschnitt 4.2 haben wir gesehen, wie man Lagehypothesen aus den gegebenen Punktwolken
konstruieren kann. Hierzu wählen wir ein orientiertes Punktpaar auf Fragment A
aus und benötigen dann ein geometrisch komplementäres Punktpaar auf Fragment B.
Die Lagehypothese ist dann die Annahme eines tangentialen Kontaktes zwischen beiden
Punktpaaren. Angenommen wir haben zwei Oberflächen A und B, die vollständig geometrisch
komplementär sind und durch Punktwolken mit jeweils n orientierten Punkten
repräsentiert werden. Die Frage ist: Wie lange dauert es, bis man zwei korrespondierende
Punktpaare (eines auf A und eines auf B) findet?
∗ Konvergenzradius bezeichnet hier den maximalen Lagefehler, den eine Initiallösung haben darf, damit sie
in das globale Optimum konvergiert.

60 Kapitel 4. Matching von 3d Objektfragmenten (3d-Puzzle-Problem)
Wenn man ein Punktpaar auf A gewählt hat, dann ist die Wahrscheinlichkeit, zufällig
das korrespondierende Punktpaar auf B zu ziehen, 1/n 2 . Man muss also im Schnitt
n 2 +1 Punktpaare betrachten, bis man zwei korrespondierende Paare erwischt (Ziehen
mit Zurücklegen). Dies entspricht bereits einer nicht zu vernachlässigenden Komplexität
von O(n 2 ). Dieses Laufzeitverhalten scheint auf den ersten Blick unvermeidbar zu sein.
Doch durch einen einfachen Trick geht es wesentlich schneller: Angenommen wir tragen
in einem Vorverarbeitungsschritt n 2 /k Punktpaare von A in eine ’Hashtabelle’ ein, wobei
die Hashtabelle mit translations- und rotationsinvarianten Merkmalen/Hashwerten
indiziert wird. Nehmen wir des weiteren vereinfacht an, dass die Hashwerte eindeutig
sind. Wenn wir nun zufällig ein Punktpaar auf Fragment B wählen, dann ist die Wahrscheinlichkeit
1/k, dass wir ein dazu passendes Paar von A in der Hashtabelle finden.
Somit brauchen wir im Schnitt nur noch n 2 /k+k Paare zu betrachten (Vorverarbeitung
mitgezählt). Bei k = n wären das beispielsweise nur noch 2n Paare. Es bleibt also die
erfreulich geringe Komplexität von O(n) übrig.
Und es geht noch etwas schneller: Wenn wir nun alternierend erst ein zufälliges Punktpaar
von A ziehen und in die Hashtabelle eintragen und dann ein zufälliges Punktpaar
von B ziehen und in die Hashtabelle eintragen, brauchen wir im Schnitt nur noch ca.
1,2 · n Paare zu betrachten bis es zu einer Kollision kommt. Diese Methode entspricht
dem so genannten Geburtstagsangriff [90] aus dem Bereich der Kryptologie, welcher
dazu missbraucht werden kann, zwei verschiedene Dokumente mit der gleichen digitalen
Signatur (Hashwerten) zu erzeugen. Der Begriff ’Geburtstagsangriff’ ist wiederum von
dem so genannten Geburtstagsparadoxon abgeleitet. Das Geburtstagsparadoxon besagt,
dass bei 23 Personen die Wahrscheinlichkeit, dass mindestens zwei Personen am gleichen
Tag im Jahr Geburtstag haben, bereits größer als 1/2 ist. Es handelt sich also um kein
’Paradoxon’ im eigentlichen Sinne, sondern es wird lediglich so bezeichnet, da es der
üblichen Intuition widerspricht.
Nach diesem Prinzip arbeitet auch der Algorithmus. Anstatt einer Hashtabelle verwenden
wir jeweils eine 4d Relationstabelle pro Fragment. Diese Tabellen werden nun
alternierend mit zufälligen Punktpaaren gefüllt. Als Tabellenindizes dienen die vier
translations- und rotationsinvarianten Relationen eines orientierten Punktpaares (�u,�v),
die bereits in den Gleichungen (4.9)–(4.12) auf Seite 55 zur Überprüfung der geometrischen
Kongruenz von Punktpaaren aufgestellt wurden:
⎡ ⎤
duv
⎢
rel (�u,�v) := ⎢cosαuv
⎥
⎣cosβuv
⎦ :=
⎡
⎢
⎣
��pv − �pu�
�nu · �puv
�nv · �puv
⎤
⎥
⎦ (4.13)
atan2 (�nu · (�puv × �nv).(�nu × �puv) · (�puv × �nv))
δuv
Zur Beschleunigung der atan2-Funktion kann eine einfache eindimensionale LookUp-
Tabelle für den Arkustangens und eine Fallunterscheidung verwendet werden. Wahl et al.
[87] haben gezeigt, dass ganz ähnliche Relationsvektoren auch in Merkmalshistogrammen
akkumuliert und zur schnellen 3d Formklassifizierung verwendet werden können.
Die Suchschleife des Algorithmus arbeitet nun folgendermaßen:

4.3. Ein zufallsbasierter Ansatz: ’Random Sample Matching’ 61
1. Wähle ein zufälliges orientiertes Punktpaar �a,�c ∈ A und berechne den zugehörigen
Relationsvektor rel(�a,�c).
2. Trage das Punktpaar in die Relationstabellen RA ein: RA[rel(�a,�c)] ← (�a,�c).
3. Lies die andere Relationstabelle RB an der gleichen Stelle aus: ( � b, � d) ← RB[rel(�a,�c)].
Falls an dieser Stelle bereits ein Eintrag steht ⇒ neue Lagehypothese (�a, � b, �c, � d).
Optional: Prüfe ob feature(�a) = feature( � b) und feature(�c) = feature( � d).
4. Wähle ein zufälliges orientiertes Punktpaar � b, � d ∈ B und berechne den zugehörigen
Relationsvektor rel( � b ∗ , � d ∗ ).
5. Trage das Punktpaar in die Relationstabellen RB ein: RB[rel( � b ∗ , � d ∗ )] ← ( � b, � d).
6. Lies die Relationstabelle RA an der gleichen Stelle aus: (�a,�c) ← RB[rel( � b ∗ , � d ∗ )].
Falls an dieser Stelle bereits ein Eintrag steht ⇒ neue Lagehypothese (�a, � b, �c, � d).
Optional: Prüfe ob feature(�a) = feature( � b) und feature(�c) = feature( � d).
Diese Schritte werden wiederholt, bis die Hypothese gut genug ist, alle Kombinationen
getestet wurden oder das Zeitlimit abgelaufen ist. Natürlich müssen im Schritt 1 und 4
die vier Relationen jeweils auf einen beschränkten ganzzahligen Wertebereich normiert
werden, damit sie als Tabellenindizes dienen können. In den Experimenten haben sich
4d Relationstabellen mit jeweils 32 4 Zellen bewährt. Dies ergibt bei 2x2 Bytes pro Zelle
einen vertretbaren Speicherbedarf von vier Megabyte pro Tabelle. In Abbildung 4.5
wird die Vorgehensweise nochmals anschaulich dargestellt. Hiermit wird eine Laufzeitkomplexität
von O(n) für die erste Hypothese erreicht; diese konvergiert jedoch für
weitere Hypothesen gegen eine effiziente Laufzeit von O(1), da die Relationstabellen
immer weiter gefüllt werden.

62 Kapitel 4. Matching von 3d Objektfragmenten (3d-Puzzle-Problem)
c
A
A
a
a
c
(a,c)
(a,c)
RA
RA
?
RA
RA
?
?
RB
?
RB
RB
RB
(b,d)
(b,d)
Abbildung 4.5 Generierung von Lagehypothesen: In einer Schleife werden alternierend Punktpaare
in die Relationstabellen RA und RB eingetragen. Hierdurch füllen sich die Tabellen und
es finden sich nach kurzer Zeit Punktpaare mit gleichen Relationen, die demnach per Rotation
und Translation aufeinander abbildbar sind und als Lagehypothese dienen.
b
d
d
B
B
b

4.3. Ein zufallsbasierter Ansatz: ’Random Sample Matching’ 63
4.3.3 Effiziente Bewertung der Lagehypothesen
Nach der Generierung einer Lagehypothese muss die Güte der Hypothese überprüft
werden. Hierfür berechnen wir zuerst die zur Lagehypothese zugehörige relative Transformation
A TB (zur Berechnung siehe Gleichung (4.5), Seite 54) und dann die Größe
der Kontaktfläche zwischen den beiden Fragmenten A und B bzw. das Verhältnis Ω zwischen
Kontaktpunktanzahl und Gesamtpunktanzahl (vergleiche Gleichung (4.4)). Dieses
Verhältnis kann auch als Wahrscheinlichkeit, dass ein zufälliger Punkt �x ∈ A in der gegebenen
Lage in Kontakt mit einem Punkt �y ∈ B steht, interpretiert werden. Deshalb
können wir Ω durch eine effiziente Monte-Carlo-Hochrechnung abschätzen, indem wir eine
Sequenz von Zufallspunkten auf Kontakt überprüfen. Der Vorteil hierbei ist, dass die
Güteschätzung frühzeitig abgebrochen werden kann, falls der Erwartungswert weit unter
dem bisher besten Matching-Ergebnis liegt. Der Nachteil ist jedoch, dass hierdurch eine
optimale Lösung, aufgrund einer falschen Hochrechnung, verloren gehen kann. Da jedoch
viele Hypothesen nahezu die gleiche relative Lage repräsentieren, ist das ’Übersehen’ all
dieser Lösungen extrem unwahrscheinlich und praktisch zu vernachlässigen.
Angenommen wir haben eine Sequenz �x1,...�xk von unabhängigen orientierten Zufallspunkten
auf Fragment A, die bereits durch Multiplikation mit AT −1
B in das Koordinatensystem
von Fragment B transformiert wurden. Dann ist Ω gegeben durch
�k i=1
Ω := lim
k→∞
contactB(�xi)
k
, (4.14)
wobei contactB(�xi) eine Funktion ist, die bestimmt, ob ein Punkt �x in Kontakt mit
Fragment B steht
�
1 falls ��px − �py� < ε .
contactB(�x) :=
(4.15)
0 sonst.
Hierbei bezeichnet �y = [�py,�ny] jeweils denjenigen orientierten Punkt auf Fragment B,
der die kürzeste Distanz zu �x hat
�y := arg min ��px − �pb� . (4.16)
�b∈B Für die Suche nach dem Punkt mit der kürzesten Distanz verwenden wir einen kd-tree
(siehe Friedman et al. [25]), wodurch eine logarithmische Zeitkomplexität erreicht wird.
Im Gegensatz zu Gleichung (4.14) ist es jedoch nur möglich eine begrenzte Anzahl
von Zufallspunkten auf Kontakt zu testen. Aus diesem Grund kann Ω nur bis zu einem
vorgegebenen Genauigkeitsgrad approximiert werden. Dies ist jedoch nur bei kontinuierlichen
Oberflächen eine Einschränkung, da bei Punktwolken die Anzahl von vornherein
begrenzt ist. Unter Berücksichtigung eines marginalen Fehlers kann Ω für jeden zusätzlichen
Zufallspunkt genauer approximiert werden
Ω ≈
�k i=1 contactB(�xi)
±
k
1, 96
2 √ . (4.17)
k

64 Kapitel 4. Matching von 3d Objektfragmenten (3d-Puzzle-Problem)
Wobei diese Darstellung ein Konfidenzintervall beschreibt, innerhalb dessen der tatsächliche
Wert mit einer 95%-tigen Wahrscheinlichkeit liegt. Wenn die obere Grenze
des Intervalls schlechter als das bisher beste Matching-Ergebnis ist, brechen wir die
Berechnung ab und testen die nächste Lagehypothese. Auf diese Weise wird die Güteberechnung
während der Laufzeit schneller und schneller, je besser die bisher beste
Hypothese wird.
Bisher haben wir noch keine Durchdringungen berücksichtigt. Um sicherzustellen, dass
die Fragmente sich nicht durchdringen, subtrahieren wir einfach eine Gütestrafe für
Durchdringungspunkte (also Punkte des einen Fragments, die sich innerhalb des anderen
Fragments befinden). Dies kann beispielsweise durch eine negative Gewichtung während
der Kontaktpunktberechnung erfolgen
⎧
⎨ 1 falls ��px − �py� < ε , (Kontakt)
contactB(�x) = −4 falls ��px − �py� ≥ ε ∧ (�px − �py) · �ny < 0 , (innen) (4.18)
⎩
0 sonst. (außen)
4.3.4 Experimentelle Ergebnisse
Nachdem alle Schritte des ’Random Sample Matching’-Ansatz erläutert wurden, wollen
wir an dieser Stelle die Performanz des Ansatzes anhand von unterschiedlichen Fragmenten
evaluieren. Alle Experimente wurden auf einem handelsüblichen PC mit AMD Athlon
64 Prozessor und 2.2GHz durchgeführt. Um die Genauigkeit der Matching-Resultate
zu bewerten, vergleichen wir die algorithmisch berechnete relative Lage mit einer exakten
Ziellage. Als Genauigkeitsmaße dienen zum einen die rotatorische Abweichung und
zum anderen die mittlere Bruchflächendistanz. Neben der Genauigkeit und Robustheit
werden wir insbesondere die Effizienz des Verfahrens analysieren.
Betrachten wir als erstes exemplarisch die Bruchstücke des Venuskopfes in Abbildung 4.6.
Hierbei handelt es sich um ein 3d Modell, welches künstlich in drei Teile zerschnitten
wurde. Als Schnittfläche dienten zufällige fraktale Oberflächen, die manuell in das Objekt
hineingelegt wurden. Nach der Auftrennung der Punktwolke des Kopfes in zwei
Untermengen, wurden jeweils für beide Seiten die Oberflächenpunkte der Schnittfläche
(also die Bruchflächen) hinzugefügt. Um reale Testbedingungen zu schaffen, wurden
die Bruchflächen beider Seiten jeweils unterschiedlich abgetastet, so dass selbst in der
korrekten Ziellage die Oberflächenpunkte der Bruchflächen nicht exakt aufeinander fallen.
Nach dem Start des ’Random Sample Matching’-Algorithmus können wir uns zu
jedem Zeitpunkt das bisher beste Matching-Ergebnis ausgeben lassen. Die Kurve in
Abbildung 4.7 oben zeigt exemplarisch die mittlere Bruchflächendistanz, also die mittlere
Distanz zwischen Ist- und Sollposition der Bruchflächenpunkte, sowie die Größe
der Kontaktfläche über der Laufzeit eines Matching-Durchlaufes. Darunter sind einige
Zwischenlösungen abgebildet. Gut zu sehen ist, dass der Algorithmus erst völlig falsche
Zwischenlösungen vorschlägt. Die berechnete Güte der Lagehypothese (also die Größe
der Kontaktflächen) steigt zwar von einer Zwischenlösung zur nächsten stetig an, dies
führt jedoch nicht zwangsweise zu genaueren Ergebnissen. Das heißt, die Genauigkeit

4.3. Ein zufallsbasierter Ansatz: ’Random Sample Matching’ 65
Abbildung 4.6 (Links) 3D-Scan des Venuskopfes; (Rechts) Fragmente nach dem künstlichen
Zerbrechen.
Abbildung 4.7 Matching-Durchlauf: (Oben) Mittlere Bruchflächendistanz (prozentual bzgl.
des maximalen Fragmentdurchmessers) und Größe der Kontaktfläche im zeitlichen Verlauf;
(Unten) Einige Zwischenergebnisse.

66 Kapitel 4. Matching von 3d Objektfragmenten (3d-Puzzle-Problem)
Abbildung 4.8 Vier weitere Matching-Durchläufe bei gleichen Eingabedaten.

4.3. Ein zufallsbasierter Ansatz: ’Random Sample Matching’ 67
springt zufällig auf und ab, solange bis der Algorithmus (in diesem Fall nach ca. 1,3 Sekunden)
in die Nähe des Optimums trifft und die Lösung danach nur noch besser werden
kann. Da der Algorithmus zufallsbasiert arbeitet, erhalten wir nach jedem Start (mit
geänderten ’seed’-Werten für den Zufallszahlengenerator) ein anderes Verhalten. Einige
weitere Versuchsdurchläufe bei gleichen Eingabedaten sind in Abbildung 4.8 dargestellt.
Um statistische Aussagen über die Performanz machen zu können, wurden jeweils 100
Testdurchläufe pro Fragmentpaar angefertigt. Die Ergebnisse aller 100 Durchläufe beim
Venuskopf sind in der obersten Grafik in Abbildung 4.9 überlagert. Jeder Punkt stellt
hier die erreichte Genauigkeit (bzw. Bruchflächendistanz bzgl. des maximalen Fragmentradius)
zu einem Zeitpunkt dar. Zu jedem Zeitpunkt liegen also jeweils 100 Datenpunkte
vertikal übereinander. Eine übliche Darstellung ist die mittlere Genauigkeit und die zugehörige
Standardabweichung pro Zeitpunkt. Diese Darstellungsform ist in der mittlere
Grafik in Abbildung 4.9 zu sehen. Allerdings ist der Mittelwert und insbesondere die
Standardabweichung nur dann aussagekräftig, wenn die Messpunkte nahezu normalverteilt
sind. Dies ist aber in unserem Fall nicht gegeben und führt deshalb leicht zu
Fehlinterpretationen. Zum Beispiel impliziert die Kurve des Mittelwertes, dass nach einer
Laufzeit von 1,5 Sekunden im Schnitt eine Bruchflächendistanz von ca. 15% erreicht
wird. Wenn wir uns allerdings die zugehörigen Messpunkte anschauen, sehen wir, dass
eine Bruchflächendistanz von 15% nicht vorkommt, und dass zu diesem Zeitpunkt bereits
über 70% aller Versuchsdurchläufe eine wesentlich bessere Bruchflächendistanz von unter
5% erzielt haben. Der schlechte Mittelwert an dieser Stelle wurde durch eine Minderheit
von Ausreißern verursacht. Ebenso wie der Mittelwert kann auch die Standardabweichung
fehlinterpretiert werden, denn diese wird normalerweise als ein Konfidenzintervall
mit 68%iger Wahrscheinlichkeit gedeutet. Genauer gesagt fallen bei normalverteilten
Daten 68% der Messpunkte in das Intervall [Mittelwert±Standardabweichung]. In unserer
Veruchsreihe liegen jedoch zu weiten Teilen kaum Messpunkte in diesem Bereich.
Wesentlich aussagekräftiger ist hingegen der Medianwert in Abbildung 4.9 unten. Genau
50% der Messungen liegen unterhalb, die anderen 50% oberhalb der Mediankurve. Auch
das Sprungverhalten der einzelnen Versuchreihen spiegelt sich in dieser Kurve wider. Der
Zeitpunkt des Sprungs entspricht der Laufzeit, zu der die Hälfte aller Versuchsdurchläufe
das Optimum (bzw. die unmittelbare Nähe zu diesem) gefunden haben. Die Sprunghöhe
der Mediankurve kann auch als Distanz zwischen lokalen Optima und globalem Optimum
interpretiert werden. Neben dem Median, der die sortierten Datenpunkte in der
Mitte trennt, können gleichzeitig Quantile berechnet werden, die die tatsächliche Anzahl
der Datenpunkte und die Abweichung vom Median repräsentieren. Das am hellsten
unterlegte Intervall (Quantil 10%-90%) in der Grafik enthält beispielsweise 80% der Datenpunkte,
bzw. 90% der Messreihen liegen unterhalb der Obergrenze dieses Intervalls
(90% Quantil). Hieran ist auch abzulesen, dass bereits nach 2,5 Sekunden über 90% der
Durchläufe ein sehr gutes Ergebnis erzielt haben. Im Folgenden werden wir uns auf die
Darstellung der Median- und Quantilkurven beschränken.
Bevor wir zu weiteren Datensätzen übergehen, wollen wir an dieser Stelle den Einfluss
der Oberflächennormalenberechnung und den Einfluss von Rauschen genauer untersu-

68 Kapitel 4. Matching von 3d Objektfragmenten (3d-Puzzle-Problem)
Bruchflächendistanz bzgl. Durchmesser
Bruchflächendistanz bzgl. Durchmesser
Bruchflächendistanz bzgl. Durchmesser
70%
60%
50%
40%
30%
20%
10%
Venus:
0%
0 0,5s 1s 1,5s 2s 2,5s 3s 3,5s 4s 4,5s 5s
70%
60%
50%
40%
30%
20%
10%
Venus:
Mittelwert
± Standardabweichung
0%
0 0,5s 1s 1,5s 2s 2,5s 3s 3,5s 4s 4,5s 5s
70%
60%
50%
40%
30%
20%
10%
Venus:
Median
Quantil 40% bis 60%
Quantil 30% bis 70%
Quantil 20% bis 80%
Quantil 10% bis 90%
0%
0 0,5s 1s 1,5s 2s 2,5s 3s 3,5s 4s 4,5s 5s
Abbildung 4.9 Genauigkeit während 100 Matching-Durchläufen: (Oben) Überlagerte Messpunkte;
(Mitte) Mittelwert ± Standardabweichung; (Unten) Median und Quantile.

4.3. Ein zufallsbasierter Ansatz: ’Random Sample Matching’ 69
Bruchflächendistanz bzgl. Durchmesser
Bruchflächendistanz bzgl. Durchmesser
70%
60%
50%
40%
30%
20%
10%
Venus − Normalenberechnungsradius 1:
0%
0 0,5s 1s 1,5s 2s 2,5s 3s
70%
60%
50%
40%
30%
20%
10%
Venus − Normalenberechnungsradius 3:
0%
0 0,5s 1s 1,5s 2s 2,5s 3s
Bruchflächendistanz bzgl. Durchmesser
Bruchflächendistanz bzgl. Durchmesser
70%
60%
50%
40%
30%
20%
10%
Venus − Normalenberechnungsradius 2:
0%
0 0,5s 1s 1,5s 2s 2,5s 3s
70%
60%
50%
40%
30%
20%
10%
Venus − Normalenberechnungsradius 5:
0%
0 0,5s 1s 1,5s 2s 2,5s 3s
Abbildung 4.10 Performanzgewinn durch Vergrößerung des Operatorfensters bei der Berechnung
von Oberflächennormalen. (Zugehörige Messpunkte siehe Anhang, Abbildung B.1, Seite
143).
chen. Die Oberflächennormalen werden insbesondere zur Erzeugung von Lagehypothesen
verwendet. Eine robuste Berechnung der Normalen kann daher die Performanz des
Matching-Algorithmus maßgeblich verbessern. In Kapitel 2 wurden bereits unterschiedliche
Methoden zur Gewinnung und Berechnung von Oberflächennormalen vorgestellt.
Bei Punktwolken können die Oberflächennormalen beispielsweise über ein lokales Fitting
von Tangentialebenen berechnet werden. Dabei ist der Radius des lokalen Operators
frei wählbar. Je größer der Radius, desto robuster ist die Oberflächennormale gegenüber
Rauschen. Gleiches gilt natürlich für die Oberflächenkrümmung. Allerdings kann ein
größerer Radius auch die Performanz bei unverrauschten Oberflächen verbessern. In der
Versuchsreihe in Abbildung 4.10 wurden wieder die Venusfragmente mit der künstlichen,
unverrauschten Bruchfläche verwendet. Das Operatorfenster für die Normalenund
Krümmungsberechnung wurde schrittweise vom Radius 1 auf Radius 5 erhöht.
Wie man sieht, verbessert sich hierdurch das Laufzeitverhalten rapide. Dies ist darauf
zurückzuführen, dass die Oberflächennormalen implizit geglättet werden, was wieder-

70 Kapitel 4. Matching von 3d Objektfragmenten (3d-Puzzle-Problem)
um zu einer Glättung der Gütefunktion im Suchraum führt. Durch die Glättung der
Gütefunktion wird das globale Optimum verbreitert und damit erhalten auch Nachbarlösungen
eine hohe Güte. Hierdurch findet der Algorithmus schneller Lagehypothesen
mit hohem Gütemaß. Dies wiederum beschleunigt den Algorithmus, da viele schlechtere
Lagehypothesen durch die Hochrechnung frühzeitiger aussortiert werden können.
Allerdings kann sich ein zu großer Radius auch nachteilig auswirken, da hierdurch die
Normalen an den Objektkanten verschliffen werden. Insbesondere am Randbereich der
Bruchflächen führt dies dazu, dass das Operatorfenster in intakte Oberflächenbereiche
hineinreicht und die Normalen an diesen Stellen nicht mehr mit dem korrespondierenden
Gegenstück übereinstimmen. Aus diesem Grund wird in allen folgenden Experimenten
ein Operatorfenster mit einem moderaten Radius von 3 verwendet.
Es ist offensichtlich, dass durch die Vergrößerung des Berechnungsradius auch die Beeinflussung
von Messrauschen verringert wird. Um den Einfluss von Rauschen zu überprüfen,
werden wir die Fragmente im Folgenden mit unterschiedlich starkem normalverteilten
Rauschen überlagern. Abbildung 4.11 zeigt ein Fragment des Venuskopfes mit
unterschiedlicher Rauschvarianz. Hier wird deutlich, wie sich dieses Rauschen auf die
Performanz des Matching-Verfahrens auswirkt. Wie erwartet, hat das Rauschen den gegenteiligen
Effekt wie die Glättung. Es ist jedoch zu beobachten, dass das Rauschen sich
zwar negativ auf die Effizienz auswirkt, aber die Genauigkeit kaum und die Robustheit
so gut wie gar nicht beeinträchtigt wird.

4.3. Ein zufallsbasierter Ansatz: ’Random Sample Matching’ 71
Bruchflächendistanz bzgl. Durchmesser
ohne Rauschen +10% Rauschen +50% Rauschen +100% Rauschen
70%
60%
50%
40%
30%
20%
10%
Venus + 10% Rauschen:
0%
0 0,5s 1s 1,5s 2s 2,5s 3s
Bruchflächendistanz bzgl. Durchmesser
70%
60%
50%
40%
30%
20%
10%
Bruchflächendistanz bzgl. Durchmesser
70%
60%
50%
40%
30%
20%
10%
Venus + 50% Rauschen:
0%
0 0,5s 1s 1,5s 2s 2,5s 3s
Venus + 100% Rauschen:
Median
Quantil 40% bis 60%
Quantil 30% bis 70%
Quantil 20% bis 80%
Quantil 10% bis 90%
0%
0 0,5s 1s 1,5s 2s 2,5s 3s 3,5s 4s 4,5s 5s
Abbildung 4.11 (Oben) Venusfragment mit unterschiedlich starkem normalverteiltem Rauschen
(Rauschstreuung prozentual zur mittleren Punktdistanz); (Unten) Auswirkung des Rauschens
auf die Performanz. (Zugehörige Messpunkte siehe Anhang, Abbildung B.2, Seite 144).

72 Kapitel 4. Matching von 3d Objektfragmenten (3d-Puzzle-Problem)
Bei den folgenden Testfragmenten handelt es sich um künstlich erzeugte Brüche und um
echte Knochenfrakturen. Um vergleichbare Testbedingungen zu schaffen, wurden die
künstlichen Frakturen mit 10% additivem normalverteiltem Rauschen (10% Streuung
bzgl. der mittleren Punktdistanz) überlagert. Die Abbildungen 4.12 bis 4.18 zeigen die
experimentellen Ergebnisse bei unterschiedlichen Fragmenttypen (wie bisher ausgeführt
auf einem AMD Athlon 64 Prozessor mit 2.2GHz). In den Abbildungen sind jeweils links
oben die Fragmente in initaler Lage und daneben ein Matching-Resultat dargestellt. Die
Tabellen auf der rechten Seite fassen die Matching-Ergebnisse von 100 Durchläufen pro
Fragmentpaar zusammen. Die jeweils erste Zeile enthält dabei die mittlere Bruchflächendistanz
(Mittelwert, Median, Minimum und Maximum) nach einer Laufzeit von 10
Sekunden pro Durchlauf. Die zweite Zeile gibt analog zur ersten die erreichte rotatorische
Genauigkeit an. Die letzte Zeile zeigt die Laufzeit, die vom Algorithmus benötigt
wurde, um eine relative Lage mit einer mittleren Bruchflächendistanz von unter 3% zu
finden. In der unteren Hälfte der Abbildungen sind jeweils die überlagerten Messpunkte
und der Median±Quantile von allen 100 Durchläufen dargestellt.
Bei zwei Datensätzen handelt es sich nicht um zerbrochene Objekte, sondern um kombinierbare
Bauteile, die die mögliche Anwendung des Verfahrens im Bereich der computerunterstützten
Modellierung und Montageplanung repräsentieren. Bei zwei weiteren
Datensätzen handelt es sich um Oberschenkelfrakturen, die in Kooperation mit der
Medizinischen Hochschule Hannover (MHH) per Computertomographie aufgenommen
wurden. Das automatisierte Zusammenfügen von Knochenfrakturen ist ein wichtiges
Bruchflächendistanz bzgl. Durchmesser
70%
60%
50%
40%
30%
20%
10%
0%
0 0,5s 1s 1,5s 2s 2,5s 3s
Bruchflächendistanz bzgl. Durchmesser
Endergebnis:
mean median min max
Dist. [%] 0.55 0.51 0.19 1.20
Rot. [ ◦ ] 0.92 0.89 0.08 2.10
Zeit [ s ] 0.33 0.30 0.05 1.25
70%
60%
50%
40%
30%
20%
10%
0%
0 0,5s 1s 1,5s 2s 2,5s 3s
Abbildung 4.12 Venus, 55159 Punkte, 10% Rauschen, Normalenberechnungsradius 3.

4.3. Ein zufallsbasierter Ansatz: ’Random Sample Matching’ 73
Bruchflächendistanz bzgl. Durchmesser
Bruchflächendistanz bzgl. Durchmesser
70%
60%
50%
40%
30%
20%
10%
0%
0 0,5s 1s 1,5s 2s 2,5s 3s
70%
60%
50%
40%
30%
20%
10%
Bruchflächendistanz bzgl. Durchmesser
Endergebnis:
mean median min max
Dist. [%] 1.50 1.49 0.61 2.85
Rot. [ ◦ ] 3.94 3.56 1.23 8.28
Zeit [ s ] 1.39 1.20 0.05 6.50
70%
60%
50%
40%
30%
20%
10%
0%
0 0,5s 1s 1,5s 2s 2,5s 3s
Abbildung 4.13 Spiralfraktur, 39962 Punkte, Normalenberechnungsradius 3.
0%
0 0,5s 1s 1,5s 2s 2,5s 3s
Bruchflächendistanz bzgl. Durchmesser
Endergebnis:
mean median min max
Dist. [%] 1.39 1.29 0.01 4.45
Rot. [ ◦ ] 1.99 1.96 0.01 3.88
Zeit [ s ] 0.66 0.40 0.05 2.65
70%
60%
50%
40%
30%
20%
10%
0%
0 0,5s 1s 1,5s 2s 2,5s 3s
Abbildung 4.14 Femurfraktur, 17239 Punkte, Normalenberechnungsradius 3.

74 Kapitel 4. Matching von 3d Objektfragmenten (3d-Puzzle-Problem)
Bruchflächendistanz bzgl. Durchmesser
70%
60%
50%
40%
30%
20%
10%
0%
0 0,5s 1s 1,5s 2s 2,5s 3s
Bruchflächendistanz bzgl. Durchmesser
Endergebnis:
mean median min max
Dist. [%] 0.17 0.12 0.02 0.49
Rot. [ ◦ ] 0.61 0.57 0.08 1.48
Zeit [ s ] 0.30 0.30 0.05 1.25
70%
60%
50%
40%
30%
20%
10%
0%
0 0,5s 1s 1,5s 2s 2,5s 3s
Abbildung 4.15 Stanford Bunny, 51179 Punkte, 10% Rauschen, Normalenberechnungsradius
3.
Bruchflächendistanz bzgl. Durchmesser
70%
60%
50%
40%
30%
20%
10%
0%
0 0,5s 1s 1,5s 2s 2,5s 3s
Bruchflächendistanz bzgl. Durchmesser
Endergebnis:
mean median min max
Dist. [%] 0.16 0.15 0.03 0.55
Rot. [ ◦ ] 0.29 0.27 0.02 0.76
Zeit [ s ] 0.05 0.05 0.05 0.10
70%
60%
50%
40%
30%
20%
10%
0%
0 0,5s 1s 1,5s 2s 2,5s 3s
Abbildung 4.16 Felskugel, 20445 Punkte, 10% Rauschen, Normalenberechnungsradius 3.

4.3. Ein zufallsbasierter Ansatz: ’Random Sample Matching’ 75
Bruchflächendistanz bzgl. Durchmesser
Bruchflächendistanz bzgl. Durchmesser
70%
60%
50%
40%
30%
20%
10%
0%
0 0,5s 1s 1,5s 2s 2,5s 3s
Bruchflächendistanz bzgl. Durchmesser
Endergebnis:
mean median min max
Dist. [%] 0.19 0.15 0.05 1.17
Rot. [ ◦ ] 0.33 0.30 0.06 1.15
Zeit [ s ] 0.30 0.30 0.05 1.20
70%
60%
50%
40%
30%
20%
10%
0%
0 0,5s 1s 1,5s 2s 2,5s 3s
Abbildung 4.17 Stecker, 39677 Punkte, 10% Rauschen, Normalenberechnungsradius 3.
70%
60%
50%
40%
30%
20%
10%
0%
0 0,5s 1s 1,5s 2s 2,5s 3s
Bruchflächendistanz bzgl. Durchmesser
Endergebnis:
mean median min max
Dist. [%] 0.27 0.11 0.07 1.45
Rot. [ ◦ ] 0.95 0.43 0.11 5.49
Zeit [ s ] 0.05 0.05 0.05 0.30
70%
60%
50%
40%
30%
20%
10%
0%
0 0,5s 1s 1,5s 2s 2,5s 3s
Abbildung 4.18 IEC320, 11873 Punkte, kein Rauschen, Normalenberechnungsradius 1.

76 Kapitel 4. Matching von 3d Objektfragmenten (3d-Puzzle-Problem)
Anwendungsfeld in der computergestützten chirurgischen Frakturbehandlung. Dort verspricht
ein robustes und effizientes Matching-Verfahren sowohl bessere Repositionsergebnisse,
als auch eine Verringerung der Röntgenstrahlenbelastung und eine Reduktion
von OP-Zeit und Kosten. Für dieses Anwendungsfeld werden wir später in Kapitel 5.1
zusätzliches Symmetriewissen in das Verfahren integrieren, um eine deutliche Verbesserung
der Robustheit und Effizienz zu erzielen.
4.3.5 Diskussion
Der vorgestellte ’Random Sample Matching’-Ansatz maximiert höchst effizient die Kontaktfläche
zwischen zwei Fragmenten und stellt somit die kleinste gemeinsame Schnittstelle
für eine Vielzahl von Anwendungen dar. Das einzige Vorwissen was bisher ausgenutzt
wurde, ist der große Oberflächenkontakt zwischen den Fragmenten in ihrer Ziellage.
Es gibt natürlich auch Fragmente, bei denen diese Strategie nicht die gesuchte
Lösung liefert, also die korrekte Lage nicht diejenige mit dem größtmöglichen Oberflächenkontakt
ist. Dies tritt beispielsweise dann auf, wenn das Verhältnis von Bruchfläche
zu Gesamtfläche klein ist und wenn die intakte Oberfläche große glatte Bereiche mit
komplementären Regionen auf dem Gegenstück aufweist. In diesem Fall ist eine Spezialisierung
an den jeweiligen Anwendungsfall durch Integration von weiterem Vorwissen
erforderlich. Das Vorwissen kann außerdem die Performanz des Verfahrens durch Einschränkung
des Suchraums weiter verbessern. Am Ende dieses Kapitels wird hierauf
noch näher eingegangen. Es gibt jedoch bei genauerer Betrachtung auch bei der Kontaktflächenmaximierung
einige Aspekte, die bisher noch nicht berücksichtigt wurden:
Der ’Random Sample Matching’-Ansatz kann als Markow-Prozess 0-ter Ordnung (also
ein Prozess ohne Gedächtnis) aufgefasst werden. Das heißt, er generiert in jedem
Zeitschritt zufällige Lagehypothesen völlig unabhängig von der Vergangenheit bzw. den
bisherigen Berechnungen. Einzig und allein die Güte der bisher besten Hypothese wird
zur Beschleunigung der zukünftigen Gütebewertung verwendet. Ebenso kann auch der
Kontakttest innerhalb der Gütebewertung für sich selbst als ein Markov-Prozess 0-ter
Ordnung angesehen werden, denn es werden zufällige Oberflächenpunkte, unabhängig
von den bisher betrachteten Punkten, auf Kontakt getestet. Der Vorteil dieser Strategie
ist die einfache Implementierung und der äußerst geringe Speicherbedarf. Allerdings können
die Informationen aus den vergangenen Berechnungsschritten durchaus vorteilhaft
genutzt werden. Um dies zu erläutern, wollen wir den Begriff Kontaktkohärenz einführen.
Definition 7 (Kontaktkohärenz) Die Kontaktkohärenz ist in dieser Arbeit ein Maß
für den Zusammenhang von Kontaktregionen bei Fragmenten. Eine hohe lokale Kontaktkohärenz
bedeutet, dass ein in tangentialem Kontakt stehender Oberflächenpunkt mit
hoher Wahrscheinlichkeit ebensolche Kontaktpunkte in seiner Umgebung hat.
Im Allgemeinen bilden die Bruchflächen sowie die ’intakten Oberflächen’ große zusammenhängende
Bereiche. Das heißt, ebenso sollte eine gute Lagehypothese große zusammenhängende
Kontaktflächen bilden. Angenommen ein Punkt �a ∈ A steht mit einem
Punkt � b ∈ B in tangentialem Kontakt. Dann besagt die lokale Kontaktkohärenz, dass

4.3. Ein zufallsbasierter Ansatz: ’Random Sample Matching’ 77
A
A
�a
B
A
�x r
(a) (b)
B
A
(c) (d)
Abbildung 4.19 Zur Kontaktkohärenz: (a) lokale Ausbreitung der Kontaktsuche um den Kontaktpunkt
�a; (b) Oberflächenpunkt �x auf Fragment A und Abstand r zu Fragment B. Zur
Lagekohärenz: (c),(d) leicht veränderte Lagehypothesen mit ähnlichem Oberflächenkontakt.
mit hoher Wahrscheinlichkeit die Nachbarn von �a auch in tangentialem Kontakt mit
den Nachbarn von � b stehen. Eine Möglichkeit dieses Wissen bei der Güteschätzung
auszunutzen, besteht darin, die Kontaktpunktsuche lokal von einem bereits gefundenen
Kontaktpunkt auszubreiten (siehe Abbildung 4.19 (a)). Hierdurch muss nicht für
jeden Punkt der gesamte Suchbaum (bzw. kd-Tree) durchlaufen werden, was die Güteschätzung
stark beschleunigen kann. Allerdings ist dann eine Hochrechnung der Kontaktfläche
schwieriger, da nicht mehr gleichverteilte Punkte vorliegen. Analog zu den
Kontaktpunkten, haben auch die nicht in Kontakt stehenden Oberflächenpunkte mit
hoher Wahrscheinlichkeit ebensolche freistehenden Punkte in ihrer lokalen Umgebung.
Abbildung 4.19 (b) zeigt einen solchen Oberflächenpunkt �x ∈ A und den Abstand r zu
Fragment B. Innerhalb dieses Abstandes (bzw. innerhalb der Kugel um �x mit Radius
r) befindet sich kein Oberflächenpunkt von Fragment B und demnach auch kein Kontaktpunkt.
Da bei dem vorgestellten Kontakttest genau dieser Abstand berechnet wird,
könnte diese Information genutzt werden, um alle Punkte innerhalb dieses Radius sofort
als freistehend zu klassifizieren. Jedoch ist auch hier eine statistische Hochrechnung der
Kontaktflächengröße schwierig.
Neben der Kontaktkohärenz, die eine Eigenschaft zwischen den Oberflächenpunkten
B
B

78 Kapitel 4. Matching von 3d Objektfragmenten (3d-Puzzle-Problem)
bei einer fest vorgegebenen Lagehypothese beschreibt, lässt sich auch eine Ähnlichkeit
zwischen nah beieinander liegenden Lagehypothesen feststellen. Diese Eigenschaft bezeichnen
wir im Folgenden als Lagekohärenz.
Definition 8 (Lagekohärenz) Die Lagekohärenz ist in dieser Arbeit ein Maß für die
Ähnlichkeit von unterschiedlichen Lagehypothesen. Eine hohe lokale Lagekohärenz bedeutet,
dass eine Lagehypothese mit hoher Wahrscheinlichkeit Lagehypothesen mit ähnlichen
Kontaktpunkten und ähnlichem Gütemaß in seiner unmittelbaren Nähe hat.
Wie Abbildung 4.19 (c) und (d) verdeutlicht, ändern sich die Kontaktpunkte (unter
Berücksichtigung gewisser Toleranzen) bei kleinen Änderungen der relativen Lage nur
wenig. Die Kontaktinformation von bereits ausgewerteten Lagehypothesen könnte theoretisch
zur Beschleunigung der Kontaktsuche von nahe gelegenen neuen Hypothesen
verwendet werden. Es ist jedoch alles andere als trivial, diese Idee in den bisherigen
’Random Sample Matching’-Ansatz zu integrieren.
Im folgenden Abschnitt werden wir jedoch ein alternatives Verfahren zur Lösung des
3d-Puzzle-Problems vorstellen, welches sowohl die Kontaktkohärenz, als auch die Lagekohärenz
ausnutzt.
4.4 Ein Grob-zu-Fein-Ansatz: ’Cluster Tree Matching’
Ein bekanntes und nahe liegendes Vorgehen mit unterschiedlichen Anwendungen in der
Bildverarbeitung ist die ’Grob-zu-Fein’- oder ’multi-resolution’-Strategie. Hierbei wird
das Problem zuerst auf einer geringen Auflösungsstufe mit wenigen Daten bearbeitet
und dann schrittweise die Auflösung erhöht und das Ergebnis verfeinert. Eine solche
Vorgehensweise wurde für das Zusammensetzten von 3d Fragmenten bis dato noch nicht
untersucht.
Abbildung 4.20 skizziert grob die Idee des Verfahrens. Im ersten Schritt wird die Auflösung
von jedem Fragment schrittweise verringert und eine Auflösungshierarchie erstellt.
Die Fragmente können durch Reduktion der Auflösung implizit geglättet werden, wodurch
hohe Frequenzen und Rauschen unterdrückt und damit Oberflächenmerkmale und
Oberflächennormalen stabiler berechenbar werden. Für die Speicherung verschiedener
Auflösungsstufen eignen sich hierarchische Datenstrukturen besonders gut. Im zweiten
Schritt werden die grob aufgelösten Fragmente benutzt, um Kontaktlagen zu finden.
Dies entspricht einer groben Suche von Lösungen. Bei geringer Auflösung müssen weniger
Kontaktlagen betrachtet werden und die Kontaktbewertung arbeitet schneller. Im
dritten Schritt werden die Kontaktpunkte jeweils einer Lösung bestimmt. Bei weiterer
Verbesserung der Lösung müssen dann nur noch diese Kontaktbereiche betrachtet werden.
Im vierten Schritt werden die Kontaktbereiche in ihrer Auflösung verfeinert und die
Lage mit dem gleichen Ansatz rekursiv verbessert. In der nächst höheren Auflösungsstufe
kann die Suche im Parameterraum auf einen kleinen Bereich eingeschränkt werden, da
die zu erwartende verbesserte Lage nahe der bereits ermittelten gröberen Lösung liegen
muss. Außerdem kann das Kontaktwissen von einer Auflösungsstufe in die nächst höhe-

4.4. Ein Grob-zu-Fein-Ansatz: ’Cluster Tree Matching’ 79
Abbildung 4.20 Idee des Grob-zu-Fein-Ansatzes.
re übertragen werden und somit die Kontaktpunktsuche sowie die Bewertungsfunktion
durch Ausnutzung von hierarchischen Beziehungen stark beschleunigt werden.
Wie auch der ’Random Sample Matching’-Ansatz aus dem vorherigen Abschnitt, sucht
der folgende Algorithmus diejenige relative Lage, bei der die Fragmente den größten
Oberflächenkontakt aufweisen und sich nicht durchdringen. Dabei wird ebenfalls keine
initiale Lageschätzung benötigt. Die neu entwickelte Methode verwendet einen hierarchischen
’Clustering’-Algorithmus um die Oberflächen der Fragmente in eine binäre Baumstruktur
zu zerlegen. Die beste Lagehypothese wird dann per simultaner Tiefensuche in
beiden Cluster-Bäumen gesucht.
Es ist klar, dass aus Gründen der Effizienz nicht sämtliche Lagehypothesen bis zur jeweils
untersten Baumebene verfolgt werden können. Es müssen also möglichst viele Hypothesen
auf oberer Ebene frühzeitig verworfen werden. Doch wie verhindert man, dass
nicht bereits auf einer der oberen Baumebenen (also auf einer Ebene mit
geringer Clusteranzahl) Hypothesen verworfen werden, die sich eventuell
auf einer tieferen Ebene als gut erweisen könnten? Die Antwort ist offensichtlich:
Die berechnete Güteschätzung einer ’high-level’ Lagehypothese (also einer Hypothe-

80 Kapitel 4. Matching von 3d Objektfragmenten (3d-Puzzle-Problem)
se auf oberer Baumebene) muss immer eine konservative ’best-case’-Abschätzung aller
darunter liegenden Hypothesen sein. In diesem Fall kann die Traversierung abgebrochen
werden, wenn die ’best-case’-Abschätzung bereits schlechter als die bisher beste
gefundene ’low-level’ Lagehypothese ist. An dieser Stelle wird auch klar, warum eine
Tiefensuche verwendet werden muss: Bevor die Baumtraversierung auf hoher Ebene abgebrochen
werden kann, muss bereits mindestens eine Hypothese mit besserer Güte auf
unterster Ebene gefunden worden sein, denn nur auf unterster Ebene ist eine sichere Aussage
über die Güte möglich. Bei genauerer Betrachtung dieser Anforderungen stellt man
fest, dass eine ’high-level’ Lagehypothese niemals eine starre Lage sein kann, da sie ein
Repräsentant aller darunter liegenden ’low-level’ Lagehypothesen ist, sondern gewisse
Lagetoleranzen beinhalten muss. Somit kann hierfür auch keine relative Transformation
(in Form einer einfachen homogenen Transformationsmatrix) angegeben werden.
4.4.1 Transformationsfreies Matching von orientierten Punktwolken
Bevor wir jedoch zum konkreten ’Cluster Tree Matching’-Ansatz übergehen, müssen
wir die mathematische Problemstellung des 3d-Puzzle-Problems aus Abschnitt 4.2 an
die Grob-zu-Fein-Strategie anpassen. Genauer gesagt wird in diesem Abschnitt erläutert,
wie die Güte von ’low-level’ Lagehypothesen berechnet werden kann, ohne eine
relative Transformationsmatrix zu verwenden. Dieses Konzept können wir dann in Abschnitt
4.4.3 auf die Güteschätzung von ’high-level’ Lagehypothesen übertragen.
Wir erinnern uns, dass eine Lagehypothese durch Annahme eines tangentialen Kontaktes
zwischen den orientierten Punkten �a ∈ A und � b ∈ B, sowie zwischen �c ∈ A und � d ∈ B
konstruiert werden kann (siehe Definition 5, Seite 53). Ein exakter tangentialer Kontakt
an zwei Punkten ist nur dann möglich, wenn das orientierte Punktpaar (�a,�c) geometrisch
komplementär zu dem orientierten Punktpaar ( � b, � d) ist. Die Punktpaare sind genau dann
geometrisch komplementär, wenn die vier räumlichen Relationen aus Gleichungen (4.9)–
(4.12) übereinstimmen. Diese Relationen fassen wir nochmals (wie bereits beim ’Random
Sample Matching’-Ansatz, Gleichung (4.13), Seite 60) zu einem 4d-Vektor zusammen:
⎡ ⎤
duv
⎢
rel (�u,�v) := ⎢cosαuv
⎥
⎣cos
βuv⎦
:=
⎡
⎢
⎣
��pv − �pu�
�nu · �puv
�nv · �puv
⎤
⎥
⎦
atan2 (�nu · (�puv × �nv), (�nu × �puv) · (�puv × �nv))
δuv
. (4.19)
Dabei ist duv die euklidische Distanz zwischen den Punktkoordinaten, αuv bzw. βuv der
Neigungswinkel zwischen jeweils einer Oberflächennormalen und der Verbindungsgeraden
durch �pu und �pv, sowie δuv der Rotationswinkel zwischen den Oberflächennormalen
um die Verbindungsgerade (siehe linke Seite von Abbildung 4.21).
Betrachten wir nun die Kongruenzrelation zwischen orientierten Punktpaaren
(�u,�v) ∼ = (�q,�r) :⇐⇒ rel(�u,�v) ≈ rel(�q,�r) , (4.20)

4.4. Ein Grob-zu-Fein-Ansatz: ’Cluster Tree Matching’ 81
δuv
βuv
αuv
�v
�u
�v
�u
Abbildung 4.21 (Links) Räumliche Relationen eines orientierten Punktpaares (�u,�v);
(Rechts) zur Kongruenzrelation zwischen den orientierten Punkttripeln (�u,�v,�w) und (�q,�r,�s).
welche die Relationsvektoren auf (approximative) Gleichheit testet und damit überprüft,
ob eine Überdeckung möglich ist. Hiermit kann nun die Menge aller gültigen Lagehypothesen
durch
�w
H := {(a, b,c,d) | (�a,�c) ∼ =( � b ∗ , � d ∗ ); �a,�c∈A; � b, � d∈B} (4.21)
definiert werden. Um die beste aller Hypothesen zu finden, verwenden wir auch hier
die Größe der Kontaktfläche zwischen den Fragmenten als Qualitätskriterium zur Bewertung.
In dem bisherigen Ansatz zur Schätzung der Kontaktfläche wurde zuerst die
relative Transformation A TB berechnet und dann jeder Punkt in ein gemeinsames Koordinatensystem
transformiert, um die Kontaktpunktpaare zu zählen. Da wir jedoch beim
hierarchischen Matching nicht mehr mit starren Lagehypothesen auf Punktpaaren arbeiten,
sondern es mit ” beweglichen“ Lagehypothesen auf Cluster-Paaren zu tun haben, ist
eine explizite Angabe der relativen Transformation nicht mehr möglich. Wir benötigen
also eine alternative transformationsfreie Vorgehensweise. Als erstes erweitern wir hierzu
die Kongruenzrelation von orientierten Punktpaaren (4.20) zu einer Kongruenzrelation
von orientierten Punkttripeln
(�u,�v, �w) ∼ =(�q,�r,�s) :⇐⇒ |�nuv �pvw �pwu|=|�nqr �prs �psq| ∧ (4.22)
(�u,�v) ∼ =(�q,�r) ∧ (�v, �w) ∼ =(�r,�s) ∧ (�w,�u) ∼ =(�s,�q).
Hierbei vergleicht die erste Unterbedingung den relativen Orientierungssinn und vermeidet
spiegelsymmetrische Lösungen, während alle folgenden Unterbedingungen überprüfen,
ob die zwei orientierten Punkttripel geometrisch kongruente Dreiecke aufspannen
(siehe rechte Seite von Abbildung 4.21). Für eine gegebene Lagehypothese (�a, � b,�c, � d) ∈ H
können wir nun mit Hilfe dieser Kongruenzrelation Kontaktpunktpaare finden. Und
zwar ist ein orientierter Punkt �e ∈ A genau dann in tangentialem Kontakt mit Fragment
B, wenn es einen orientierten Punkt � f ∈ B mit (�a,�c,�e) ∼ = ( � b ∗ , � d ∗ , � f ∗ ) gibt. In
�r
�q
�s

82 Kapitel 4. Matching von 3d Objektfragmenten (3d-Puzzle-Problem)
diesem Fall kann die zweite Unterbedingung von Gleichung (4.22) vernachlässigt werden,
da (�a,�c) ∼ =( � b ∗ , � d ∗ ) bereits Voraussetzung der Lagehypothese ist. Hiermit kann nun
leicht das Verhältnis von Kontaktpunkten zur Gesamtanzahl von Oberflächenpunkten
berechnet werden.
Die bisher angewandte Methode zur Vermeidung von Fragmentdurchdringungen, war
eine Suche nach Oberflächenpunkten von Fragment B, die innerhalb von Fragment A
liegen (oder umgekehrt). Leider erfordert dieses Vorgehen die Berechnung von A TB . Eine
Alternative ist die Suche nach Punkten, an dessen Stelle sich die beiden Fragmentoberflächen
schneiden. Diese Schnitt- bzw. Durchdringungspunkte sind Kontaktpunkten sehr
ähnlich, nur dass die Oberflächennormalen nicht entgegengerichtet sind. Hieraus folgt,
dass wir während der Suche nach Kontaktpunkten auch gleichzeitig nach Schnittpunkten
suchen können. Ein Schnitt bzw. eine Durchdringung der Oberflächen liegt dann
vor, wenn die Kontaktpunktbedingung (�a,�c,�e) ∼ = ( � b ∗ , � d ∗ , � f ∗ ) einzig und allein aufgrund
der nicht entgegengerichteten Oberflächennormalen �ne und �nf scheitert. Da jedoch diese
Durchdringungsdetektion etwas instabil bei verrauschten Oberflächen sein kann, sollten
Hypothesen mit Oberflächendurchdringungen nicht sofort verworfen werden, sondern
wie bisher nur eine Qualitätsstrafe für jeden Durchdringungspunkt erhalten. Zusätzlich
kann natürlich auch auf tatsächliche (Volumen-)Durchdringung getestet werden, sobald
die Tiefensuche die Blätter der Cluster-Bäume erreicht. Hierzu kann dann der Ansatz
des ’Random Sample Matchings’ aus Abschnitt 4.3.3 übernommen werden.
4.4.2 Hierarchische Zerlegung von Punktwolken
Aufgrund der kombinatorischen Explosion von möglichen Kontaktpunktpaaren und der
daraus resultierenden Vielzahl an Lagehypothesen, ist das theoretische Konzept des letzten
Abschnitts weit von einer effizienten Implementierung entfernt. Aus diesem Grund
werden wir in diesem Abschnitt die Fragmente in Form einer binären Baumstruktur
ablegen, was die Verwendung einer effizienten hierarchischen Matching-Strategie ermöglicht.
Die Unterteilung der Punktwolken basiert auf einem hierarchischen top-down
Clustering-Algorithmus. Eine weit verbreitete Vorgehensweise ist es, die Punktwolken
im 3d Koordinatenraum zu ’clustern’. In diesem Anwendungsfall führt jedoch das simultane
Clustern von Punktkoordinaten und Oberflächennormalen im kombinierten 6d
Koordinaten-Normalen-Raum (4.1) zu wesentlich besseren Ergebnissen. Der Clustering-
Algorithmus arbeitet folgendermaßen:
1. Skaliere alle Oberflächennormalen, so dass deren Varianz mit der Punktkoordinatenvarianz
übereinstimmt.
2. Zerlege jede Punktmenge rekursiv in Untermengen.
Für die Zerlegung wird in dieser Arbeit der bekannte k-means clustering Ansatz von
Hartigan & Wong [36] verwendet, jedoch im 6d Raum mit k=2 (k steht hierbei für
die Anzahl der Cluster pro Unterteilungsschritt). Auf diese Weise werden die Punkte in
Cluster ähnlicher Raumlage und ähnlicher Oberflächenorientierung unterteilt und verlieren
beim Hinabsteigen in den Baum schnell an Größe (sowohl im Koordinaten- als auch

4.4. Ein Grob-zu-Fein-Ansatz: ’Cluster Tree Matching’ 83
Ebene 0
Ebene 1
Ebene 2
Ebene 3
A8
A4
A9
A2
A10
A5
A11
A1
A6
A3
A12 A13
A7
A14
A15
A 2x
A x
A 2x+1
Indizierungsschema
Abbildung 4.22 Beispiel eines Cluster-Baums: Die ersten Ebenen der Zerlegung angewandt
auf ein einfaches Testfragment.
im Orientierungsunterraum). Hierbei kommt es nicht darauf an, wie stabil die Cluster
berechnet werden, bzw. ob die Bruchflächen auf beiden Seiten ähnlich zerlegt werden.
Aus diesem Grund können viele Clustering-Algorithmen eingesetzt werden, aber der
einfache und effiziente k-means-Ansatz hat sich als ausreichend erwiesen. Das 6d Unterteilungsschema
ist insbesondere deshalb vorzuziehen, da sowohl die Koordinatenvarianz,
als auch die Normalenorientierungsvarianz ein entscheidender Faktor für die Lagetoleranz
einer high-level Hypothese ist (wird im folgenden Abschnitt diskutiert) und die
Effizienz des gesamten Matching-Verfahrens positiv beeinflusst. Theoretisch ist auch ein
5d Koordinaten-Orientierungs-Raum denkbar, da die Orientierung einer Oberfläche nur
zwei Freiheitsgrade hat. Allerdings führt jede Abbildung der 3d Oberflächennormalen in
den 2d Raum zu einer nicht äquidistanten Orientierungsverteilung oder zu Singularitäten
und Unstetigkeiten, was beim ’clustering’ Probleme verursachen würde.
Abbildung 4.22 zeigt die ersten Ebenen der hierarchischen Zerlegung angewandt auf
ein einfaches Testfragment. Wie man sehen kann, wird das Fragment in Teilfragmente
(Cluster) mit ähnlicher Oberflächenorientierung zerlegt, wodurch die Zerteilung bevorzugt
entlang starker Kanten verläuft. Ein weiteres Beispiel zeigt Abbildung 4.23. Hier
sind die einzelnen Zerlegungsschritte des Clustering-Ansatzes im Fall eines CAD-Modells
dargestellt. Der Vorteil der 6d Zerlegung im Koordinaten-Normalen-Raum gegenüber
der 3d Zerlegung im einfachen Koordinatenraum wird an dem Knochenfragment in Abbildung
4.24 deutlich. Die obere Reihe zeigt das 3d Unterteilungsschema, bei dem die
Oberflächenorientierung unberücksichtigt bleibt. Gut zu sehen ist, dass hier die farbigen

84 Kapitel 4. Matching von 3d Objektfragmenten (3d-Puzzle-Problem)
Oberflächensegmente über die scharfen Bruchkanten hinweg verlaufen, dass die gemittelten
Oberflächennormalen die Oberflächenorientierungen des Knochens nur schlecht
repräsentieren und dass die Normalenvarianz innerhalb vieler Segmente hoch ist. Im
Gegensatz dazu verlaufen die Segmentgrenzen beim 6d Unterteilungsschema in der unteren
Reihe bevorzugt entlang der scharfen Bruchkanten des Knochens, wodurch intakte
und gebrochene Oberflächen frühzeitig getrennt werden, die gemittelten Oberflächennormalen
gut die Oberflächenorientierungen wiedergeben und die Normalenvarianz innerhalb
der Segmente niedrig ist. Nicht zu sehen, aber noch problematischer ist es, dass
bei der 3d Unterteilung die Segmente meist die gegenüberliegenden äußeren Knochenoberflächen
und die inneren Oberflächen des Knochenmarkkanals vereinigen. Dies liegt
darin begründet, das die gegenüberliegenden inneren und äußeren Oberflächen nur eine
geringe euklidische Distanz zueinander haben. Abhilfe würde die Verwendung eines
geodesischen Distanzmaßes schaffen, welches aber aufwändiger in der Berechnung ist.
Dieses Problem tritt jedoch bei der verwendeten 6d Unterteilung nicht auf, da hier die
Oberflächenorientierungen bei der Distanzberechnung mitberücksichtigt werden.
Wie in Abbildung 4.22 werden im Folgenden die Knoten des Baumes von Fragment A
fortlaufend mit A1,...,Ak bezeichnet, wobei die Wurzel mit dem Index 1 das gesamte
Fragment repräsentiert A1 = A und alle Knoten Ax in jeweils zwei Kinderknoten A2x
und A2x+1 zerlegt werden. Das gleiche gilt analog für die Knoten B1,...,Bl des Baumes
von Fragment B.

4.4. Ein Grob-zu-Fein-Ansatz: ’Cluster Tree Matching’ 85
Abbildung 4.23 Hierarchische Zerlegung in Cluster: Die ersten acht Zerlegungsschritte angewandt
auf das Modell einer Glühbirne.

86 Kapitel 4. Matching von 3d Objektfragmenten (3d-Puzzle-Problem)
Abbildung 4.24 3d vs. 6d Unterteilungsschema am Beispiel eines Knochenfragments:
(Oben) Segmentierung der Oberfläche im 3d Koordinatenraum und segmentweise gemittelte
Oberflächennormale; (unten) Segmentierung der Oberfläche im 6d Koordinaten-Normalen-
Raum und segmentweise gemittelte Oberflächennormale.
4.4.3 Hierarchisches Matching
Nachdem wir den Cluster-Baum bis hin zu einer festgelegten Baumtiefe erstellt haben,
kann der hierarchische Matching-Algorithmus beginnen. Der folgende Ansatz entspricht
weitestgehend dem theoretischen Konzept aus Abschnitt 4.4.1, nur dass wir diesmal auf
Clustern von orientierten Punkten arbeiten.
Beginnen wir mit einigen Definitionen auf Cluster-Paaren: Ein tangentialer Kontakt
zwischen zwei Clustern Aa und Bb impliziert, dass mindestens ein tangentialer Kontakt
zwischen zwei orientierten Punkten mit �a ∈ Aa and � b ∈ Bb besteht. Wir können
nun eine ’high-level’ Lagehypothese konstruieren, indem wir einen tangentialen Kontakt
zwischen mehreren Clustern annehmen. Genauer gesagt: Eine ’high-level’ Lagehypothese
(Aa, Bb, Ac, Bd) ist die Annahme eines tangentialen Kontakts zwischen den
Clustern Aa und Bb, sowie zwischen Ac and Bd. Ein tangentialer Kontakt zwischen zwei

4.4. Ein Grob-zu-Fein-Ansatz: ’Cluster Tree Matching’ 87
Cluster-Paaren ist nur dann möglich, wenn ihre relativen Distanzen und Winkel ein
überlappendes Intervall haben. Um diese Vorbedingung zu prüfen, übernehmen wir die
Idee aus Gleichung (4.20), wo wir 4d Relationsvektoren von orientierten Punktpaaren
verglichen haben; allerdings vergleichen wir diesmal 4d Relationsintervalle von Cluster-
Paaren. Hierfür benutzen wir min-/max-Operatoren die elementweise auf Vektormengen
definiert sind
⎧⎡
⎤ ⎡ ⎤⎫
⎨ x1 xn ⎬
min ⎣y1
⎦,..., ⎣yn
⎦
⎩
⎭
. .
:=
⎡
⎤
min{x1,...,xn}
⎣min{y1,...,yn}
⎦ (4.23)
.
und max{...} analog. Ein Relationsintervall [relmin(Aa, Ac), relmax(Aa, Ac)] eines Cluster-Paares
(Aa, Ac) kann dann einfach als
relmin(Aa, Ac) := min{rel(�u,�v) | �u ∈ Aa,�v ∈ Ac} (4.24)
relmax(Aa, Ac) := max{rel(�u,�v) | �u ∈ Aa,�v ∈ Ac}
definiert werden. Für eine effiziente Berechnung sämtlicher Relationsintervalle (zwischen
jeweils zweier Knoten der gleichen Baumebene), empfiehlt sich allerdings die folgende
rekursive Definition:
relmin(Aa, Ac) :=
�
rel(�u,�v) falls Aa={�u} und Ac={�v} einelementig sind,
min {relmin(Au, Av) | ⌊u/2⌋ = a, ⌊v/2⌋ = c} sonst.
(4.25)
Die Bedingung ⌊u/2⌋ = a folgt hierbei lediglich dem Indizierungsschema aus Abbildung
4.22 und steht für ” Cluster Au ist ein Kindknoten von Cluster Aa“. Jetzt brauchen wir
noch Vergleichsoperatoren (, =) auf Relationsintervallen, die ebenfalls elementweise
definiert sind
� �
x1
. ⋚
xn
� �
y1
. :⇔ xi ⋚ yi für alle i = 1,...,n. (4.26)
yn
Dies ermöglicht uns Relationsintervalle zu vergleichen und eine Kongruenzrelation zwischen
Cluster-Paaren aufzustellen
(Au, Av) ∼ = (B ∗ q, B ∗ r) :⇔ relmin(Au, Av) ≤ relmax(B ∗ q, B ∗ r) ∧
relmax(Au, Av) ≥ relmin(B ∗ q, B ∗ r), (4.27)
welche genau dann gültig ist, wenn die Intervalle sich überlappen und damit ein tangentialer
Kontakt möglich ist. Eine essenzielle Beobachtung ist hierbei, dass diese Kongruenzrelation
auf Cluster-Paaren in die Kongruenzrelation (4.20) auf orientierten Punktpaaren
übergeht, wenn die Größe der Cluster gegen Null streben. Hieraus folgt, dass
die Menge der gültigen ’high-level’ Lagehypothesen � H auf die gleiche Weise wie die
(’low-level’) Lagehypothesen von (4.21) durch
�H := {(Aa, Bb, Ac, Bd) | (Aa, Ac) ∼ = (B ∗ b, B ∗ d)}. (4.28)

88 Kapitel 4. Matching von 3d Objektfragmenten (3d-Puzzle-Problem)
definiert werden können. Nun können alle gültigen ’high-level’ Lagehypothesen beim
Hinabsteigen der Cluster-Bäume durchlaufen werden. Es ist offensichtlich, dass die Kinderknoten
einer ungültigen Hypothese ebenfalls ungültig sind. Oder anders gesagt: Wenn
zwei Cluster-Paare nicht zusammenpassen, dann tun es ihre Kinder erst recht nicht. Diese
Tatsache ermöglicht es uns, sehr viele Cluster-Paare auszuschließen, lange bevor die
Tiefensuche ein Blatt erreicht hat.
Um die Qualität einer ’high-level’ Lagehypothese zu schätzen, können wir uns der gleichen
Methode bedienen, die bereits für low-level Hypothesen in Gleichung (4.22) vorgeschlagen
wurde. Wir erweitern also die Kongruenzrelation (4.27) von Cluster-Paaren
nach Cluster-Tripel
(Au, Av, Aw) ∼ = (B ∗ q, B ∗ r, B ∗ s) :⇔ (Au, Av) ∼ =(B ∗ q, B ∗ r) ∧ (4.29)
(Av, Aw) ∼ =(B ∗ r, B ∗ s) ∧ (Aw, Au) ∼ =(B ∗ s, B ∗ q).
Im Gegensatz zu (4.27) berücksichtigt diese Definition nicht den relativen Orientierungssinn
des ’Cluster-Dreiecks’ und akzeptiert deshalb auch spiegelsymmetrische Lösungen.
Dies muss allerdings kein Nachteil sein, da spiegelsymmetrische Lösungen selten sind und
sie außerdem durch Gleichung (4.22) verworfen werden können, sobald die Traversierung
die Blätter erreicht. Bei einer gegebenen ’high-level’ Lagehypothese (Aa, Bb, Ac, Bd) ist
ein Cluster Ae potentiell in tangentialem Kontakt mit Fragment B, wenn es ein Cluster
Bf mit (Aa, Ac, Ae) ∼ = (B ∗ b , B∗ d , B∗ f
) gibt. Auch hier können wir die Tatsache ausnutzen,
dass ein Cluster-Paar nur dann in Kontakt stehen kann, wenn dessen Eltern-Cluster
ebenfalls in Kontakt stehen. Das Verhältnis von Kontakt-Clustern zur Gesamtzahl an
Clustern dient als Qualitätskriterium und ist gleichzeitig eine konservative Abschätzung
der maximal erreichbaren Qualität aller darunterliegenden Hypothesen auf den ” Kind-
Clustern“. Wenn nun die Qualität der aktuellen ’high-level’ Hypothese schlechter als
die bisher beste Hypothese ist, kann die Tiefensuche abgeschnitten und bei der nächst
höheren Verzweigung fortgesetzt werden.
Rekapitulieren und konkretisieren wir an dieser Stelle nochmals den gesamten Algorithmus:
In einem Vorverarbeitungsschritt (siehe Algorithmus 3, Zeile 1–7) stellen wir für jedes
Fragment durch hierarchisches Zerlegen einen Cluster-Baum auf und benutzen dann
die rekursive Intervalldefinition (4.25), um die Relationsintervalle jedes Cluster-Paares
in einer Matrix zu speichern. Dann initialisieren wir eine Liste von Kontaktpaaren C (0)
mit dem Wurzelknotenpaar und starten den Matching-Algorithmus mit (A1, B1, A1, B1)
als Starthypothese. Die rekursive Matching-Prozedur (Zeile 8–20) überprüft zuerst, ob
die Cluster-Paare zusammenpassen (also ob die Lagehypothese gültig ist), berechnet
dann ihre Kontaktqualität und steigt die Cluster-Bäume alternierend hinab, solange die
aktuelle Qualität besser als das bisher beste Matching-Ergebnis ist. Die Kontaktqualität
wird durch Iteration der Kontaktpaarliste von einer Ebene zur nächsten berechnet (Zeile
21–30).

4.4. Ein Grob-zu-Fein-Ansatz: ’Cluster Tree Matching’ 89
Algorithmus 3 Preprocessing and Recursive Matching
1: Build a cluster tree for fragment A;
2: for all knot combinations Ai,Aj at same tree level do
3: Store relmin(Ai, Aj), relmax(Ai, Aj) in a matrix;
4: Repeat step 1–3 for fragment B;
5: C (0) ← {(A1, B1)}; ⊲ init contact list
6: bestQuality ← 0;
7: Match(1, 1, 1, 1, 0); ⊲ start recursion at root nodes
8: procedure Match(a, b, c, d, i)
9: if a > b then return; ⊲ avoids symmetrical hypotheses
10: if (Aa, Bb, Ac, Bd) /∈ � H then return; ⊲ pair does not fit
11: actQuality ← BuildContactList(a, b, c, d, i);
12: if actQuality ≤ bestQuality then return; ⊲ weak contact
13: if i is maximal recursion depth then
14: bestQuality ← actQuality,
15: bestHypothesis ← (Aa, Bb, Ac, Bd); ⊲ memorize best
16: else
17: for u ← 0 . . .1 for v ← 0 . . .1 do
18: if i is odd then
19: Match(a,2b+u, c, 2d+v, i+1); ⊲ decend tree of B
20: else Match(2a+u, b, 2c+v,2d, i+1); ⊲ decend tree of A
21: function BuildContactList(a, b, c, d, i)
22: if i = 0 then return 100%;
23: C (i) ← ∅; ⊲ clear contact list of recursion depth i
24: for all (Ae, Bf) ∈ C (i–1) do ⊲ over all pairs of list i-1
25:
26:
for u ← 0 to 1 do
if i is odd ∧ (Aa, Ac, Ae) ∼ = (B∗ b , B∗ d , B∗ 2f+u ) then
27: C (i) ← C (i) ∪ {(Ae, B2f+u)}; ⊲ add contact pair
28: if i is even ∧ (Aa, Ac, A2e+u) ∼ = (B∗ b , B∗ d , B∗ f ) then
29: C (i) ← C (i) ∪ {(A2e+u, Bf)}; ⊲ add contact pair
30: return percent of overlap at level i;
4.4.4 Beschleunigungsmöglichkeiten
Angenommen wir haben n Oberflächenpunkte auf der korrespondierenden Bruchfläche
von Fragment A und B. Da jede Paarkombination dieser Bruchflächenpunkte von
Fragment A in Kontakt mit einem korrespondierenden Punktpaar von Fragment B gebracht
werden kann, erhalten wir bis zu n 2 gültige Hypothesen, die alle nahezu dieselbe
Kontaktlage ergeben. Um diese unnötig große Anzahl von redundanten Hypothesen zu
reduzieren, können wir die Suche der Punktpaare auf eine kleine Untermenge von gleichmäßig
verteilten Punkten auf Fragment A beschränken. Dies kann durch eine einfache
Änderung des Algorithmus realisiert werden. Es muss nur eine Tiefe festgelegt werden,
ab der die Hypotheseniteration auf den linken Pfad des Baumes von Fragment A
beschränkt ist. Hierdurch wird die Qualitätsschätzung nicht beeinflusst, da weiterhin

90 Kapitel 4. Matching von 3d Objektfragmenten (3d-Puzzle-Problem)
alle Oberflächenpunkte für die Kontaktpaarberechnung verwendet werden. Eine weitere
Möglichkeit ist die leichte Verkleinerung der Cluster-Ausdehnungen (insbesondere im
Unterraum der Oberflächennormalen). Hierdurch werden Ausreißer beseitigt und eine
implizite Glättung erzielt, was wiederum die Laufzeit verbessert und außerdem die Genauigkeit
bei verrauschten Daten erhöht. Beide Erweiterungen (Hypothesenreduktion
und Cluster-Verkleinerung) können die Effizienz signifikant erhöhen, es kann allerdings
nicht mehr garantiert werden, dass die beste Lösung gefunden wird.
4.4.5 Experimentelle Ergebnisse und Diskussion
Der Grob-zu-Fein-Ansatz wurde mit vielen Fragmenten unterschiedlicher Art evaluiert.
Abbildung 4.25 zeigt die initiale Lage und das Matching-Ergebnis von sechs repräsentativen
Beispielen. Um realistische Testbedingungen zu schaffen, wurden die Punktwolken
der drei künstlichen Objekte additiv mit normalverteiltem Rauschen (10% Streuung
bzgl. der mittleren Punktdistanz) überlagert. Tabelle 4.2 zeigt die Laufzeit für die Vorverarbeitung
in Abhängigkeit von der verwendeten Baumtiefe. Diese Laufzeit umfasst
die Erstellung des Cluster-Baums sowie die Berechnung der zugehörigen Relationsintervallmatrix.
Sämtliche Tests wurden auf einem handelsüblichen AMD Athlon 64 PC mit
2.2 Ghz erstellt. Für alle dargestellten Fragmente wurden adäquate Matching-Ergebnisse
in weniger als drei Sekunden gefunden.
Die Resultate von vier Fallstudien mit variabler maximaler Baumtiefe sind in Abbildung
4.26 dargestellt. Wie man sehen kann, steigt die Laufzeit (Abbildung 4.26 oben)
nahezu linear mit der Anzahl von Clustern an. Der Rotationsfehler (Abbildung 4.26
unten) liegt ab einer Baumtiefe von 12 immer unter vier Grad. Werden Cluster-Bäume
mit zu geringer Baumtiefe verwendet, so scheitert das Matching aufgrund der unzureichenden
Oberflächenapproximation). Der Ansatz arbeitet sehr robust für eine Vielzahl
von verschiedenen Objekten.
Zusammenfassend kann gesagt werden, dass die Ergebnisse des hierarchischen Ansatzes
eine zum ’Random Sample Matching’ vergleichbar gute Performanz bezüglich Effizienz,
Genauigkeit und Robustheit belegen. Auch wenn die Laufzeiten des ’Cluster Tree Matchings’
im direkten Vergleich augenscheinlich etwas schlechter ausfallen, so muss berücksichtigt
werden, dass beim ’Random Sample Matching’ nur die Zeit bis zum Finden der
besten Hypothese berücksichtigt wurde. Beim ’Cluster Tree Matching’ wurde hingegen
die Laufzeit bis zur abschließenden Termination nach vollständiger Durchsuchung aller
Hypothesen angesetzt. Des Weiteren wurden im Gegensatz zum ’Random Sample
Matching’ weder Oberflächenkrümmungen noch anderen Oberflächenmerkmale eingesetzt,
was wiederum die Stärke des grundlegenden Verfahrens untermauert. Natürlich
kann auch der hierarchische Ansatz von geeigneten Merkmalen profitieren. Gerade bei
der hierarchischen Cluster-Zerlegung bietet sich eine simultane Merkmalsberechnung auf
den Clustern an. Die Normalenvarianz der Cluster korreliert beispielsweise unmittelbar
mit der Oberflächenkrümmung und kann leicht per Eigenwertanalyse berechnet werden.
Aber auch die scharfen Bruchkanten, die bevorzugt entlang der Cluster-Grenzen verlaufen,
können leicht detektiert werden. Somit bietet der neue Ansatz beträchtlichen

4.4. Ein Grob-zu-Fein-Ansatz: ’Cluster Tree Matching’ 91
Abbildung 4.25 Einige Testfragmente in initialer Lage und ihrer Lage nach dem Matching:
(a) zerbrochener Venuskopf; (b) zerbrochene Felskugel; (c) zerbrochener Stanford Bunny;
(d) IEC-320 Stromverbinder; (e) Glühlampe aus Autoscheinwerfer; (f) Spiralfraktur eines Knochenmodells.

92 Kapitel 4. Matching von 3d Objektfragmenten (3d-Puzzle-Problem)
Abbildung 4.26 Matching-Ergebnisse von vier Fragmenten unter variabler Anzahl von Oberflächenpunkten
bzw. variabler Baumtiefe.

4.4. Ein Grob-zu-Fein-Ansatz: ’Cluster Tree Matching’ 93
Tabelle 4.2 Laufzeit für die Vorverarbeitung (Erstellung eines Cluster-Baumes und Berechnung
der zugehörigen Relationsintervallmatrix).
Baumtiefe 10 11 12 13 14 15
Laufzeit [s] 0.86 0.96 1.10 1.39 2.23 5.06
Tabelle 4.3 Experimentelle Ergebnisse: Laufzeit t in Sekunden, Winkelfehler φ bei verschiedenen
Cluster-Baumtiefen.
Tiefe t[s] φ
Venus A+B 11 1,58 5,4 ◦
Spielraum für weitere Verbesserungen.
12 4,13 2,1◦ Venus B+C 11 1,17 5,6◦ 12 3,70 4,9◦ Felskugel 11 0,83 0,6◦ 12 1,09 3,4◦ Bunny A+B 12 8,75 3,6◦ Bunny A+C 11 0,77 2,1◦ 12 1,60 5,8◦ IEC-320 10 2,39 5,4◦ 11 4,04 2,1◦ 12 5,45 1,8◦ Glühbirne 12 3,22 2,8◦ Spiralfraktur 12 0,90 4,9◦

94 Kapitel 4. Matching von 3d Objektfragmenten (3d-Puzzle-Problem)
4.5 Anpassung an spezielle Fragmenttypen
Die bisher vorgeschlagenen Ansätze favorisieren die relative Lage mit dem größten Oberflächenkontakt
zwischen den Fragmenten. Wie bereits erwähnt, gibt es natürlich auch
Fragmente, bei denen diese Lösung nicht die gesuchte ist, also die korrekte Lage nicht
diejenige mit dem größtmöglichen Oberflächenkontakt ist. Dies tritt beispielsweise dann
auf, wenn das Verhältnis von Bruchfläche zu Gesamtfläche klein ist und wenn die intakte
Oberfläche große glatte Bereiche mit komplementären Regionen auf dem Gegenstück
aufweist (z.B. im Fall vieler dünnwandiger archäologischer Fragmente, wie Scherben von
Tonkrügen etc.). Dies ist der Grund, warum der Ansatz in den drei Beispielen in Abbildung
4.27 versagt. Beim ersten Beispiel handelt es sich um ein gebrochenes Becken.
Da zum einen die Bruchflächen nur sehr schmal sind und nur einen äußerst kleinen
Teil der Gesamtfläche ausmachen und zum anderen große glatte Oberflächenbereiche
innerhalb der Beckenschaufeln existieren, werden falsche Lösungen vorgeschlagen. Vergleichbare
Ursachen führen auch zu falschen Ergebnissen bei der Femurfraktur und dem
zerbrochenen Quader.
Es ist klar, dass in diesen Fällen zusätzliches Vorwissen integriert werden muss, um zu
verhindern, dass der Algorithmus ” triviale Lösungen“ findet. Je nach Objektklasse, gibt
es ganz unterschiedliches Vorwissen, das genutzt werden kann. Abbildung 4.28 zeigt einige
Beispiele hierfür. Insbesondere vorhandene Symmetrien, wie Rotationssymmetrien,
Spiegelsymmetrien oder Translationssymmetrien, kommen häufig vor und können äußerst
nützlich für das Matching sein. Ein Beispiel für rotationssymmetrische Objekte
sind Töpferwaren wie Tonkrüge und Vasen. Dieses Vorwissen ist also unter anderem bei
der Rekonstruktion von historischen Fundstücken in der Archäologie nützlich. Ein gutes
Beispiel für spiegelsymmtrische Objekte sind Knochen. Jeder menschliche Knochen
ist entweder spiegelsymmetrisch aufgebaut (z.B. Schädelknochen, Rückenwirbel und Beckenknochen)
oder hat ein spiegelsymmetrisches Gegenstück. Zusätzlich sind die vielen
Röhrenknochen im Schaftbereich annähernd translationssymmetrisch, d.h. sie haben eine
über den Knochenverlauf gleichmäßige Grundform bzw. Schnittfläche. Natürlich haben
auch die meisten geometrischen Grundformen (wie Kugel, Kegel, Zylinder, Torus,
Quader, Ellipsoid, etc.) eine oder mehrere Symmetrieeigenschaften.
Neben dem Symmetriewissen können auch a priori bekannte Oberflächeneigenschaften
von äußerst großem Nutzen sein. Denkbar ist zum Beispiel, dass sich die Oberfläche
der Bruchregionen stark von der intakten Oberfläche unterscheidet. Häufig findet man
beispielsweise eine raue und unebene Bruchfläche, die sich gut von der vergleichsweise
glatten intakten Oberfläche differenzieren lässt. Falls die zerbrochenen Objekte nicht
verschliffen sind, sind meist scharfe Bruchkanten zwischen Bruchfläche und intakter
Oberfläche zu finden und liefern weitere Oberflächenmerkmale. Des Weiteren ist auch
das Wissen über eine ursprünglich kontinuierliche Oberflächenbeschaffenheit hilfreich.
Nach dem Zusammensetzen sollten also möglichst glatte Übergänge von einem Fragment
zum anderen entstehen. Dies bezieht sich nicht nur auf einen stetigen Oberflächenverlauf,
sondern auch auf eine kontinuierliche Farbe oder Textur. Und nicht zuletzt kann auch
eventuell vorhandenes Wissen über die ursprüngliche Form des Objektes ausgenutzt

4.5. Anpassung an spezielle Fragmenttypen 95
Beckenfraktur
Schaftbereich einer Femurfraktur
Bruchstücke eines Quaders mit Relief
Abbildung 4.27 Fragmente, bei denen die Maximierung der Kontaktfläche zu falschen Ergebnissen
führt. (Links) initiale Lage; (Mitte) Matching-Ergebnis; (Rechts) korrekte Lage.

96 Kapitel 4. Matching von 3d Objektfragmenten (3d-Puzzle-Problem)
Rotationssymmetrie Spiegelsymmetrie Translationssymmetrie
markante Bruchfläche scharfe Bruchkante Oberflächenkontinuität
Abbildung 4.28 Nutzbares Vorwissen über Symmetrien und Oberflächeneigenschaften.
werden.
Nach diesen theoretischen Überlegungen wird im folgenden Kapitel die Integration von
Vorwissen (insbesondere Symmetriewissen) anhand von verschiedenen Objekttypen und
Anwendungsbereichen in die Praxis übertragen.

Kapitel 5
Anwendungen und Einsatzgebiete
Im letzten Kapitel wurden effiziente und robuste Ansätze zum Zusammensetzen von
zerbrochenen Objekten vorgestellt und evaluiert. In diesem Kapitel soll exemplarisch
das weite Anwendungsspektrum und die vielfältigen Einsatzmöglichkeiten der Verfahren
aufzeigt werden. Da die bisher vorgestellten Ansätze diejenige relative Lage mit
dem größten Oberflächenkontakt suchen, dies jedoch häufig nicht die gewünschte Lösung
darstellt, wird je nach Anwendungsgebiet zusätzliches Vorwissen über die Form
der zerbrochenen Objekte integriert. Durch dieses a priori Wissen wird der Such- bzw.
Konfigurationsraum im Allgemeinen stark eingeschränkt, unerwünschte Lösungen werden
vermieden und das Laufzeitverhalten verbessert sich. Im ersten Abschnitt wird die
Repositionierung von Knochen behandelt, ein extrem wichtiges und zukunftsträchtiges
Anwendungsgebiet in der Chirurgie. Danach folgt eine interessante Anwendungsmöglichkeiten
in der Archäologie. Abschnitt 5.3 demonstriert die Tauglichkeit der Algorithmen
zur Registrierung von Tiefendaten, bzw. zur Fusionierung von Objektoberflächen,
die per Tiefensensor aus unterschiedlichen Sichtrichtungen aufgenommen wurden. Und
schließlich wird in Abschnitt 5.4 erläutert, wie die Registrierung von Oberflächen für die
Objekterkennung und Lageschätzung von Objekten im Raum einsetzt werden kann. Da
viele Implementierungsarbeiten bereits zeitlich vor der Entstehung des hierarchischen
’Cluster Tree Matching’-Ansatzes gemacht wurden, verwenden die folgenden Experimente
durchgehend den zufallsbasierten ’Random Sample Matching’-Ansatz. Dennoch
können sie selbstverständlich auch auf den hierarchischen Matching-Ansatz übertragen
werden.
5.1 Anwendungen in der Chirurgie
5.1.1 Repositionierung von gebrochenen Oberschenkelknochen
Eine übliche Form der Therapie bei Femurfrakturen (Oberschenkelbrüchen) ist die Ausrichtung
der Femurfragmente per ” geschlossener Femurmarknagelung“ (siehe Grafik in
Abbildung 5.1). Diese moderne minimalinvasive Technik hat den großen Vorteil, dass
zusätzliche Gewebeschädigungen der bereits geschädigten Bereiche weitestgehend ver-
97

98 Kapitel 5. Anwendungen und Einsatzgebiete
(a) (b) (c) (d) (e)
Abbildung 5.1 Das Prinzip der Marknagelung einer Femurfraktur: (a) Einschnitt in Hüftregion;
(b) Eröffnung des Knochenmarkkanals; (c) Einführung des Marknagels und Repositionierung
des distalen Fragments; (d) Fixierung mit Schrauben; (e) Ergebnis.
mieden werden, da nur noch kleine Öffnungen für den Marknagel und für die sogenannten
Schanzschen Schrauben notwendig sind. Allerdings ist es hierbei schwierig, die Femurfragmente
exakt zu repositionieren, da zum einen die intraoperativen Röntgenbilder
(siehe Abbildung 5.2) nur eine sehr eingeschränkte Sicht erlauben und zum anderen der
ausführende Chirurg gegen die Zugkraft der Sehnen und Muskeln ” ankämpfen“ muss,
die je nach Muskelmasse bis zu 400N (∼40kg) (siehe z.B. Westphal et al. [93]) betragen
kann. Dies führt häufig zu Fehlstellungen und schlechten Fixierungen, was wiederum für
den Patienten physiologischen Stress, Funktionsstörungen, frühzeitigen Gelenkverschleiß
und Schmerzen bedeutet. Die Knochenachse selbst kann mittels mehrfacher Röntgenaufnahmen
und Marknagel noch relativ gut ausgerichtet werden. Postoperative frontale
und/oder sagitale Fehlstellungen der Knochenachse von über fünf Grad treten in diversen
Fachliteraturquellen mit einer Häufigkeit zwischen 2% und 18% auf. Bedeutend
schwieriger ist jedoch die richtige Rotation um die Knochenachse festzustellen. Ein Rotationsfehler
von über fünfzehn Grad um die Knochenachse wird als ” kritische Torsionsabweichung“
betrachtet und sollte in einer zusätzlichen Operation korrigiert werden.
Einige Studien belegen, dass nach der Fixierung ein solcher kritischer Rotationsfehler
bei einer nicht vernachlässigbaren Anzahl an Patienten von bis zu 28% zu beobachten
ist.
Ein DFG-gestütztes Kooperationsprojekt zwischen der Unfallchirurgischen Klinik der
Medizinische Hochschule Hannover und dem Institut für Robotik und Prozessinforma-

5.1. Anwendungen in der Chirurgie 99
Abbildung 5.2 Intraoperative Röntgenaufnahmen zweier Femurfrakturen mittels ISO-C-
Bogen.
tik der TU-Braunschweig beschäftigt sich deshalb mit der Vermeidung dieser Komplikationen
durch Verwendung eines kraft-/momentengeführten Roboters zur semi-automatischen
Knochenrepositionierung (siehe z.B. Gösling et al. [31], [32], Westphal et al.
[91], [92], [93], Winkelbach et al. [100], [101]). Bevor die roboterassistierte Operation
durchgeführt werden kann, müssen die Repositionierungsparameter bestimmt werden.
Insbesondere die relative Endposition des distalen zum proximalen Femurfragment sollte
so genau wie möglich berechnet werden und mit möglichst wenig Interventionen des
Chirurgen geschehen. Nach einer visuellen Kontrolle der berechneten Ziellage und der
vorgeschlagenen Bewegungstrajektorie können die Daten zur Ausführung an das Robotersystem
übergeben werden. Auf diese Weise könnten in Zukunft Repositionierungsfehler
weitestgehend vermieden und zusätzlich die intraoperative Röntgenstrahlenbelastung
für Patient und Chirurg verringert werden. Dies ist insbesondere für die Chirurgen wichtig,
da sie tagtäglich dieser Belastung ausgesetzt sind. Darüber hinaus wird hierdurch
auch eine Reduktion der Operationszeit und Kosten erwartet.
Methodenüberblick
Wie Abbildung 5.3 zeigt, benötigt man für die Berechnung der Ziellage zuerst Oberflächenmodelle
aller Femurfragmente. Die Oberflächen können per Isoflächenextraktion
(siehe Kapitel 2.3.2) aus einem Computertomogramm rekonstruiert werden. Das Computertomogramm
kann preoperativ mittels Standardtechnik oder auch intraoperativ mit
Hilfe eines modernen ISO-C-Bogens erstellt werden. Die zweite Variante hat den Vorteil,
dass die initiale Lage der Knochenfragmente des CTs mit der aktuellen OP-Situation
übereinstimmt und nicht aufwändig registriert werden muss. Voraussetzung ist lediglich
ein kalibrierter ISO-C-Bogen. Abbildung 5.4 zeigt einen direkten Vergleich zwischen

100 Kapitel 5. Anwendungen und Einsatzgebiete
Abbildung 5.3 Berechnungsschritte der virtuellen Femurrepositionierung.
der rekonstruierten Oberfläche eines Femurfragments aus einem Standard-CT und aus
einem ISO-C-Bogen CT. Gut zu sehen ist, dass die Oberfläche des C-Bogens-CTs wesentlich
verrauschter, allerdings auch detaillierter rekonstruiert wurde. Das stärkere Rauschen
lässt sich durch die geringeren technischen Möglichkeiten des mobilen C-Bogens
erklären. Die höhere Detailgenauigkeit in diesem Beispiel beruht auf dem geringeren
Schichtabstand und damit höheren Schichtanzahl des C-Bogen-CTs (0.47 mm beim C-
Bogen gegenüber 2 mm beim Standard-CT). Allerdings lässt sich auch ein Standard-CT
mit geringerem Schichtabstand und entsprechend hoher Detailauflösung erzeugen. Die
rekonstruierten Oberflächenmodelle der Femurfragmente bilden nun das zu lösende 3d-
Puzzle-Problem. Wie bereits in Kapitel 4.3 auf Seite 95 gezeigt, führt eine direkte Maximierung
der Kontaktfläche zwischen den Femurfragmenten häufig nicht zum gewünschten
Ergebnis, da die Bruchfläche im Verhältnis zur Gesamtfläche relativ gering ist. Die
Algorithmen aus Kapitel 4 neigen in ihrer Basiskonfiguration dazu, einen Kontakt zwischen
den intakten ausgedehnten Seitenflächen der Femurfragmente vorzuschlagen. Aus

5.1. Anwendungen in der Chirurgie 101
Abbildung 5.4 Zwei mit unterschiedlicher Aufnahmetechnik rekonstruierte Oberflächen
des selben Femurfragments: (Links) Standard-CT mit einem Schichtabstand vom 2 mm;
(Rechts) mobiler ISO-C-Bogen mit einem Schichtabstand von 0,47 mm.
diesem Grund muss zusätzliches a priori Wissen integriert werden. Bei Oberschenkelknochen
(sowie allen anderen Röhrenknochen) ist es naheliegend, den relativ gleichförmigen
Verlauf entlang der Femurachse auszunutzen, um in einer Vorverarbeitung die
Orientierung der Knochenachse zu schätzen. Diese Achsorientierung kann auf zweierlei
Weise vom Matching-Verfahren genutzt werden: Zum einen schränkt sie zwei rotatorische
Freiheitsgrade der relativen Transformation ein und zum anderen kann hiermit
die Bruchfläche von der intakten Oberfläche unterschieden werden, was sich wiederum
positiv auf Effizienz, Robustheit und Genauigkeit auswirkt.
Achsschätzung und Bruchflächensegmentierung
Für die Detektion von zylindrischen und röhrenförmigen Strukturen in Oberflächendaten
(häufig Tiefendaten) gibt es bereits zahlreiche Ansätze. Eine Möglichkeit ist das
Anpassen (engl. ’fitting’) eines Zylindermodells an die Punktmenge per Minimierung
einer Fehlerfunktion (siehe z.B. Faber & Fisher [21]). Andere Ansätze nutzen die Tatsache,
dass die Oberflächennormalen eines Zylinders auf der Gaußschen Kugel einen Kreis
bilden (siehe z.B. Hebert & Ponce [37], Chaperon & Goulette [13]). Behrens et al. [8]
segmentieren röhrenförmige Strukturen per randomisierter Hough-Transformation und
Kalmann-Filter. Dieser Ansatz sucht Zylinder mit einer elliptischen Grundfläche und
einem Freiformkurvenverlauf.
In einer eigenen Arbeit (siehe Winkelbach et al. [101]) wurde die Position und Orientierung
der Achse von zylindrischen Fragmenten per Hough-Transformation in zwei Schritten
ermittelt: Die Hough-Transformation im ersten Schritt sucht die Orientierung der
Zylinderachse und basiert darauf, dass alle Oberflächennormalen der intakten Mantelfläche
senkrecht auf der Zylinderachse stehen (siehe Abbildung 5.5). Für jede Oberflächennormale
�ni wird die Orientierung aller dazu senkrecht stehenden Vektoren {�z | �z ⊥�ni} in
einem 2d Array (Hough-Raum) akkumuliert. Hierdurch entsteht ein Cluster im Hough-
Raum, dessen Indizes die korrekte Achsorientierung beschreiben. Nach der Berechnung
der Achsorientierung wird im zweiten Schritt die Position der Achse im Raum ebenfalls
mit einer Hough-Transformation ermittelt. Hierbei werden alle Oberflächenpunkte

ÃÒÓ��Ò��×� �ÖÙ�����
�ÖÙ����� ÃÒÓ��Ò��×�
102 Kapitel 5. Anwendungen und Einsatzgebiete
�z �z
Ö�ÔÐ��Ñ�ÒØ× �nf
�nf
Ç��Ö���� �ÒØ��Ø�
�nj
�nj
�ÒØ��Ø� Ç��Ö����
Abbildung 5.5 Zur Berechnung der Achsorientierung: Unter Annahme eines gleichförmigen
Knochenverlaufs stehen die Oberflächennormalen �nj der intakten Knochenoberfläche senkrecht
auf der Knochenachse �z, während die Oberflächennormalen �nf der Bruchfläche meist nicht
senkrecht auf �z stehen.
auf eine Ebene senkrecht zur Knochenachse projiziert. Unter der Modellannahme, dass
die Knochenoberfläche näherungsweise eine kreisförmige Grund-/Schnittfläche besitzt,
muss nun analog zur Hough-Transformation für Kreise, der Mittelpunkt dieses Kreises
bestimmt werden.
Wenn die Position und Orientierung der Knochenachse aller Fragmente bekannt ist,
reduziert sich das 3d-Puzzle-Problem auf ein einfaches eindimensionales Problem pro
Fragmentpaar, da nur noch die Rotation um die Achse zu lösen bleibt. Es hat sich
allerdings herausgestellt, dass menschliche Oberschenkelknochen in den meisten Fällen
stark von der kreisförmigen Grundform abweichen (siehe Abbildung 5.6) und deshalb
die Bestimmung einer, über alle Fragmente eindeutigen, Achsposition nicht möglich ist.
Im Folgenden werden wir uns deshalb auf die Achsorientierung bzw. die Richtung der
Translationssymmetrie beschränken.
Die oben beschriebene Methode zur Berechnung der Achsorientierung hat neben den bereits
in Kapitel 4.3.1 angesprochenen allgemeinen Problemen der Hough-Transformation
(wie Quantisierung des Parameterraums und mögliche Verteilung der Cluster über mehrere
Hough-Raumzellen) den Nachteil, dass eine einfache zweidimensionale Parametrisierung
der Achsorientierung (bzw. der Kugeloberfläche) stets zu einer ungleichmäßigen
Auflösung und damit zu einer nicht äquidistanten Richtungsverteilung führt. Eine Lösungsmöglichkeit
wäre es, statt dessen einfach einen 3d Hough-Raum (Repräsentation
der Richtungsvektoren mit x,y,z-Koordinaten) zu verwenden. Eine andere nahe liegende
und leicht zu implementierende Vorgehensweise ist der folgende RANSAC-Ansatz:

5.1. Anwendungen in der Chirurgie 103
Abbildung 5.6 Zwei echte Femurfragmente: Ein Blick entlang der Achse zeigt die Bruchfläche
und die nicht kreisförmige Grundform.
1. Wähle zufällig zwei Oberflächenpunkte mit den Oberflächennormalen �n, �m und
konstruiere hiermit eine Achshypothese �z.
2. Berechne die Güte der Achshypothese (Anzahl der Oberflächennormalen die senkrecht
auf der Achse stehen). Die Effizienz dieses Schrittes kann durch eine schnelle
zufallsbasierte Hochrechnung gesteigert werden.
3. Wiederhole die Schritte 1 und 2 und speichere das jeweils beste Ergebnis, solange
bis alle Paarkombinationen getestet wurden, die Güte ausreicht oder die maximale
Suchzeit abgelaufen ist.
Für jedes Normalenpaar �n, �m ∈ NA mit ��n × �m� �= 0 kann eine Achsorientierungshypothese
�z := (�n × �m) / ��n × �m� (5.1)
generiert werden. Die Güte Ω der Hypothese ist dann (analog zu Gleichung (4.17))
Ω ≈
�k i=1 orthogonal(�z,�ni)
±
k
1, 96
2 √ k
; (5.2)
wobei die Funktion orthogonal(�z,�ni) bestimmt, ob die Oberflächennormale �ni orthogonal
auf der Achsrichtung �z steht
�
1 falls ��z · �ni� < εr,
orthogonal(�z,�ni) :=
0 sonst.
(5.3)
Nachdem die Knochenachse bestimmt wurde, kann sie zur Identifizierung und Segmentierung
der Bruchfläche herangezogen werden. Wie wir bereits festgestellt haben, stehen

104 Kapitel 5. Anwendungen und Einsatzgebiete
im Schaftbereich die Normalen der intakten Knochenoberfläche im Allgemeinen senkrecht
auf der Knochenachse. Das heißt, alle Oberflächenbereiche, die das orthogonal-
Kriterium aus Gleichung (5.3) nicht erfüllen, gehören mit hoher Wahrscheinlichkeit zur
Bruchfläche. In einer konkreten Implementierung sollte allerdings eine größere Toleranz
εr als bei der Güteschätzung der Achshypothese zugelassen werden. Alle Oberflächenbereiche,
die nicht parallel zur Achse verlaufen (und damit sichtbar sind, wenn man
wie in Abbildung 5.6 entlang der Knochenachse schaut), werden mit dieser Methode als
Bruchfläche klassifiziert.
Matching der Femurfragmente
Mit der berechneten Knochenachse und der segmentierten Bruchfläche haben wir ideale
Voraussetzungen für das Matching der Femurfragmente geschaffen. Durch die Achsorientierung
können bereits zwei rotatorische Freiheitsgrade zwischen jeweils zwei Fragmenten
eingeschränkt werden; und die Kenntnis der Bruchflächen reduziert die Anzahl der möglichen
Kontaktlagen. Als Basisalgorithmus verwenden wir im Folgenden den ’Random
Sample Matching’-Ansatz aus Kapitel 4.3. Anstatt ein Punktpaar pro Fragment auszuwählen,
reicht jeweils ein einzelner Punkt auf Fragment A und Fragment B aus, da zwei
Freiheitsgrade bereits durch die Knochenachse festgelegt sind. Außerdem brauchen wir
nur noch die markierten Bruchflächen zu berücksichtigen. Nach diesen Modifikationen
ergibt sich folgende Suchschleife:
1. Konstruiere eine Lagehypothese durch Annahme eines tangentialen Kontaktes zwischen
zwei zufällig ausgewählten orientierten Punkten �a ∈ A und � b ∈ B, wobei A, B
die Bruchflächenpunkte von Fragment A und B bezeichnen.
2. Berechne die Güte der Lagehypothese (Größe der in Kontakt stehenden Bruchfläche).
Die Effizienz dieses Schrittes kann durch eine schnelle zufallsbasierte Hochrechnung
gesteigert werden.
3. Wiederhole die Schritte 1 und 2 und speichere das jeweils beste Ergebnis, solange
bis alle Paarkombinationen getestet wurden, die Güte ausreicht oder die maximale
Suchzeit abgelaufen ist.
In Schritt 1 wird zufällig ein orientierter Punkt �a auf der Bruchfläche von Fragment A
und ein orientierter Punkt � b auf der Bruchfläche von Fragment B ausgewählt und in
tangentialen Kontakt gebracht. Der verbleibende rotatorische Freiheitsgrad um die entgegengerichteten
Oberflächennormalen �na,�nb kann durch Ausrichten der Knochenachsen
�zA,�zB festgelegt werden. Ein Entgegenrichten der Oberflächennormalen und gleichzeitiges
Ausrichten der Knochenachsen ist allerdings nur dann möglich, wenn der Winkel
zwischen Oberflächennormale und Achse auf beiden Fragmenten übereinstimmt
�na · �zA ≈ �nb · �zB bzw. | arccos(�na · �zA) − arccos(�nb · �zB)| < εz. (5.4)
Außerdem muss sichergestellt werden, dass beide Winkel größer Null sind
�na · �zA > 0 und �nb · �zB > 0, (5.5)

5.1. Anwendungen in der Chirurgie 105
damit die relative Transformation eindeutig ist. Punktpaare, die diese Bedingungen nicht
erfüllen, werden verworfen. Die relative Transformation A TB zwischen den beiden Fragmenten
kann nun (analog zu Gleichung (4.5) auf Seite 54) mittels zweier Koordinatensysteme
FA und FB (jeweils ein Koordinatensystem pro Fragment) ermittelt werden:
mit
⎡
A TB = F −1
A · F B (5.6)
⎤
FA := ⎣�na
�z1�na
|�z1�na|
�na�zA�na
|�na×�zA×�na| �pa ⎦, FB := ⎣−�nb
�nb�zB
|�nb�zB|
�nb�zB�nb
|�nb�zB�nb|
0 0 0 1
�pb ⎦ . (5.7)
0 0 0 1
Durch diese Definition der Koordinatensysteme wird gewährleistet, dass die Oberflächennormalen
exakt entgegengerichtet sind und die Knochenachsen mit dem verbleibenden
Freiheitsgrad im Sinne des kleinsten Winkelfehlers ausgerichtet werden. Hierdurch wird
eine leichte Abweichung von der Achsorientierung zugelassen, wodurch das Verfahren
robuster gegenüber ungenau berechneten Achsorientierungen wird. Über εz (in Gleichung
(5.4)) kann die maximal erlaubte Winkelabweichung zwischen den Knochenachsen
festgelegt werden.
Die Güteberechnung in Schritt 2 und die Abbruchbedingungen in Schritt 3 erfolgen dann
völlig analog zum ’Random Sample Matching’-Ansatz auf Seite 63.
Experimentelle Ergebnisse
Schauen wir uns nun die Performanz des Ansatzes an. Als Testdaten standen sowohl
Computertomogramme von gebrochenen menschlichen Oberschenkelknochen, als auch
von Kunstknochen der Firma Synbone [83] mit diversen Frakturtypen zu Verfügung.
Abbildung 5.7 zeigt drei echte Femurfrakturen, die per C-Bogen aufgenommen wurden,
und Abbildung 5.9 zeigt drei gebrochene Kunstknochen, die per Standard-CT aufgenommen
wurden. Links ist jeweils die initiale Lage der Knochenfragmente dargestellt,
in der Mitte sieht man die geschätzte Knochenachse und die segmentierte Bruchfläche
(hell) gegenüber der intakten Knochenoberfläche (dunkel) und rechts ist das Ergebnis des
Matching-Ansatzes abgebildet. Wie man sieht, arbeitet der Algorithmus augenscheinlich
sehr genau und äußerst robust. Die Achsschätzung, die Bruchflächensegmentierung und
der Matching-Ansatz funktionieren selbst bei schwierigen Frakturformen.
Präzise Aussagen über die erreichte Genauigkeit und Effizienz des Matching-Ansatzes
liefern die Grafiken in Abbildung 5.8 und Abbildung 5.10. Hierzu wurden mit jeder Femurfraktur
100 Versuchsdurchläufe durchgeführt und ausgewertet. In der Grafik links
sieht man den Medianwert±Quantile der erreichten Bruchflächendistanz (mittlere Distanz
der Bruchflächenpunkte gegenüber ihrer Sollposition in Millimetern) über der Zeit.
Der Algorithmus erreicht in allen Fällen bereits nach einem Bruchteil einer Sekunde die
unmittelbare Nähe der gewünschten Lösung, so dass in den dargestellten Daten nur
noch bereits gute Lösungen zu sehen sind (man beachte, dass die Skalierung der Ordinate
eine andere ist als in Kapitel 4). Anschaulicher als die Bruchflächendistanz ist der
⎡
⎤

106 Kapitel 5. Anwendungen und Einsatzgebiete
Tabelle 5.1 Matching-Ergebnisse der Femurfrakturen nach jeweils 100 Durchläufen: Dargestellt
ist jeweils Mittelwert, Median, Minimum und Maximum der mittleren Bruchflächendistanz
(Dist.) und des Rotationsfehlers (Rot.) nach einer Laufzeit von 10 Sekunden pro Durchlauf,
sowie die Laufzeit, die benötigt wurde, um eine relative Transformation mit einer Bruchflächendistanz
von unter 3 mm zu finden. Die Messwerte wurden im 0,05-Sekundentakt erhoben.
mean median min max
Femur 1: Dist. [mm] 0,42 0,44 0,24 0,80
Rot. [ ◦ ] 1,57 1,60 0,91 3,09
Zeit [ s ] 0,05 0,05 0,05 0,10
Femur 2: Dist. [mm] 1,09 1,14 0,66 1,49
Rot. [ ◦ ] 1,75 1,57 0,39 3,89
Zeit [ s ] 0,06 0,05 0,05 0,30
Femur 3: Dist. [mm] 0,74 0,77 0,52 0,99
Rot. [ ◦ ] 3,51 3,80 1,03 4,67
Zeit [ s ] 0,06 0,05 0,05 0,15
Femur 4: Dist. [mm] 1,39 1,37 0,70 2,33
Rot. [ ◦ ] 2,36 2,34 0,39 5,67
Zeit [ s ] 0,10 0,05 0,05 2,25
Femur 5: Dist. [mm] 0,68 0,62 0,38 1,18
Rot. [ ◦ ] 2,29 1,81 0,40 5,21
Zeit [ s ] 0,05 0,05 0,05 0,05
Femur 6: Dist. [mm] 0,57 0,56 0,29 1,07
Rot. [ ◦ ] 1,47 1,24 0,25 3,18
Zeit [ s ] 0,05 0,05 0,05 0,05
Rotationsfehler im jeweils rechten Graphen. Hier sieht man, dass bereits nach dem ersten
Zeitschritt (also nach 0,05 Sekunden) über 90% der Versuche weit unter der ” kritischen
Torsionsabweichung“ von fünfzehn Grad liegen. Nach zwei Sekunden liegen bereits alle
Ergebnisse unter einem Rotationsfehler von fünf Grad.
In Tabelle 5.1 sind nochmals die erreichten Matching-Ergebnisse zusammengefasst dargestellt.
Hier sieht man, dass bereits nach einem Bruchteil einer Sekunde im Schnitt
eine Genauigkeit zwischen ein und drei Grad erzielt wurde und das Ergebnis somit weit
besser als die manuelle Repositionierung ausfällt. Der verbleibende Lagefehler ist nicht
zuletzt auch darauf zurückzuführen, dass die Knochen beim Brechen leicht verformt
werden.

5.1. Anwendungen in der Chirurgie 107

108 Kapitel 5. Anwendungen und Einsatzgebiete
Femur 1
Femur 2
Femur 3
Initallage segmentierte Bruchfläche Ergebnis
Abbildung 5.7 Drei menschliche Femurfrakturen, rekonstruiert aus C-Bogen CTs: (Links) initiale
Lage; (Mitte) berechnete Achsen und segmentierte Bruchflächen; (Rechts) Matching-
Ergebnisse.

5.1. Anwendungen in der Chirurgie 109
mittlere Bruchflächendistanz [mm]
mittlere Bruchflächendistanz [mm]
mittlere Bruchflächendistanz [mm]
3,5
3
2,5
2
1,5
1
0,5
0
0 0,5s 1s 1,5s 2s 2,5s
3,5
3
2,5
2
1,5
1
0,5
Rotationsfehler
10°
9°
8°
7°
6°
5°
4°
3°
2°
1°
0°
0 0,5s 1s 1,5s 2s 2,5s
(a) (b)
0
0 0,5s 1s 1,5s 2s 2,5s
3,5
3
2,5
2
1,5
1
0,5
Rotationsfehler
10°
9°
8°
7°
6°
5°
4°
3°
2°
1°
0°
0 0,5s 1s 1,5s 2s 2,5s
(c) (d)
0
0 0,5s 1s 1,5s 2s 2,5s
Rotationsfehler
10°
9°
8°
7°
6°
5°
4°
3°
2°
1°
0°
0 0,5s 1s 1,5s 2s 2,5s
(e) (f)
Abbildung 5.8 Matching-Ergebnisse: (a) Median±Quantile der Bruchflächendistanz von Femur
1; (b) Median±Quantile des Rotationsfehlers von Femur 1; (c)-(d) analoge Graphen für
Femur 2; (e)-(f) analoge Graphen für die Hauptfragmente von Femur 3.

110 Kapitel 5. Anwendungen und Einsatzgebiete
Femur 4
Femur 5
Femur 6
Initallage segmentierte Bruchfläche Ergebnis
Abbildung 5.9 Drei Kunstknochen, rekonstruiert aus Standard-CTs: (Links) initiale Lage;
(Mitte) berechnete Achsen und segmentierte Bruchflächen; (Rechts) Matching-Ergebnisse.

5.1. Anwendungen in der Chirurgie 111
mittlere Bruchflächendistanz [mm]
mittlere Bruchflächendistanz [mm]
mittlere Bruchflächendistanz [mm]
3,5
3
2,5
2
1,5
1
0,5
0
0 0,5s 1s 1,5s 2s 2,5s
3,5
3
2,5
2
1,5
1
0,5
Rotationsfehler
10°
9°
8°
7°
6°
5°
4°
3°
2°
1°
0°
0 0,5s 1s 1,5s 2s 2,5s
(a) (b)
0
0 0,5s 1s 1,5s 2s 2,5s
3,5
3
2,5
2
1,5
1
0,5
Rotationsfehler
10°
9°
8°
7°
6°
5°
4°
3°
2°
1°
0°
0 0,5s 1s 1,5s 2s 2,5s
(c) (d)
0
0 0,5s 1s 1,5s 2s 2,5s
Rotationsfehler
10°
9°
8°
7°
6°
5°
4°
3°
2°
1°
0°
0 0,5s 1s 1,5s 2s 2,5s
(e) (f)
Abbildung 5.10 Matching-Ergebnisse: (a) Median±Quantile der Bruchflächendistanz von Femur
4; (b) Median±Quantile des Rotationsfehlers von Femur 4; (c)-(d) analoge Graphen für
Femur 5; (e)-(f) analoge Graphen für zwei Fragmente von Femur 6.

112 Kapitel 5. Anwendungen und Einsatzgebiete
5.1.2 Repositionierung von gebrochenen Beckenknochen
Nach Tscherne H.; Pohlemann T. [84] sind fünf bis acht Prozent aller auftretenden Frakturen
Beckenverletzungen. Dies ist nicht zuletzt auf die hohe Anzahl an Verletzungen im
Straßenverkehr zurückzuführen. Neben der roboterassistierten Femurmarknagelung ist
auch eine Roboterunterstützung bei der Repositionierung von gebrochenen Becken sinnvoll
und vielversprechend, da sich ähnliche Genauigkeitsprobleme aufgrund der eingeschränkten
Röntgenansichten ergeben. Ein automatisches Zusammensetzen der Beckenfragmente
könnte auch hier die preoperative Operationsplanung stark vereinfachen und
selbstverständlich bereits vorhandene Systeme zur computerassistierten Beckenchirurgie
(siehe z.B. Hüfner [38]) sinnvoll ergänzen. Die Bruchfläche bei gebrochenen Beckenknochen
ist im Allgemeinen schmal und macht nur einen sehr geringen Teil der gesamten
Oberfläche aus. Wie bereits beschrieben, bringt eine einfache Kontakflächenmaximierung
meist die großen glatten Darmbeinschaufeln (siehe Abbildung 5.11) in Kontakt.
Deshalb muss auch in diesem Anwendungsfall zusätzliches a priori Wissen integriert
werden, damit der Matching-Ansatz aus Kapitel 4 funktioniert. Wie lässt sich nun das
Wissen über den spiegelsymmetrischen Aufbau des Beckens ausnutzen?
Abbildung 5.11 Das knöcherne Becken (Pelvis) des Menschen.

5.1. Anwendungen in der Chirurgie 113
Ausnutzung von Spiegelsymmetrien
Abbildung 5.12 veranschaulicht eine mögliche Vorgehensweise, mit der wir einfach eine
gute grobe Lageschätzung erhalten. Zuerst wird das größere Fragment an einer beliebigen
Ebene gespiegelt (z.B. an der YZ-Ebene durch invertieren der X-Koordinaten)
und anschließend mit seiner gespiegelten Kopie registriert. Das Registrierungsproblem
kann durch invertieren der Oberflächennormalen des gespiegelten Fragmentes in ein
3d-Puzzle-Problem überführt werden. Natürlich ist ein reales Becken nicht perfekt spiegelsymmetrisch.
Deshalb ist es wichtig, dass der Algorithmus robust gegenüber kleinen
Abweichungen von der Spiegelsymmetrie ist. Hierfür können beide Ansätze aus Kapitel
4 eins-zu-eins angewandt werden. Durch die Invertierung zeigen die Normalen in das
Innere des Fragmentes, wodurch für den Matching-Algorithmus nunmehr Innen“ und
”
” Außen“ vertauscht ist und das gespiegelte Fragment möglichst passgenau in das ungespiegelte
Fragment eingefügt wird. Als Ergebnis ergänzen sich die beiden Beckenteile
näherungsweise zu einem ganzen Becken. Man erhält die Symmetrieebene und einen
” virtuellen Behälter“, in den das zweite kleinere Fragment hinein passen muss.
Abbildung 5.13 veranschaulicht wie die Symmetrieebene berechnet werden kann. Bild (a)
zeigt das größere Beckenfragment A und das gespiegelte Fragment A, welches durch
Spiegelung an der YZ-Ebene des Referenzkoordinatensystems FA (bzw. durch Invertieren
der X-Koordinaten aller Oberflächenpunkte) entstanden ist. Nach der Spiegelung
sind die Referenzkoordinatensysteme beider Fragmente deckungsgleich FA = F A . Durch
die darauffolgende Registrierung, wird das Referenzkoordinatensystem F A transliert und
rotiert, so dass sich die Fragmente (wie in Abbildung 5.13 (b) dargestellt) zu einem ganzen
Becken ergänzen. Die implizit errechnete Symmetrieebene liegt nun genau zwischen
den beiden Referenzkoordinatensystemen und ist über die Ebenengleichung in Normal-
Abbildung 5.12 Ausnutzung von Spiegelsymmetrien am Beispiel eines Beckens

114 Kapitel 5. Anwendungen und Einsatzgebiete
(a) (b)
Abbildung 5.13 Zur Berechnung der Symmetrieebene: (a) Spiegelung des größeren Beckenfragments
A and der YZ-Ebene. (b) Nach der Registrierung des Beckenfragments mit seinem
gespiegelten Äquivalent A kann die Symmetrieebene aus der Lage der beiden Referenzkoordinatensysteme
FA und F A berechnet werden.
formdarstellung
gegeben, wobei
(�p − �pM) · �nM = 0 ; �p ∈ IR 3
�pM = �pA + �p A
2
dem Ortsvektor der Symmetrieebene und
�nM = �xA + �x A
|�xA + �x A |
(5.8)
(5.9)
(5.10)
der Normalen der Symmetrieebene entspricht. Das Einpassen des fehlenden Fragmentes
B in das innere von Fragment A kann wiederum mit dem gleichen 3d-Puzzle-Ansatz
erfolgen. Als Ergebnis erhält man ein grob zusammengesetztes Becken.
Die experimentellen Ergebnisse belegen das große Potenzial dieser Vorgehensweise. Die
folgenden Abbildungen zeigen die Spiegelsymmetrieregistrierung an acht unterschiedlich
frakturierten Kunststoffbecken, dessen Oberflächen aus Computertomogrammen rekonstruiert
wurden. Abbildung 5.14 zeigt die acht Testfrakturen in ihrer initialen Lage.
Die Fraktur verläuft jeweils durch unterschiedliche Bereiche des Beckens (durch Kreuzbein/Schambeinfuge,
Kreuzbein/Sitzbein, Darmbein/Schambeinfuge, Darmbein/Sitzbein
und Kreuzbein-Darmbein-Gelenk/Schambeinfuge). Abbildung 5.15 zeigt die Zwischenergebnisse
nach der Registrierung des jeweils größeren Fragments mit seinem gespiegelten
Gegenstück, sowie die dabei berechneten Symmetrieebenen.

5.1. Anwendungen in der Chirurgie 115
Abbildung 5.14 Acht Beckenfrakturen mit unterschiedlichen Frakturverläufen bestehen aus
jeweils ca. 64.000 Oberflächenpunkten.
Abbildung 5.15 Zwischenergebnisse nach der Registrierung des jeweils größeren Beckenfragments
mit seinem gespiegelten Äquivalent und die dabei berechneten Symmetrieebenen.
Die Ergebnisse nach der Registrierung des verbleibenden kleineren Fragmentes sind in
den Abbildungen 5.16 und 5.17 dargestellt. Die jeweils linke Spalte zeigt nochmals die initiale
Lage, die mittlere Spalte das auf Symmetrie basierende Registrierungsergebnis und
die rechte Spalte eine Detailansicht der Frakturregionen aus einer anderen Perspektive.
Da die Registrierungsergebnisse bisher einzig und allein auf dem Symmetriewissen basieren,
aber die Beckenknochen natürlich nicht perfekt symmetrisch aufgebaut sind, ist es
nicht verwunderlich, dass gewisse Ungenauigkeiten in den Endergebnissen zu beobachten
sind (siehe eingekreiste Frakturregionen in Abbildung 5.16 und 5.17). Deshalb sind
diese Lösungen auch nur als grobe Initiallösung für eine nachfolgende Feinausrichtung
zu verstehen. In diesem Verbesserungsschritt müssen insbesondere die Kreuzbeinlöcher
(Foramin sacralia) möglichst exakt ausgerichtet werden, falls der Bruch durch diese
Bereiche verläuft, da es sich hierbei um die Austrittslöcher der Nerven und Blutgefäße
handelt.

116 Kapitel 5. Anwendungen und Einsatzgebiete
Becken 1
Becken 2
Becken 3
Becken 4
Initallage Symmetrie-Match Detail
Abbildung 5.16 Auf Symmetrie basierende Registrierung von Becken 1-4: (Links) initiale
Lage; (Mitte) Registrierungsergebnisse; (Rechts) Detailansicht aus einer anderen Perspektive
mit eingekreisten Problemzonen.

5.1. Anwendungen in der Chirurgie 117
Becken 5
Becken 6
Becken 7
Becken 8
Initallage Symmetrie-Match Detail
Abbildung 5.17 Auf Symmetrie basierende Registrierung von Becken 5-8: (Links) initiale
Lage; (Mitte) Registrierungsergebnisse; (Rechts) Detailansicht aus einer anderen Perspektive
mit eingekreisten Problemzonen.

118 Kapitel 5. Anwendungen und Einsatzgebiete
Segmentierung der Bruchflächen und Feinausrichtung
Die berechnete grobe Lage soll nun verbessert werden. Eine direkte Anwendung des ICP-
Ansatzes zur Feinregistrierung führt leider in den meisten Fällen nicht zum Erfolg, da die
Bruchflächen sehr schmal sind und die grobe Lösung noch zu weit von der optimalen Lage
entfernt ist. Der ICP-Algorithmus zieht statt der Bruchflächen häufig die angrenzenden
intakten Flächen zusammen. Wie auch bei den Femurfragmenten kann das Problem
allerdings durch eine vorausgehende Segmentierung der Bruchflächen behoben werden.
Für die folgenden Berechnungen zur Segmentierung der Bruchflächen sei angenommen,
dass die beiden Beckenfragmente A und B, sowie das gespiegelte Fragment A (wie im vorherigem
Abschnitt erläutert) bereits grob ausgerichtet und alle Oberflächenpunkte und
-normalen entsprechend in ein gemeinsames Koordinatensystem transformiert wurden.
In der grob ausgerichteten Lage kann davon ausgegangen werden, dass die Bruchflächen
nicht allzu weit voneinander entfernt liegen. Im ersten Schritt werden deshalb diejenigen
Oberflächenpunkte bestimmt die eine geringe Distanz zum Gegenstück haben, denn
hierbei handelt es sich um potentielle Bruchflächenpunkte. In den Experimenten hat
sich eine maximale Distanz von 16 mm als ausreichend erwiesen. Im Folgenden können
wir damit die weiteren Berechnung auf die Teilmengen
�
Aclose = �a ∈ A | ∃� �
b ∈ B : ��pa − �pb� < 16 mm ,
� �
Bclose = �b ∈ B | ∃�a ∈ A : ��pb − �pa� < 16 mm (5.11)
beschränken. Bei der Beckenfraktur in Abbildung 5.18 sind die hierdurch ausgewählten
Oberflächenbereiche grau eingefärbt.
Um die Bruchfläche noch weiter einzuschränken, bestimmen wir als erstes Oberflächenbereiche
die nahe der Symmetrieebene liegen und ungefähr parallel zu dieser ausgerichtet
Abbildung 5.18 Beckenfraktur in grob ausgerichteter Lage, bei der diejenigen Oberflächenbereiche
grau eingefärbt sind, die eine geringe Distanz (< 16 mm) zum Gegenstück haben.

5.1. Anwendungen in der Chirurgie 119
(a) (b)
Abbildung 5.19 (a) Oberflächenbereiche von Fragment A, die nahe und parallel zu der Symmetrieebene
liegen sind blau eingefärbt. (b) Resultat der Bruchflächensegmentierung für Fragment
A.
sind:
Asym = {�a ∈ Aclose | (�pa − �pM) · �nM < εsym ∧ |�na · �nM| − 1 < εn}
� �
Bsym = �b ∈ Bclose | (�pb − �pM) · �nM < εsym ∧ |�nb · �nM| − 1 < εn
(5.12)
Wie in Abbildung 5.19 (a) zu sehen ist, werden hierdurch insbesondere eventuelle Bruchflächen
im Bereich der Schambeinfuge detektiert.
Für die Segmentierung der verbleibenden Bruchflächen muss zusätzlich die relative Lage
des gespiegelten Fragments A berücksichtigt werden. Die verbleibenden Bruchflächen
von Fragment A und B sind dadurch gekennzeichnet, dass sie keine Entsprechung im
gespiegelten Fragment A haben. Insbesondere sind die Bruchflächen nicht parallel zu
der Oberfläche von A ausgerichtet und können deshalb über
�
�
Aorth =
Borth =
�a ∈ Aclose | |�na · �nx| < 0, 6 mit �x := arg min ��pa − �py�
�y∈A
�
�
�b ∈ Bclose | |�nb · �nx| < 0, 6 mit �x := arg min ��pb − �py�
�y∈A
(5.13)
eingegrenzt werden. Die Vereinigung der Mengen aus (5.12) und (5.13) ergeben dann
die in Abbildung 5.19 (b) dargestellte Menge der segmentierten Bruchflächenpunkte
Afrac = Asym ∩ Aorth ,
Bfrac = Bsym ∩ Borth. (5.14)

120 Kapitel 5. Anwendungen und Einsatzgebiete
Becken 1
Becken 2
Becken 3
Becken 4
segmentierte Bruchfläche Matching-Ergebnis Detail
Abbildung 5.20 Feinausrichtung von Becken 1-4: (Links) segmentierte Bruchflächen blau eingefärbt;
(Mitte) Ergebnisse der Feinausrichtung; (Rechts) Detailansicht aus einer anderen Perspektive.

5.1. Anwendungen in der Chirurgie 121
Becken 5
Becken 6
Becken 7
Becken 8
segmentierte Bruchfläche Matching-Ergebnis Detail
Abbildung 5.21 Feinausrichtung von Becken 5-8: (Links) segmentierte Bruchflächen blau eingefärbt;
(Mitte) Ergebnisse der Feinausrichtung; (Rechts) Detailansicht aus einer anderen Perspektive.

122 Kapitel 5. Anwendungen und Einsatzgebiete
Tabelle 5.2 Matching-Ergebnisse der Beckenfrakturen nach jeweils 100 Durchläufen: Dargestellt
ist jeweils Mittelwert, Median, Minimum und Maximum der ’root-mean-square’-
Bruchflächendistanz (RMS-Dist.) und des Rotationsfehlers (Rot.) nach einer Gesamtlaufzeit
von 25 Sekunden (20 Sekunden Grobregistrierung + 5 Sekunden Feinausrichtung) pro Durchlauf.
mean median min max
Becken 1: RMS-Dist. [mm] 3,87 3,70 1,89 6,21
Rot. [ ◦ ] 2,79 2,81 1,18 4,35
Becken 2: RMS-Dist. [mm] 2,25 2,34 0,94 3,26
Rot. [ ◦ ] 2,04 2,12 0,55 3,24
Becken 3: RMS-Dist. [mm] 4,57 5,03 1,22 8,07
Rot. [ ◦ ] 2,38 2,61 0,51 4,26
Becken 4: RMS-Dist. [mm] 2,37 2,29 1,53 4,28
Rot. [ ◦ ] 1,72 1,58 0,71 2,97
Becken 5: RMS-Dist. [mm] 2,48 2,64 0,92 3,33
Rot. [ ◦ ] 1,57 1,59 0,70 2,18
Becken 6: RMS-Dist. [mm] 1,79 1,69 0,50 3,81
Rot. [ ◦ ] 1,69 1,74 0,73 2,79
Becken 7: RMS-Dist. [mm] 1,69 1,62 0,97 3,49
Rot. [ ◦ ] 1,80 1,78 0.64 3,08
Becken 8: RMS-Dist. [mm] 2,55 2,40 1,79 4,48
Rot. [ ◦ ] 1,40 0,62 0,01 6,28
Nachdem die Bruchflächen segmentiert wurden, können diese problemlos mit einem
Standardverfahren registriert werden. Neben dem ICP-Ansatz eignen sich auch hier
wieder die in Kapitel 4 vorgestellten Verfahren zur Lösung des 3d-Puzzle-Problems. Die
Abbildungen 5.20 und 5.21 zeigen die experimentellen Ergebnisse der Feinausrichtung
angewandt auf die acht Beckenfrakturen. Die linke Spalte zeigt jeweils die segmentierten
Bruchflächen, die mittlere Spalte das auf der Bruchfläche basierende Matching-Ergebnis
und die rechte Spalte eine Detailansicht der Frakturregionen aus einer anderen Perspektive.
Wie man sieht liegen nun die Bruchflächen nahtlos und passgenau aufeinander. Die
erreichten Genauigkeiten nach einer Gesamtberechnungszeit von 25 Sekunden sind in
Tabelle 5.2 zusammengefasst. Die mittlere rotatorische Abweichung zwischen Ist- und
Solllage liegt in allen Fällen unter drei Grad.
Das Wissen von Symmetrien macht in vielen Fällen ein korrektes Zusammenfügen überhaupt
erst möglich. Die vorgeschlagene Vorgehensweise macht nicht nur im Fall von
spiegelsymmetrischen Objekten Sinn, sondern kann auch eingesetzt werden, wenn es
ein zweites spiegelsymmetrisches Gegenstück gibt, wie z.B. einen zweiten spiegelsymmetrischen
Knochen. Da das Knochenskelett von Mensch und Tier im Allgemeinen

5.2. Anwendungen in der Archäologie 123
vollkommen symmetrisch aufgebaut ist, trifft dies auf sämtliche Knochen im Körper
zu. Die Ausnutzung von Spiegelsymmetrien in medizinischen Anwendungen ist nicht
neu. Allerdings musste bei Verfahren, die Spiegelsymmetrie ausnutzen, bis zum jetzigen
Zeitpunkt jeweils ein intaktes spiegelsymmetrisches Gegenstück vorliegen. Oftmals ist
diese Voraussetzung leider nicht gegeben (so sind z.B. bei Unfällen im Straßenverkehr
oft beide Beine betroffen). Im Gegensatz hierzu kann der vorgeschlagene Ansatz auch
eingesetzt werden, wenn beide Symmetrieteile gebrochen sind.
5.2 Anwendungen in der Archäologie
Neben dem Repositionieren von Knochen in der Chirurgie ist natürlich auch die Archäologie
äußerst interessiert an Verfahren, die das Zusammensetzen von zerbrochenen
Objekten unterstützen. Oftmals hat man es in der Archäologie mit zerbrochenen Töpferwaren
oder Keramiken zu tun. Die manuelle Rekonstruktion der vielen zersplitterten
Fundstücke aus den unzähligen kleinen Scherben ist eine nahezu unlösbare Aufgabe. In
den Archiven lagern die Scherben kistenweise. Bei den zerbrochenen Artefakten handelt
es sich häufig um wenige Zentimeter oder Millimeter starke, rotationssymmetrische
Behältnisse. Viele Lösungsansätze spezialisieren sich deshalb auf diese (nahezu zweidimensionalen)
Fragmente und stützen sich auf Bruchkanten, Texturen und Rotationssymmetrieeigenschaften
(siehe z.B. [17], [18], [27], [47], [48], [95]).
Diese Arbeit konzentriert sich jedoch primär auf das Zusammensetzen von dreidimensionalen
(massiven oder zumindest dickwandigen) Fragmenten mit entsprechend großer
Bruchfläche. Dennoch funktionieren die vorgestellten Ansätze selbstverständlich auch
für relativ dünnwandige Objekte, falls vorher die schmalen Bruchflächen segmentiert
wurden. Die Segmentierung der Bruchflächen von dünnwandigen Fragmenten ist im Allgemeinen
recht einfach. Hier kann das Wissen ausgenutzt werden, dass die intakten
Oberflächenregionen immer eine nahe gelegene und ungefähr parallele Oberfläche mit
entgegengesetzter Orientierung haben. Anders ausgedrückt: Die intakten Bereiche bilden
immer zwei gegenüberliegenden Oberflächen. Somit gehören all diejenigen orientierten
Oberflächenpunkte �a zur Bruchfläche, die keinen gegensätzlich orientierten Oberflächenpunkt
�x in ihrer lokalen Umgebung haben:
Afrac = {�a ∈ A | ∀�x ∈ A : (�na · �nx < −0.9 ∨ ��pa − �px� > dmax) } , (5.15)
wobei dmax die maximale Wanddicke des zerbrochenen Objekts angibt.
Abbildung 5.22 zeigt links eine künstlich in vier Teile zerbrochene Tasse, dessen Bruchfläche
mit dem oben beschriebenen Ansatz segmentiert wurde. Die erreichten Genauigkeiten
und Geschwindigkeiten sind in Tabelle 5.3 zusammengefasst. Wie an den Laufzeiten
zu sehen ist, findet der Algorithmus im Mittel bereits nach nur 3 bis 8 Millisekunden
gute Lösungen mit einer Genauigkeit von unter drei Grad. Diese enorme Geschwindigkeit
lässt sich einfach darauf zurückführen, dass die Anzahl der Oberflächenpunkte auf
der schmalen Bruchfläche sehr klein ist.

124 Kapitel 5. Anwendungen und Einsatzgebiete
Abbildung 5.22 (Links) künstlich zerbrochene Tasse mit segmentierter Bruchfläche (insgesamt
ca. 23.000 Punkten); (Rechts) Matching-Ergebnis.
Tabelle 5.3 Matching-Ergebnisse der zerbrochenen Tasse (Höhe 80 mm) nach 100 Durchläufen:
Dargestellt ist jeweils Mittelwert, Median, Minimum und Maximum der ’root-mean-square’-
Distanz (RMS-Dist.) und des Rotationsfehlers (Rot.) nach einer Laufzeit von 2 Sekunden pro
Durchlauf, sowie die Laufzeit die benötigt wurde um einen Rotationsfehler von unter drei Grad
zu erreichen.
Fragmente mean median min max
A+B: RMS-Dist. [mm] 0,53 0,47 0,47 0,65
Rot. [ ◦ ] 2,31 2,10 1,78 3,02
Zeit [s] 0,003 0,004 0,002 0,005
A+C: RMS-Dist. [mm] 0,48 0,48 0,42 0,64
Rot. [ ◦ ] 0,63 0,68 0,26 0,87
Zeit [s] 0,006 0,007 0,002 0,014
C+D: RMS-Dist. [mm] 0,43 0,43 0,42 0,43
Rot. [ ◦ ] 1,90 1,87 1,85 1,97
Zeit [s] 0,008 0,008 0,001 0,019

5.2. Anwendungen in der Archäologie 125
Abbildung 5.23 Anwendung des Femur-Matching-Ansatzes auf einen zerbrochen Quader:
(Oben links) initiale Lage; (Oben rechts) berechnete Achsen und segmentierte Bruchflächen;
(Unten) Matching-Ergebnis.
Ein gutes Beispiel für die Nützlichkeit von Verfahren für dickwandige dreidimensionale
Fragmente ist die ” Forma Urbis Romae“, eine über 2000 Jahre alte Marmorplatte
mit einem historischen Stadtplan von Rom. Auf dem ca 18x14 Meter großen, detaillierten
Stadtplan sind alle Straßen, alle Gebäude im Grundriss und alle Treppen der
Stadt eingraviert. Die Platte wurde jedoch im 15ten Jahrhundert beim Fall des Römischen
Imperiums zerstört und ist in über tausend Teile zerbrochen. Die Rekonstruktion
dieses Puzzles ist noch immer eines der großen ungelösten Probleme der klassischen Archäologie.
Seit 1998 wird versucht, die Fragmente computergestützt zusammenzusetzen.
Hierfür wurden alle gefundenen Fragmente per Laserscanner digitalisiert (siehe Levoy
[56]); doch bisher konnte nur ein sehr kleiner Teil rekonstruiert werden. Sicherlich kann
und sollte auch bei der Marmorplatte zusätzliches Vorwissen genutzt werden. Da es sich
hierbei um einen nahezu gleichmäßig dicken Quader handelt, können die Bruchflächen
und Bruchkanten leicht segmentiert werden. Leider waren die hochaufgelösten digitalen
Fragmente bisher nicht öffentlich zugänglich. Abbildung 5.23 zeigt exemplarisch das Ergebnis
des ’Random Sample Matching’-Ansatzes anhand eines künstlich zerbrochenen
und verrauschten Steinquaders. Die Bruchfläche konnte in diesem Fall mit dem gleichen
Ansatz, der auch für die Femurfragmente verwendet wurde, segmentiert werden.

126 Kapitel 5. Anwendungen und Einsatzgebiete
Natürlich liefert auch die Gravur viele Merkmale die beim Zusammensetzen ausgenutzt
werden sollten. Die Integration dieses ” texturiellen“ Vorwissens wurde hier jedoch nicht
vorgenommen und bleibt zukünftigen Arbeiten vorbehalten.
5.3 Registrierung von Oberflächendaten
Ein klassisches Problem der 3d-Bildverarbeitung ist die Registrierung oder Fusionierung
von Oberflächendaten, die per Tiefensensor (z.B. Laserscanner oder Codierter-Licht-
Ansatz) akquiriert wurden. Im Allgemeinen können die Sensoren nur die sichtbaren
Oberflächen erfassen. Um ein komplettes 360 ◦ -Rundummodell zu erhalten, müssen also
die aus verschiedenen Sichtrichtungen gewonnenen Oberflächen in ein gemeinsames Koordinatensystem
gebracht und relativ zueinander so ausgerichtet werden, dass die mehr
oder weniger überlappenden Oberflächenränder aufeinander passen. In den meisten aus
der Literatur bekannten Verfahren (wie z.B. dem ICP-Ansatz) wird davon ausgegangen,
dass bereits eine recht gute Schätzung der relativen Lage vorliegt. Denkbar ist zum
Beispiel, dass der ungefähre Rotationswinkel, mit dem das Objekt weitergedreht wurde,
bekannt ist. Eine Feinregistrierung muss in diesem Fall nur noch kleine Kalibrierungsungenauigkeiten
durch eine iterative Optimierung ausgleichen.
Im Gegensatz hierzu arbeiten die hier vorgestellten Verfahren auch ohne initiale Lageschätzung
und erlauben somit eine höhere Flexibilität bei der Akquisitionstechnik. Abbildung
5.24 zeigt vier akquirierte Oberflächen einer Beethoven-Büste (170 mm hoch).
Die Oberflächen wurden per Triangulation mit der manuell geführten Laserschnitttechnik
aus Kapitel 2.1.1 vermessen. Wie man sehen kann, sind die Oberflächen verrauscht
und decken jeweils nur einen Teil der Gesamtoberfläche des Objektes ab. Die einzelnen
Oberflächen der Büste bestehen aus jeweils ca. 60.000 Punkten und weisen eine
Oberflächenüberlappung von ca. 35 % auf. Die akquirierte Oberflächen eines zweiten
Testobjekts (145 mm hoch) sind in Abbildung 5.25 dargestellt.
Ziel ist es nun, die jeweils vier Datensätze eines Objektes zu registrieren, also in die
richtige räumliche Lage zueinander zu bringen. Hierzu kann z.B. der ’Random Sample
Matching’-Ansatz aus Kapitel 4.3 auf die Daten angewandt werden. Da ein Durchdringungstest
in diesem Fall nicht notwendig ist, setzten wir die Gütestrafe auf Null.
Außerdem müssen (wie bereits bei den gebrochenen Beckenknochen) die Oberflächennormalen
von jeweils einem Fragment invertiert werden, damit aus dem 3d-Puzzle-Problem
ein Registrierungsproblem wird. Abbildung 5.26 zeigt das Ergebnis der paarweisen Registrierung
der Beethoven-Büste. Dieses Ergebnis wird bereits nach wenigen Sekunden
erreicht. Um die Registrierungsgenauigkeiten zu evaluieren, ist die Kenntnis der exakten
Solllage notwendig. Aus diesem Grund wurden die Objekte zwischen den 3d-Aufnahmen
mit einem präzisen Drehteller gedreht. Die erreichten Genauigkeiten sind in Tabelle 5.4
zusammengefasst. Bei der dargestellten RMS-Distanz (engl. ’root-mean-square distance’)
handelt es sich um die Wurzel des mittleren quadratischen Fehlers zwischen Ist- und
Solllage der Oberflächenpunkte im Überlappungsbereich. Die hervorragende Performanz
des Matching-Ansatzes in diesem Anwendungsfall wird in Abbildung 5.27 deutlich. Dar-

5.3. Registrierung von Oberflächendaten 127
gestellt ist die erreichte RMS-Distanz (a) und der Rotationsfehler (b) über der Zeit
im Fall der Registrierung zweier Oberflächenfragmente der Beethoven-Büste. Wie man
hier ablesen kann, haben bereits nach 0,5 Sekunden 70 % aller Versuchsdurchläufe einen
rotatorischen Fehler von unter drei Grad erreicht. Das Laufzeitverhalten der anderen
Oberflächenfragmente ist ähnlich gut. Die Ergebnisse der Oberflächenregistrierung für
das zweite Testobjekt sind in Abbildung 5.28 dargestellt.
Im Fall von Punktwolken ist man nach der Ausrichtung der Datensätze bereits fertig.
Alle Oberflächenpunkte können nach Transformation in das gemeinsame Koordinatensystem
einfach in einer gemeinsamen Liste vereinigt werden. Im Fall von anderen Repräsentationsformen,
wie Dreiecksnetzen, ist noch eine Nachbearbeitung erforderlich, um
eine ordnungsgemäße Vernetzung der vereinigten Punktmengen herzustellen.

128 Kapitel 5. Anwendungen und Einsatzgebiete
Abbildung 5.24 Aus vier unterschiedlichen Sichtrichtungen akquirierte Oberfläche einer
Beethoven-Büste: (Oben) Frontalansicht; (Unten) Ansicht von unten.
Abbildung 5.25 Aus vier unterschiedlichen Sichtrichtungen akquirierte Oberfläche eines weiteren
Testobjektes: (Oben) Frontalansicht; (Unten) Ansicht von unten.

5.3. Registrierung von Oberflächendaten 129
(a) (b)
(c) (d) (e)
Abbildung 5.26 Ergebnis der Oberflächenregistrierung: (a) Frontalansicht und (b) Seitenansicht
der registrierten Oberflächen farblich unterschieden; (c) Kamerabild des Testobjektes;
(d) Frontalansicht und (e) Seitenansicht der registrierten Oberflächen in einheitlichem Grauton.

130 Kapitel 5. Anwendungen und Einsatzgebiete
Tabelle 5.4 Ergebnisse der Beethoven-Büste (Höhe 170 mm) nach 100 Registrierungsdurchläufen:
Dargestellt ist jeweils Mittelwert, Median, Minimum und Maximum der ’root-meansquare’-Distanz
(RMS-Dist.) und des Rotationsfehlers (Rot.) nach einer Gesamtlaufzeit von 20
Sekunden pro Durchlauf.
RMS−Dist. [mm]
6
5
4
3
2
1
Fragmente mean median min max
front/left: RMS-Dist. [mm] 0,93 0,91 0,45 1,76
Rot. [ ◦ ] 0,99 0,99 0,21 2,09
left/back: RMS-Dist. [mm] 2,07 1,83 0,44 6,84
Rot. [ ◦ ] 2,67 2,38 0,60 2,38
front/right: RMS-Dist. [mm] 1,24 1,18 0,50 2,55
0
0 0,5s 1s 1,5s 2s 2,5s
Rot. [ ◦ ] 1,21 1,12 0,10 2,63
Rotationsfehler
(a) (b)
10°
9°
8°
7°
6°
5°
4°
3°
2°
1°
0°
0 0,5s 1s 1,5s 2s 2,5s
Abbildung 5.27 Medan±Quantile von 100 Registrierungsdurchläufen zweier Oberflächen der
Beethoven-Büste: (a) ’root-mean-square’-Distanz über der Zeit; (b) Rotationsfehler über der
Zeit.

5.3. Registrierung von Oberflächendaten 131
(a) (b)
(c) (d) (e)
Abbildung 5.28 Ergebnis der Oberflächenregistrierung: (a) Frontalansicht und (b) Seitenansicht
der registrierten Oberflächen farblich unterschieden; (c) Kamerabild des Testobjektes;
(d) Frontalansicht und (e) Seitenansicht der registrierten Oberflächen in einheitlichem Grauton.

132 Kapitel 5. Anwendungen und Einsatzgebiete
5.4 Objekterkennung und Lageschätzung
Neben der Fusionierung von Tiefendaten kann die Oberflächenregistrierung auch zur
Erkennung von dreidimensionalen Objekten und zur Schätzung ihrer absoluten räumlichen
Lage verwendet werden. Für die Erkennung und Lageschätzung von 3d Objekten
gibt es unter anderem in der Robotik vielfältige Anwendungsmöglichkeiten. Insbesondere
der klassische ” Griff in die Kiste“ ist eine im industriellen Umfeld häufig gewünschte
Roboteranwendung, die aber bis dato in vielen Bereichen kaum zufriedenstellend gelöst
wurde. Das Ziel hierbei ist es, mit einem Roboter frei bewegliche Bauteile wohldefiniert
aus einer Kiste zu greifen. Da die räumliche Lage der sich überdeckenden Bauteile a priori
unbekannt ist, ist im ersten Schritt eine Erkennung der Bauteile und deren Raumlage
erforderlich. Eine mögliche Vorgehensweise ist die visuelle Erfassung der Bauteile per
Tiefensensor. In diesen Tiefenbildern können dann per Oberflächenregistrierung sowohl
die Bauteile erkannt, als auch simultan ihre räumliche Lage geschätzt werden. Hierzu
muss natürlich ein Oberflächenmodell aller einbezogenen Bauteile vorhanden sein. Da
die CAD-Daten der Bauteile im industriellen Umfeld meist ohnehin vorhanden sind,
stellt dies keine Einschränkung dar. Falls die Modelldaten jedoch nicht verfügbar sein
sollten, können sie auch vorab einzeln per Tiefensensor aufgenommen werden.
Durch eine einfache Oberflächenregistrierung können nun die Modelle in das Tiefenbild
der Szene eingepasst werden. Eine solche Vorgehensweise wurde für die Oberflächendaten
in Abbildung 5.29 durchgeführt. Die Abbildung zeigt links eine, per Laserscanner
aufgenommene, Testszene. Die Tiefendaten der Szene wurden nur aus einer einzelnen
Sichtrichtung aufgenommen und sind deshalb unvollständig. Zusätzlich wurden mit einem
CAD-System zwei Bauteile aus der Szene modelliert und können nun per Registrierung
in der Szene erkannt und an die richtige Stelle positioniert werden.
Abbildung 5.29 (Links) Per Laserscanner akquirierte Testszene mit verschiedenen Bauteilen;
(Rechts) CAD-Modelle von zwei Bauteilen aus der Testszene.

5.4. Objekterkennung und Lageschätzung 133
Abbildung 5.30 Ergebnis der Oberflächenregistrierung zur Objekterkennung und Lageschätzung
der Bauteile.
Wie die Registrierungsergebnisse in Abbildung 5.30 zeigen, können hiermit beide Bauteile,
trotz geringer Oberflächenüberlappung, relative starkem Oberflächenrauschen und
Ausreißern, robust und korrekt in der Tiefenszene eingeordnet werden. Somit können
die Objekte mit dem vorgestellten Ansatz sowohl erkannt, als auch ihre räumliche Lage
bestimmt werden. Die erreichte Genauigkeit und die Laufzeiten für das erste Bauteil
sind exemplarisch in Abbildung 5.31 und Tabelle 5.5 wiedergegeben. Zur vollständigen
Lösung des ” Griff in die Kiste“-Problems muss natürlich anschließend noch eine
Greifplanung (Ermittlung eines gut zugänglichen und stabilen Ansatzpunktes für den
Robotergreifer) und eine Bahnplanung erfolgen. Interessanterweise könnten die Ansätze
zur Lösung des 3d-Puzzle-Problems auch für die Greifplanung äußerst hilfreich sein, da
auch hier der Greifer einen stabilen und kollisionsfreien Oberflächenkontakt mit dem zu
greifenden Bauteil eingehen muss.

134 Kapitel 5. Anwendungen und Einsatzgebiete
Tabelle 5.5 Ergebnisse nach 100 Registrierungsdurchläufen des blauen Bauteils (Abmessung
150 × 52 × 40 mm): Mittelwert, Median, Minimum und Maximum der ’root-mean-square’-
Distanz (RMS-Dist.) und des Rotationsfehlers (Rot-Error) nach einer Gesamtlaufzeit von 10
Sekunden pro Durchlauf, sowie die Laufzeit, die benötigt wurde, um eine relative Transformation
mit eine RMS-Distanz von unter 3 mm zu finden.
mean median min max
RMS−Dist. [mm]
6
5
4
3
2
1
RMS-Dist. [mm] 0.99 0.94 0.34 1.92
Rot-Error [ ◦ ] 1.44 1.46 0.24 3.07
Zeit [ s ] 0.44 0.40 0.05 1.60
0
0 0,5s 1s 1,5s 2s 2,5s
Rotationsfehler
(a) (b)
10°
9°
8°
7°
6°
5°
4°
3°
2°
1°
0°
0 0,5s 1s 1,5s 2s 2,5s
Abbildung 5.31 Medan±Quantile von 100 Registrierungsdurchläufen des blauen Bauteils (Abmessung
150 × 52 × 40 mm): (a) ’root-mean-square’-Distanz über der Zeit; (b) Rotationsfehler
über der Zeit.

Kapitel 6
Zusammenfassung und Ausblick
Das Ziel dieser Arbeit war es, konkrete Methoden zum Lösen des 3d-Puzzle-Problems
vorzustellen. Obwohl das 3d-Puzzle-Problem dem klassischen Oberflächenregistrierungsproblem
sehr ähnlich ist, sind die bekannten Methoden nur begrenzt für das Zusammensetzen
von zerbrochenen Teilen geeignet. Aus diesem Grund wurden im Rahmen dieser
Arbeit eine Reihe von Bausteinen geschaffen, mit denen das 3d-Puzzle-Problem in ganz
unterschiedlichen Anwendungsfällen wesentlich effizienter und robuster gelöst werden
kann. Zusammengefasst liefert die Arbeit folgende neue Beiträge:
1. Mit der Tiefendatenakquisition per manuell geführtem Laser und der Gewinnung
von Oberflächennormalen aus Streifenmusterprojektionen, wurden zwei neue und
äußerst kostengünstige Ansätze zur Gewinnung von Oberflächendaten vorgestellt.
2. Das ’single shot’ Streifenprojektionsverfahren hat insbesondere den Vorteil, dass
einerseits nur ein kleiner und kostengünstiger Festmusterprojektor benötigt wird
und andererseits die Akquisition von dynamischen Szenen möglich ist.
3. Den Schwerpunkt dieser Arbeit bilden zwei neuartige Ansätze zur Maximierung
der Kontaktfläche zwischen Fragmenten. Diese Ansätze benötigen, im Gegensatz
zu vielen aus der Literatur bekannten Verfahren, weder eine initiale Lageschätzung,
noch spezielle Oberflächenmerkmale. Sie arbeiten auch bei geringer Oberflächenüberlappung
und vermeiden wenn nötig Objektdurchdringungen.
4. In der Vielzahl der Experimente haben sich die Matching-Ansätze als äußerst robust
gegenüber Oberflächenrauschen und Ausreißern erwiesen. Die außerordentliche
Effizienz der Ansätze ist allen bekannten und vergleichbaren Verfahren überlegen.
Selbst für große Datensätze wurden Laufzeiten von unter einer Sekunde
erreicht.
5. Die Leistungsfähigkeit der Verfahren wurde des weiteren anhand von verschiedenen
relevanten Anwendungsgebieten erfolgreich demonstriert. Insbesondere wurde
gezeigt, wie sich hiermit gebrochene Oberschenkel- und Beckenknochen durch Ausnutzung
von Symmetriewissen robust und präzise zusammensetzen lassen. Hierdurch
können in Zukunft Repositionierungsfehler weitestgehend vermieden und
die intraoperative Röntgenstrahlenbelastung für Patient und Chirurg verringert
135

136 Kapitel 6. Zusammenfassung und Ausblick
werden.
6. In diesem Zusammenhang wurde darüber hinaus ein neues Verfahren zur Ausnutzung
von Spiegelsymmetrien vorgestellt, welches nicht nur bei spiegelsymmetrischen
Objekten, sondern auch bei Vorhandensein eines spiegelsymmetrischen
Pendants (wie es bei allen Knochen im Skelett der Fall ist) einsetzbar ist. Im Gegensatz
zu bekannten Ansätzen kann diese Methode auch eingesetzt werden, wenn
beide Symmetrieteile gebrochen sind.
7. Schließlich wurde das große Potenzial der Verfahren in weiteren wichtigen Anwendungsgebieten,
wie das Zusammensetzen von archäologischen Artefakten, die Registrierung
von Oberflächendaten und die 3d Objekterkennung und Lageschätzung
demonstriert.
Mit den vorgeschlagen Anwendungsbeispielen sind jedoch selbstverständlich noch längst
nicht alle denkbaren Einsatzgebiete ausgeschöpft. Ein wichtiges und dem hier vorgestellten
3d-Puzzle-Problem konzeptionell sehr ähnliches Anwendungsgebiet ist sicherlich das
Protein-Docking. Die Interaktion zwischen Proteinen spielt bei vielen biochemischen
Vorgängen eine wichtige Rolle. Zwei Proteine können eine feste Verbindung eingehen,
wenn sie eine hohe Affinität aufweisen. Hierzu zählt insbesondere die geometrische Komplementarität
von großen Oberflächenbereichen. Ein wachsendes Forschungsinteresse gilt
deshalb der Vorhersage von Proteininteraktionen unter Ausnutzung der dreidimensionalen
Gestalt (siehe z.B. Smith & Sternberg [80] und Via et al. [86]). Diese Vorhersagemethoden
versprechen neue Möglichkeiten bei der Erstellung von Medikamenten und
bei der Behandlung von Krankheiten. Abbildung 6.1 zeigt einen ersten Versuch die hier
entwickelten Methoden für das Protein-Docking einzusetzen. In der Abbildung sind zwei
unterschiedliche Lagehypothesen zwischen den Proteinen ’1s0q’ und ’1pit’ zu sehen, von
denen bekannt ist, dass sie eine stabile Verbindung eingehen können. Allerdings werden
mit dem bisherigen Ansatz viele unterschiedliche Lagehypothesen mit einem ähnlichen
Gütemaß gefunden. Dies ist unter anderem darauf zurückzuführen, dass die geometrische
Komplementarität nur eine notwendige, aber nicht hinreichende Bedingung für die
Bildung von Proteinkomplexen ist. Die Proteine müssen auch chemisch (beispielsweise
bezüglich ihrer elektrostatischen Wechselwirkungen) komplementär sein. Außerdem
sind Proteine im allgemeinen nicht völlig starr, sondern haben bewegliche Elemente.
Hier bedarf es also noch weiterer Untersuchungen, um die bisherigen Methoden an die
spezifischen Eigenschaften von Proteinen anzupassen.
Im Hinblick auf zukünftige Arbeiten, ist vor allem das Matching von vielen Fragmenten
ein offenes, zu untersuchendes Problem. So wurden in dieser Arbeit bisher nur jeweils
zwei Fragmente paarweise zusammengefügt. Hiermit können zwar (wie gezeigt) auch
mehrere Fragmente effizient zu einem ganzen Objekt zusammengesetzt werden, aber
die Lösung ist möglicherweise im globalen Sinne nicht optimal. Zum Beispiel kann es
vorkommen, dass sich der Fehler von einem Fragment zum nächsten fortpflanzt. Ein anschauliches
Beispiel ist der in mehrere Teile zerbrochene Torus in Abbildung 6.2 (links).
Nach dem Zusammenfügen von Fragment A und Fragment B, sowie Fragment B und
Fragment C usw., passen das erste und das letzte Fragment nicht exakt zusammen.

Abbildung 6.1 Anwendungsbeispiel Protein-Docking: Zwei Lagehypothesen mit großem Oberflächenkontakt
zwischen den Proteinen ’1s0q’ und ’1pit’.
Abbildung 6.2 (Links) Beispiel zur Fehlerfortplanzung: Ein paarweises Zusammenfügen der
Torusfragmente A und B, B und C sowie C und D ergibt eine Lücke zwischen A und D;
(Rechts) Mögliche Kontaktgraphen zur Bildung von stabilen Lagehypothesen bei drei Fragmenten.
Eine Möglichkeit dieses Problem zu lösen, wäre eine nachfolgende globale Optimierung
bzw. Feinregistrierung. Bei drei oder mehr Fragmenten stellt sich auch die Frage, welche
Paarkombinationen gebildet werden sollen, denn es ist von vornherein nicht klar,
welches Fragment mit welchem zusammenpasst. Entweder gibt ein Benutzer diese Zusammengehörigkeiten
bzw. die Matching-Reihenfolge explizit an, oder es müssen alle
Paarkombinationen getestet und hieraus die beste Hypothesenkombination identifiziert
werden. Für jede Kombinationsmöglichkeit muss es also ein globales Gütemaß geben,
bei dem auch die globale Durchdringungsfreiheit berücksichtigt wird.
137

138 Kapitel 6. Zusammenfassung und Ausblick
Eine viel versprechende Alternative wäre ein globales Matching-Verfahren, das von vornherein
sämtliche Fragmente gleichzeitig betrachtet. Hierzu könnte ein Algorithmus eingesetzt
werden, der spezielle Lagehypothesen generiert und validiert, bei denen die relative
Lage aller Fragmente festgelegt ist. Anstatt zwei tangentiale Kontaktpunkte zwischen
jeweils zwei Fragmenten anzunehmen, würde z.B. im Fall von drei Fragmenten ein tangentialer
Kontakt zwischen Fragment A und B, sowie jeweils ein tangentialer Kontakt
zwischen Fragment B und C und zwischen C und A ausreichen (also nur drei anstatt
vier Kontaktpunkte). Dies führt letztendlich auf die Generierung von stabilen zyklischen
Pfaden in einem Graphen (siehe Abbildung 6.2 (rechts)), bei dem die Knoten des
Graphen für die Fragmente und die Kanten des Graphen für die Kontaktpunkte stehen.
Im Fall von vielen Fragmenten ist auch noch offen, wie das inhärente Problem der exponentiell
wachsenden Komplexität gelöst werden kann. Allerdings kann die herausragende
Effizienz der vorgeschlagenen Matching-Strategien als ein essenzieller Schritt in Richtung
eines effizienten Multi-Fragment-Matching angesehen werden.
Natürlich gibt es noch viel Potenzial für weitere Verbesserungen und Erweiterungen.
Alles in allem sind jedoch die vorgestellten Lösungsansätze bereits äußerst nützlich und
bilden eine solide Basis für den praktischen Einsatz in vielen Anwendungsgebieten.

Ö��Ö�ÔÐ��Ñ�ÒØ×
Anhang A
Zur Oberflächennormalengewinnung:
Ungenauigkeiten bei perspektivischer
Projektion
In Kapitel 2.2 wurde ein Verfahren zur Akquisition von Oberflächennormalen per Streifenmusterprojektion
vorgestellt. Hierbei wird sowohl beim Ansatz mittels ’LookUp’-
Tabelle, als auch beim mathematischen Ansatz zur Bestimmung der Oberflächennormalen,
von einem parallel projizierenden Projektor ausgegangen. Falls jedoch kein parallel
projizierender, sondern ein üblicher perspektivisch projizierender Streifenlichtprojektor
verwendet wird, entstehen Ungenauigkeiten bei der Normalenberechnung. Die linke Seite
von Abbildung A.1 veranschaulicht den Unterschied der Parallelprojektion gegenüber
der Zentralprojektion. Werden die Streifen senkrecht auf eine Fläche projiziert, sind sowohl
im parallelen Fall, als auch im perspektivischen Fall die projizierten Streifen auf
der Fläche parallel zueinander. Je weiter jedoch die Fläche geneigt wird, desto mehr
divergieren die projizierten Streifen bei der Zentralprojektion in unterschiedliche Rich-
Ô�Ö�ÐÐ�Ð�ÈÖÓ���Ø�ÓÒ
Ô�Ö×Ô��Ø�Ú�×��ÈÖÓ���Ø�ÓÒ
Projektor
Kamera
γ
α
139
neigbare Ebene
Abbildung A.1 (Links) Unterschied zwischen einem parallelen und einem perspektivischen
Projektor bei Projektion eines Streifenmusters auf eine geneigte Oberfläche; (Rechts) Modell
zur Analyse des durch perspektivische Projektion verursachten Fehlers.

140 Anhang A. Ungenauigkeiten bei perspektivischer Projektion
tungen, während sie bei der Parallelprojektion weiterhin parallel verlaufen. Da bei der
Berechnung der Oberflächennormale nicht die Streifennummer (des Beleuchtungsmusters)
bekannt ist, muss von einer mittleren Streifenprojektionsrichtung ausgegangen werden,
was zu einer Abweichung der berechneten Normalen gegenüber der tatsächlichen
Oberflächennormalen führt. Die Ungenauigkeiten bei der Oberflächennormalenberechnung
sind von verschiedenen Einflussfaktoren abhängig. Zum einen spielt die Brennweite
des Projektors eine wichtige Rolle: Je größer die Brennweite, desto mehr nähert sich die
Streifenprojektion dem angenommenen parallelen Fall an und desto genauer wird die
Berechnung. Abhängig von der Brennweite verändert sich der Streifenwinkel auf der
Oberfläche, je weiter der Streifen am Projektionsrand liegt. Anders ausgedrückt erhöht
sich der Berechnungsfehler, je stärker die Streifenprojektionsrichtung von der zentralen
Projektionsrichtung des Projektors abweicht. Des weiteren verstärkt sich der Winkelunterschied
der Streifen, je weiter sich die Oberfläche von der senkrechten Lage weg
neigt. Die Ungenauigkeiten sind also abhängig von der Oberflächenneigung. Außerdem
sind sie natürlich auch abhängig von dem verwendeten Abstand zwischen Projektor und
Kamera oder genauer gesagt vom Winkel zwischen Projektoions- und Kamerablickrichtung.
Dieser relative Kamerablickwinkel wirkt sich natürlich nicht auf die 3d Lage der
projizierten Streifen auf der Oberfläche aus; er nimmt jedoch Einfluss auf die Winkel
der Streifen im Kamerabild. Im Folgenden wird ein einfaches Modell zur Bestimmung
des oben beschriebenen Fehlers bei der Oberflächennormalenberechnung vorgestellt und
ausgewertet.
Die rechte Seite von Abbildung A.1 zeigt die Parameter des Modells. Das Streifenmuster
wird horizontal auf eine planare Oberfläche mit dem Neigungswinkel α projiziert. Der
Abstand der Kamera zum Projektor und somit auch der Winkel zwischen Projektionsund
Kamerablickrichtung γ lässt sich frei einstellen. Der Abstand von Kamera und Projektor
zur Oberfläche ist konstant und proportional zur Brennweite. Die Projektionsrichtung
des betrachteten Streifens gegenüber der zentralen Projektionsrichtung ist mit
δ angegeben; der Winkel zwischen dem Minimalen und Maximalen δ entspricht somit
dem Öffnungswinkel des Projektors. Alle oben aufgeführten Einflussgrößen sind damit
im Modell abgebildet. Abbildung A.2 zeigt die Abweichung des Winkels zwischen gemessener
und realer Oberflächenormale in Abhängigkeit von der Oberflächenneigung α
und der Beleuchtungsrichtungsabweichung δ. Der Winkel γ zwischen Projektions- und
Kamerablickrichtung wurde jeweils konstant gehalten. Die schrittweise Änderung der
Beleuchtungsrichtungsabweichung δ liefert eine Kurvenschar. Das linke Diagramm in
Abbildung A.2 zeigt die Kurvenschar bei einem festen Blickwinkel von γ = 30 ◦ , das
rechte Diagramm die Kurvenschar bei einem Blickwinkel von γ = 45 ◦ . Die δ-Kurven
decken insgesamt einen Winkelbereich von -10 ◦ bis +10 ◦ ab, was einem realistischen
Projektoröffnungswinkel von 20 ◦ entspricht. Die Fehlerkurven fallen ab, wenn die Ebene
sich dem Neigungswinkel α = 90 ◦ nähert. Das liegt daran, dass die Ebene sich hierdurch
von der Kamerasicht weg neigt, was letztendlich zu einer Seitenansicht der Ebene
führt und damit alle Streifen zu einer Linie im Kamerabild konvergieren. Die maximale
Abweichung der Oberflächennormale ist am Rand des Projektionsmusters festzustellen
und beträgt 9, 7 ◦ bei einem Blickwinkel von γ = 30 ◦ und 5, 2 ◦ bei einem Blickwinkel von
γ = 45 ◦ . Allgemein kann man sagen, je größer der Winkel zwischen Projektions- und

Abbildung A.2 Horizontale Abweichung der Oberflächennormale unter einem Blickwinkel von
γ = 30 ◦ (oben) und γ = 45 ◦ (unten).
141

142 Anhang A. Ungenauigkeiten bei perspektivischer Projektion
Kamerablickrichtung ist, desto besser wird der Fehler bei kurzen Brennweiten kompensiert.
Allerdings verringern sich bei großen Abständen zwischen Projektor und Kamera
die messbaren Oberflächenorientierungen, da immer mehr Oberflächen mit projizierten
Streifen von der Kamerasichtrichtung abgewandt sind, während sichtbare Oberflächen
aus analogen Gründen nicht vom Projektor beleuchtet werden. Es besteht also ein Zielkonflikt
zwischen Qualität und Quantität der berechenbaren Oberflächennormalen.

Anhang B
Ergänzungen zu den experimentellen
Ergebnissen
Bruchflächendistanz bzgl. Durchmesser
Bruchflächendistanz bzgl. Durchmesser
70%
60%
50%
40%
30%
20%
10%
Venus − Normalenberechnungsradius 1:
0%
0 0,5s 1s 1,5s 2s 2,5s 3s
70%
60%
50%
40%
30%
20%
10%
Venus − Normalenberechnungsradius 3:
0%
0 0,5s 1s 1,5s 2s 2,5s 3s
Bruchflächendistanz bzgl. Durchmesser
Bruchflächendistanz bzgl. Durchmesser
70%
60%
50%
40%
30%
20%
10%
143
Venus − Normalenberechnungsradius 2:
0%
0 0,5s 1s 1,5s 2s 2,5s 3s
70%
60%
50%
40%
30%
20%
10%
Venus − Normalenberechnungsradius 5:
0%
0 0,5s 1s 1,5s 2s 2,5s 3s
Abbildung B.1 Ergänzende Messpunkte zu Abbildung 4.10, Seite 69: Performanzgewinn durch
Vergrößerung des Operatorfensters bei der Berechnung von Oberflächennormalen.

144 Anhang B. Ergänzungen zu den experimentellen Ergebnissen
Bruchflächendistanz bzgl. Durchmesser
70%
60%
50%
40%
30%
20%
10%
Venus + 10% Rauschen:
0%
0 0,5s 1s 1,5s 2s 2,5s 3s
Bruchflächendistanz bzgl. Durchmesser
70%
60%
50%
40%
30%
20%
10%
Bruchflächendistanz bzgl. Durchmesser
70%
60%
50%
40%
30%
20%
10%
Venus + 50% Rauschen:
0%
0 0,5s 1s 1,5s 2s 2,5s 3s
Venus + 100% Rauschen:
0%
0 0,5s 1s 1,5s 2s 2,5s 3s 3,5s 4s 4,5s 5s
Abbildung B.2 Ergänzende Messpunkte zu Abbildung 4.11, Seite 71: Auswirkung von unterschiedlich
starkem additiven gaußschem Rauschen (Rauschstreuung prozentual zur mittleren
Punktdistanz) auf die Performanz.

Anhang C
Eigene Veröffentlichungen
• Westphal, R.; Gösling, T.; Oszwald, M.; Bredow, J.; Klepzig, D.;
Winkelbach, S.; Hüfner, T.; Krettek, C. and Wahl, F.: 3D Robot Assisted
Fracture Reduction. Accepted at 10th International Symposium on Experimental
Robotics 2006 (ISER ’06), Rio de Janeiro, Brazil, 2006.
• Winkelbach, S.; Molkenstruck, S.; Wahl, F.: Low-Cost Laser Range Scanner
and Fast Surface Registration Approach. In: Franke, K.; Müller, K.-R.; Nickolay,
B.; Schäfer, R. (Eds.): Pattern Recognition (DAGM 2006), Lecture Notes in
Computer Science 4174, Springer 2006, pp. 718–728. ∗
• Westphal, R.; Winkelbach, S.: Sensors, Medical Image and Signal Processing.
Managing Editors for the Yearbook Section on Sensor, Signal and Imaging
Informatics, IMIA Yearbook of Medical Informatics 2006.
• Westphal, R.; Winkelbach, S.; Gösling, T.; Hüfner, T.; Faulstich, J.;
Martin, P.; Krettek, C.; Wahl, F.: A Surgical Telemanipulator for Femur
Shaft Fracture Reduction. Accepted in: Int. J. of of Medical Robotics and Computer
Assisted Surgery, 2006.
∗ Hauptpreis der Deutschen Arbeitsgemeinschaft für Mustererkennung (DAGM e.V.).
145

146 Anhang C. Eigene Veröffentlichungen
• Kröger, T.; Finkemeyer, B.; Winkelbach, S.; Eble, L.; Molkenstruck,
S.; Wahl, F.: Demonstration of Multi-Sensor Integration in Industrial Manipulation
(Poster). Accepted at IEEE International Conference on Robotics and Automation,
Orlando, USA, 2006.
• Kröger, T.; Finkemeyer, B.; Winkelbach, S.; Eble, L.; Molkenstruck,
S. and Wahl, F.: Demonstration of Multi-Sensor Integration in Industrial Manipulation
(Video). Accepted at IEEE International Conference on Robotics and
Automation, Orlando, USA, 2006.
• Rilk, M.; Winkelbach, S.; Wahl, F.: Partikelfilter-basiertes Tracking chirurgischer
Instrumente in Endoskopbildern. Workshop Bildverarbeitung für die Medizin,
Hamburg, März, 2006.
• Winkelbach, S. and Wahl, F.: Cluster Tree Matching of 3D Fragmented Objects.
Technical Report 09-05-01, Institute for Robotics and Process Control, Technical
University of Braunschweig, September 2005.
• B. Ma; Winkelbach, S.; Lindenmaier, W.; Dittmar, K.E.J.: Six-color
Fluorescence Imaging of Lymphoid Tissue Based on Color Addition Theory. Accepted
in Acta Histochemica, 2005.
• Gösling, T.; Winkelbach, S.; Westphal, R.; Hüfner, T.; Wahl, F.;
Krettek, C.: Oberflächen-Matching als Basis anatomischer Achswiederherstellung
am Beispiel der Femurschaftfraktur. (Poster/Abstract) DGU 2004, 68. Jahrestagung
Deutsche Gesellschaft für Unfallchirurgie, Oktober 2004.
• Winkelbach, S.; Rilk, M., Schönfelder, C.; Wahl, F. M.: Fast Random
Sample Matching of 3d Fragments. In: Rasmussen, C. E.; Bülthoff, H. H.; Giese,
M. A.; Schölkopf, B.(Eds.): Pattern Recognition (DAGM 2004), Lecture Notes in
Computer Science 3175, Springer, Tübingen, Germany, August/September 2004,
pp. 129–136.
• Westphal, R.; Winkelbach, S.; Finkemeyer, B.; Wahl, F.; Gösling, T.;
Hüfner, T.; Faulstich, J.; Krettek, C.: Progress in Robot Assisted Fracture
Reduction. Video-Proceedings - IEEE, International Conference on Robotics and
Automation, New Orleans, USA, April 2004, Video.

• Winkelbach, S.; Westphal, R.; Gösling, T.: Automatic computation of
reposition parameters of fractured long bones based on CT-analysis. (Poster/Abstract)
CARS 2003, Proceedings of the 17th International Congress and Exhibition,
Computer Assisted Radiology and Surgery, International Congress Series 1256, June
2003, pp. 1348.
• Westphal, R.; Faulstich, J.; Gösling, T.; Winkelbach, S.;Hüfner, T.;
Krettek, C.; Wahl, F.: Fracture reduction using a telemanipulator with haptical
feedback. (Poster/Abstract) CARS 2003, Proceedings of the 17th International
Congress and Exhibition, Computer Assisted Radiology and Surgery, International
Congress Series 1256, June 2003, pp. 1369.
• Winkelbach, S.; Westphal, R.; Gösling, T.: Pose Estimation of Cylindrical
Fragments for Semi-automatic Bone Fracture Reduction. In: B. Michaelis, G. Krell
(Eds.): Pattern Recognition (DAGM 2003), Lecture Notes in Computer Science
2781, Springer, Magdeburg, Germany, September 2003, pp. 566–573.
• Winkelbach, S.; Wahl, F. M.: Shape from Single Stripe Pattern Illumination.
In: Luc Van Gool (Eds.): Pattern Recognition (DAGM 2002), Lecture Notes in
Computer Science 2449, Springer 2002, Zürich, pp. 240–247.
• Winkelbach, S.; Wahl, F.: Efficient Shape Recovery of Objects Illuminated
with one Single Bar Pattern. Technical Report 02-02-01, Institute for Robotics and
Process Control, Technical University of Braunschweig, 2002.
• Winkelbach, S.; Wahl, F.: Gradienten basierte Rekonstruktion von 3D-Oberflächen.
Technischer Bericht 04-01-01, Institut für Robotik und Prozessinformatik,
Technische Universität Braunschweig, 2001.
• Winkelbach, S.; Wahl, F.: Shape from 2D Edge Gradients. In: Radig, Florczyk
(Eds.): Pattern Recognition (DAGM 2001), Lecture Notes in Computer Science
2191, Springer 2001, Munich, pp. 377–384. †
• Winkelbach, S.: Gradienten basierte Rekonstruktion von 3D Oberflächen.
Diplomarbeit, Institut für Robotik und Prozessinformatik, Technische Universität
Braunschweig, 21. Mai 2001. ‡
† Hauptpreis der Deutschen Arbeitsgemeinschaft für Mustererkennung (DAGM e.V.).
‡ Jubiläumspreis (1.Platz) der Siegfried Werth Stiftung zur Förderung der optischen Messtechnik
147

148 Anhang C. Eigene Veröffentlichungen
• Winkelbach, S.: 3D-Lagemessungen mit einem Laserlichtschnittsystem. Studienarbeit,
Institut für Robotik und Prozessinformatik, Technische Universität Braunschweig,
August 2000.

Literaturverzeichnis
[1] Alexa, M. ; Behr, J. ; Cohen-Or, D. ; Fleishman, S. ; Levin, D. ; Silva,
C. T.: Point Set Surfaces. In: IEEE Visualization, 2001, pp 21–28
[2] Altschuler, M. D. ; Altschuler, B. R. ; Taboada, J.: Measuring Surfaces
Space-Coded by a Laser-Projected Dot Matrix. In: SPIE Imaging Application for
Automated Industrial Inspection & Assembly 182 (1979), pp 187–191
[3] Altschuler, M. D. ; Altschuler, B. R. ; Taboada, J.: Laser Electro-Optic
System for Rapid Three-Dimensional (3D) Topographic Mapping of Surfaces. In:
Optical Engineering 20 (1981), No. 6, pp 953–961
[4] Asada, M. ; Ichikawa, H. ; Tsuji, S.: Determining of Surface Properties by
Projecting a Stripe Pattern. In: IEEE Proc. of ICPR’86, 1986, pp 1162–1164
[5] Ballard, D. H.: Generalizing the Hough transform to detect abitrary shapes.
In: Pattern Recognition 12 (1981), No. 2, pp 111–122
[6] Barequet, G. ; Sharir, M.: Partial surface matching by using directed footprints.
In: Proc. of the 12th annual symposium on Computational geometry, ACM
Press, 1996, pp 409–410
[7] Barequet, G. ; Sharir, M.: Partial Surface and Volume Matching in Three
Dimensions. In: IEEE Trans. Pattern Anal. Machine Intell. 19 (1997), No. 9
[8] Behrens, B. ; Rohr, K. ; Stiehl, H. S.: Using an Extended Hough Transformation
Combined with a Kalmann Filter to Segment Tubular Structures in 3D
Medical Images. In: Workshop Vision, Modeling, and Visualization 2001 (2001)
[9] Besl, P. J. ; McKay, N. D.: A Method for Registration of 3-D Shapes. In: IEEE
Trans. Pattern Anal. Machine Intell. 14 (1992), Februar, No. 2, pp 239–258
[10] Beyerer, J. ; León, F. P.: Die Radontransformation in der digitalen Bildverarbeitung.
In: at - Automatisierungstechnik 50 (2002), pp 472–480
[11] Blais, F.: Review of 20 Years Range Sensor Development. In: Journal of Electronic
Imaging 13 (2004), No. 1
[12] Campbell, R. J. ; Flynn, P. J.: A Survey of Free-Form Object Representation
and Recognition Techniques. In: Computer Vision and Image Understanding 81
(2001), pp 166–210
149

150 Literaturverzeichnis
[13] Chaperon, T. ; Goulette, F.: Extracting cylinders in full 3D data using a random
sampling method and the Gaussian image. In: Workshop Vision, Modeling,
and Visualization 2001 (2001)
[14] Chen, C.-S. ; Hung, Y.-P. ; Cheng, J.-B.: RANSAC-Based DARCES: A New
Approach to Fast Automatic Registration of Partially Overlapping Range Images.
In: IEEE Trans. Pattern Anal. Machine Intell. 21 (1999), No. 11, pp 1229–1234
[15] Chen, R. ; Weng, Z.: A Novel Shape Complementarity Scoring Function for
Protein-Protein Docking. In: Proteins -New York- 51 (2003), No. 3, pp 397–408
[16] Coleman, E. N. ; Jain, R.: Obtaining Shape of Textured and Specular Surfaces
using Four-Source Photometry. In: Computer Graphics and Image Processing 18
(1982), No. 4, pp 309–328
[17] Cooper, D. ; Willis, A. ; Andrews, S. ; Baker, J. ; Cao, Y. ; Han, D. ; Kang,
K. ; Kong, W. ; Leymarie, F. F. ; Orriols, X. ; et al.: Bayesian Pot-Assembly
from Fragments as Problems in Perceptual-Grouping and Geometric-Learning. In:
International Conference on Pattern Recognition 16 (2002), No. 3, pp 297–302
[18] da Gama Leitão, H. C. ; Stolfi, J.: A Multiscale Method for the Reassembly
of Two-Dimensional Fragmented Objects. In: IEEE Trans. Pattern Anal. Machine
Intell. 24 (2002), September, No. 9, pp 1239–1251
[19] Dalley, G. ; Flynn, P.: Pair-wise range image registration: a study in outlier
classification. In: Comput. Vis. Image Underst. 87 (2002), No. 1-3, pp 104–115
[20] Duda, R. O. ; Hart, P. E.: Use of the Hough transformation to detect lines and
curves in pictures. In: Communications od the ACM 15 (1972), No. 1, pp 11–15
[21] Faber, P. ; Fisher, B.: A Buyer’s Guide to Euclidean Elliptical Cylindrical and
Conical Surface Fitting. In: 12th BMVC, 2001, pp 521–530
[22] Fernandez-Recio, J. ; Totrov, M. ; Abagyan, R.: ICM-DISCO Docking by
Global Energy Optimization With Fully Flexible Side-Chains. In: Proteins -New
York- 52 (2003), No. 1, pp 113–117
[23] Fischler, M. A. ; Bolles, R. C.: Random sample consensus: a paradigm for
model fitting with applications to image analysis and automated cartography. In:
Communications of the ACM 24 (1981), Juni, No. 6, pp 381–395
[24] Frankot, R. T. ; Chellappa, R.: A Method for Enforcing Integrability in
Shape from Shading Algorithms. In: IEEE Trans. Pattern Anal. Machine Intell.
10 (1988), pp 439–451
[25] Friedman, J. H. ; Bentley, J. L. ; Finkel, R. A.: An Algorithm for Finding Best
Matches in Logarithmic Expected Time. In: ACM Transactions on Mathematical
Software 3 (1977), September, No. 3, pp 209–226
[26] Fuchs, H. ; Kedem, Z. ; Naylor, B.: On Visible Surface Generation by A Priori
Tree Structures. In: SIGGRAPH ’80 14 (1980), No. 3, pp 124–133

Literaturverzeichnis 151
[27] Goldberg, D. ; Malon, C. ; Bern, M.: A global approach to automatic solution
of jigsaw puzzles. In: Annual Symposium on Computational Geometry, ACM Press,
2002, pp 82–87
[28] Gray., F.: Pulse code communication. März 1953. – U.S. Patent 2,632,058
[29] Greenspan, M. A. ; Yurick, M.: Approximate K-D Tree Search for Efficient
ICP. In: International Conference on 3D Digital Imaging and Modeling (3DIM
2003), 2003, pp 442–228
[30] Grimson, W. E. L.: A Computer Implementation of a Theory of human stereo
vision / MIT Artificial Intelligence Laboratory. 1980 (AIM-565). – Technical
Report
[31] Gösling, T. ; Westphal, R. ; Faulstich, J. ; Sommer, K. ; Wahl, F. ;
Krettek, C. ; Hüfner, T.: Forces and torques during fracture reduction: Intraoperative
measurements in the femur. In: J Orthop Res. 24 (2006), Januar, No. 3,
pp 333–338
[32] Gösling, T. ; Winkelbach, S. ; Westphal, R. ; Hüfner, T. ; Wahl, F.
; Krettek, C.: Oberflächen-Matching als Basis anatomischer Achswiederherstellung
am Beispiel der Femurschaftfraktur. In: DGU 2004, 68. Jahrestagung
Deutsche Gesellschaft für Unfallchirurgie (Poster/Abstract), 2004
[33] Guskov, I. ; Vidimce, K. ; Sweldens, W. ; Schroder, P.: Normal Meshes. In:
SIGGRAPH ’200 (2000), pp 95–102
[34] Hall, E. L. ; Tio, J. B. K. ; MCPherson, C. A.: Measuring Curved Surfaces
for Robot Vision. In: Computer 15 (1982), No. 12, pp 42–54
[35] Hall, M. ; Warren, J.: Adaptive Polygonalization of Implicitly Defined Surfaces.
In: IEEE Computer Graphics and Applications Vol. 10, 1990, pp 33–42
[36] Hartigan, J. A. ; Wong, M. A.: A k-means clustering algorithm. In: Applied
Statistics 28 (1978), pp 100–108
[37] Hebert, M. ; Ponce, J.: New Method for Segmenting 3-D Scenes into Primitives.
In: IEEE 6th Int. Conf. on Pattern Recognition 2 (1982), pp 836–838
[38] Hüfner, T.: Computerassistierte Beckenchirurgy Präzisionsanalysen, Innovationen
und klinische Anwendungen, Medizinische Hochschule Hannover, Unfallchirurgische
Klinik, Habilitationsschrift, 2001
[39] Hoppe, H.: Progressive Meshes. In: SIGGRAPH ’96 (1996), pp 99–108
[40] Horn, B. K. P.: Robot Vision. MIT Press, 1986
[41] Horn, B. K. P.: Closed-form solution of absolute orientation using unit quaternions.
In: Optical Society of America Journal A 4 (1987), April, pp 629–642
[42] Hough, P. V. C.: Method and means for recognizing complex patterns. Dezember
1962. – U.S. Patent 3,069,654

152 Literaturverzeichnis
[43] Inokuchi, S. ; Sato, K. ; Matsuda, F.: Range-Imaging System for 3-D Object
Recognition. In: IEEE International Conference on Pattern Recognition, 1984, pp
806–808
[44] Johnson, A. ; Hebert, M.: Recognizing Objects by Matching Oriented Points.
In: Proc. IEEE Conf. Computer Vision and Pattern Recognition (CVPR’97), 1997,
pp 684–689
[45] Johnson, A. E. ; Hebert, M.: Control of Polygonal Mesh Resolution for 3-D
Computer Vision. In: Graphical models and image processing: GMIP 60 (1998),
Juli, No. 4, pp 261–285
[46] Kalender, W. A.: Computertomographie - Grundlagen, Gerätetechnologie, Bildqualität,
Anwendungen. München : Publicis MCD Verlag, 2000
[47] Kampel, M. ; Sablatnig, R.: Profile-based Pottery Reconstruction. In: Conference
on Computer Vision and Pattern Recognition Workshop 1 (2003), pp 4
[48] Kampel, M. ; Sablatnig, R.: Virtual reconstruction of broken and unbroken pottery.
In: International Conference on 3-D Digital Imaging and Modeling (3DIM),
2003, pp 318–325
[49] Karaçali, B. ; Snyder, W.: Reconstructing discontinuous surfaces from a given
gradient field using partial integrability. In: Computer Vision and Image Understanding
92 (2003), pp 78–111
[50] Klette, R. ; Schlüns, K.: Height data from gradient fields. In: Proc. Machine
Vision Applications, Architectures, and Systems Integration V, SPIE 2908, 1996,
pp 204–215
[51] Krebs, B. ; Korn, B. ; Wahl, F. M.: Plausibilistic preprocessing of sparse range
images. In: Proc. of the 8th International Conf. on Image Anal. and Processing
(ICIAP ’95), 1995, pp 361–366
[52] Krebs, B. ; Sieverding, P. ; Korn, B.: A fuzzy icp algorithm for 3d free form
object recognition. In: International Conf. on Pattern Recognition, 1996, pp 539–
543
[53] Krsek, P. ; Pajdla, T. ; Hlaváč, V.: Differential Invariants as the Base of
Triangulated Surface Registration. In: Computer Vision and Image Understanding
87 (2002), pp 27–38
[54] Lange, R. ; Seitz, P.: Solid-State Time-of-Flight. Range Camera. In: IEEE J.
Quantum Electronics 37 (2001), No. 3, pp 390––397
[55] Levin, D.: Mesh-Independent Surface Interpolation. In: Geometric Modeling for
Scientific Visualization, Springer, 2003, pp 21–28
[56] Levoy, M.: Scanning the Fragments of the Forma Urbis Romae, Stand: 19. Februar
2006. www.graphics.stanford.edu/projects/forma-urbis/

Literaturverzeichnis 153
[57] Linnainmaa, S. ; Harwood, D. ; Davis, L. S.: Pose Determination of a Three-
Dimensional Object Using Triangle Pairs. In: IEEE Trans. Pattern Anal. Machine
Intell. 10 (1988), September, No. 5, pp 634–647
[58] Lorensen, W. E. ; Cline, H. E.: Marching cubes: A high resolution 3D surface
construction algorithm. In: SIGGRAPH ’87: Proceedings of the 14th annual
conference on Computer graphics and interactive techniques, 1987, pp 163–169
[59] Marr, D. ; Poggio, T.: A Theory of Human Stereo Vision / MIT Artificial
Intelligence Laboratory. 1977 (AIM-451). – Technical Report
[60] Masuda, T.: A Robust Method for Registration and Segmentation of Multiple
Range Images. In: Computer Vision and Image Understanding 61 (1995), No. 3,
pp 295–307
[61] Merickel, M. ; Lundgram, J. ; Sorensen, T.: Cascade, an algorithm to reduce
the effect of mixed pixels. In: IEEE Conference of Computer Vision and Pattern
Recognition, 1983, pp 53–58
[62] Molkenstruck, S.: Manuell geführter 2,5d-Oberflächenscanner mit Online-
Laserkalibrierung, Institut für Robotik und Prozessinformatik, Technische Universität
Braunschweig, Germany, Studienarbeit, Betreuer: Winkelbach, S., 2004
[63] Montani, C. ; Scateni, R. ; Scopigno, R.: A modified look-up table for implicit
disambiguation of Marching Cubes. In: The Visual Computer 10 (1994), No. 6,
pp 353–355
[64] Olson, C. F.: Efficient Pose Clustering Using a Randomized Algorithm. In:
International Journal of Computer Vision 23 (1997), No. 2, pp 131–147
[65] Papaioannou, G. ; Karabassi, E.-A. ; Theoharis, T.: Reconstruction of
Three-Dimensional Objects through Matching of Their Parts. In: IEEE Trans.
Pattern Anal. Machine Intell. 24 (2002), No. 1, pp 114–124
[66] Papaioannou, G. ; Theoharis, T.: Fast Fragment Assemblage Using Boundary
Line and Surface Matching. In: IEEE/CVPR Workshop on Applicat. of Computer
Vision in Archaeology, 1999
[67] Payne, B. A. ; Toga, A. W.: Surface Mapping Brain Function on 3D Models.
In: IEEE Computer Graphics and Applications Vol. 10, 1990, pp 33–41
[68] Pipitone, F. J. ; Marshall, T. G.: A Wide-Field Scanning Triangulation Rangefinder
for Machine Vision. In: International Journal of Robotics Research 2
(1983), No. 1, pp 39–49
[69] Radon, J. H.: Über die Bestimmung von Funktionen durch ihre Integralwerte
längs gewisser Mannigfaltigkeiten. In: Berichte über die Verhandlungen der Königlich
Sächsischen Gesellschaft der Wissenschaften zu Leipzig Vol. Math. Phys.
Klasse 69, 1917, pp 262–277

154 Literaturverzeichnis
[70] Roth, E.: Untersuchung von Subpixelverfahren zur Steigerung der Antastgenauigkeit
optisch wirksamer Strukturen in Verbindung mit automatisch arbeitenden, fehlertoleranten
Strukturlageerkennungsverfahren, Friedrich-Schiller-Universität Jena,
Diss., 1993
[71] Rusinkiewicz, S. ; Levoy, M.: Efficient Variants of the ICP Algorithm. In:
International Conference on 3D Digital Imaging and Modeling (3DIM 2001), 2001,
pp 145–152
[72] Sappa, A. ; Restrepo-Specht, A. ; Devy, M.: Range Image Registration by
using an Edge-Based Representation. In: International Symposium on Intelligent
Robotic Systems (SIRS’01), 2001, pp 167–176
[73] Sato, K. ; Inokuchi, S.: Three-Dimensional Surface Measurement by Space
Encoding Range Imaging. In: Journal of Robotic Systems 2 (1985), No. 1, pp
27–39
[74] Schön, N. ; Häusler, G.: Automatic Coarse Registration of 3D Surfaces. In:
Vision, Modeling, and Visualization 2005, 2005, pp 71–178
[75] Schroeder, W. J. ; Martin, K. M. ; Lorensen, W. E.: The Visualization
Toolkit, second edition. Upper Saddle River, New Jersey : Prentice-Hall, 1998
[76] Seeger, S. ; Labourex, X.: Feature extraction and registration: An overview.
In: Principles of 3D Image Analysis and Synthesis (2000), pp 153–166
[77] Sharp, G. C. ; Lee, S. W. ; Wehe, D. K.: ICP Registration Using Invariant
Features. In: IEEE Trans. Pattern Anal. Machine Intell. 24 (2002), No. 1, pp
90–102
[78] Silva, L. ; Bellon, O. R. P. ; Boyer, K. L.: Precision Range Image Registration
Using a Robust Surface Interpenetration Measure and Enhanced Genetic
Algorithms. In: IEEE Trans. Pattern Anal. Machine Intell. (2005), pp 762–776
[79] Silva, L. ; Bellon, O. R. P. ; Boyer, K. L.: Machine Perception Artificial
Intelligence. Vol. 60: Robust Range Image Registration Using Genetic Algorithms
and the Surface Interpenetration Measure. World Scientific, 2005
[80] Smith, G. R. ; Sternberg, M. J.: Prediction of protein-protein interactions by
docking methods. In: Current Opinion in Structural Biology 12 (2002), No. 1, pp
28–35
[81] Stockman, G.: Object recognition and localization via pose clustering. In: Comput.
Vision Graph. Image Process. 40 (1987), No. 3, pp 361–387
[82] Sun, Y. ; Paik, J. ; Koschma, A. ; Page, D. L. ; Abidi, M. A.: Point Fingerprint:
A New 3-D Object Representation Scheme. In: IEEE Transactions on System,
Man, and Cybernetics 33 (2003), No. 4, pp 712–717
[83] Synbone AG: Clavadelerstrasse, 7270 Davos, Switzerland. www.synbone.ch

Literaturverzeichnis 155
[84] Tscherne H.; Pohlemann T. (Eds.): Becken und Acetabulum. Springer, 1998
(Tscherne Unfallchirurgie)
[85] Vanden Wyngaerd, J. ; Van Gool, L.: Automatic Crude Patch Registration:
Toward Automatic 3D Model Building. In: Computer Vision and Image Understanding
87 (2002), pp 8–26
[86] Via, A. ; Ferre, F. ; Brannetti, B. ; Helmer-Citterich, M.: Protein surface
similarities: a survey of methods to describe and compare protein surfaces. In:
Cellular and Molecular Life Sciences 57 (2000), No. 13/14, pp 1970–1977
[87] Wahl, E. ; Hillenbrand, U. ; Hirzinger, G.: Surflet-Pair-Relation Histograms:
A Statistical 3D-Shape Representation for Rapid Classification. In: Proc.
4th International Conf. on 3-D Digital Imaging and Modeling (3DIM’03), IEEE
Computer Society Press, 2003, pp 474–481
[88] Wahl, F. M.: A Coded Light Approach for 3-Dimensional (3D) Vision. 1984 (RZ
1452). – IBM Research Report
[89] Wahl, F. M.: A Coded Light Approach for Depth Map Acquisition. In: Hartmann,
G. (Eds.): Mustererkennung 1986, Springer, 1986, pp 12–17
[90] Weisstein, E. W.: Birthday Attack. From MathWorld–A Wolfram Web Resource.
http://mathworld.wolfram.com/BirthdayAttack.html
[91] Westphal, R. ; Faulstich, R. ; Gösling, T. ; Winkelbach, S. ; Hüfner, S.
; Krettek, T. ; Wahl, F. M.: Fracture reduction using a telemanipulator with
haptical feedback. In: Proceedings of the 17th International Congress and Exhibition,
Computer Assisted Radiology and Surgery (CARS 2003), Elsevier Science
Ltd, Juni 2003 (International Congress Series 1256), pp 1369
[92] Westphal, R. ; Winkelbach, S. ; Finkemeyer, B. ; Wahl, F. ; Gösling,
T. ; Hüfner, T. ; Faulstich, J. ; Krettek, C.: Progress in Robot Assisted
Fracture Reduction. In: Video-Proceedings - IEEE, International Conference on
Robotics and Automation. New Orleans, USA, 2004
[93] Westphal, R. ; Winkelbach, S. ; Gösling, T. ; Hüfner, T. ; Faulstich,
J. ; Martin, P. ; Krettek, C. ; Wahl, F.: A Surgical Telemanipulator for
Femur Shaft Fracture Reduction. In: Int. J. of of Medical Robotics and Computer
Assisted Surgery (accepted for publication) (2006)
[94] Wiley, W. C. ; McLaren, H.: Time-of-Flight Mass Spectrometer with Improved
Resolution. In: Review of Scientific Instruments 26 (1955), No. 12, pp 1150–1157
[95] Willis, A. ; Cooper, D.: Bayesian Assembly of 3D Axially Symmetric Shapes
from Fragments. In: IEEE Conference on Computer Vision and Pattern Recognition
1 (2004), pp 82–89
[96] Winkelbach, S.: Gradienten basierte Rekonstruktion von 3D Oberflächen, Institut
für Robotik und Prozessinformatik, Technische Universität Braunschweig,
Germany, Diplomarbeit, Betreuer: Wahl, F. M., 2001

156 Literaturverzeichnis
[97] Winkelbach, S. ; Molkenstruck, S. ; Wahl, F.: Low-Cost Laser Range Scanner
and Fast Surface Registration Approach. In: Franke K.; Müller K.-R.;
Nickolay B.; Schäfer R. (Eds.): Pattern Recognition, 28th DAGM Symposium
[98] Winkelbach, S. ; Rilk, M. ; Schönfelder, C. ; Wahl, F. M.: Fast Random
Sample Matching of 3d Fragments. In: B., Rasmussen C. E.; Bülthoff H. H.; Giese
H. H.; S. (Eds.): Pattern Recognition, 26th DAGM Symposium
[99] Winkelbach, S. ; Wahl, F. M.: Shape from 2D Edge Gradients. In: Radig
B.; Florczyk S. (Eds.): Pattern Recognition, 23th DAGM Symposium, Springer,
September 2001 (Lecture Notes in Computer Science 2191), pp 377–384
[100] Winkelbach, S. ; Westphal, R. ; Gösling, T.: Automatic Computation of
Reposition Parameters of Fractured Long Bones based on CT-analysis. In: Proc. of
the 17th International Congress and Exhibition, Computer Assisted Radiology and
Surgery (CARS 2003), Elsevier Science Ltd, Juni 2003 (International Congress
Series 1256), pp 1348
[101] Winkelbach, S. ; Westphal, R. ; Gösling, T.: Pose Estimation of Cylindrical
Fragments for Semi-automatic Bone Fracture Reduction. In: Michaelis
B.; Krell G. (Eds.): Pattern Recognition, 25th DAGM Symposium, Springer,
September 2003 (Lecture Notes in Computer Science 2781), pp 566–573
[102] Witkin, A. P.: Recovering Surface Shape and Orientation from Texture. In:
Artificial Intelligence 17 (1981), pp 17–45
[103] Woodham, R. J.: Analysing Images of Curved Surfaces. In: Artificial Intelligence
17 (1981), pp 117–140
[104] Wyvill, B. ; McPheeters, C. ; Wywill, G.: Data Structure for Soft Objects.
In: The Visual Computer Vol. 2, 1986, pp 227–234
[105] Yamany, S. M. ; Farag, A. A.: Surface Signatures: An Orientation Independent
Free-Form Surface Represenation Scheme for the Purpose of Objects Registration
and Matching. In: IEEE Trans. Pattern Anal. Machine Intell. 24 (2002), No. 8,
pp 1105–1120
[106] Zagorchev, L. ; Goshtasby, A.: A paintbrush laser range scanner. In: Computer
Vision and Image Understanding 101 (2006), pp 65–85

Index
2d Integration, 22
3d-Puzzle-Problem, 1, 39, 49
Achsschätzung, 101
Archäologie, 46, 123
Becken
-fraktur, 112
-knochen, 112
Bruchflächensegmentierung, 118
Bruchflächen
-distanz, 64
-segmentierung, 101, 118
Chirurgie, 97
Cluster Tree
Konstruktion, 82
Matching, 78
Clustering, 82
Codierter Lichtansatz, 10
Computertomographie, 31
Durchdringung, 53, 64, 82
Feinregistrierung, 41
Femur
-frakturen, 97
Achsschätzung, 101
Bruchflächensegmentierung, 101
Festmusterprojektor, 18
Fotometrische Mitte, 20
Fusion von Oberflächendaten, 126
Geburtstagsangriff, 60
Geburtstagsparadoxon, 60
geometrisch komplementär, 55
Gradientenkarte, 11
Gradientenoperatoren, 15
Gray-Code, 10
Grobregistrierung, 41
157
Hough-Transformation, 44, 58
Hypothesenakkumulation, 44
ICP, 41
Integration, 22
Isofläche, 33
Koheränz, 76
Kongruenzrelation
auf Cluster-Paaren, 87
auf Punktpaaren, 80
Kontaktkohärenz, 76
Korrespondenzproblem, 6
Lagehypothesen
Bewertung, 63, 88
Definition, 53, 87
Generierung, 59
high-level, 79, 86, 87
Lagekohärenz, 78
Lageschätzung, 132
Laserarray, 18
Laserscanner, 7
LookUp-Tabelle, 16
Marching Cube, 33
Merkmale, 42
Monte-Carlo, 63
Oberflächen
Gradient, 11, 23
Krümmungen, 42
Merkmale, 42, 59, 94
Normale, 11, 23, 51
Repräsentationsformen, 36
Oberschenkelknochen, siehe Femur
Objekterkennung, 132
orientierter Punkt, 51
pose clustering, 44

158 Index
Protein-Docking, 47, 136
Punktwolke, 51, 82
Quantile, 67
Radontransformation, 31
Random Sample Matching, 56
RANSAC
zur Detektion von Geraden, 56
zur Lösung des 3d-Puzzle-Problems, 58
zur Schätzung der Knochenachse, 102
Rauschen, 67
Registrierung, 39, 126
Relations
-intervall, 87
-tabelle, 60
-vektor, 87
spin image, 42
Stereo, 6
Streifenlichtprojektion, 12
subpixel, 20
subvoxel, 35
tangentialer Kontakt, 52
Tiefenbilder, 6
Triangulation, 6
Ueberlappungstypen, 39
Volumendaten, 31
Zentralschnitt-Theorem, 32