Dokument 1.pdf - Opus

Automatische Bildrestaurierung 

für faseroptische Systeme 

am Beispiel von Fiberskopen 

Der Technischen Fakultät der 

Universität Erlangen-Nürnberg 

zur Erlangung des Grades 

DOKTOR-INGENIEUR 

vorgelegt von 

Christian Winter 

Erlangen — 2008

ii 

Als Dissertation genehmigt von 

der Technischen Fakultät der 

Universität Erlangen-Nürnberg 

Tag der Einreichung: 2. April 2008 

Tag der Promotion: 10. Juli 2008 

Dekan: Prof. Dr.-Ing. Johannes Huber 

Berichterstatter: Prof. Dr.-Ing. Heinz Gerhäuser 

Prof. Dr.-Ing. Dietrich Paulus

Kurzfassung 

Ein flexibles Endoskop mit einem Bildleiter aus Glasfasern wird als Fiberskop (Fa- 

serendoskop) bezeichnet. Der Einsatz solcher faseroptischen Abbildungssysteme er- 

möglicht eine im wörtlichen Sinn flexible Begutachtung schwer zugänglicher Hohlräu- 

me über kleinste Zugangswege. Faserendoskope spielen insbesondere in der medizi- 

nischen Diagnostik, Behandlung und Forschung, sowie in der industriellen Qualitäts- 

prüfung und Instandhaltung eine tragende Rolle. Gegenüber starren, linsenoptischen 

Endoskopen und Videoendoskopen zeigen sie eine deutlich geringere Abbildungsqua- 

lität. Diese resultiert aus der Abtastung der Szene durch das bildleitende Faserbündel 

mit einer relativ geringen Anzahl an Einzelfasern (Größenordnung: 3.000 bis 30.000) 

und äußert sich besonders in Struktur- und Farbartefakten. Um der störenden Waben- 

struktur entgegenzuwirken, wird bislang in der Praxis eine optische Defokussierung 

durchgeführt oder in der Literatur der Einsatz einfacher digitaler Filter vorgeschlagen. 

Für eine Weiterverwendung von fiberskopischen Bilddaten als Grundlage einer räum- 

lichen Rekonstruktion, Bildanalyse oder zur Bewegungsstabilisierung fehlen bislang 

wissenschaftliche Untersuchungen bzw. praktikable Umsetzungen. 

Diese Arbeit greift Aspekte aus der Signaltheorie auf, um die Hintergründe der 

Abtastvorgänge im Fall der Faserübertragung theoretisch zu untermauern. Neben der 

Erweiterung von Filteransätzen wird zusätzlich auch die Interpolation im Ortraum mit 

einer automatischen Parametrisierung vorgeschlagen. Obwohl ein Vergleich dieser bei- 

den Signalräume der Filterung im Fall von Grauwertbildern eine höhere Restaurie- 

rungsgüte bescheinigt, erlangt die Interpolation dennoch ihre Bedeutung, wenn es um 

die Reduzierung von Farbartefakten geht. Durch direkten Zugriff auf den Bildsensor 

und Auswertung der Sensordaten werden diese Farbartefakten mit einer Erweiterung 

der Interpolation umgangen. Außerdem können durch die registrierte Bewegung meh- 

rerer Einzelaufnahmen Artefakte der Interpolation reduziert werden. Mittels Erhöhung 

der Anzahl von Abtastwerten kann sogar die Auflösung der resultierenden Bilder ge- 

steigert werden. Die Grenze dieser Auflösungssteigerung wird in der vorliegenden Ar- 

beit theoretisch hergeleitet. Zudem wird ein Verfahren vorgeschlagen, wie diese Gren- 

ze für ein faseroptisches Bildbündel messtechnisch abgeschätzt werden kann. 

iii

iv 

Bei der Realisierung der Algorithmen wird besonderer Wert auf die breite Nutzbar- 

keit gelegt, insbesondere für verschiedene Kombinationen von Faserendoskopen und 

Kameras, die sich jeweils in ihren technischen Spezifikationen wie Auflösung, Grö- 

ße und Verwendungszweck unterscheiden können. Ein physikalisch motiviertes Ab- 

bildungsmodell der Glasfaserübertragung erlaubt die Bereitstellung von Bilddaten als 

Grundwahrheit für den unmittelbaren Vergleich zwischen originalen und aufbereiteten 

Bilddaten. Mit diesem Modell ist es auch möglich, die Sensordaten einer Einchip- 

Kamera zu simulieren, auf denen der vorgestellte Ansatz zur farbartefaktfreien Inter- 

polation basiert. Auf der Basis von definierten Vergleichskriterien und einer geeigneten 

Zusammenstellung von Referenzbildern werden die vorgestellten Verfahren evaluiert 

und wichtige Aussagen experimentell untermauert.

Abstract 

A flexible endoscope with a fiber bundle for optical transmission is called fibersco- 

pe. The application of such fiber optic devices allows, in the literal sense, a flexible 

investigation of hardly accessible hollow cavities via small entries. Fiber endoscopes 

play an important role particularly in medical diagnosis, therapy and research, as well 

as in industrial quality inspection and machine maintenance. Compared to rigid, lens 

based endoscopes and videoscopes they have a substantially lower imaging quality. 

This follows from sampling of the scene by the fiber based image transmission with a 

relatively small amount of single fibers (around 3.000 to 30.000) and results in struc- 

tural and color artefacts. Until now to avoid this the defoccusion of optics or simple 

digital filterung are stated as standard methods both in literature and practice. For fur- 

ther use of fiberscopic images, for instance for 3d-reconstruction, image analysis or 

motion compensation, scientific evaluation and feasible implementations are currently 

missing. 

This work makes use of signal theory to substantiate the background of sampling 

for fiber optic transmission. Besides the extension of filter approaches it also proposes 

the auto-parametrization for an interpolation approach. Although the comparison of 

these two signal spaces certifies better results to the filter approach as long as gray- 

scale images are used, the interpolation approach shows its superiority with respect to 

reduction of color artefacts. By directly accessing and analyzing the sensor signals the- 

se color artefacts are avoided. Furthermore it is possible to reduce structural artefacts 

of interpolation by merging sampling data of a tracked motion sequence and even to 

increase the resolution by a higher number of samples. In this work, the limit for the 

latter super resolution approach is derived from theory and a measurement procedure 

to estimate this limit for a given fiber bundle is proposed. 

Regarding the development of algorithms, a special focus is placed on a broad 

applicability, especially for different combinations of fiberscopes and cameras which 

may differ in their technical specifications like resolution, size and intended use. A 

physically motivated transmission model provides ground truth image data for a direct 

comparison between original and processed versions. The model also simulates the 

v

vi 

sensor data of a single chip camera for use with the proposed approach of interpolation 

without color artefacts. Based on the definition of certain criteria and an appropriate set 

of reference images, the proposed approaches are evaluated and important conclusions 

are experimentally emphasized.

Inhaltsverzeichnis 

1 Einleitung 1 

1.1 Bedeutung der Endoskopie . . . . . . . . . . . . . . . . . . . . . . . 2 

1.2 Problemstellung und Zielsetzung . . . . . . . . . . . . . . . . . . . . 4 

2 Stand der Technik 11 

2.1 Historischer Weg der flexiblen Endoskopie . . . . . . . . . . . . . . . 11 

2.2 Anwendungen mit Faseroptik . . . . . . . . . . . . . . . . . . . . . . 13 

2.3 Eigenschaften von faseroptischen Systemen . . . . . . . . . . . . . . 18 

2.4 Methoden der Bildaufbereitung für die Endoskopie . . . . . . . . . . 28 

2.5 Bildrestaurierung faseroptischer Einzelaufnahmen . . . . . . . . . . . 31 

2.6 Auflösungssteigerung in bewegten Bildsequenzen . . . . . . . . . . . 37 

3 Eigener Beitrag 47 

3.1 Modellierung und Kalibrierung von Faseroptiken . . . . . . . . . . . 47 

3.2 Restaurierung einzelner Intensitätsbilder . . . . . . . . . . . . . . . . 60 

3.3 Artefaktreduzierende Farbinterpolation . . . . . . . . . . . . . . . . . 82 

3.4 Nachkalibrierung zur Systemstabilisierung . . . . . . . . . . . . . . . 85 

3.5 Superposition in fiberoptischen Bildsequenzen . . . . . . . . . . . . . 88 

3.6 Definition von Gütekriterien zur Evaluierung . . . . . . . . . . . . . 109 

4 Untersuchungen und Ergebnisse 123 

4.1 Übersicht über die verwendeten Geräte . . . . . . . . . . . . . . . . . 124 

vii

viii 

4.2 Qualität von 3D-Rekonstruktionen . . . . . . . . . . . . . . . . . . . 128 

4.3 Modi und Effektivität der Filterung . . . . . . . . . . . . . . . . . . . 137 

4.4 Modellbasierter Vergleich von Filterung vs. Interpolation . . . . . . . 145 

4.5 Evaluierung der Farbbildrestaurierung . . . . . . . . . . . . . . . . . 153 

4.6 Auflösungssteigerung durch Superposition . . . . . . . . . . . . . . . 156 

4.7 Echtzeit-Fähigkeit der Ansätze . . . . . . . . . . . . . . . . . . . . . 170 

5 Zusammenfassung und Ausblick 173 

5.1 Zusammenfassung . . . . . . . . . . . . . . . . . . . . . . . . . . . 173 

5.2 Ausblick . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175 

Abbildungs- und Tabellenverzeichnis 181 

Glossar, Formelzeichen und Symbole 187 

Literaturverzeichnis 193 

Lebenslauf 207

1 

1 

Einleitung 

In vielen Bereichen der medizinischen Diagnostik und Therapie, aber auch der in- 

dustriellen Inspektion und Instandhaltung spielt die visuelle Begutachtung von Ober- 

flächen eine tragende Rolle. Oft gelten hohe Anforderungen an Erkennungssicherheit 

und Prüfgenauigkeit. Viele kritische Stellen sind jedoch nicht immer auf einfache Wei- 

se zugänglich. Dabei kann es sich beispielsweise um medizinische Untersuchungen im 

Inneren des menschlichen Körpers oder um komplexe Prüfaufgaben an industriellen 

Hohlräumen handeln. 

Um eine Aussage über den Zustand von schwer zugänglichen Bereichen treffen zu 

können, sind unterschiedliche bildgebende Verfahren, wie z. B. Röntgenstrahlung, Ul- 

traschall, Magnetresonanz oder invasives Öffnen denkbar. Den genannten Modalitäten 

(a) (b) 

Abbildung 1.1: (a): Flexibles Endoskop zum medizinischen Einsatz als Naso-Pharyngoskop 

zur Betrachtung des Nasen- und Halsbereichs oder zur technischen Inspektion von Hohlräu- 

men (Abb. freundlich genehmigt von Schölly Fiberoptic GmbH). (b): Gastroskop zur optischen 

Diagnose im menschlichen Verdauungstrakt (Abb. freundlich genehmigt von Olympus Deutsch- 

land GmbH).

2 1.1. BEDEUTUNG DER ENDOSKOPIE 

(a) (b) 

Abbildung 1.2: Flexibles Endoskop (a) zur Inspektion technischer Hohlräume. Die Abbildung 

der feinen verwundenen Kühlkanäle (c) im Inneren einer industriellen Turbinenschaufel auf 

dem Prüfstand (b) erfordert einen Arbeitsdurchmesser des Geräts von höchstens 1mm. Abb. 

(a) mit freundlicher Genehmigung von Kurt Fuchs im Auftrag des Fraunhofer IIS. 

und Verfahren ist gemeinsam, dass sie entweder irreversible Veränderungen oder Be- 

schädigungen an den untersuchten Körpern hinterlassen oder die verwendete Strahlung 

eine Gefahr für das Gewebe darstellt, das ihr ausgesetzt wird. Durch metallische Ma- 

terialien sind oft verfälschende Reflexionen und Abschirmungen unvermeidlich. Um 

die beschriebenen Nachteile zu umgehen, werden oftmals flexible Endoskope (vgl. 

Abb. 1.1) eingesetzt, die eine visuelle Inspektion von Hohlräumen und teilweise sogar 

eine direkte Intervention unter Sichtbedingungen erlauben. 

1.1 Bedeutung der Endoskopie 

Das Universitätsklinikum Giessen und Marburg kommentiert die Bedeutung der En- 

doskopie für den Bereich der Gastroenterologie 1 mit der kurzen, aber prägnanten Be- 

merkung: 

Die Endoskopie ist die beste Methode, um Erkrankungen des Magen und 

des Darmes zu diagnostizieren. [Uni07] 

Auch die Ärzte Zeitung hebt die Anwendung der Endoskopie für den menschlichen 

Verdauungstrakt mit den Worten hervor: 

1 Gastroenterologie: Die Gastroenterologie befasst sich mit der Diagnostik, nichtoperativen Therapi- 

en (z. B. medikamentöse Therapien) und Prävention von Erkrankungen des Magen-Darm-Trakts

1.1. BEDEUTUNG DER ENDOSKOPIE 3 

(a) (b) (c) 

Abbildung 1.3: Schematische Darstellung der Endoskopführung für Untersuchungen im Pa- 

tienten: (a) Gastroskopie zur optischen Diagnose im oberen Verdauungstrakt, (b) Koloskopie 

zur Spiegelung des Dickdarms und (c) Bronchoskopie zur Untersuchung der Atemwege und der 

Lunge. Abb. von National Cancer Institute (Terese Winslow). 

Der Stellenwert der Endoskopie ist in der Gastroenterologie unverändert 

hoch. Sie ist nicht nur für die Diagnostik wichtig, sondern ermöglicht zu- 

nehmend ein zeitgleiches therapeutisches Vorgehen. Damit gewinnt sie 

auch für die Behandlung von Patienten mit Erkrankungen des Gastroin- 

testinaltraktes mehr und mehr an Bedeutung. [Ärz00] 

Im Rückblick der Industriemesse Hannover vom 19. bis 24. April 2004 ist von der Fir- 

ma Karl Storz Endoskope, einem führenden Endoskopiehersteller, über Entwicklungen 

für den industriellen Einsatz von Endoskopen zu lesen: 

Da der Trend zu immer kleineren und komplizierteren industriellen Bau- 

teilen anhält, wächst auch der Bedarf an solchen miniaturisierten, aber 

leistungsfähigen Prüfsystemen. Damit lassen sich auch kleinste Hohlräu- 

me kontrollieren, zum Beispiel in Turbinen [...]. Ein weiterer wesentlicher 

Vorteil liegt in der Vermessung der Schadensgröße. Für die industrielle 

Endoskopie ist dies ein erheblicher Fortschritt, denn wichtige Befunde 

sind so jederzeit verfügbar - bei Qualitätskontrollen oder Schadensana- 

lysen beispielsweise in der Luftfahrt ist dies natürlich von erheblicher Be- 

deutung. [Kar04] 

Weitere unzählige Aussagen in der Literatur und dem Internet schließen sich den 

exemplarisch aufgeführten Aussagen an und machen auf die große Bedeutung der En- 

doskopie in vielfältigen Bereichen aufmerksam. Die Erforschung und Weiterentwick-

4 1.2. PROBLEMSTELLUNG UND ZIELSETZUNG 

lung von endoskopischen Systemen wird damit in eindrücklicher Weise gerechtfertigt 

und gefordert. 

1.2 Problemstellung und Zielsetzung 

Vor der kritischen Betrachtung von Technik und Anwendung der Endoskopie werden 

in einem kurzen Abriss zunächst alternative Verfahren für die Hohlraumprüfung dis- 

kutiert. Deren schwierige oder unzureichende Handhabung motiviert den Einsatz fle- 

xibler Endoskope und begründet schließlich die Notwendigkeit der Thematik, welcher 

sich die vorliegende Arbeit widmet. 

1.2.1 Alternative Verfahren für die Hohlraumprüfung 

Die Vorzüge der Endoskopie als rein optisches Abbildungssystem zur Inspektion und 

Untersuchung lassen sich am besten an den differenzierten Nachteilen sonstiger bild- 

gebender Verfahren für diesen Anwendungsbereich aufzeigen, wobei die ersten drei 

Verfahren gar keine Möglichkeit zur Farbbildgebung bieten. 

• Röntgenstrahlung (CT) ist nur in eingeschränktem Maße und nur dort einsetz- 

bar, wo ausreichende Materialverträglichkeit gegeben ist, sowie eine Gewebe- 

schädigung ausgeschlossen oder toleriert werden kann. Des Weiteren spielt die 

ungewollte Abschirmung durch eine etwaige metallische Umgebung eine ent- 

scheidende Rolle bei der Entscheidung für dieses Medium. Das Handelsblatt 

verwies unlängst auf eine Studie, die den Umgang mit dieser Technik als zu 

sorglos kritisiert [Han07a]. 

• Ultraschall (Sonographie) schneidet in der Qualität seiner Bildgebung auf- 

grund der geringeren Raumauflösung gegenüber dem CT und der niedrigeren 

Weichteil-Kontrastauflösung gegenüber dem MRT schlechter ab. Selbst erfahre- 

nen Experten gelingen selten vergleichbare Aufnahmen und Interpretationen mit 

diesem Medium [Sei03]. 

• Magnetresonanz (MRT) ist äußerst sensibel auf Abschirmung durch ferroma- 

gnetische Metalle und eine Untersuchung oder Inspektion ist im Vergleich zu an- 

deren bildgebenden Verfahren relativ zeitaufwändig. Die Technik für diese Art 

der Bildgebung ist bautechnisch noch größer als beim CT, weshalb sich MRT 

für einen handlichen mobilen Einsatz nicht eignet.

1.2. PROBLEMSTELLUNG UND ZIELSETZUNG 5 

• Das invasive Öffnen eines Körpers oder Objekts ist stets mit einer Verletzung 

von Gewebe oder Material verbunden und stellt damit ein hohes Risiko für die 

anschließende Regenerierung dar. Bei technischen Anwendungen ist dieses Vor- 

gehen meist mit der Beschädigung oder Zerstörung von Bauteilen verbunden 

und daher ebenfalls unerwünscht. 

• Die Optische Inspektion von außen eignet sich primär nur für lineare Zugänge. 

Das bedeutet, dass eine Apparatur mit Abstand zum Objekt nur geradlinig nach 

vorne (0 ◦ -Optik) Einblick geben kann. Seitenwände oder gar verdeckte Bereiche 

in der Tiefe und abzweigende Hohlräume sind somit nur unter großem techni- 

schen Aufwand bzw. gar nicht inspizierbar. 

Den beschriebenen Modalitäten 2 ist gemein, dass sie entweder irreversible Verän- 

derungen oder Beschädigungen an den zu untersuchenden Körpern hervorrufen oder 

die verwendete Strahlung eine Gefahr für das Gewebe darstellt, das ihr ausgesetzt wird. 

Weiterhin stellen metallische Materialien nicht selten eine verfälschende Abschirmung 

dar. Ohne aktive Strahlung ist mit den meisten der genannten Verfahren kein vollstän- 

diger Einblick möglich. 

Konkurrenz durch Videoskopie Während der letzten zehn Jahre setzt sich auf dem 

Markt mehr und mehr ein weiterer flexibler Endoskoptyp durch: Das Videoskop. Die 

Lage des auf der Spitze des Videoskops angebrachten Sensorchips ist namensgebend 

für die Tip-Chip-Technologie. Die Bilddaten werden hier in elektronischer Form, und 

daher kostengünstig und robust zur auswertenden Einheit übermittelt. Vorteile sind 

die Möglichkeit einer höheren Auflösung und die Tatsache, dass die Bilder ohne Wa- 

benstruktur abgebildet werden können. Allerdings treten durch die Miniaturisierung 

der Optik und des Sensors mit Elementen in der Größenordnung 2µm teilweise star- 

ke Farbartefakte beim Betrachten texturierter Oberflächen auf. Weitere Nachteile der 

Videoendoskoptechnik sind die technischen Limitierungen für die Sensorabmessun- 

gen. Der minimale Arbeitsdurchmesser von derzeit knapp vier Millimeter macht sie 

für bestimmte Anwendungsgebiete ungeeignet, beispielsweise der Bronchoskopie an 

Kindern, wo entsprechend kleinere Durchmesser notwendig sind. Aufgrund von hohen 

Anschaffungskosten können sich nur wenige Ärzte in ihrer Praxis den Umstieg auf die 

digitale Videoendoskopie leisten, was eine flächendeckende Verbreitung z. B. unter 

niedergelassenen Ärzten verhindert. Bei bestimmten mobilen Anwendungen wird be- 

wusst weiterhin auf die bewährte und robuste Fasertechnolgie gesetzt. Faserbasierte 

2 Modalitäten: In der bildgebenden Medizin bezeichnen Modalitäten verschiedene Signalarten 

(Licht, Ultraschall, Röntgenstrahlung, usw.), mit denen man Bilder vom menschlichen Körper gewinnt.


Geräte kommen zunächst ohne zusätzliche Elektronik aus und erweisen sich deshalb 

im Feldeinsatz als mobiler und robuster, als ein Videoskop, das in heutigen marktübli- 

chen Realisierungen an einen sog. Endoskopturm mit Steuerelektronik und -mechanik 

gebunden ist. Vergleichsweise hochwertige Kamerasensoren, die am Okular von En- 

doskopen montiert werden, kosten deutlich weniger bzw. lässt sich mit üblichen Indus- 

triekameras eine höhere Aufnahmequalität bzgl. Lichtempfindlichkeit und Signal-zu- 

Rausch-Verhältnis erzielen. 

Für viele existierende faserendoskopische Geräte (z. B. in Praxen niedergelassener 

Ärzte oder in Werk- und Prüfstätten des industriellen Umfelds) bedeutet daher eine 

automatisierte Bildrestaurierung zur verbesserten Darstellung von Einzelbildern, aber 

auch die Aufbereitung von archivierten Sequenzen einen enormen Mehrwert und eine 

Steigerung des wirtschaftlichen Nutzens durch bessere Anwendbarkeit in schwierigen 

Aufgabenbereichen. 

1.2.2 Flexible Faserendoskopie 

Auch wenn die faseroptische Endoskopie die meisten der im letzten Abschnitt geschil- 

derten Schwierigkeiten umgeht und sich deshalb für einen breiten Einsatz in Medizin 

und Industrie anbietet, stellt sie die Bildgebung doch vor große Herausforderungen. 

Um der detaillierten Recherche und Beschreibung dieser Probleme in Abschnitt 2.3.3 

nicht vorzugreifen, sei an dieser Stelle lediglich auf die eingeschränkte Bildqualität 

und die niedrige Auflösung hingewiesen, die sich auf viele digitale Anwendungen, 

aber auch auf die Darstellung auf Kontrollmonitoren negativ auswirken. Beim Blick 

durch ein Faserendoskop mit dem Auge macht sich dies durch eine sehr kleine Bild- 

größe bemerkbar, bei der die Faserstruktur nicht mehr erkennbar ist. Der Hersteller 

dimensioniert das Gerät nach dem Motto: Besser ein kleines gutes Bild, als ein großes 

undeutliches. Abbildung 1.4 zeigt diese Schwächen an zwei vergrößerten Ausschnitten 

eines Kalibriermusters, das durch ein Endoskop mit Glasfaserbündel betrachtet wird. 

In der Vergrößerung (b) und (c) ist deutlich die Beeinträchtigung durch eine grobe 

Rasterung zu erkennen, die beispielsweise eine direkte Weiterverarbeitung zur Merk- 

malserkennung oder räumlichen Rekonstruktion behindert bzw. unmöglich macht. 

Wo der im buchstäblichen Sinne flexiblere Einsatz nicht benötigt wird und der Vor- 

teil einer starren Hand-Auge-Transformation von größerem Nutzen ist, liegt die Präfe- 

renz eindeutig bei rigiden (starren) Endoskopen. Sie zeigen aufgrund der durchgehen- 

den linsenoptischen Bildübertragung eine wabenfreie Abbildung von deutlich höherer


(a) (b) (c) 

Abbildung 1.4: Typische Abbildung eines Kalibriertargets durch ein flexibles Endoskop (a). 

Stark vergrößerte Ausschnitte zeigen die Wabenstruktur bei Verwendung eines Glasfaser- 

Endoskops (b,c). 

Güte. In der vorliegenden Arbeit wird dieser Bautyp teilweise als Vergleich für die 

erzielte Bildqualität mit flexiblen Geräten herangezogen. 

1.2.3 Motivation dieser Arbeit 

Konnten mit Abschnitt 1.2.1 die positiven Eigenschaften der Endoskopie als bildge- 

bendes Verfahren für viele Bereiche herausgestellt werden, so zeigt doch der Vergleich 

mit der qualitativ höherwertigen rigiden Endoskoptechnik bzw. den Videoendoskop- 

systemen, dass vor allem die schlechte Qualität (Beschreibung der Beeinträchtigun- 

gen s. Abschn. 2.3.3 auf S. 23) der übertragenen Bilddaten einen verbreiteten Einsatz 

von faseroptischen Geräten behindert. Die Beeinträchtigungen in der Darstellung von 

Details und hinsichtlich weiterführender (Farb-) Bildverarbeitung mit herkömmlichen 

Industriekameras werden dabei maßgeblich durch die architekturbedingte Faserstruk- 

tur hervorgerufen. Durch die gestörte Licht- und Bildübertragung entstehen Struktur- 

und Farbartefakte, die eine texturgetreue Abbildung und Darstellung von Szenen be- 

hindern. 

In Kapitel 2 werden zahlreiche Verfahren aus der Literatur vorgestellt und disku- 

tiert, die eine Aufbereitung von endoskopischen Bilddaten erlauben. Dabei handelt es 

sich zum einen um mechanische und optische Konstruktionen, die den visuellen Ein- 

druck der Bilder z. B. durch Weichzeichnung verbessern. Zum anderen werden in der 

Praxis Algorithmen der Bildbearbeitung eingesetzt, die entweder fest in ein System 

integriert werden, oder als Software der Bildaufbereitung für spezielle Anwendungen


dienen. Es ist auffällig, dass die Umsetzung und konkrete Anwendung der Ansätze sel- 

ten eine automatische Parametrisierung unterstützen und sich deshalb nur für spezielle 

Kombinationen aus Kamera und Endoskop eignen. Außerdem finden sich in der ein- 

schlägigen Literatur keine zielführenden Bestrebungen, einen objektiven Vergleichs- 

maßstab für entwickelte und eingesetzte Methoden der Bildverbesserung zu schaffen. 

Die vorliegende Arbeit diskutiert die Herausforderungen, die sich beim Einsatz 

flexibler Endoskope bezüglich deren Bildqualität stellen, gibt einen Überblick über 

derzeitige Lösungsansätze und widmet sich auf dieser Grundlage zwei Aspekten: 

Methoden zur Bildaufbereitung Es werden Verfahren zur Restaurierung und Stei- 

gerung der Qualität von faseroptischen Abbildungen entwickelt und analysiert. Sowohl 

der Frequenz-, als auch der Ortsraum spielt dabei gleichermaßen eine bedeutende Rol- 

le, da beide Signalräume ihre Vorzüge in der Bearbeitung der Bilddaten zeigen. Für 

die Filterung werden verschiedene spektrale Maskentypen und die automatische Fest- 

legung optimaler Grenzfrequenzen untersucht. Für die Interpolation werden zwei neu- 

artige Ansätze vorgestellt. Dabei handelt es sich erstens um eine Möglichkeit, durch die 

registrierte Bewegung mehrerer Einzelaufnahmen Artefakte der Interpolation zu redu- 

zieren und durch Mehrfachabtastung sogar die Auflösung der resultierenden Bilder zu 

steigern. Für diese Auflösungssteigerung wird die theoretische Grenze hergeleitet und 

ein Verfahren vorgeschlagen, wie diese Grenze für ein faseroptisches Bildbündel mess- 

technisch abgeschätzt werden kann. Der zweite Ansatz behebt Farbartefakte durch un- 

gleich beleuchtete Bildsensoren, indem die Beleuchtungsschwerpunkte der Fasern und 

die Verteilung des Farbfiltermosaiks auf dem Farbsensor berücksichtigt werden. Durch 

geeignete Kombination von Methoden beider Signalräume ergeben sich weitere inter- 

essante Anwendungen, z. B. zur Kompensation singulärer Faserdefekte. Besonderer 

Wert wird dabei auf eine breite Nutzbarkeit der Algorithmen gelegt, also insbesondere 

für verschiedene Kombinationen von Endoskopen und Kameramodulen, die sich je- 

weils in ihren technischen Spezifikationen, wie Auflösung, Größe oder Verwendungs- 

zweck unterscheiden können. 

Modellbasierte Evaluierung Weiterhin wird mit dieser Arbeit erstmals ein Modell 

zur Nachbildung des Abbildungsprozesses einer fasergestützten Optik vorgestellt. Die 

synthetische Generierung der Faserstruktur berücksichtigt dabei die physikalischen 

Grundlagen der optischen Übertragung von sichtbarem Licht durch Faserbündel. Da- 

mit ist es möglich, vielen Methoden zur quantitativen Evaluierung der Aufbereitungs- 

qualität (u.a. Differenz- und Ähnlichkeitsmaße) die notwendige Grundwahrheit bereit- 

zustellen. Da der genannte Ansatz zur Kompensation von Farbartefakten die Rohdaten


des Kamerasensors auswertet, wird auch diese Darstellungsform als Datenformat un- 

terstützt. So ist es möglich, auf einer gemeinsamen Datenbasis die unterschiedlichen 

Vorgehensweisen zu vergleichen und einen Standard zur Evaluierung von Algorithmen 

Dritter zu etablieren. Weiterhin wird die konkrete Anwendung der 3D-Rekonstruktion 

von parametrisierbaren Hohlräumen genutzt, um die Güte der Restaurierungsansätze 

zu beurteilen. 

Für viele existierende Geräte (z. B. in Praxen niedergelassener Ärzte) und aktuelle 

Anwendungsgebiete (vgl. Abschn. 2.2) kann eine automatisierte Bildrestaurierung zur 

verbesserten Darstellung von Einzelbildern, aber auch die Aufbereitung von archivier- 

ten Sequenzen einen enormen Mehrwert und eine Steigerung des wirtschaftlichen Nut- 

zens durch bessere Anwendbarkeit in schwierigen Aufgabenbereichen bedeuten. Mit 

den definierten Vergleichsmaßstäben soll eine Zusammenstellung von Referenzbildern 

mit bekannter Grundwahrheit als Evaluierungsstandard für bestehende und zukünftige 

Entwicklungen von Algorithmen für die faseroptische Bildverarbeitung etabliert wer- 

den.

2 Stand 

11 

der Technik 

2.1 Historischer Weg der flexiblen Endoskopie 

Die Ursprünge der modernen Endoskopie gehen auf medizinische Fragestellungen und 

Untersuchungen zurück [SS07]. Der Wunsch der Ärzte, menschliche Körperhöhlen 

oder -gänge zu untersuchen, um Erkrankungen zu erkennen und zu behandeln, ist sehr 

alt. Leicht zugängliche Körperhöhlen wie der Mund, das Rektum 1 oder auch die Schei- 

de wurden schon in der Antike mit Hilfe von Spekula 2 untersucht, was als der Beginn 

der starren Endoskopie gesehen wird. Bis ins 19. Jahrhundert stellte die Beleuchtung 

der dunklen Hohlräume eine der größten Herausforderungen dar. Bozzini publizierte 

im Jahre 1804 in einer kleinen Frankfurter Tageszeitung seine neue Erfindung eines 

Lichtleiters. Einen ausführlichen Bericht veröffentlichte er zwei Jahre später im Jour- 

nal der Praktischen Arzneikunde und Wundarzneikunst. Das Gerät besteht aus einem 

optischen Teil mit der Beleuchtungseinrichtung und einem mechanischen Teil, der sich 

der Anatomie der Körperöffnung anpasst. Mit dem Einsatz des Lichtleiters für urolo- 

gische Untersuchungen an Patienten fand die Endoskopie mit dem französischen Chir- 

urgen Desormeaux 1865 einen ersten Höhepunkt. Seine Instrumente bestanden aus 

einem System von Spiegeln und Linsen mit einer offenen Flamme als Lichtquelle. Die 

häufigste Komplikation bestand daher in Verbrennungen der Haut. 

Der nächste Meilenstein wurde mit der Erfindung der Glühlampe erreicht. Der Uro- 

loge Nitze präsentierte 1879 ein Zystoskop 3 mit verbesserter Prismen -und Spiegeltech- 

nik, das er mit einer bereits 1845 bekannten Platin-Glühlampe kombinierte. Das direkte 

Mitführen der Beleuchtung erlaubte eine wesentlich flexiblere und stärkere Ausleuch- 

1 Rektum: (lat. rectum) Mastdarm 

2 Spekulum: (lat. Speculum) Spiegel 

3 Zystoskop: Gerät zur Spiegelung der Blase

12 2.1. HISTORISCHER WEG DER FLEXIBLEN ENDOSKOPIE 

(a) (b) 

Abbildung 2.1: Kuriose Erfindung: Faseroptische Lesehilfe (nach Pelli [PLS85]). 

tung. Leider behob diese Technik noch nicht die Gefahr von Verbrennungen durch 

die Lichteinwirkung. Erst mit Einführung der Linsensysteme 1932 durch Schindler 

und Wolf und der damit verbundenen Entwicklung halbflexibler Endoskope wurde die 

Endoskopie ungefährlicher. Dennoch dauerte es noch weitere 25 Jahre, bis die Glasfa- 

sertechnologie in die Beleuchtungs- und Abbildungstechnik Einzug hielt. Hirschowitz 

stellt 1957 ein vollflexibles Endoskop vor, das sowohl für den Licht-, als auch für den 

Bildtransport Glasfasern verwendet. Ein solcher Bildleiter wird aus feinen Lichtleitern 

gefertigt, die nicht miteinander verschmolzen sind, sondern lose nebeneinander liegen. 

Die biegsamen Einzelfasern sind lediglich an Ein- und Ausgangsseite geometrisch ko- 

härent geordnet und fest eingefasst. Der detaillierte Aufbau und die technischen Ei- 

genschaften werden in Abschnitt 2.3 beschrieben. Faseroptiken werden anstatt einer 

konventionellen Abbildung mit optischen Linsen überall dort eingesetzt, wo es auf 

kleine Abmessungen und hohe Lichtstärke ankommt. Sie erlauben einen erweiterten 

Betrachtungsraum bei größerer Helligkeit. 

Kuriose Erfindungen 

Pelli stellte im Jahr 1985 eine optische Lesehilfe mit Glasfasertechnik vor [PLS85]. Sie 

vergrößert einen anvisierten Ausschnitt und leitet ihn durch ein flexibles Faserbündel 

(vgl. Abbildung 2.1(a)) an das Auge des Betrachters weiter. Abbildung 2.1(b) zeigt 

den praktischen Einsatz der Lesehilfe.

2.2. ANWENDUNGEN MIT FASEROPTIK 13 

2.2 Anwendungen mit Faseroptik 

Entsprechend den beiden Hauptanforderungen an die technische Ausführung der Ge- 

räte wird in der Endoskopie grundlegend zwischen medizinischen und industriellen 

Anwendungsgebieten unterschieden. Für Sterilisationszwecke in der Medizin und Bio- 

logie wird gefordert, dass wiederverwendete Komponenten, die in Kontakt mit Körper- 

flüssigkeiten treten, autoklaviert 4 werden können. Dies erfordert hohe Druckdichte und 

Säureverträglichkeit, was insbesondere an Klebestellen und Materialübergängen be- 

rücksichtigt werden muss. In der Industrie werden Endoskope häufig unter sehr rauhen 

Bedingungen eingesetzt, was wiederum eine hochwertige Ummantelung, z. B. in Form 

eines Metallgeflechts oder einer Teflonbeschichtung erforderlich macht. Widerstands- 

festigkeit und ein geringer Reibungskoeffizient für ruckfreie Bewegungen fördern den 

optimalen Einsatz im industriellen Umfeld. Die prädestinierten Einsatzgebiete faser- 

optischer Geräte sind Anwendungen, die einen extrem dünnen Arbeitsdurchmesser er- 

fordern. Hier können sie an Stellen vordringen, die sonst optisch nicht untersucht wer- 

den könnten. Eine präzisiere und farbgetreue Darstellung von Einzelbildern, aber auch 

die Aufbereitung von archivierten Sequenzen bedeutet einen ernormen Mehrwert und 

eine Steigerung des wirtschaftlichen Nutzens durch bessere Anwendbarkeit in schwie- 

rigen Aufgabenbereichen. Da große deutsche Endoskopiehersteller die Präsenz und 

Bedeutung der faseroptischen Endoskopie noch mindestens für einen Zeitraum von et- 

wa einem Jahrzehnt gewährleistet sehen, gilt dies auch für das wirtschaftliche Interesse 

an robusten und wirkungsvollen Verfahren zur Bildaufbereitung und -verarbeitung für 

diese Systeme. Die Endoskopie trägt wirtschaftlich und strategisch zu folgenden Punk- 

ten bei: 

• Kostenersparnis, da die meisten Aufgaben zerstörungsfrei durchgeführt wer- 

den können und ein Austausch von Teilen vermieden werden kann, die als in 

Ordnung befunden wurden 

• Vermeidung von Folgekosten, die durch einen zu späten Austausch von Teilen 

verursacht werden, welche fälschlicherweise als in Ordnung befunden wurden 

• Zeitersparnis, durch eine rasche Durchführung der Inspektionen und weil die 

Notwendigkeit von Folgearbeiten zuverlässiger bestimmt werden kann 

• Der Beweispflicht kann mittels Dokumentation durch Bild- und Video-Auf- 

zeichnung besser Rechnung getragen werden 

4 Autoklavieren: Verfahren zum Erreichen von Sterilität für Objekte (z. B. Instrumente oder Nährme- 

dien), die dazu unter Überdruck Wasserdampf oder speziellen Gasen ausgesetzt werden

14 2.2. ANWENDUNGEN MIT FASEROPTIK 

Neben den großen Endoskopieherstellern mit deutscher Niederlassung, Everest VIT 

GmbH [Eve07], Olympus GmbH [Oly07], Karl Storz GmbH [Kar07], Schölly Fibe- 

roptic GmbH [Sch07b] und Richard Wolf GmbH [Ric07] existiert noch eine Reihe 

von Firmen, die sich auf endoskopische Produkte für außergewöhnliche Anwendun- 

gen spezialisiert haben, wie beispielsweise Polydiagnost GmbH [Pol07] oder Almikro 

GmbH [Alm06]. Die Produktpaletten dieser Hersteller geben eine umfassende Über- 

sicht der vielfältigen und teilweise speziellen Einsatzgebiete von Mikroendoskopen 

mit fasergestützter Optik. Die folgenden beiden Abschnitte zeigen typische medizini- 

sche und industrielle Anwendungsfälle derartiger Endoskope auf. 

2.2.1 Industrieller Anwendungsbereich der Fiberskopie 

Entsprechend der Diagnose im medizinischen Umfeld ermöglicht die Endoskopie im 

industriellen Bereich die zerstörungsfreie Sichtprüfung, z. B. von Innenflächen und 

Hohlräumen [SKW06]. Dabei steht die Automatisierung einer zuverlässigen Qualitäts- 

kontrolle und Schadensanalyse im Vordergrund. Routineinspektionen, die von techni- 

schem Personal nicht selten fehlerbehaftet und schlecht rekonstruierbar durchgeführt 

werden, können so maschinell erledigt und die Ergebnisse quantitativ in elektroni- 

scher Form archiviert werden. Durch geeignete digitale Bildverarbeitung werden fase- 

roptisch aufgezeichnete Aufnahmen aufbereitet und verbessert [MEW + 06]. Eine wei- 

tere Möglichkeit zur Verbesserung der Darstellung besteht in der dreidimensionalen 

Darstellung von einfachen geometrischen Objekten, die aus den monokularen 5 An- 

sichten eines freigeführten Endoskops räumlich rekonstruiert wird [WSRW05]. Die 

Anwendungsfelder, aus denen derartige Anforderungen erwachsen sind vielfältig: 

Instandhaltung und Wartung Maschinenkomponenten, die ohne aufwändige De- 

montage nicht zugänglich sind oder im eingebauten Zustand nicht einsehbar sind, die 

jedoch eine tragende Rolle bezüglich Funktionsfähigkeit und Sicherheit spielen, müs- 

sen zuverlässig visuell inspiziert werden. Im Bereich der Automobiltechnik, in der 

Luftfahrt und der Kraftwerkstechnik müssen Getriebe, Generatoren, (Elektro-)Moto- 

ren, Hydraulikzylinder, Tanks, Rohrleitungen und Sondermaschinen inwendig über- 

prüft werden. Die endoskopische Begutachtung kann mit einer bebilderten Beschrei- 

bung eine konkrete Aussage über den Zustand von Oberflächen, Lagern, Verzahnun- 

gen, Planetenrädern und anderen Bauteilen liefern. Dies kann ein hilfreicher Befund 

sein, aus dem sich rechtzeitig eine entscheidende Handlungsempfehlung ableiten lässt. 

In vielen Fällen können so Materialfehler, Risse, Korrosionsschäden und Fremdkörper 

5 Monokular: (lat. für einäugig) Hier: Mit einer einzigen Blickrichtung


mit Hilfe der Endoskopie in schwer zugänglichen Hohlräumen frühzeitig erkannt und 

meist ohne Beschädigung behoben werden. 

Unterstützung in der Produktionstechnik Die Miniaturisierung technischer Bau- 

teile schreitet immer weiter voran und stellt die damit verbundene Produktionstechnik 

vor immer neue Herausforderungen. Herstellungsprozesse müssen zu 100% überwacht 

werden und Vorrichtungen zum Greifen und Positionieren werden oft von moderner 

Bildverarbeitung unterstützt. Für Greifzangen, die aufgrund ihrer hohen Bewegungs- 

geschwindigkeit möglichst leicht sein müssen, wird die Optik zum Anvisieren und 

Kontrollieren des Greifablaufs durch eine Glasfaseroptik ersetzt, die das Bild flexibel 

an einen beliebigen Ort mit fest installierter Kamera überträgt. Mit dieser Technik kann 

die Trägheit von beweglichen Teilen reduziert und trotzdem eine optische Komponente 

gewährleistet werden. 

Zivilschutz, Verteidigungs- und Spionagetechnik Einsatztruppen der Polizei set- 

zen Endoskope zur gefahrlosen Lageprüfung von unsicheren Räumen, z. B. durch die 

Öffnung eines Schlüssellochs ein, bevor sie sich Zutritt verschaffen oder gewaltsa- 

me Maßnahmen einleiten. Aus dem Geheimdienst sind ähnliche Anwendungsfälle für 

Spionagetechnik bekannt. Das Militär setzt die Endoskopie nicht nur im Feld zur Ob- 

servation ein, sondern inspiziert auf diese Art, wie die Waffenindustrie, auch die Läufe 

ihrer Schusswaffen auf Beschädigungen. Zur Aufdeckung von Verdachtsmomenten im 

internationalen Warenhandel verwendet der Zoll Endoskope, um Einblick in schwie- 

rig zugängliche Hohlräume z. B. den Tank in Kraftfahrzeugen zu erhalten. Im Kata- 

strophenschutz werden Endoskope eingesetzt, um verschüttete oder eingeschlossene 

Personen aufzuspüren, ohne die einsturzgefährdete Umgebung zu beeinflussen. 

Archäologie, Bautenschutz und Denkmalpflege In der Archäologie, dem Bauten- 

schutz und der Denkmalpflege kommt die Endoskoptechnik zum Einsatz, wo Material 

erhalten werden muss, dessen Zustand jedoch eine Überprüfung unter Sicht verlangt. 

Dazu wird beispielsweise die Isolierung bei Altbauten inspiziert, Holzbauten auf et- 

waigen Schädlingsbefall hin untersucht oder große Denkmäler im hohlen Innenraum 

auf korrosive Schadensstellen geprüft.

16 2.2. ANWENDUNGEN MIT FASEROPTIK 

2.2.2 Medizinischer Einsatz von Fiberskopen 

Der Einsatz von flexiblen Endoskopen im menschlichen Körper erstreckt sich wort- 

wörtlich von Kopf bis Fuß und wird hier anhand von fünf typischen Beispielen ge- 

schildert. Einige Einsatzgebiete finden sich auch in der Veterinärmedizin wieder, wo 

für wertvolle Zuchttiere ein hoher Kosten- und Pflegeaufwand betrieben wird. 

Mamaskopie / Duktoskopie Zur Früherkennung von Brustkrebs in Milchkanälen, 

z. B. durch Läsionen 6 an der Milchgangswand, gibt die übliche Bildgebung mittels Ga- 

laktographie 7 , Mammographie 8 und duktusorientierter Mammasonographie 9 nur indi- 

rekte Information über den intraduktalen 10 Befund. Die Miniendoskopie mit einem 

Duktoskop von weniger als einem halben Millimeter Durchmesser bietet die Möglich- 

keit, intraduktal direkt zu diagnostizieren und unter Sicht eine Gewebeprobe zur Beur- 

teilung der Schadhaftigkeit zu entnehmen, um so bei der Entscheidung zur Durchfüh- 

rung bzw. Vermeidung einer operativen Entfernung des Milchgangs zu helfen. Durch 

die Verwendung von feinen Mikroendoskopen reduziert sich die Gefahr einer Gewebe- 

schädigung und die Belastung des Patienten durch Behandlungsfolgen werden gesenkt 

[GOE + 05, OPJ + 06]. 

Dentalendoskopie Dentalendoskope dienen der Begutachtung und zur Unterstüt- 

zung bei Behandlungen und Operationen in der Kieferhöhle. Beispielsweise kann der 

Einblick in den freigelegten Kanal während einer Wurzelbehandlung Aufschluss dar- 

über geben, ob weitere versteckte Seitenkanäle vom Hauptkanal abzweigen. Bleiben 

diese unerkannt und werden nicht in die Behandlung mit eingeschlossen, neigen sie zur 

Entzündung und gefährden damit den mittelfristigen Erfolg der Behandlung. Ebenso 

kann während der Aufbereitung von Wurzelkanälen und Revisionen von Wurzelfül- 

lungen optisch sichergestellt werden, dass die Füllung die Randbereiche, die teilweise 

einen elliptischen Querschnitt und eine Torsion entlang der Längsachse zeigen, voll- 

ständig ausgefüllt. 

Bronchoskopie und Hals-Nasen-Ohren (HNO) Diagnostik Ziel der Bronchosko- 

pie 11 ist die Darstellung von Lumen und Schleimhaut sowie die Diagnostik, die Klas- 

6Läsion: Gewebeauffälligkeit 

7Galaktographie: Röntgenuntersuchung der Milchgänge 

8Mammographie: Radiologische Untersuchung der Brust zur Früherkennung von Brustkrebs 

9Mammasonographie: Ultraschalluntersuchung der Brust 

10Intraduktal: Innerhalb des Milchgangs 

11Bronchoskopie: Spiegelung der Atemwege und des Lungenraums


sifizierung und die Therapie von Funktionsstörungen im Bronchialsystem. Durch die 

Miniaturisierung der Kameratechnik (s. Abschn. 1.2.1) kann die Bronchoskopie an 

einem erwachsenen Menschen üblicherweise mit einem Videoendoskop durchgeführt 

werden. Jedoch ist der Arzt bei vergleichsweise beengten Zugangswegen z. B. bei klei- 

nen Kindern oder beim Vordringen in feinere Lungenäste nach wie vor auf dünne Fa- 

serendoskope angewiesen. Je dünner das verwendete Endoskop ist, desto verträglicher 

und verletzungsfreier ist die Anwendung für den meist nur leicht sedierten Patienten. 

Das Gleiche gilt für die Ophtalmoskopie, welche die Möglichkeit bietet, Ablagerungen 

in Form von Tränensteinen oder das Ausmaß von Schleimhautentzündungen innerhalb 

der Tränenwege optisch zu diagnostizieren und durch Minibohrer und Laserwerkzeuge 

zu therapieren. Auch im Bereich der HNO werden dünne Endoskope eingesetzt, um 

enge anatomische Bereiche zur Diagnostik und Therapie optisch darzustellen. 

Choledochoskopie und Gynäkologie Die mikroendoskopische Darstellung von Lu- 

men und Schleimhaut erleichtert die Diagnostik, die Klassifizierung und die Therapie 

von Funktionsstörungen im Gallen- und Bauchspeicheldrüsensystem (Choledochosko- 

pie) bzw. im Bereich der Eileiter (Gynäkologie). Unter Sichtkontrolle können Laser- 

behandlungen und Biopsien sicherer und effizienter durchgeführt werden. 

Neurochirurgie Die zunehmende Bedeutung von dünnen Endoskopen wird auch in 

der Neurochirurgie untersucht. Über die Keilbeinhöhle kann der Chirurg mittels ei- 

ner Fräse, die endoskopisch gelenkt wird, zur Gehirnbasis (Hypophyse) vordringen, 

wo ein Auftreten von Tumoren relativ häufig beobachtet und behandelt wird. Einige 

Forschungsprojekte untersuchen, inwieweit sich eine 3D-Rekonstruktion der Keilbein- 

höhle aus monokularen Ansichten durch ein Endoskop zur Unterstützung der Naviga- 

tion bei einem derartigen Eingriff eignet. Neben einem derartigen Forschungsziel am 

Fraunhofer IIS [WWS + 06] widmen sich auch einige weitere Forschungsgruppen die- 

ser Fragestellung, z.B. [MKT + 07]. 

Konfokale Fluoreszenzmikroskopie Le Goualher et al. [GPG + 04] verwenden einen 

flexiblen Bildleiter, um konfokal abgetastete Intensitätsdaten zur Auswertung an einen 

elektronischen Sensor zu leiten. Die Apparatur dient einer Anwendung zur optischen 

Biopsie. Die Algorithmen zur Bildaufbereitung entsprechen in Ansätzen denen zur 

Grauwertinterpolation (vgl. Abschn. 3.2.2) und wurden von Mauna Kea Technologies 

patentiert [AGF05]. Der Fokus der genannten Arbeit liegt auf der Gewinnung von In- 

tensitätsdaten mit hohem Störabstand und kann technisch bedingt bislang nicht auf 

eine Farbbildgebung erweitert werden.

18 2.3. EIGENSCHAFTEN VON FASEROPTISCHEN SYSTEMEN 

2.3 Eigenschaften von faseroptischen Systemen 

2.3.1 Aufbau 

Ihre Bezeichnung verdankt die flexible Endoskopie der Flexibilität des lichtleitenden 

Faserbündels, welches das projizierte Abbild einer Szene vom distalen 12 Ende des En- 

doskops zum Okular transportiert. Abbildung 2.2 zeigt den typischen Aufbau eines fle- 

xiblen Endoskops in einem schematischen Schnitt. Die Lichtquelle schickt über einen 

separaten Lichtleiter Kaltlicht an die Spitze des Endoskops, wo es diffus ausgestrahlt 

wird und die Szene beleuchtet, die sich meist im Dunkeln befindet. 

Vorteilhaft für den praktischen Einsatz des Endoskops ist die sog. Fixfokusoptik, 

d.h. eine Szene wird ab einem definierten Mindestabstand (Arbeitsabstand), meist im 

Bereich weniger Millimeter, bis ins Unendliche scharf wahrgenommen. Das interope- 

rative Scharfstellen der Abbildung wäre bei einem flexiblen Endoskop nicht möglich, 

da der Vorgang die Optik an der Spitze des Endoskops beeinflussen müsste und nicht 

am Okular nachgestellt werden kann, wie das bei starren linsenbasierten Geräten der 

Fall ist. Die Objektivlinsen verzerren das Bild nahezu fischaugenartig, da für ein breites 

Blickfeld eine Weitwinkeloptik verwendet wird. Durch Präzisionsfehler der miniatu- 

risierten Linsen treten hier zudem Unschärfe und Kontraststörungen in der Abbildung 

auf das Faserbündel auf. 

An der proximalen 13 Optik, dem sog. Okular, wird zur digitalen Weiterverarbeitung 

der Bilddaten ein Bildsensor angekoppelt, der das Abbild kartesisch abtastet und als 

diskrete Bildinformation zur Verfügung stellt. Die Verbindung erfolgt standardmäßig 

12 (lat. distare, Distanz) Beim Endoskop ist das entfernte Ende, also die Spitze gemeint, die sich, 

relativ zum Anwender, auf Distanz befindet. 

13 (lat. proximus, der nächste) Beim Endoskop ist die Seite mit dem Okular gemeint. Sie befindet sich 

in der Nähe des Anwenders. 

Abbildung 2.2: Schematischer Aufbau eines flexiblen Endoskops.

2.3. EIGENSCHAFTEN VON FASEROPTISCHEN SYSTEMEN 19 

(a) (b) 

Abbildung 2.3: (a) Schematischer Schnitt durch eine optische Faser mit Kern- und Mantelma- 

terial. Die optische Achse und ein totalreflektierter Lichtstrahl sind mit Pfeilen gekennzeichnet. 

(b) Durchmesser einer optischen Faser im Vergleich zu dem eines menschlichen Haars. 

durch einen sog. TV-Adapter, der auf der einen Seite einen Schnappverschluss für das 

Okular des Endoskops und auf der anderen Seite ein C-Mount-Gewinde für gängige 

Industriekameras zeigt. Ein Linsensystem stellt den richtigen Abbildungsmaßstab und 

Fokusabstand zwischen dem polierten Ende des Faserbündels und der Sensorfläche 

sicher. Die Qualität dieser TV-Adapter unterscheidet sich erheblich und beeinflusst die 

Abbildungsqualität maßgeblich. 

Aufgrund der elementaren Bedeutung des Lichtleiters im Endoskop werden dessen 

Aufbau und seine Eigenschaften nun im Detail beschrieben. Dazu wird von der ein- 

zelnen lichtleitenden Faser ausgegangen und darauf aufbauend die Zusammenfassung 

solcher Fasern zu einem Bildbündel betrachtet. 

Optische Fasern In einer Broschüre [Fib04] über den industriellen Einsatz optischer 

Bauteile wird der Aufbau und die Funktionsweise von lichtleitenden Fasern für die op- 

tische Signal- und Bildübertragung beschrieben. Jede Faser besteht aus einem Kern 

mit hohem Brechungsindex und dem sog. Cladding, einer Ummantelung mit niedri- 

gem Brechungsindex (vgl. Abb. 2.3). Lichtstrahlen, die relativ zur optischen Achse 

bis zu einem Akzeptanzwinkel αtotal in die Faser eintreten, werden durch interne To- 

talreflexion an das andere Ende geleitet. Sie folgen dem gekrümmten Verlauf der Fa- 

ser, sofern deren minimaler Biegeradius die Totalreflexion am Kern-Mantel-Übergang 

erlaubt. Die drei wichtigsten Eigenschaften, die eine Faser charakterisieren sind der 

Durchmesser, die numerische Apertur und die spektrale Transmission [Fib01]. 

• Durchmesser 

Um für das Spektrum des sichtbaren Lichts die interne Totalreflexion zu gewähr- 

leisten, muss die Ummantelung eine minimale Wandstärke von 2µm aufweisen. 

Bei konstanter Mantelstärke kann die Effizienz der optischen Lichtübertragung 

durch Erhöhung des Kernradius rkern gesteigert werden. Dies führt jedoch zu


einer geringeren mechanischen Flexibilität des Lichtleiters. Für optische Bild- 

bündel werden Fasern mit einem Durchmesser von 6 bis 15µm verwendet. 

• Numerische Apertur 

Die numerische Apertur NA einer optischen Faser ist abhängig von den beiden 

Brechungsindizes n1 bzw. n2 des Kernmaterials bzw. des Mantelmaterials, wobei 

n1 > n2 gilt. Mit dem Brechungsindex n0 der Umgebung außerhalb der Faser gilt 

die Beziehung: 

NA = n0 · sin αtotal = 

 

n 2 1 − n 2 2 

Alle Lichtstrahlen, die unter einem Winkel α ≤ αtotal auf das polierte Ende des 

Lichtleiters treffen, werden durch die Faser geleitet. Je größer die numerische 

Apertur ist, desto mehr Licht kann über die Faser transportiert werden. 

• Spektrale Transmission 

Durchläuft ein Lichtstrahl mit der Frequenz λ eine optische Faser, reduziert 

sich seine Intensität. Das Verhältnis zwischen Eingangs- und Ausgangsintensität 

wird als spektrale Transmission T(λ) bezeichnet. Sie hängt maßgeblich von den 

Absorbtionsverlusten im Kernglas, der nicht-idealen Totalreflexion am Kern- 

Mantel-Übergang und Verlusten beim Ein- und Auskoppeln des Lichtstrahls in 

die bzw. aus der Faser ab. 

Von der Faser zum Bildbündel Werden viele der beschriebenen optischen Fasern 

zusammengefasst, entsteht ein flexibler Lichtleiter. Die Anordnung der einzelnen Fa- 

sern ist dabei nicht zwangsläufig geordnet, was den Hauptunterschied zum optischen 

Bildleiter darstellt. Letzterer überträgt durch seine kohärent geordneten Fasern die 

abgetasteten Bildpunkte einer Szene, die auf die frontseitige Schnittfläche projiziert 

werden, nahezu ohne geometrische Verluste auf die rückseitige Schnittfläche. Da das 

Material der Ummantelung und der Zwischenräume zwischen den Fasern weniger 

Lichtintensität überträgt, als der Faserkern, erscheinen die übertragenen Lichtpunkte 

in einem sog. Wabenmuster. Die hexagonale Ausrichtung geht auf die Anordnung in 

der dichtesten Packungsform zurück. Die spektrale Transmission eines Faserbündels 

wird maßgeblich vom Typ und der Qualität des verwendeten Glasmaterials für Kern- 

und Mantelbereich, den Absorptionseigenschaften, der Packungsdichte und der Quali- 

tät der Abschlussfläche beeinflusst. 

Auswirkung von Material und Herstellungsprozess der Fasern Es gibt zwei un- 

terschiedliche Materialien und Herstellungsprozesse von Bildleitern auf Basis von Fa- 

sern. Glasfaserbündel zeigen aufgrund der ausgeprägten Kern-Mantel-Struktur in ih- 

.


(a) (b) 

Abbildung 2.4: (a) Blick durch ein flexibles Endoskop auf ein Testbild. (b) Der vergrößerte Aus- 

schnitt zeigt die inhomogen ausgerichtete Struktur der Fasern, die hier aus einem Bildbündel 

aus Quarzfasern resultiert. 

rem Querschnitt eine bildweite Homogenität und besitzen klare Bildpunkte mit ei- 

ner ausgeprägten kontrastreichen, dunklen Umrandung, die bereits als Wabenstruk- 

tur beschrieben wurde (vgl. Abb. 1.4). Im Querschnitt eines Quarzbildleiters hinge- 

gen können einzelne Fasern unregelmäßige Querschnitte aufweisen und verschiedene 

Flächenabschnitte eine unterschiedliche Orientierung in der Anordnung besitzen (vgl. 

Abb. 2.4). Der Querschnitt einzelner Fasern kann von der Kreisform bis hin zu einer 

Tropfenform abweichen. 

2.3.2 Farbbildgebung 

Kamerasensoren bestehen prinzipiell aus einer großen Anzahl an lichtempfindlichen 

Sensorelementen 14 , die das Abbild einer Szene auf ihre Intensität abtasten. Zur Ak- 

quisition von Farbbildern unterscheidet man nach ihrem Prinzip zwischen Dreichip- 

Kameras und Einchip-Kameras. Der grundlegende Aufbau und die Funktionsweise 

sind in [Fur01] zusammengefasst. Demnach besitzen Dreichip-Kameras drei Intensi- 

tätssensorfelder, die ganzflächig mit unterschiedlichen Farbfiltern versehen und über 

ein Prisma pixelgenau registriert dieselbe Szene erfassen. Aus der spektralen Informa- 

tion der einzelnen Elemente kann durch diesen Aufbau die volle physikalische Auflö- 

sung für jeden Farbkanal gewährleistet werden. 

14 Sensorelement: Einzelne lichtempfindliche Zelle aus der fotosensitiven Fläche (Matrix) eines Ka- 

merasensors


(a) (b) (c) 

Abbildung 2.5: Mosaikartige Filterfelder für die Verwendung in Einchip-Kameras. Die einzel- 

nen Farbfilter ermöglichen jedem Sensorelement, neben der Intensität auch die lokale Farbin- 

formation zu erfassen. (a) Complementary Color Mosaic mit den Komplementärfarben Cyan, 

Gelb, Magenta, sowie Grün. (b) Bayer-Pattern mit den Primärfarben Rot, zweifach Grün und 

Blau. (c) Indizierte Elemente für verschiedene Verfahren des Demosaicing auf dem Bayer- 

Pattern. 

Aus Kostengründen sind jedoch die Einchip- oder Single-Chip-Farbkameras we- 

sentlich verbreiteter als die Dreichip-Kameras. Einchip-Farbsensoren besitzen, wie der 

Name schon sagt, einen einzelnen Intensitätssensor, der mit einem speziellen Mosaik 

aus Farbfiltern versehen ist (vgl. Abb. 2.5). Diese Filter bewirken, dass einzelne Pixel 

jeweils auf einen ganz bestimmten Wellenlängenbereich des Lichtes reagieren. Da je- 

des Pixel mit seiner Intensität nur eine Farbkomponente repräsentiert, müssen jeweils 

die fehlenden Farbinformationen zur Darstellung als Farb-Pixel aus den angrenzenden 

Elementen bestimmt werden. 

Typische analoge Einchip-Farbkameras enthalten ein Farbfiltermosaik mit der Be- 

zeichnung Complementary Color Mosaic. Dabei wechseln sich pixelweise die Farben 

Cyan, Gelb, Magenta und Grün ab (vgl. Abb. 2.5(a)), wobei eine Konvertierung in 

YUV oder RGB meist bereits auf der Hardware durchgeführt werden kann. Im Be- 

reich der digitalen Kameratechnik findet man am häufigsten das sog. Bayer-Pattern 

oder Primary Color Mosaic. Hierbei handelt es sich um Farbfiltermosaike mit den 

Primärfarben Rot, Grün und Blau (vgl. Abb. 2.5(b)), wobei zur Erhaltung der Sym- 

metrie der Farbe Grün doppelt so viele Elemente zugewiesen sind wie den anderen 

beiden Farben, da das menschliche Auge das entsprechende Spektrum empfindlicher 

wahrnimmt. Einige Kameras stellen eine Schnittstelle bereit, um die farbspezifischen 

Intensitätsdaten auszulesen, die als Rohdaten 15 bzw. Primärdaten bezeichnet werden. 

Das ermöglicht die individuelle Berechnung des Farbbilds aus den Rohdaten, was als 

15 Rohdaten: Farbsensoren mit Farbfiltermosaik berechnen die Farbwerte des resultierenden Bilds aus 

farbkodierten Intensitätswerten, den sog. Rohdaten


Demosaicing 16 bezeichnet wird. Im Rahmen dieser Arbeit wurden neben einfachen 

linearen Ansätzen, wie dem Demosaicing aus dem Grünkanal oder dem bilinearen 

Demosaicing auch komplexere Berechnungsvorschriften, wie dem gradientenbasierten 

Demosaicing nach Laroche-Prescott oder dem adaptiven Demosaicing nach Hamilton- 

Adams untersucht. Weil diese aufwändigeren Ansätze, wenn überhaupt, nur einen mar- 

ginalen Unterschied zu linearen Ansätzen zeigen, werden sie hier nicht ausführlich be- 

handelt, sondern können in [Sch07a, RSBS02] studiert werden. Die Stärken der meis- 

ten kantenerhaltenden Ansätze kommen für die Anwendung auf faseroptisch abgetas- 

teten Sensorabbildungen nicht zum Tragen, weil die kontrastreiche Faserstruktur die 

Gradienten mehr beeinflusst, als dies die dahinterliegenden Bildstrukturen vermögen. 

Viel mehr Sinn würde eine kantenerhaltende Berechnung im Zuge der Interpolation 

machen (vgl. Abschn. 5.2). 

Aus den genannten Gründen wird deshalb das Demosaicing für die Untersuchun- 

gen und Ergebnisse in Kapitel 4 linear aus dem Grünkanal durchgeführt, was trotz 

geringem Aufwand qualitativ ausreichende Ergebnisse liefert. Das Prinzip ist denk- 

bar einfach und berücksichtigt mit der Auslegung der Farbfilterverteilung, dass die 

menschliche optische Wahrnehmung am empfindlichsten auf den Spektralbereich des 

grünen Lichts reagiert. Die vergleichsweise hohe Auflösung der grün gefilterten Ele- 

mente gegenüber den roten und blauen prädestiniert diese als erste Näherung für das 

Intensitätsbild. Die fehlenden Intensitätswerte werden auf Basis der bereits bekannten 

grünen Elemente interpoliert. Dazu wird das resultierende Bild imaginär um den Ab- 

stand eines halben Pixel verschoben. Die neuen Intensitätswerte, durch vorgestellte In- 

dizes gekennzeichnet, berechnen sich für den beispielhaften Block in Abbildung 2.5(c) 

zu 

⎛ ⎞ 

11I ⎜12 

⎜ I 

⎟ 

⎜ ⎟ 

⎝21I⎠ 

22 I 

2.3.3 Beeinträchtigungen 

= 1 

2 

⎛ ⎞ ⎛ 

1 1 0 0 

⎜ 

⎜0 

1 0 1 

⎟ ⎜ 

⎟ ⎜ 

⎜ ⎟ ⎜ 

⎝1 

0 1 0⎠ 

⎝ 

0 0 1 1 

Trotz des großen Marktes hat sich die Entwicklung der flexiblen Endoskopie über ge- 

wisse technische Einschränkungen noch nicht hinwegsetzen können. Dies sind zum 

einen konstruktiv bedingte Herausforderungen, wie die geringe Auflösung oder die 

schwierige Handhabung der Beleuchtung. Zum anderen ergeben sich finanzielle Gren- 

16 Demosaicing: Interpolation eines Farbbilds aus den einkanaligen farbkodierten Intensitätsdaten des 

Sensorfelds. 

G21 

G12 

G32 

G23 

⎞ 

⎟ 

⎠


zen, die einem akzeptablen Verhältnis von Kosten zu Nutzen entgegenstehen. In diese 

Kategorie fällt die miniaturisierte Optik der Endoskope. 

Niedrige Auflösung und Abtastung In Abschnitt 2.3.1 wird beschrieben, dass op- 

tische Fasern nicht beliebig dünn gefertigt und verwendet werden können. Der ideale 

Durchmesser von einigen µm und die Ummantelung limitieren die physikalische Auf- 

lösung eines Faserbündels und die aktive optische Fläche, die der Lichtleitung zur Ver- 

fügung steht. Für Bildbündel in Faserendoskopen mit Arbeitsdurchmesser in der Grö- 

ßenordnung 0, 35 bis 4, 0mm werden zwischen 3.000 und 30.000 Einzelfasern verbaut. 

Diese begrenzte Faseranzahl im Bildbündel führt zu einer starken Unterabtastung der 

Bildinformation zwischen der Szene und dem Auge. Bei der Verwendung eines Bild- 

sensors als digitales Auge führt dieser anschließend noch zu einer Überabtastung, da 

für ihn meist eine höhere Auflösung gewählt werden muss, um den Verlust durch die 

Transformation zwischen dem hexagonalen (Faserbündel) und dem kartesischen (Ka- 

merasensor) Koordinatensystem zu reduzieren. Daraus resultiert eine wabenförmige 

Struktur, die über dem betrachteten oder aufgezeichneten Bild liegt. 

Schwierige Beleuchtung Der Lichtleiter zur Beleuchtung der Szene muss neben 

dem Bildleiter im flexiblen Abschnitt des Endoskops zum distalen Ende geführt wer- 

den (vgl. schematische Skizze in Abb. 2.2). An der Spitze des Endoskops tritt das 

transportierte Licht diffus aus dem Lichtleiter aus. Dadurch, dass die Beleuchtung 

mit der Endoskopspitze mitgeführt wird, entstehen zeitdynamische Spiegelungen an 

Wandpunkten des Hohlraums. Derartige Glanzlichteffekte spielen im Allgemeinen ei- 

ne bedeutende, oft positive Rolle für die Beobachtung von metallischen homogenen 

Oberflächen. Im Hinblick auf eine merkmalsbasierte Lokalisierung oder Bewegungs- 

schätzung wirken sie sich hier jedoch sehr negativ aus. Das liegt vor allem daran, dass 

die Reflexionen keine präzise Position wiedergeben. Die fehlenden Freiheitsgrade der 

Beleuchtungsführung wirken sich zudem einschränkend auf die Manövrierfähigkeit 

des flexiblen Endoskops aus. 

Vom Lehrstuhl für Optik an der Universität Erlangen-Nürnberg wurde im Rah- 

men eines DFG-Projekts [WSW04] eine spezielle Beleuchtung entwickelt [PWSH06], 

die es ermöglicht, die Anzahl und Qualität von beobachteten Merkmalen zu erhöhen. 

Der Beleuchtungsring an der Spitze eines starren Endoskops ist in mehrere Sektoren 

aufgeteilt, die jeweils separat ansteuerbar ausgeführt sind. Damit ist es möglich, in 

geringem zeitlichen Abstand mehrere Bilder der nahezu gleichen Szene zu erhalten, 

die aus minimal unterschiedlichen Richtungen beleuchtet wurden. Differenzbilder lie- 

fern Schatteninformation und können zur Steigerung der Merkmalsgüte beitragen. Ein


ähnliches Prinzip verfolgt der Ansatz in [Arn06], wo die einzelnen Sektoren mit Licht 

unterschiedlicher Wellenlänge versorgt werden. So können nachträglich durch Tren- 

nung der Aufnahmen z. B. in den roten, den grünen und den blauen Kanal drei Bilder 

mit unterschiedlicher Beleuchtungsrichtung zu exakt der gleichen Beobachtungszeit 

gewonnen werden. Die beschriebenen Projekte wurden ihrerseits mit starren Endosko- 

pen durchgeführt, wo sich ein messbarer, wenn auch zu vernachlässigender Fortschritt 

zeigt. Aufgrund der deutlich schlechteren Bildqualität der hier verwendeten flexiblen 

Endoskope wird durch eine Stroboskop- oder Trennfarbbeleuchtung keine messbare 

Verbesserung der Erkennungsrate von Merkmalen erwartet. 

Geometrische Abbildungseigenschaften Endoskope enthalten standardmäßig eine 

weitwinkelige Optik, um in kleinen Hohlräumen ein möglichst breites Bildfeld zu ge- 

währleisten. Bei Endoskopen mit Durchmessern zwischen 0, 35 und 4, 0mm beträgt 

das Bildfeld typischerweise 60 ◦ bis 100 ◦ . Nachteile der verwendeten Miniaturoptiken 

sind geometrische Abbildungsfehler, darunter die Verzeichnung und die Bildfeldwöl- 

bung. Erstere führt zu einer tonnenförmigen Verzerrung der abgebildeten Objekte und 

kann durch geeignete Algorithmen kompensiert werden. Die Bildfeldwölbung bewirkt, 

dass das Objektiv das Bild nicht auf eine Ebene, sondern auf eine gewölbte Fläche 

abbildet. Der Brennpunkt von Strahlen eines Lichtpunktes ist dann von der Bildhö- 

he abhängig, was dazu führt, dass ein Bild nicht homogen scharf abgebildet werden 

kann. Wenn die Bildmitte scharf eingestellt wird, erscheint der Rand unscharf und um- 

gekehrt. Die Bildfeldwölbung kann durch spezielle Anordnung der Linsen oder einer 

gewölbten Ausführung des Kamerasensors reduziert werden, jedoch ist der technische 

Aufwand für ein akzeptables Verhältnis von Kosten zu Nutzen zu hoch. Gegen ei- 

ne aufwändige Anordnung mehrerer Linsen spricht auch eine längere Baugröße des 

starren Endes der Endoskopspitze, welche die Manövrierbarkeit weiter einschränken 

würde. 

Farbartefakte Viele Eigenschaften und Veränderungen in der Textur von Oberflä- 

chen werden über die Farbe detektiert und klassifiziert. Die Bedeutung und der Wert 

einer artefaktfreien Darstellung von kalibrierten Farbbildern durch ein Faserbündel ste- 

hen daher außer Frage. Zur Kalibrierung und Korrektur von Farben existieren eine 

Reihe von Arbeiten [VPS01, PCN98], die teilweise auch den Anwendungsbereich der 

(starren) Endoskopie adressieren [MNMW03, MPW06]. 

Herkömmliche Einchip-Farbkameras rekonstruieren Farbbilder aus der Informa- 

tion einzelner farbgefilterter Elemente auf einem fotosensitiven Sensorfeld (vgl. Ab-


Abbildung 2.6: Faserabbildung auf Farbfiltermosaik 

schn. 2.3.2). Dieses sog. Bayer-Pattern zeichnet sich durch eine Anordnung der Farb- 

filter für rote, grüne und blaue Zellen aus, die an die psychovisuelle Wahrnehmung des 

menschlichen Auges angepasst wurde. Durch die Rekonstruktion aus diesen Segmen- 

ten kann für eine bestimmte Position im Mittel ein entsprechender Farbwert wahrge- 

nommen werden. Wird ein farbiger Bereich eines Bilds ungleich auf die drei Grundfar- 

ben Rot, Grün und Blau abgebildet, so entstehen Farbartefakte. Diese Art von Farbar- 

tefakten ist besonders in Verbindung mit der Abbildung durch ein Faserbündel stark 

ausgeprägt. Hier werden akkumulierte Szenenbereiche als Lichtpunkte übertragen und 

gebündelt auf eine geringe Anzahl an Sensorelementen abgebildet (vgl. Abb. 2.6). Da- 

bei verdeckt das Wabenmuster einige Sensorbereiche und jeder Lichtpunkt wird diffus 

in Form einer Gauß-Verteilung auf einen Bereich abgebildet. 

Die Erfassung einer faseroptischen Farbabbildung mit der Einchip-Technik unter- 

liegt daher einem Kompromiss. Würde eine Faser direkt und ausschließlich mit einem 

Sensorelement verbunden werden, so könnte man seine Intensität zwar exakt bestim- 

men, jedoch könnte man aufgrund der spezifischen Farbfilterung des Sensorelements 

die Farbe des Lichtpunkts nicht mehr angeben. Um den Farbwert zu bestimmen, wird 

die Information möglichst vieler Sensorelemente benötigt, die den Lichtpunkt abtas- 

ten. In der Praxis wird die Auflösung des Kamerachips derart gewählt, dass eine Faser 

auf etwa 3×3 bis 7×7 Sensorelemente abgebildet wird. Doch gerade diese geringe An- 

zahl von Sensorelementen wird meist ungleichmäßig ausgeleuchtet. Das Ungleichge- 

wicht von stimulierten Sensorelementen führt folglich beim Demosaicing zu falscher 

Farbinformation für diese Faser. Normalerweise tritt dieser Effekt durch statistische 

Gleichverteilung nur als Randerscheinung auf, doch in der Faserbildverarbeitung mit 

den geschilderten Randbedingungen kann der störende Einfluss von unregelmäßigen 

Verdeckungen und Mikroschattierung durch reine Filterung nicht behoben werden (s. 

dazu auch die Ausführungen in Abschn. 2.5.4). Zur Veranschaulichung zeigt Abbil- 

dung 2.7 einen typischen Effekt dieser Farbartefakte. Die Aufnahme entstand mit dem 

flexiblen Endoskop E6 (vgl. Tab. 4.1) bei einer Bildapertur von ca. 265 Pixel.


(a) (b) (c) 

(d) (e) (f) 

Abbildung 2.7: (a) Aufnahme einer fiberskopisch abgebildeten Szene durch eine Einchip- 

Kamera mit Farbfiltermosaik (Bayer-Pattern). (b,c) Vergrößerte Ausschnitte zur Visualisierung 

der wabenartigen Struktur des Faserbündels und des typischen Effekts von Farbartefakten 

durch Abtastung. Die mittels linearer Filterung aufbereitete Aufnahme (d) zeigt z.B. in Aus- 

schnitten (e) und (f) diagonal gestreifte Farbartefakte. 

Die Literatur präsentiert spezielle Verknüpfungen von Algorithmen der Bildver- 

arbeitung mit dem Prinzip des Demosaicing. Ein passendes Beispiel hierfür ist die 

Auflösungssteigerung mit Super Resolution. Wird sie in Verbindung mit Farbbildsen- 

soren angewendet, so kann das Wissen um die Bildentstehung durch Demosaicing di- 

rekt in die Berechnung der hoch aufgelösten Zielbilder einfließen. Farsiu et al. zeigen 

in [FEM06], dass sich dies vorteilhaft gegenüber einer separaten Anwendung (d.h. 

zuerst Demosaicing und anschließend Super Resolution) auswirkt. Die Verknüpfung 

von Demosaicing mit der speziellen Abbildung von Faserbündeln wird bislang in der 

Literatur nicht erwähnt und stellt damit einen wesentlichen Beitrag dieser Arbeit dar. 

Die vielversprechenden Ergebnisse bestätigen die Relevanz der Anwendung für diesen 

Bereich.

28 2.4. METHODEN DER BILDAUFBEREITUNG FÜR DIE ENDOSKOPIE 

2.4 Methoden der Bildaufbereitung für die Endoskopie 

2.4.1 Geometrische Kalibrierung und Entzerrung 

In Abschnitt 2.3.3 wurde der Einsatz von Optiken mit kurzer Brennweite für die En- 

doskopie motiviert. Aufgrund der starken tonnenförmigen Verzerrung spielt für eine 

metrische Nutzung von endoskopischen Bildern eine geeignete Entzerrung eine ent- 

scheidende Rolle (vgl. Abb. 2.8). Der Einfluss und die positiven Auswirkungen ei- 

ner Entzerrung auf die digitale Weiterverarbeitung von fiberskopischen Bildern wer- 

den u.a. in [WR07] untersucht. Rupp et al. konnten in [RWE06a] und [RWW06] eine 

quantitative Aussage über die Leistungsfähigkeit von Entzerrungsalgorithmen für den 

Anwendungsbereich der Endoskopie liefern. Dabei wurde nachgewiesen, dass sich der 

Kalibrierfehler nach faseroptischer Übertragung in etwa um den Faktor erhöht, um den 

die Auflösung durch die Faserabtastung reduziert wird. Eine messbare Auswirkung 

auf die Präzision durch eine zusätzliche tangentiale Entzerrung oder mehr als zwei 

Polynomfaktoren bei der radialen Entzerrung konnte nicht nachgewiesen werden. Es 

ist davon auszugehen, dass ein möglicher Effekt zwar durch weitere Untersuchungen 

nachweisbar wird, jedoch deutlich unterhalb der Größenordnung anderer Fehlerquel- 

len liegt. 

Die vorliegende Arbeit nutzt die Bilddaten im metrologischen 17 Sinn nur für eine 

Bewegungsschätzung von Merkmalen in Bildsequenzen zur Raumrekonstruktion und 

der damit möglichen Beurteilung der Aufbereitungsgüte anhand dieser Ergebnisse. Für 

diese Anwendungen müssen die Bilddaten verzerrungsfrei dargestellt werden. Auf die 

übrigen Auswertungen haben diese geometrischen Beeinträchtigungen keine Auswir- 

kung bzw. können sie durch geeignete Bearbeitungsschritte eines Abbildungsmodells 

umgangen werden. 

Zur 3D-Rekonstruktion wird die Software SynthEyes von Andersson Technologies 

[And07] eingesetzt. Sie erlaubt die räumliche Rekonstruktion einer Objektszene aus 

der zeitlichen Abfolge von monokularen Einzelaufnahmen. Zu diesem Zweck verfolgt 

sie markerlose 18 Objektpunkte in der Szene, analysiert daraus die Bewegung des Ka- 

merapfads und rekonstruiert die Position, insbesondere die Tiefe der Objektpunkte. 

Für die Vorverarbeitung der Bilddaten nutzt sie neben einer Helligkeits-, Kontrast- und 

Farbanpassung ein elliptisches Verzerrungsmodell [And05], das über den Verzerrungs- 

parameter ρ (in der Software unter dem Symbol k geführt) den folgenden Zusammen- 

17 Metrologie: Lehre von den Maßen, den Gewichten und den Maßsystemen. 

18 Markerlos: Ohne künstliche Kennzeichnung, z. B. durch Klebemarken

2.4. METHODEN DER BILDAUFBEREITUNG FÜR DIE ENDOSKOPIE 29 

(a) (b) 

Abbildung 2.8: Endoskopisch erfasste Aufnahme eines Schachbrettmusters zur Kalibrierung 

mit starker radialer Verzerrung (a). Anwendung des Algorithmus aus der freien Bibliothek von 

Intel [Int01] zur Entzerrung der Abbildung (b). 

hang zwischen unverzerrten Koordinaten (u, v) T und verzerrten Koordinaten (ũ, ˜v) T 

herstellt: 

 

ũ 

˜v 

= 1 + ρ · (γ 2 u 2 + v 2 

u 

) 

v 

. (2.1) 

Der Parameter γ berücksichtigt das Abmessungsverhältnis der Sensorelemente, die 

das Bild abtasten, meist ist γ = 1. Zur Vereinfachung der Abbildungsgleichung wird 

angenommen, dass sich der optische Mittelpunkt im Zentrum des Bilds befindet. Für 

eine gegebene, durch Verzerrung beeinflusste Position (ũi, ˜vi) T wird iterativ, z. B. durch 

Minimierung des mittleren quadratischen Fehlers eine unverzerrte Koordinate (ui, vi) T 

approximiert: 

 

ui 

vi 

 

= argmin 

(u,v)) 

 

 

 

ũ(u, v) 

− 

˜v(u, v) 

 

ũi 

˜vi 

 

2 

. (2.2) 

Zur Beschleunigung der Berechnung können die Ergebnisse z. B. für eine lineare oder 

kubische Interpolation in Form einer Lookup-Tabelle 19 bereitgehalten werden. 

In der Literatur finden sich zahllose weitere Ansätze zur geometrischen Kalibrie- 

rung von Kamerasystemen. Viele verwenden das Lochkameramodell 20 und unterschei- 

den sich lediglich in der intrinsischen Parametrisierung und den Verfahren zur Op- 

timierung. Tsai stellte bereits vor drei Jahrzehnten einen Ansatz vor, um handelsüb- 

liche Kameramodelle für metrologische Anwendungen einzusetzen [Tsa86, Tsa87]. 

19Lookup-Tabelle: Vorgehen zur schnellen Bereithaltung von Zwischenergebnissen, indem Funktionswerte 

vorab ermittelt und im Speicher als Tabelle abgelegt werden. 

20Lochkameramodell: Abbildungsmodell, das von der verzerrungsfreien perspektivischen Projektion 

von Punkten einer Szene durch das optische Zentrum einer Kamera auf die Bildebene ausgeht.

30 2.4. METHODEN DER BILDAUFBEREITUNG FÜR DIE ENDOSKOPIE 

Das mittlerweile etablierte Vorgehen bestimmt durch eine effiziente Berechnung die 

Kameraposition und -orientierung (extrinsische Parameter) in einem Referenzkoordi- 

natensystem der beobachteten Objekte und berechnet Schätzwerte für die Brennwei- 

te und radiale Verzerrungen des Abbildungsmodells (intrinsische Parameter). Durch 

kombinierte Berechnung von intrinsischen und extrinsischen Parametern arbeitet der 

Algorithmus bei vergleichbarer Präzision ebenso stabil und dabei deutlich schneller, 

als vergleichbare Verfahren. Zhang und Helferty et al. beschreiben praktikable Vor- 

gehensweisen zur robusten Kalibrierung von Kamerasystemen und wenden ihre Ver- 

fahren auch auf den Bereich der starren Endoskopie an [Zha00, HZMH01]. Nach ei- 

ner geschlossen darstellbaren Initialisierung erfolgt eine statistische Optimierung über 

ein Maximum-Likelihood Kriterium. Heikkilä modelliert zusätzlich die perspektivi- 

sche Verzerrung von Merkmalen in der Szene, um bei deren Registrierung eine höhere 

Genauigkeit zu erzielen [HS96]. Smith et al. [SVM92] untersuchen den Einfluss der 

radialen Verzerrung in endoskopischen Bildern auf das Größenverhältnis von Objekten 

in Randbereichen der Apertur. 

2.4.2 Daten- und wissensgetriebene Algorithmen 

Die meisten integrierten Endoskopiesysteme im klinischen und industriellen Einsatz 

beinhalten eine rudimentäre Bildverarbeitung, um das Bild auf einem angeschlosse- 

nen Monitor für den Betrachter angenehm darzustellen. Dazu zählen die Anpassung 

von Helligkeit und Kontrast und die Balance der Farbzusammensetzung. Vogt et al. 

[VKNS03, Vog06] und Fischer et al. [FVLS04] gehen in ihren weiterführenden Arbei- 

ten zur Artefaktreduktion auch auf Reflexionen, Überbelichtung und dunkle Bildrän- 

der ein. Die Ausblendung, Dämpfung oder Aufhellung kann in Echtzeit durchgeführt 

werden, nachdem ein Initialisierungsschritt die Bildbereiche, die einer Korrektur be- 

dürfen, identifiziert hat und in einer Lookup-Tabelle bereithält. Die genannten Algo- 

rithmen beziehen die Information zur Steuerung der Aufbereitung ausschließlich aus 

den Bilddaten und werden deshalb zur Klasse der datengetriebenen Algorithmen zu- 

sammengefasst. 

Sog. wissensgetriebene Algorithmen bringen zur Aufbereitung von Einzelbildern 

szenenbasiertes Zusatzwissen ein. Dies kann beispielsweise Information über die Ob- 

jektgeometrie, Strukturinformation zur Kantenerhaltung oder die adaptive Gewichtung 

bei der Erhaltung von Details sein. Entscheidend für den Einsatz derartiger Algorith- 

men ist die zuverlässige Charakterisierung von Bildinhalten und die Sicherheit, dass 

dieses Vorwissen sich über den Zeitraum der Anwendung nicht ändert. Sonst ist eine 

adaptive Anpassung notwendig und die Komplexität steigt unverhältnismäßig an.

2.5. BILDRESTAURIERUNG FASEROPTISCHER EINZELAUFNAHMEN 31 

2.5 Bildrestaurierung faseroptischer Einzelaufnahmen 

Die bei der faseroptischen Übertragung durch Unter- und Überabtastung hervorgeru- 

fene Rasterstruktur kann zwar im Okular bei kleiner Apertur vom menschlichen Auge 

kompensiert werden, führt jedoch bei der digitalen Weiterverarbeitung der Bilddaten, 

z. B. zur räumlichen Rekonstruktion, zu erheblichen Fehlern. Dies hängt maßgeblich 

mit der Verarbeitung von Strukturen in Bildern zusammen, wobei sich Algorithmen 

aus der Computergrafik stark an der menschlichen Wahrnehmung orientieren. So wer- 

den Objektmerkmale in Bildern meist anhand ihrer Kontrast- oder Farbverhältnisse zur 

Umgebung lokalisiert und charakterisiert. Da die Faserstruktur selbst starke Kontraste 

in endoskopisch erfassten Bildern erzeugt, verfälscht und beeinträchtigt sie die compu- 

tergestützte Auswertung. Zur Verbesserung werden in der Literatur mehrere Ansätze 

genannt, von denen die wichtigsten hier im Überblick kritisch erläutert werden. Grund- 

legend werden die Verfahren nach ihrem Signalraum unterschieden, wobei nach einer 

rein optischen Vorgehensweise des Weichzeichnens zunächst in Abschnitt 2.5.2 der 

Ortsraum (oder auch Bildraum genannt) und anschließend in Abschnitt 2.5.3 der Orts- 

frequenzraum (kurz Frequenzraum) behandelt wird. Beide haben ihre Berechtigung, 

bietet doch jeder seine eigenen Vorzüge, wie Bearbeitungsgeschwindigkeit, Komplexi- 

tät des Algorithmus oder Toleranz gegenüber optischen Beeinträchtigungen. Abschlie- 

ßend wird mit Abschnitt 2.5.4 die eigenen Lösungsvorschläge motiviert, indem an- 

schaulich erläutert wird, welchen Schwierigkeiten eine herkömmliche Farbbildverar- 

beitung im Kontext der Faserbildrestaurierung ausgesetzt ist. 

2.5.1 Optisches Weichzeichnen 

An der Spitze des Endoskops wird das Abbild der Szene durch das Glasfaserbündel 

abgetastet. Die Filterung versucht, das so abgetastete Signal am Ende wieder zu re- 

staurieren. Um Alias 21 zu vermeiden, muss sichergestellt werden, dass eingangsseitig 

das Kriterium des Abtasttheorems erfüllt ist, d.h. das Bildsignal muss bandbegrenzt 

sein oder werden. In der Optik wird dies durch Weichzeichnen erreicht. Statt einer 

möglichst hoch aufgelösten Szene wird bewusst eine niedrigere Schärfe in Kauf ge- 

nommen, um Artefakte in der Rekonstruktion zu vermeiden. Weichzeichnung wird 

optisch auf zweierlei Weise erreicht: 

21 Alias oder Alias-Effekt: Fehler, die durch Verletzung des Abtasttheorems beim digitalen Abtasten 

von Signalen auftreten

32 2.5. BILDRESTAURIERUNG FASEROPTISCHER EINZELAUFNAHMEN 

Kamerafilter Eine pragmatische Lösung für Studioaufnahmen ist eine Glasschei- 

be, die angehaucht oder mit Vaseline bestrichen wurde. Der Effekt der Lichtstreu- 

ung erzeugt den Weichzeichner-Effekt, allerdings ist die Wiederholbarkeit des Effekts 

schwierig. Besser reproduzierbare Ergebnisse gelingen mit konfektionierten Filtern, 

die den Effekt durch strukturiertes angeschliffenes Glas erzielen, z. B. das Soft-FX- 

Filter oder das Pro-Mist-Filter [The07]. Diffusionsfilter und Pastellfilter haben einen 

bildweiten streuenden Effekt und dämpfen den Kontrast zwischen Hell und Dunkel. 

Spezielle Optiken Es gibt für den Zweck des Weichzeichnens spezielle Objektive, 

die sich den sonst unerwünschten Effekt der sphärischen Abberation zu Nutze machen. 

Wird dieser bei Objektiven übliche optische Abbildungsfehler nicht hinreichend korri- 

giert, so wird das eigentlich scharfe Abbild von einem unscharfen überlagert. Namhaf- 

te Vertreter sind das Imagon von Rodenstockite [Rod07], die DC-Nikkore 22 von Nikon 

[Nik07] oder das Varisoft von Minolta [Kon07]. 

In der Dramaturgie [Das07] wird Weichzeichnen genutzt, um Einstellungen oder 

Sequenzen als Gedanken, Rückblick, Traum, oder Vergangenheit für den Beobachter 

sichtbar zu kennzeichnen. Für den Betrachter meist unbemerkt können auf diese Weise 

mit sanfter Einstellung bei Nahaufnahmen Altersfältchen in unruhiger Haut verborgen 

werden. 

2.5.2 Verfahren zur Rasterreduktion im Ortsraum 

Kalibrierung inkohärenter Bildbündel Bildbündel aus modernen Fertigungen zei- 

gen eine 100%-ige Kohärenz in der Anordnung ihrer Einzelfasern. Bevor diese Pro- 

duktionstechnik derart zuverlässig ausgereift war, wurden Verfahren zur Kalibrierung 

von lichtleitenden Faserbündeln entwickelt. Kalibrierung bezeichnet in diesem Fall die 

Zuordnung von eingangsseitigen zu ausgangsseitigen Bildfasern. Über eine Lookup- 

Tabelle können daraufhin die Abbildungen aus den übertragenen Bildpunkten rekon- 

struiert werden. Eikelmann et al. [EKP93] stellen für den Einsatz von Faserendoskopen 

in der Automatisierungstechnik einen semiautomatischen Ablauf dieser Kalibrierung 

vor. Das Verfahren zeigt seine Stärken in der Verwendung beliebiger Lichtleiter als 

Bildleiter (vgl. Abb. 2.9(a)), berücksichtigt allerdings keine subpixelgenaue 23 Lokali- 

sierung der Faserzentren. Trotzdem stellt es eine Variante dar, um unabhängig von der 

Wabenstruktur ein faseroptisches Abbild zu rekonstruieren. 

22 DC-Nikkore: Defocus Image Control, Nikkore mit gezielter Defokussierung 

23 subpixelgenau: Der Begriff wird hier für Berechnungen verwendet, die eine höhere Präzision als 

das Pixelraster verwenden.


(a) (b) 

(c) (d) 

Abbildung 2.9: (a) Schematische Skizze eines inkohärenten lichtleitenden Faserbündels (Abb. 

aus [EKP93]). (b) Ungeordnetes Abbild einer Geldmünze durch ein inkohärent lichtleitendes 

Faserbündel. (c) Geordnetes Abbild (107 × 107 Pixel) durch das kalibrierte Bildbündel. (d) 

Geordnetes Abbild (989 × 992 Pixel) mit flächenanteiliger Verteilung der Faserhelligkeiten. 

(Abb. (b-d) aus [Bro00]) 

Optoelektronische Registrierung von Fasern Aufbauend auf der gerade vorge- 

stellten Arbeit präsentiert Bröcher [Bro00] ein verbessertes optoelektronisches Ver- 

fahren zur Registrierung der Fasern. Zur Zuordnung der Fasern wird eine automatische 

Streifenlichtprojektion mit binärer Codierung eingesetzt, welche den Aufwand der se- 

miautomatischen Kalibrierung von einer Stunde auf wenige Minuten reduziert. Dem 

Unterschied zwischen der hexagonalen Anordnung der Fasern und dem kartesischen 

Koordinatensystem des Bildsensors wird Rechnung getragen, indem die Faserinten- 

sitäten flächenanteilig auf ein Pixelgitter verteilt werden. Diese Art der Interpolation 

zeigt visuell zufriedenstellende Ergebnisse und wirkt sich im Fall ungenau geordneter 

Bildleiter positiv auf die wahrgenommene Bildqualität aus (vgl. Abb. 2.9 (b-d)). Die 

Nachteile ergeben sich aus dem nach wie vor hohen Aufwand der optoelektronischen


Registrierung und Indizierung der Fasern sowie der Ungenauigkeit in der Bestimmung 

der Faserposition. 

Interpolation in hexagonaler Arithmetik Die Anordnung von Glasfasern im Quer- 

schnitt eines Bildbündels zeigt eine homogene hexagonale Struktur. Deshalb liegt es 

nahe, mathematische Operationen direkt auf den gewonnenen strukturierten Bildern 

auszuführen, ohne vorher die Information in eine kartesische Darstellung zu inter- 

polieren. Die Vorteile im Bereich Repräsentation, Auflösung und Darstellbarkeit von 

Strukturen werden in mehreren Arbeiten genannt [KPS89, Nel89, Ehr93]. Bereits in 

den 80er Jahren wurden einfache Filter für hexagonale Strukturen entworfen und z. B. 

für hexagonal angeordnete Kamerasensoren vorgeschlagen [BCR + 01]. 

Hexagonale Arithmetik könnte sich zur Beschleunigung von einzelnen Teilschritten 

in der Bildverarbeitung für Faserendoskope eignen, z. B. der Transformation in einen 

Frequenzraum [Ehr93], sofern die hexagonalen Bilddaten direkt von einem geeigneten 

Sensorchip abgegriffen werden. Allerdings wird kein bahnbrechender Vorteil erwar- 

tet, da die Komponenten, die für eine direkte hexagonale Abtastung, Verarbeitung und 

Darstellung benötigt werden, komplexer und deutlich teurer sind. Aus den genannten 

Nachteilen wird die hexagonale Arithmetik in den Algorithmen dieser Arbeit nicht 

weiter in Betracht gezogen. 

2.5.3 Ansätze zur Rasterreduktion im Ortsfrequenzraum 

Die Literatur kennt vielfältige Verfahren, störende Strukturen aus Bildern zu entfer- 

nen. Janssen [Jan00] gibt in seiner Arbeit einen Überblick über elementare Methoden 

zur Rasterreduktion. Diese umfassen parametrisierte Rechteckmasken, Bandpassfil- 

ter, Auflösungspyramiden und einen multidimensionalen Diffusionsalgorithmus. Die 

letzteren beiden wurden für spezielle Anwendungen zur faseroptischen Überwachung 

von Strömungsprozessen entworfen, lassen sich jedoch nicht direkt für die Fibersko- 

pie anwenden. Die genannten Verfahren sind stets auf eine manuelle Parametrisierung 

ausgelegt und erfordern deshalb entweder eine mehr oder weniger komplexe Initia- 

lisierungsphase oder liefern nur suboptimale Ergebnisse für verschiedene Typen von 

Endoskopen. 

Die Arbeiten von Dickens et al. [DHMB97, DHMB99] stehen dem Vorgehen zur 

spektralen Filterung nahe. In [DBM98] wird dazu manuell das Fourier-Spektrum ana- 

lysiert und ein ellipsenförmiger Ring erstellt, der als Bandpassfilter den deutlich sicht- 

baren Ring der hohen Frequenzen dämpft (vgl. Abb. 2.10). Die Arbeit berücksich-


(a) (b) (c) 

Abbildung 2.10: (a) Endoskopischer Blick auf Testbild (aus [DBM98]) mit (b) zugehörigem 

Spektrum. (c) Vorschlag von Dickens et al. zur Erstellung einer Filtermaske, um bandpassbe- 

grenzt hochfrequente Wabenstruktur zu dämpfen. 

tigt dabei keine periodischen Wiederholungen der Spektren, die auch außerhalb des 

erstellten Filterrings zu Frequenzanteilen führen. Höhere Frequenzen, die in diesem 

Bereich auftreten, müssen aufgrund von Überlegungen zur maximalen Abtastfrequenz 

des Faserbündels (s. Abschn. 3.2.1.1) ebenfalls unterdrückt werden. Als Farbfilterung 

wird im herkömmlichen Sinn die separate gleichartige Bearbeitung der einzelnen Farb- 

kanäle beschrieben (der Problematik dieses Vorgehens zur Farbbildbearbeitung ist der 

nächste Abschnitt gewidmet). 

Aslan et al. [AKH + 99] evaluieren Methoden zur Bildaufbereitung in kommerzi- 

ellen Endoskopiesystemen. Der digital fiberscope filter, der die Wabenstruktur durch 

einfache Erweiterung der Faserpunkte im Bild reduziert, wird nicht näher beschrieben, 

weshalb ein algorithmischer Vergleich für diese Arbeit nicht in Betracht kommt. 

Zusammenfassend wird bemerkt, dass die beschriebenen Arbeiten nie die detail- 

lierte Beschreibung der Algorithmen mit einer wissenschaftlichen Bewertung anhand 

objektiver Kriterien verknüpfen. Die Ansätze zur Filterung ähneln dem Vorgehen die- 

ser Arbeit im Spektralbereich, jedoch wird dort nichts zum Thema Automatisierung 

zur Wahl geeigneter Parameter geschrieben. Außerdem wird der Unterschied in der Fa- 

serstruktur zwischen Quarz und Glas nicht adressiert und daher steht die Optimierung 

für die homogene Wabenstruktur eines Glasfaserbündels aus. Diese beiden Aspekte 

werden in Abschnitt 3.2.1 aufgegriffen. 

2.5.4 Methoden zur Farbbildverarbeitung 

Die Diagnose von Organen bzw. die Inspektion von Bauteilen erfolgt häufig über ei- 

ne Beurteilung von Oberflächen. Zu den charakteristischen Textureigenschaften zählt


Abbildung 2.11: Triviale Anwendung eines Einkanal-Algorithmus auf ein Farbbild. 

insbesondere die Farbe. Für zuverlässige Diagnosen und Schadensfeststellungen ist es 

daher wünschenswert, eine möglichst unverfälschende Farbabbildung zu gewährleis- 

ten. Die bisher in diesem Kapitel vorgestellten Ansätze zur Rasterreduktion verändern 

die Intensitätsinformation, d.h. sie bearbeiten primär Kontraste und Strukturen in Grau- 

wertbildern. Die Ansätze werden jedoch meist auch für die Farbbildbearbeitung einge- 

setzt. Dazu wird, wie in Abbildung 2.11 veranschaulicht das Farbbild Î in die einzelnen 

Kanäle ÎR, ÎG und ÎB seiner Grundfarben Rot, Grün und Blau getrennt. Jeder Farbkanal 

wird dann als statistisch unabhängiges Intensitätsbild vom Algorithmus bearbeitet und 

liegt danach in restaurierter Form IR, IG und IB vor. Das restaurierte Farbbild setzt sich 

dann wie gewohnt aus der Kombination der Einzelbilder zusammen: I = [IR; IG; IB]. 

Für Algorithmen, die auf Intensitätsbildern basieren, ist dieses Vorgehen für die Er- 

weiterung von ein- auf mehrkanalige Bilddaten prinzipiell möglich. Allerdings werden 

auf diese Weise diverse Abtasteffekte, die zwischen Bildbündel- und Sensoranordnung 

auftreten, vernachlässigt. 

Abbildung 2.7 zeigt das Resultat für den Vorgang der Filterung anhand einer faser- 

optischen Darstellung des MATLAB-Symbols. Die Aufnahme (d) zeigt das Resultat 

nach Glättung mit einem separierbaren 11 × 11-Gauß-Filter mit der Impulsantwortma- 

trix 

[0.11 0.25 0.46 0.71 0.92 1.00 0.92 0.71 0.46 0.25 0.11] . 

Alle Kanäle wurden separat gefiltert und danach zum Farbbild zusammengesetzt. Um 

die Problematik dieses Vorgehens in der Bearbeitung von Faserbildern zu verdeut- 

lichen, zeigen (e) und (f) der Abbildung 2.7 vergrößerte Ausschnitte des gefilterten 

Bilds. Die Beeinflussung des Filterergebnisses durch die Farbartefakte macht sich in 

diesem Fall als grün- und rotstichige diagonale Streifen von links oben nach rechts 

unten bemerkbar. 

Die Ursache für diesen Effekt beschreibt Abschnitt 2.3.3. Sie liegt in der asyn- 

chronen Abtastung zwischen Bildbündel und Farbfilter und erzeugt einen verfälschten 

Farbeindruck in lokalen Strukturen des Bilds, der auch durch eine nachträgliche Glät-

2.6. AUFLÖSUNGSSTEIGERUNG IN BEWEGTEN BILDSEQUENZEN 37 

tung nicht kompensiert werden kann. Ohne Zusatzwissen über den Aufbau des Sensors 

und das Zusammenwirken der Abtastvorgänge von Bildbündel und Farbfiltermosaik 

kann dieser Effekt nicht behoben werden. Abschnitt 3.3 beschäftigt sich mit der asyn- 

chronen Abtastung zwischen Bildbündel und Farbfilter und entwickelt einen Ansatz, 

um die daraus resultierenden Farbartefakte gänzlich zu umgehen. 

2.6 Auflösungssteigerung in bewegten Bildsequenzen 

Super Resolution 24 werden in der Bildverarbeitung Techniken genannt, die dabei hel- 

fen, die Auflösung von Bildern zu erhöhen. Im Gegensatz zu Algorithmen, die auf 

Einzelbildern arbeiten und in dieser Arbeit als statisch bezeichnet werden, erreichen 

jene dynamischen Verfahren ihr Ziel durch eine geschickte Kombination und Nutzung 

von Information zeitlich benachbarter und örtlich versetzter Bilder, in denen geeignete 

Bewegung vorhanden ist. Der Ausdruck dynamisch betont zugleich einen wesentli- 

chen Einflussfaktor, nämlich die variierende Anzahl von Einzelbildern, die zur Rekon- 

struktion des hoch aufgelösten Bilds herangezogen werden. Im Sprachgebrauch der 

Signalverarbeitung steht statisch auch für eine Intraframe-Codierung, also innerhalb 

eines Bilds und dynamisch für eine Interframe-Codierung, die also zwischen meh- 

reren Bildern stattfindet. In der Praxis werden Interframe-Verfahren meist mit einer 

Intraframe-Bearbeitung verknüpft. 

Die meisten Ansätze für Super Resolution sind dafür ausgelegt, die Größe von Bil- 

dern von ihrer ursprünglichen Größe N × M um einen definierten Faktor r auf rN × rM 

zu erhöhen. Die zugrunde liegenden Verfahren dürfen dabei nicht mit dem trivialen 

Vervielfachen oder der bilinearen oder bicubischen Interpolation von Bildpunkten ver- 

wechselt werden. Die letztgenannten Operationen zur Streckung eignen sich zwar zur 

Vergrößerung eines Bilds, sie erhöhen jedoch nicht seine tatsächliche Auflösung. 

Nachdem die technischen Grenzen einer Auflösungssteigerung durch Modifikati- 

on der Hardware, also des Kamerachips, sowie die Bedeutung der Bewegung als In- 

formationsquelle für Super Resolution erörtert sind, fasst dieses Kapitel die derzei- 

tigen Verfahren zusammen, die zur Auflösungssteigerung eingesetzt werden. Da die 

Einschränkungen für die Klasse der Frequenzraumverfahren und einiger Ortsraumver- 

fahren unter Berücksichtigung globaler Bewegung für die Endoskopie nicht getroffen 

werden können, wird abschließend die Idee der lokalen Ergänzung von Bildinhalten 

24 Super Resolution: Verfahren zur Erhöhung der Auflösung in bewegten Bildsequenzen

38 2.6. AUFLÖSUNGSSTEIGERUNG IN BEWEGTEN BILDSEQUENZEN 

beschrieben, die im eigenen Beitrag als praktikable Erweiterung der Interpolation von 

faseroptisch gewonnenen Bilddaten ausgeführt wird. 

2.6.1 Technische Grenzen 

Eine charakteristische Kenngröße von digitalen Kamerasensoren ist die Auflösung. 

Sie bezeichnet die Anzahl an fotosensitiven Elementen, mit denen eine Szene abge- 

tastet und als digitale Bildinformation gespeichert wird. Die Idee liegt nahe, einfach 

die Pixelgröße des Sensors ausreichend zu verkleinern. Auf einem Sensor mit einer 

bestimmten Ausdehnung finden so beliebig viele Elemente Platz und die Auflösung 

erreicht das gewünschte Maß. Leider reduziert die Miniaturisierung die Lichtmenge, 

die pro Sensorelement ausgewertet werden kann und vermindert damit das Signal-zu- 

Rausch-Verhältnis, was die Qualitätssteigerung schwächt oder gar kompensiert. Auch 

eine verlängerte Belichtungszeit löst das Problem nicht, da die Schärfe von bewegten 

Szenen auf eine kurze Abtastzeit angewiesen ist. Die heute erreichte Pixelabmessung 

von 40µm 2 wird als theoretisches Optimum für den sichtbaren Spektralbereich gese- 

hen. 

Eine Vergrößerung der Sensorfläche, um mehr Elemente unterzubringen, stößt auf 

zwei gravierende Probleme. Elektronisch gesehen führt sie zu einer Erhöhung der Auf- 

nahmekapazität und somit zu einer langsameren Ladungstransferrate beim Auslesen. 

Die Folge ist, wie bei der Belichtungszeit, eine steigende Unschärfe in der Darstel- 

lung. Optisch begrenzen geometrische Abbildungsfehler eine beliebige Vergrößerung 

der Sensorfläche. Der Effekt der Bildfeldwölbung tritt in der flexiblen Faserendoskopie 

sowohl an der distalen Optik als auch am Okular auf, wo die Abbildung über den Glas- 

Luft-Übergang auf das planparallel geschliffene Bildbündel erfolgt. Aufgrund des ho- 

hen technischen Aufwands sind keine Bestrebungen bekannt, beispielsweise mit einer 

Planfeldoptik die Bildfeldwölbung zu reduzieren. 

2.6.2 Bewegung als Informationsquelle 

Das Prinzip von Super-Resolution Verfahren wird bei genauerer Betrachtung des Ent- 

stehungsprozesses der degradierten Aufnahmen deutlich. Im Fall globaler Bewegung 

werden dazu mit Hilfe eines einfachen, dynamischen Beobachtungsmodells unter- 

schiedliche Störungen und physikalische Einflüsse nachgebildet, welche die Bildquali- 

tät negativ beeinflussen [FREM04b, PPK03]. Für die mathematische Beschreibung der 

Abbildung gehören dazu Rotation, Translation, Verzerrung, Unschärfe durch Bewe-


gung oder falsches Fokussieren, Diskretisierung, Unterabtastung und Rauschen. Meist 

wird davon ausgegangen, dass die Verzerrung, die Unschärfe, sowie die Diskretisie- 

rung und Unterabtastung über die Sequenz konstant bleiben. Super Resolution ver- 

sucht nun, diesen Prozess rückwärts zu gehen. Ausgehend von einer Menge niedrig 

aufgelöster (Low resolution: LR-)Bilder LR Î soll die ursprüngliche Szene in Form des 

hochaufgelösten (High resolution: HR-)Bilds HR I annähernd restauriert werden. Typi- 

scherweise arbeiten die Algorithmen in drei Teilschritten. 

1. Zunächst werden die vorliegenden LR-Bilder in Bezug auf ein Referenzbild re- 

gistriert, 

2. anschließend wird im zweiten Schritt das HR-Bild aufgebaut, bevor 

3. abschließend der Unschärfeeffekt rückgängig gemacht wird und gegebenenfalls 

auftretende Rauscheffekte vermindert werden. 

Schritt zwei und drei sind algorithmisch häufig kaum zu trennen und unterscheiden 

sich stark je nach Lösungsansatz, wie später in den Abschnitten 2.6.4 und 2.6.5 im 

Überblick gezeigt wird. Zur Reduktion des Unschärfeeffekts in den LR-Eingangsbil- 

dern oder zur nachträglichen Verbesserung von kombinierten HR-Bildern eignet sich 

eine Wiener-Filterung unter Berücksichtigung oder Schätzung der Punktantwortfunk- 

tion des Abbildungssystems [EHO01]. 

Besondere Beachtung findet an dieser Stelle der Registrierungsschritt (1.), dessen 

Ziel eine möglichst genaue Bestimmung der Bewegung zwischen zwei aufeinanderfol- 

genden Aufnahmen der Szene und damit der Parameter der Bewegung ist. Je nach Pro- 

blemstellung können unterschiedliche Bewegungsmuster vorliegen. Sie reichen von 

globalen linearen Bewegungen bis hin zu komplexen, lokal variierenden Zusammen- 

hängen. Die Registrierung ist dabei gleichzusetzen mit einer Bewegungskompensation 

mehrerer Bilder und spielt nicht nur als entscheidende Informationsquelle für die Auf- 

lösungssteigerung eine tragende Rolle. Auch zahlreiche andere Anwendungsgebiete in 

der Endoskopie, wie beispielsweise die Sichtstabilisierung oder die Objektverfolgung 

können davon profitieren: 

Stabilisierung der Sicht Eine dynamische Bewegungskompensation ermöglicht die 

automatische Nachführung von Objekten in einem Bildausschnitt oder die Reduzie- 

rung von menschlichen Zitterbewegungen. Die Information für die Stabilisierung des 

Sichtbereichs wird dazu ausschließlich aus der Bildfolge gewonnen und bedarf daher 

keiner weiteren mechanischen Konstruktionen oder Sensoren. Eine Übersicht zu An- 

wendungen in der Endoskopie findet sich in [Ort03, KWL05].


Objekterkennung und -verfolgung Zahlreiche Anwendungen, wie beispielsweise 

Überwachungseinrichtungen oder Objektidentifizierung nutzen Algorithmen zur Ob- 

jekterkennung und -verfolgung. Dabei ist es wichtig, die Position eines Merkmals über 

mehrere Bilder hinweg stabil orten und zuordnen zu können. In der Endoskopie gibt es 

Ansätze, diese Technik für optische Positionier- und Greifeinrichtungen einzusetzen. 

Die gemeinsame kritische Anforderung der beiden Anwendungsfelder ist die sta- 

bile Registrierung von zeitlich versetzten Bildausschnitten, meist basierend auf einer 

robusten Detektion und Verfolgung von Merkmalen. Viele renommierte Artikel bestä- 

tigen diese Aussage in den folgenden oder ähnlichen Worten: 

[...] the performance of motion estimation is of paramount importance 

[...]. In fact, we offer the observation that difficulties in estimating moti- 

on represent the limiting factor in practical Super-Resolution. [...] incor- 

rect estimates of motion have disastrous implications on overall Super- 

Resolution performance. 

Farsiu et al. [FREM04a] 

The key to exploiting these multiple frames is accurate knowledge of 

the subpixel registration parameters for each frame. If the images are se- 

verely undersampled, we have found that traditional motion estimation 

techniques [...] may not provide the desired subpixel accuracy. 

Hardie et al. [HBA97] 

The motion parameters (projective model) of each frame with respect 

to a chosen reference are assumed to be known [...] 

Lertrattanapanich [LB02] 

Viele Autoren umgehen beim Entwurf ihrer Algorithmen diesen kritischen Aspekt, in- 

dem sie von einem bekannten Bewegungsmodell oder von bekannten Bewegungsvek- 

toren zwischen den Bildern ausgehen. Im Rahmen dieser Arbeit konnte die Schätzung 

und Präzision von Bewegungsparametern zwischen faseroptisch abgetasteten Aufnah- 

men untersucht werden und als Vorwissen in sequenzbasierte Ansätze eingebracht wer- 

den. Für die Auflösungssteigerung kommen im wesentlichen zwei Arten von Bewe- 

gungen in Frage:


Mechanisch vorgegebene Bewegung Werden Bilder mit gebräuchlichen Einchip- 

Farbkameras aufgenommen, so leidet deren Auflösung unter der Farbfilterung der ein- 

zelnen Sensorelemente (vgl. Abschn. 2.3.2). Um diesen Verlust zu umgehen, stellt 

Howell eine Vorrichtung vor [HGN03], die den Kamerasensor mittels einer piezoelek- 

trisch verfahrbaren Minibühne um jeweils einen Pixel versetzt, um die verdeckten Bild- 

punkte einer bestimmten Farbe zu detektieren anstatt sie zu interpolieren. Diese Idee 

wird von weiteren Erfindern aufgegriffen und erweitert [BEZN05, Dum98], jedoch 

setzt der Einsatz einer solchen Hardware an der Spitze des Endoskops stets eine ge- 

wisse Baugröße voraus, was gegen die Nutzung und den Einsatz von Mikroendoskopen 

zur Inspektion von Hohlräumen mit minimalem Zugang spricht. Am proximalen En- 

de des Faserendoskops macht eine mechanische Vorrichtung zur Auflösungssteigerung 

keinen Sinn, da die Anzahl an Bildpunkten hier durch die Abtastung des Bildbündels 

begrenzt wird. Eine Verschiebung des Bildleiters gegenüber dem Kamerasensor bringt 

keinen Informationsgewinn. 

Natürliche und künstliche Eigenbewegung Der alternative Ansatz zur mechanisch 

vorgegebenen Bewegung ist die Nutzung der Eigenbewegung der Endoskopspitze. 

Diese existiert grundsätzlich durch die Vor-, Rück- und Seitwärtsbewegungen, kann 

aber auch zusätzlich bewusst herbeigeführt werden, indem das Endoskop z. B. mean- 

derförmig über die Szene bewegt wird. Ein weiterer Nutzen für diesen Zweck kann 

aus den sonst unerwünschten leichten Zitterbewegungen des Benutzers gezogen wer- 

den, die bei geeigneter zeitlicher Abtastung des Bilds Verschiebungen in der Größen- 

ordnung von Bruchteilen der Breite eines Pixel verursachen. Obwohl die Idee bei- 

spielsweise in einer Patentschrift der Mauna Kea Technologies als Möglichkeit zur 

Verbesserung verdeckter Faserbereiche genannt wird [AGF05], ist kein Hinweis auf 

eine mögliche Umsetzung für Anwendungen mit flexiblen Bildbündeln zu finden. 

2.6.3 Klassifikation der Verfahren 

Um im Gegensatz zur reinen Vergrößerung von Abbildungen durch Interpolation eine 

tatsächliche Steigerung der physikalischen Auflösung zu erreichen, können mehrere 

Bilder zeitlich und / oder örtlich miteinander verknüpft werden. Die bekannten Ver- 

fahren lassen sich bis auf wenige Ausnahmen wiederum nach ihrem Signalraum, näm- 

lich dem Orts- bzw. dem Frequenzraum unterscheiden. Hanselmann [Han07b] bietet 

einen guten Überblick über die aktuellen Arbeiten, gleichwohl sein Schwerpunkt auf 

der Verbesserung von Mikroskopiesystemen liegt und deshalb einige Annahmen über 

die Bildgewinnung nicht auf den Bereich der Endoskopie übertragen werden können.


Weiterhin bieten die übergreifenden Arbeiten von Borman et al. [BS98] und Park et al. 

[PPK03] einen guten Überblick. Für die genannten Kategorien werden im Folgenden 

die zugrunde liegenden Ideen in Kürze vorgestellt. 

2.6.4 Verfahren im Frequenzraum 

Für Methoden im Frequenzraum gelten gegenüber denen im Ortsraum zumeist eine 

Reihe von Einschränkungen. Besonders kritisch für die Endoskopie ist die Forderung 

nach ausschließlich globalen Translationsbewegungen parallel zur Bildebene, was hin- 

gegen für Systeme aus dem Bereich der Astronomie, der Satellitenkartographie oder 

auch der Mikroskopie gegeben ist. Weiterhin können Rauschen und Blurring ebenfalls 

nur global betrachtet werden und das Einbringen von a-priori-Wissen über das gesuch- 

te HR-Bild ist nur bedingt möglich. Andererseits sind Frequenzraummethoden sehr 

leicht parallelisierbar und demzufolge für zeitkritische Anwendungen interessant. 

Ein klassischer Ansatz für den Frequenzraum stammt von Tsai und Huang aus dem 

Jahr 1984 [TH84] mit dem Ziel der Verbesserung von Aufnahmen, die aus konstanter 

Höhe von Fotosatelliten aufgenommen wurden. Für die mathematische Formulierung 

der Problemstellung und Lösung sei der Leser auf die originale Arbeit verwiesen. In 

[KH96] wird die Idee des Algorithmus mit einer überlagerten Anordnung von Spek- 

tren des zu rekonstruierenden Signals im eindimensionalen Fall veranschaulicht. Das 

Verfahren nutzt drei Eigenschaften der Fourier-Transformation: 

1. Das Verschiebungstheorem, welches besagt, dass im Frequenzraum eine Trans- 

lation durch eine lineare Phasenverschiebung beschrieben wird. 

2. Die Transformationsbeziehung, welche einen Zusammenhang herstellt zwischen 

den Koeffizienten der (unbekannten) kontinuierlichen Fourier-Transformation 

des HR-Bildes und den Koeffizienten der (bekannten) diskreten Fourier-Trans- 

formation der LR-Bilder. 

3. Die Bandbegrenzung, unter deren Einhaltung diskret abgetastete Signale bis zu 

einer maximalen Frequenz wiederhergestellt werden können. 

Tekalp et al. [TOS92] erweitern das Frequenzraumverfahren um ein Rauschmo- 

dell und berücksichtigen eine realistische Abbildungsunschärfe beim Abtastvorgang. 

Der rekursive Ansatz von Kim et al. [KBV90] formuliert die Auflösungssteigerung als 

Lösung eines überbestimmten Gleichungssystems auf Basis der Methode der kleinsten


Quadrate. Später wird dieses Verfahren noch robuster gegenüber Registrierungsfehlern 

formuliert [KBV93]. 

Wavelets Eine weitere Klasse von Super-Resolutions-Algorithmen basiert auf der 

Wavelet-Theorie. Wavelets sind mathematische Basisfunktionen, auf deren Grundla- 

ge ein Signal in Frequenzkomponenten zerlegt werden kann. Im Gegensatz zu peri- 

odischen Transformationen und hier insbesondere der Kurzzeit-Fourier-Transforma- 

tion STFT 25 variiert die Wavelet-Transformation die Orts-Frequenz-Auflösung, zu der 

Gabor bereits 1946 seine Theorie zur Auflösungsunschärfe aufstellte. Bei größerer 

Bandbreite ist so eine detailliertere Ortslokalisierung möglich und umgekehrt, was 

schon eher der menschlichen Wahrnehmung entspricht. Für die lokale Analyse von 

Signalen mit vielen unperiodischen Kanten und Sprüngen erweist sich die Wavelet- 

Transformation daher oft als vorteilhaft [CM05]. Die Wavelet-Analyse zur Auflösungs- 

steigerung wird in [WJNZ03] im Speziellen für Anwendungen aus der Astronomie 

sowie in [NM00] mit einer eher allgemeinen Motivation in Hinblick auf die militäri- 

sche Aufklärung und die zivile Überwachung oder Fahrzeugerkennung untersucht. Als 

Überblick zur Wavelet-basierten Auflösungssteigerung sei zudem auf die Arbeit von 

Chan et al. [CCSS03] verwiesen. 

2.6.5 Verfahren im Ortsraum 

Die vielfältigen Möglichkeiten aufgrund ihrer Formulierungen führen zu einer ver- 

gleichsweise großen Zahl an Ortsraumverfahren. Darunter fallen die Interpolation, die 

Simulationsmethode, die iterative Rückprojektion sowie mengentheoretische und sto- 

chastische Methoden. Auf weitere hybride Verfahren als Kombination der genannten 

Ansätze wird wegen des Umfangs nicht eingegangen. 

Interpolation Eine naheliegende und verbreitete Herangehensweise an das Rekon- 

struktionsproblem im Ortsraum ist die Interpolation. Anders als beim trivialen Fall 

der Streckung werden hierzu mehrere registrierte Aufnahmen der vorliegenden LR- 

Sequenz kombiniert, um den Informationsgehalt des HR-Bilds zu erhöhen. Eine häu- 

fig genutzte Technik ist die sog. Nächste-Nachbarn-Interpolation (Abbildung 2.12). 

Dabei werden die Pixelwerte der LR-Bilder den HR-Pixeln zugeordnet, die ihnen 

nach Positionierung gemäß den Verschiebevektoren und Skalierung mit dem Vergröße- 

rungsfaktor am nächsten liegen. Konkret bedeutet dies, dass jedes LR-Pixel auf genau 

25 STFT: (Short time Fourier transform) Kurzzeit- oder auch gefensterte Fourier-Transformation


Abbildung 2.12: Nächste-Nachbarn-Interpolation: Ein um ein Drittel Pixel in x-Richtung ver- 

schobenes LR-Bild und dessen Lage auf dem dreifach feineren HR-Gitter. Für das HR-Bild 

werden mehrere unterschiedlich verschobene LR-Bilder benötigt, hier neun. 

ein HR-Pixel Einfluss hat. Alternativ kann man die LR-Pixelwerte auch anteilig und 

gewichtet auf die HR-Pixel verteilen. Ein LR-Pixel hat in diesem Fall einen nach sei- 

nem Abstand gewichteten Einfluss auf mehrere HR-Pixel. Mit dieser Technik kann 

man mit relativ geringem Rechenaufwand vergleichsweise gute Bilder generieren. Ei- 

ner zeitkritischen Anforderung kommt zudem zu Gute, dass die Anzahl der verwen- 

deten LR-Pixel je nach zur Verfügung stehender Zeit gewählt werden kann und keine 

Gesamtlösung berechnet werden muss. Jedoch machen sich bei diesem Ansatz fehler- 

haft eingefügte Pixel durch stark erhöhtes Rauschen bemerkbar. 

Simulationsmethode Mit der Simulationsmethode wird, wie der Name schon sagt, 

auf Grundlage eines geschätzten HR-Bilds durch ein Abbildungsmodell ein mögliches 

LR-Bild simuliert. Dieses wird mit den tatsächlich aufgenommenen LR-Bildern ver- 

glichen. Anschließend wird das geschätzte HR-Bild sukzessive entsprechend dem bei 

der Simulation aufgetretenen Fehler angepasst. Das zugrunde gelegte Beobachtungs- 

modell nutzt meist die in Abschnitt 2.6.2 genannten Komponenten. Häufig wird durch 

einen Regularisierungsterm die Möglichkeit gegeben, zusätzliches a-priori-Wissen ein- 

zubringen. Die in der Literatur vorgeschlagenen Methoden unterscheiden sich haupt- 

sächlich in der Wahl dieses Regularisierungsterms und der Modellierung des Beobach- 

tungsmodells. Grundlegende Arbeiten mit diesem Ansatz stammen von Farsiu, Milan- 

far und Nguyen et al. [FREM04b, NMG01]. Hauptkritikpunkt dieser Ansätze ist die 

Uneindeutigkeit der gefundenen Lösungen, die beispielsweise von der initialen Bild- 

schätzung abhängig sind. 

Iterative Rückprojektion 1991 wurde von Irani und Peleg [IP91] der Ansatz Ite- 

rative Back Projection vorgeschlagen. Ähnlich zur Simulationsmethode werden auch 

hier auf Grundlage einer initialen Schätzung für das HR-Bild HR I mehrere LR-Bilder


LR Îk erzeugt und die jeweiligen Differenzen zur Korrektur der Schätzung für HR I ver- 

wendet. Das Ziel, die Minimierung der Signalenergie des Fehlers, wird hier iterativ 

durchgeführt, wobei auch bei diesem Verfahren je nach Wahl des zugehörigen Ver- 

gleichsoperators unterschiedliche Ergebnisse erzielt werden können. Die Lösung ist 

nicht eindeutig und das Einbringen von a-priori-Wissen schwierig. 

Stochastische Verfahren Stochastische Verfahren begünstigen das Einbringung von 

a-priori-Wissen über die gesuchte Lösung. Das Super-Resolution-Problem wird da- 

bei üblicherweise als MAP 26 -Schätzer formuliert. Eine MAP-Schätzung bildet auf Ba- 

sis einer unabhängigen Menge an Stichproben Hypothesen für die zugrunde liegen- 

de Verteilung. Als Lösung wird aus den Hypothesen die stochastisch signifikanteste 

Verteilung ausgewählt. Überträgt man die Formulierung auf das Super-Resolution- 

Problem, so wird nach dem HR-Bild HR I gesucht, das bei Vorliegen der LR-Bilder 

LR Îk (k ∈ {1; · · · ; NI}) am wahrscheinlichsten ist, also die a-posteriori Wahrschein- 

lichkeitsdichtefunktion P(I| LR Îk) maximiert: 

HR 

I = argmax P(I| 

I 

LR Î1, LR Î2, · · · , LR ÎNI) . (2.3) 

Da das zugehörige Minimierungsproblem der Optimierungsaufgabe der Simulations- 

methode ähnlich ist, sei an dieser Stelle lediglich auf die umfangreichen Arbeiten von 

Borman, Schultz und Stevenson [BS98, SS96], Hardie et al. [HTB + 97] und Shen et 

al. [SLZZ04] verwiesen. Ein großer Vorteil des MAP-Ansatzes liegt, bei geschickter 

Wahl des sog. Priors P(I), in der Eindeutigkeit der Lösung. 

2.6.6 Bedeutung für die Fiberskopie 

Der limitierende Faktor für die Auflösung von faseroptischen Systemen ist die An- 

zahl der Glasfasern im Bildbündel. Sie bestimmt den primären Informationsgehalt des 

vom Sensor überabgetasteten Abbilds. Der typischen Auflösung von verwendeten Ka- 

merasensoren von VGA (307.200 Pixel) bis XGA (786.432 Pixel) stehen 3.000 bis 

50.000 informationstragende Intensitätswerte aus Faserpunkten gegenüber. Die aufge- 

zeichneten Bilder wirken daher grundsätzlich unscharf bzw. detailarm. Das Ziel der 

Auflösungssteigerung im Kontext der Faserendoskopie ist daher nicht die Vergröße- 

rung von Bildern im Sinne einer Erhöhung der Bildpunkte, sondern die Steigerung 

der Anzahl von informationstragenden Bildpunkten. Dafür sind Ansätze prädestiniert, 

die in der Lage sind, unregelmäßige Gitterstrukturen zu überlagern oder zu ergänzen. 

26 MAP: (Maximum-a-posteriori) Ein Schätzverfahren, das Vorwissen mit einbezieht


Der Vorgang des Überlagerns gibt ihnen auch die Bezeichnung Superposition 27 . Die 

Idee ist vergleichbar mit dem Verhalten des menschlichen Auges beim Blick durch ein 

Fliegengitter. Es nutzt lokal kleine Seitwärtsbewegungen, um durch Ergänzung zeit- 

weise verdeckter Sichtbereiche einen klareren, d.h. einen detailreicheren Eindruck zu 

gewinnen. 

Ein weiterer Grund, der für die lokale Ergänzung von Bildinhalten spricht, ist die 

starke Verzerrung durch die Weitwinkeloptik an der Spitze des Endoskops. Zwar könn- 

ten Bewegungen durch ein relativ einfaches Abbildungsmodell entzerrt werden und so 

eine einheitliche Bewegung auf einer bekannten Ebene in eine homogene bildweite 

Richtung entzerrt werden. Jedoch kann in der endoskopischen Abbildung nicht von der 

Vereinfachung ausgegangen werden, dass der Abstand der betrachteten Objektpunkte 

in der Szene untereinander deutlich geringer ist, als derjenige zur Sensorebene. Einen 

Mittelweg zwischen der individuellen Ergänzung von Gitterpunkten und der unrealis- 

tischen Annahme einer globalen Verschiebung kann man aus der Arbeit von Hardie 

et al. [HTB + 97] ableiten. Dort wird ein klassischer Ansatz zur Auflösungssteigerung 

kostengünstig nur für den segmentierten Bereich eines bewegten Objekts im Rahmen 

einer Überwachungskamera angewendet. Dieses semiglobale Vorgehen eignet sich je- 

doch nicht für den Einsatz von Endoskopen, die frei geführt werden und dicht an der 

Objektszene arbeiten. 

Erste Forschungsarbeiten tragen dazu bei, Verfahren zur aktiven Steigerung von 

Qualität und Auflösung bewegter Bildsequenzen durch Superposition (Überlagerung) 

für den Anwendungsbereich der flexiblen Endoskopie zu nutzen. Lertrattanapanich 

nutzt in seinem Ansatz [LB02] ein kontinuierliches Datengitter, aus dem das HR-Bild 

aufgebaut wird. Gleichwohl dieser Ansatz die Grundlage des in Abschnitt 3.5 auf den 

endoskopischen Anwendungsfall übertragenen Verfahrens darstellt, bleiben dennoch 

endoskopiespezifische Effekte unberücksichtigt. Darunter fallen die präzise Lokalisie- 

rung der als Datenpunkte benötigten Faserzentren, die Korrektur von Farbartefakten 

durch Abtastvorgänge zwischen Sensor und Faserbündel sowie eine präzise Bewe- 

gungsschätzung in der faseroptisch abgetasteten Bildsequenz. 

27 Superposition: Verfahren zur Auflösungsteigerung im Ortsbereich durch Überlagerung minimal 

versetzter Bildinhalte

3 

47 

Eigener Beitrag 

Aufbauend auf dem Stand der Technik beschreibt dieses Kapitel den relevanten eige- 

nen Beitrag, wobei die Einzelaspekte als Teil eines Ganzen gesehen werden müssen, 

nämlich der automatisierten Verbesserung von visueller Darstellung und digitaler Wei- 

terverwendung von Grauwert- und Farbbildern, die mit faseroptsichen Endoskopen ab- 

gebildet wurden. Bei den wissenschaftlichen Methoden und Untersuchungen handelt 

es sich um 

• ein geeignetes Abbildungsmodell für die Untersuchung und Evaluierung der fa- 

seroptischen Übertragung, 

• die erweiterten Restaurierungsansätze im Orts- und Frequenzraum zum Umgang 

mit der technisch bedingten Rasterstruktur, 

• die Reduzierung von Farbartefakten bei Verwendung handelsüblicher digitaler 

Kamerasensoren mit Farbfiltermosaik, 

• die Steigerung der physikalischen Auflösung von faseroptisch gewonnenen Auf- 

nahmen, 

• die Integration und den Einsatz der Verfahren in speziellen Anwendungen und 

• die Zusammenstellung und Definition von geeigneten Gütekriterien zur Evalu- 

ierung der Verbesserungen. 

3.1 Modellierung und Kalibrierung von Faseroptiken 

Die Abbildungseigenschaften einer Faseroptik wirken sich in vielerlei Hinsicht degra- 

dierend auf die resultierende Bildqualität aus (vgl. Abschn. 2.3.3). Verschiedene An-

48 3.1. MODELLIERUNG UND KALIBRIERUNG VON FASEROPTIKEN 

sätze in Abschnitt 3.2.1 und Abschnitt 3.2.2 dienen der bestmöglichen Wiederherstel- 

lung, also der Restaurierung eines wabenfreien Bilds. Abtastvorgänge und nichtlineare 

Effekte verursachen teilweise irreparable Veränderungen am Signal und verhindern da- 

mit die vollständige Wiederherstellung. Um so bedeutender ist daher eine Möglichkeit, 

die Ansätze untereinander bewerten zu können und quantitative Aussagen über deren 

Wirkung machen zu können. 

In Abschnitt 3.6 werden verschiedene Gütekriterien definiert, die sich dazu eignen, 

Qualitätsmerkmale und -unterschiede zu beurteilen. Die Kriterien lassen sich dabei 

in zwei übergeordnete Gruppen einteilen. Die einen beurteilen die Restaurierungsgü- 

te anhand von Bildmerkmalen, wie Kontrastübergängen oder künstlich geschaffenen 

Merkmalen, sowie anhand von sekundären Ergebnissen, wie der Streuung von rekon- 

struierten 3D-Punktwolken. Die andere Gruppe evaluiert die Ergebnisse im direkten 

Vergleich mit dem Ursprungsbild. Dazu gehören Differenz- und Ähnlichkeitsmaße. 

Um die Wirkung von einzelnen Modulen in der Bearbeitungskette eines komplexen 

Algorithmus im Sinne der zweiten Gruppe quantitativ besonders einfach und präzise 

bewerten zu können, muss die Grundwahrheit 1 bekannt sein. Das stellt die Endosko- 

pie und speziell die flexible Faserendoskopie vor das Problem, dass die ursprünglich 

unverfälschten Bilddaten nicht zugänglich sind. Um dies zu gewährleisten, müsste das 

Endoskopsystem durch eine äquivalente Optik ersetzt werden und die Szene mit den 

exakt gleichen optischen Parametern wiederholt aufgezeichnet werden. In der Praxis 

lässt sich das nicht realisieren. 

Einen Ausweg stellt die synthetische Generierung von Signalen durch ein entspre- 

chendes Abbildungsmodell dar. Dieses Modell muss die zu untersuchenden Effekte 

einer faseroptischen Abbildung nachbilden und sie auf ein definiertes Szenenbild, die 

Grundwahrheit, anwenden. Die Ergebnisse von diversen Bearbeitungsschritten können 

so durch geeignete Fehlermaße mit den ursprünglichen, d.h. den als richtig definierten 

Daten quantitativ evaluiert werden. Das Modell muss dabei einerseits alle relevanten 

Einflussgrößen berücksichtigen, soweit diese die Abbildung beeinflussen, und ande- 

rerseits sollte es nur so wenige Parameter wie möglich fordern, um die Anpassung des 

Modells an eine gegebene Umgebung nicht unnötig zu erschweren. 

Die faseroptische Abbildung kann in zwei Teilschritten betrachtet werden (vgl. 

Abb. 3.1), nämlich zum einen die Beeinträchtigung durch die optische Verzerrung und 

zum anderen die Abtastung und Rasterisierung durch das Bildbündel. Der erste Schritt 

wird an dieser Stelle übergangen, weil die geometrischen Beeinträchtigungen durch 

1 Grundwahrheit: (engl. ground truth) Ursprüngliche, unverfälschte Datenbasis, hier zum Vergleich 

nach Bildverarbeitungsschritten

3.1. MODELLIERUNG UND KALIBRIERUNG VON FASEROPTIKEN 49 

Abbildung 3.1: Ablauf der Modellierung einer faseroptischen Abbildung, wobei der erste Teil- 

schritt der optischen Verzerrung (gestrichelte Umrandung) übergangen wird. 

die distale Optik des Endoskops keine Auswirkungen auf die anschließende Rasterisie- 

rung der Bilddaten zeigen. Die quantitative Evaluierung, zu der das Abbildungsmodell 

dient, wird auf unverzerrten Bilddaten durchgeführt. 

3.1.1 Simulation der Bildübertragung durch Glasfaserbündel 

Ziel ist es, den Abbildungsprozess eines Glasfaserbündels nachzubilden, d.h. ein Sze- 

nenbild derart mit einem Wabenmuster zu kombinieren, so dass das Resultat dem be- 

trachteten Abbild im Okular des Endoskops entspricht. Dazu wird 

1. die Intensitätsverteilung der einzelnen Faserquerschnitte bestimmt, 

2. ein Muster der Wabenstruktur bereitgestellt, 

3. das Bild geeignet abgetastet, um die Intensitäten für die Faserzentren zu erhalten 

und damit 

4. das resultierende Abbild aufgebaut. 

Die Grundlagen für ein derartiges Vorgehen wurden mit Rupp et al. in [RWE06b] 

formuliert. Bislang wird dazu die Faserverteilung eines bekannten Endoskops aus ei- 

nem realen Weißbild entnommen und für die Rasterisierung einer Aufnahme verwen- 

det. In der vorliegenden Arbeit wird darüber hinaus eine Möglichkeit geschaffen, ein 

beliebiges Muster der Wabenstruktur künstlich bereitzustellen und damit ein Szenen- 

bild entsprechend zu modellieren. Die zugrunde liegende Intensitätsverteilung wird auf 

der Basis von physikalischen Grundlagen zur Faserübertragung automatisch parame- 

trisiert.


3.1.1.1 Intensitätsverteilung 

Beim Betrieb einer Glasfaser als optischer Leiter zur Bildübertragung ist es erforder- 

lich, dass diese im Monomode-Modus arbeitet, d.h. im Querschnitt der Faser breitet 

sich nur eine Schwingung aus. Die normierte Frequenz V liefert eine Aussage darüber, 

wie viele Moden sich in der Faser ausbreiten. Sie ist über die numerische Apertur NA, 

den Kernradius rkern und die zu übertragende Wellenlänge λ definiert: 

V = 2π · NA · rkern 

λ 

Bis zur normierten Grenzfrequenz ˆV = 2, 41 ist nur eine einzige Mode ausgeprägt. Für 

diesen Fall wird die Intensitätsverteilung bei der Übertragung von sichtbarem Licht 

über eine Glasfaser mit guter Näherung durch eine 2D-Gauß-Verteilung beschrieben 

(vgl. [You00, Mit05]). Ein sog. Weißbild, d.h. die Aufnahme einer homogen ausge- 

leuchteten matten Fläche durch ein Endoskop zeigt für jede Bildfaser eine solche Ver- 

teilung in Form einer kleinen Grauwertglocke (vgl. Abb. 3.2(a)): 

g(x, y; a, µx, µy) = a · exp 

. 

 

− 2 

[(x − µx) 

rmod 

2 + (y − µy) 2 ] 

 

. (3.1) 

Der charakteristische Modenfeldradius rmod gibt den Abstand vom lichtleitenden Zen- 

trum an, an dem die Intensität auf etwa 13, 5% ihres Spitzenwertes abgefallen ist (vgl. 

Abb. 3.2(b)). Der Modenfeldradius ist bei Monomodefasern, wie sie unter anderem 

in der Bildbündelfertigung Verwendung finden, i. A. größer als der Kernradius. Daher 

erstreckt sich die ausbreitende Welle, wie in Abbildung 3.2(c) dargestellt, teilweise in 

den Mantelbereich. Der Modenfeldradius rmod, der Kernradius rkern und die normierte 

Frequenz hängen für V ≈ ˆV wie folgt zusammen: 

rmod ≈ rkern · 

Aus dieser Beziehung lässt sich die Intensitätsverteilung im Querschnitt der Glasfasern 

2, 6 

V 

im Bildbündel parametrisieren und für die Modellierung nutzen. 

3.1.1.2 Anordnung der Faserpunkte 

Bevor die Modellierung des Signals durchgeführt werden kann, muss die Anordnung 

der einzelnen Intensitätsübertragungsfunktionen bekannt sein. Beim Blick durch ein 

Endoskop fällt der kreisförmige Ausschnitt, die sog. Apertur 2 (vgl. Abb. 3.3) auf. 

nimmt 

2 Apertur: Kreisförmiger Ausschnitt, den ein Betrachter durch das Okular eines Endoskops wahr- 

.


(a) (b) (c) 

Abbildung 3.2: Intensitätsverteilung eines Lichtpunkts nach Übertragung durch einen Licht- 

leiter: (a) Angestrahlte Sensorelemente, (b) Gauss-Verteilung mit Kennzeichnung des Moden- 

feldradius rmod und (c) schemtischer Schnitt durch die Glasfaser. 

Dieser aktive Bereich stellt den sichtbaren Ausschnitt der Szene dar und auf ihn be- 

schränken sich auch anschließende algorithmische Berechnungen. Die Nutzung dieses 

Ausschnitts als ROI 3 führt sowohl zur Beschleunigung von Algorithmen, da diese nur 

einen Teilbereich der Bildpunkte bearbeiten müssen, als auch zum präziseren Vergleich 

von Ergebnissen einer Bildverbesserung gegenüber dem Originalbild, weil nur Bild- 

bereiche verglichen werden, für die eine Veränderung gewünscht und wahrgenommen 

wird. Die mit dem Symbol R bezeichnete ROI wird an vielen Stellen der Algorithmen 

berücksichtigt ohne explizit genannt zu werden. Oft wird der Radius der ROI wie in 

Abbildung 3.3(b) um wenige Prozent (hier 5%) kleiner als der Aperturradius gewählt, 

um verfälschende Randeffekte von Bildverarbeitungsschritten auszuschließen. 

Für das Abbildungsmodell muss die Apertur definiert werden, um darin eine vorge- 

gebene Faseranzahl dreiecksförmig anzuordnen (s. Abb. 3.3(c)). Als näherungsweise 

Geometrie wird die Kreisform verwendet. Eine mögliche minimale Abweichung in der 

Praxis hin zur Ellipse wird vernachlässigt, um die Parametrisierung auf den Radius rA 

der Apertur zu beschränken. Für die Anordnung der Faserzentren muss deren Abstand 

df, also die Kantenlänge der gebildeten Dreiecke, bekannt sein. Um diese zu ermitteln, 

wird das Verhältnis zwischen Faseranzahl NF und der Anzahl der gebildeten Dreiecke 

ND bestimmt. Innerhalb der Kreisfläche werden genau zwei Dreiecke von einem Fa- 

serzentrum gebildet , da die drei Eckpunkte einer Dreiecksfläche (hier p1, p2 und p3) 

zu je einem Sechstel an angrenzenden Flächen beteiligt sind. Das Verhältnis zwischen 

Dreiecken und Faserzentren ist demnach 2 : 1 und es gibt ND = 2 NF Dreiecke. Aus 

entsprechenden Überlegungen für den Rand der Apertur ergibt sich, dass hier bis auf 

3 ROI: (Region of interest) Berücksichtigter Bereich für Bildoperationen


(a) (b) (c) 

Abbildung 3.3: (a) Faseroptische Aufnahme aus Abbildung 2.4 mit Markierung der Apertur. 

(b) Für die Bildverarbeitung und den Vergleich von Ergebnissen wird meist ein Ausschnitt 

der Apertur (hier 95% des Sichtradius) als ROI R definiert. (c) Hexagonale Anordnung der 

Faserzentren im Abstand df innerhalb der Apertur mit Radius rA. 

vernachlässigbar wenige Ausnahmen jeweils fünf Faserzentren zu nur sechs Dreiecken 

beitragen. Die Gesamtzahl aller Dreiecke in einer Kreisfläche mit dem Umfang 2 rA π 

beträgt mit dem Korrekturfaktor κ, der die aufwändige exakte Berechnung des kanti- 

gen statt kreisförmigen Verlaufs des Umfangs durch einen empirisch ermittelten Wert 

von etwa 0.95 ersetzt: 

ND = 2 · (NF − κ 2rAπ 

df 

) + 6 

· κ2rAπ 

5 df 

= 2 · NF − κ 8 rAπ 

5 df 

. (3.2) 

Dabei ist κ·2rAπ/df die Anzahl der Dreiecke am Rand der Apertur. Mit AD = d 2 f /4·√ 3, 

der Fläche eines Dreiecks, ergibt sich die Gesamtfläche aller Dreiecke aus ND · AD. Sie 

wird mit der Kreisfläche der Apertur, r 2 Aπ, gleichgesetzt: 

r 2 

Aπ = 2 · Nf − κ 8 

 

rAπ 

5 

df 

· d2 √ f 

3 . (3.3) 

4 

Nach df umgestellt ergibt Gleichung (3.3) den (positiven) Faserabstand 

df = rA 

 

12 π κ + 2 36 κ 

30 NF 

2π2 

√ 

+ 150 π NF 3 . (3.4) 

Abbildung 3.4 trägt den Faserabstand df nach Gleichung (3.4) über der Faseran- 

zahl Nf zwischen 3.000 und 18.000 Fasern auf. Jeder Graph der Kurvenschar stellt 

das Ergebnis für einen bestimmten Aperturradius rA im Bereich von 140 bis 280 Pixel


Abbildung 3.4: Der Abstand der Fasern innerhalb einer Apertur mit definiertem Radius bei 

einer bestimmten Faseranzahl. 

dar. Die Faserzentren werden daraus folgend hexagonal im Abstand df in der Kreisflä- 

che mit dem Radius rA angeordnet. Zusätzlich kann mit einem Winkel αs die Grund- 

orientierung gewählt werden. Mit dieser Vorzugsrichtung lässt sich die Rotation des 

Endoskopokulars gegenüber dem Kamerasensor simulieren. Die Transformation einer 

hexagonalen Faserkoordinate (m, n) T auf rechtwinkelige Koordinaten (x, y) T mit dem 

Offset (µx, µy) T und der Grundorientierung αs ergibt 

 

 

˜x(m, n) 

˜y(m, n) 

= 

cos αs − sin αs 

sin αs cos αs 

µx 

µy 

 

+ 

 

df 

df/2 

0 √ 3df/2 

3.1.1.3 Abtastung und Aufbau des resultierenden Abbilds 

 

m 

n 

. (3.5) 

Das Szenenbild einfach mit der Kombination der Gauß-Funktionen zu gewichten, ent- 

spräche nicht dem physikalischen Vorgang der Abtastung durch das Faserbündel. In 

diesem Fall könnten hoch frequente Bildstrukturen über einzelne Faserquerschnitte 

übertragen werden. In der Realität stellt das Glasfaserbündel einen Zusammenschluss 

vieler winziger Helligkeitsakkumulatoren dar, die die Szene abtasten. Um diesen Ef- 

fekt nachzubilden, wird ein effektiver Anteil 4 der Sensorelemente ihrem jeweils nächst- 

gelegenen Faserzentrum zugeordnet. Für jede Faser werden nun die Helligkeiten aller 

zugehörigen Sensorelemente addiert und der Mittelwert gebildet. Dieser Vorgang fin- 

det beim Endoskop am distalen Ende statt, wo das Szenenbild durch die Optik auf den 

polierten Querschnitt des Bildbündels projiziert wird. Die so gewonnenen Mittelwerte 

der Helligkeiten werden den entsprechenden Verteilungen (vgl. Gl. (3.1)) als Scheitel- 

werte Î zugeordnet. 

4 vg. effektive Abtastfläche in Abschnitt 3.5.2


(a) (b) 

(c) (d) 

Abbildung 3.5: Vergrößerte Ausschnitte der modellierten Abbildung eines USAF-Testbilds bei 

einem Aperturradius von 280 Pixel und (a) 5.000 Fasern mit einer Grundorientierung von 10 ◦ 

, (b) 10.000 Fasern mit einer Grundorientierung von 0 ◦ , (c) 20.000 Fasern mit einer Grund- 

orientierung von 20 ◦ und (d) 25.000 Fasern mit einer Grundorientierung von 30 ◦ . 

Mit den bekannten Positionen (ˆx, ˆy) in der hexagonalen Anordnung (vgl. Gl. (3.5)) 

und den Intensitäten a der Faserzentren wird nun eine Gesamtverteilung erstellt, indem 

Gleichung (3.1) mit geeigneter Parametrisierung für die Nachbarschaft jedes Faser- 

zentrums akkumuliert wird. Ein mögliches Übersprechen zwischen mehreren Fasern 

wird durch einen entsprechend erweiterten Definitionsbereich der einzelnen Gauß- 

Funktionen berücksichtigt. Bei der Summenbildung werden die Intensitätsfunktionen 

mit einem Durchmesser von 2 · df berücksichtigt: 

Î(x, y) = 

g(x, y; am,n, ˆx(m, n), ˆy(m, n)) . 

m,n 

Abbildung 3.5 zeigt exemplarisch vier vergrößerte Ausschnitte von modellierten Ab- 

bildungen eines USAF-Testbilds 5 , bei denen die Anzahl der Fasern im Bildleiter und 

die Grundorientierung variieren. 

3.1.2 Faseroptische Bildgebung mit Farbfiltermosaiken 

In der digitalen Endoskopie werden überwiegend Farbkameras mit Einchip-Techno- 

logie verwendet, die statt der visuellen Begutachtung am proximalen Ende des En- 

5 USAF-Testbild: (engl. US Air Force Resolution Test Chart) Testmuster zur Bestimmung der Auflösungsfähigkeit 

eines optischen Systems. Das Muster enthält Gruppen von je drei Linien in unterschiedlichen 

Auflösungsstufen.


Abbildung 3.6: Ablauf der Modellierung zur synthetischen Generierung von farbabgetasteten 

Bilddaten einer faseroptisch abgebildeten Szene zwecks Evaluierung von Ergebnissen verschie- 

dener Algorithmen zur Bildaufbereitung. 

doskops, also hinter der Okularoptik montiert werden. Sie tastet das Abbild ab, das 

durch den flexiblen Bildleiter von der Optik an der Spitze des Endoskops zum Okular 

übertragen wird. Die Kamera verwendet intern einen Intensitätssensor, dessen einzel- 

ne Elemente in regelmäßiger Ordnung hinter verschiedenen Farbfiltern liegen. Im Fall 

des Bayer-Patterns sind dies die Farben Rot, Grün und Blau (vgl. Abschn. 2.3.2). 

In dieser Arbeit sollen unter anderem die Vorzüge von Algorithmen aufgezeigt wer- 

den, die direkt auf die farbkodierten Intensitätsdaten (Rohdaten) des Kamerasensors 

zugreifen. Bislang können diese Methoden hinsichtlich ihrer Leistungsfähigkeit nicht 

über Differenz- und Ähnlichkeitsmaße mit herkömmlichen Algorithmen, also solchen, 

die auf RGB-Farbbildern arbeiten, verglichen werden. Letztere werden bislang anhand 

von Farbbildern evaluiert, die separat in jedem Kanal mit der gleichen bzw. spektral 

angepassten Methode bearbeitet werden. Die Differenz oder Ähnlichkeit zum Origi- 

nal gibt Auskunft über die Qualität der Verbesserung durch den Algorithmus. Diese 

Ergebnisse können jedoch nicht auf den Vergleich mit Algorithmen angewendet wer- 

den, die zur Berechnung die Rohdaten verwenden. Das liegt an der Degradierung der 

Bilddaten durch den Abtastungsprozess des Farbfiltermosaiks, der die Ortsauflösung 

zu Gunsten der Repräsentation von Farbinformation reduziert. Mittels Demosaicing 

werden die Rohdaten wieder in Farbinformation überführt. Diesen Ablauf illustriert 

Abbildung 3.6. 

Um die gewünschten Vergleichsdaten abgreifen zu können, wird das Modell des fa- 

seroptischen Abbildungssystems um ein Modul zum Mosaicing 6 erweitert [WSZ07]. 

Das entspricht in einem Einchip-Kamerasensor der Abtastung durch das Farbfilter- 

feld. Aus den verschiedenen Farbkanälen, die jeweils den Prozess der synthetischen 

Faserabbildung durchlaufen haben, werden in der durch das Farbfiltermosaik vorgege- 

6 Mosaicing: Abtastung von Bilddaten durch ein Farbfiltermosaik


benen Ordnung die entsprechenden Intensitätswerte entnommen. Das daraus zusam- 

mengesetzte farbkodierte Intensitätsbild wird als Rohbild ˆR bezeichnet. 

Wie eingangs in diesem Abschnitt erwähnt, soll neben den Rohdaten ˆR auch ein 

vergleichbares Farbbild bereitgestellt werden, um herkömmliche Farbalgorithmen in 

die Bewertung mit einbeziehen zu können. Dieses Farbbild wird aus dem Rohbild 

mittels Demosaicing gewonnen (vgl. Abschn. 2.3.2). 

Der untere Bereich in Abbildung 3.6 veranschaulicht beispielhaft die Evaluierung 

von Ergebnisdifferenzen verschiedener Algorithmen zur Bildaufbereitung. Durch den 

Vergleich mit der Originalszene kann über Fehlermaße die Qualität der Bildrekon- 

struktion durch Filterung oder Interpolation auf den einzelnen Farbkanälen quantitativ 

bestimmt und verglichen werden. Aufgrund der bereitgestellten Rohdaten ist es nun 

insbesondere möglich, Ansätze in die Evaluierung mit einzubeziehen, deren Stärke in 

der Verarbeitung von Information aus den farbkodierten Intensitätsbildern liegt. Diese 

waren bislang auf die Rohdaten der Kamera angewiesen und konnten nicht direkt mit 

den Resultaten anderer Algorithmen verglichen werden. 

3.1.3 Einschränkungen 

Das beschriebene Faserabbildungsmodell berücksichtigt einige bekannte Effekte nicht, 

die bislang aufgrund ihrer Komplexität nicht modelliert werden können oder deren 

Einfluss näherungsweise vernachlässigbar ist. 

• Die chromatische Abberation bewirkt, dass Lichtstrahlen, die den gleichen Ur- 

sprung, aber eine unterschiedliche Wellenlänge haben, in abweichender Rich- 

tung abgelenkt werden. Dieser Effekt ähnelt der spektralen Spreizung von Licht 

beim Durchgang durch ein Prisma. Für die Wabenstruktur bedeutet dies eine 

leichte Verschiebung der einzelnen Faserzentren, die vom Bildmittelpunkt zu 

den Rändern hin zunimmt. Obwohl dieser Effekt nachweisbar ist, kann er durch 

eine individuelle Bestimmung von Farbfaktoren im Zuge der physikalisch moti- 

vierten Farbinterpolation kompensiert werden. 

• Einige Kamerasensoren sind in der Lage, die abgetasteten Farbwerte mit höhe- 

rer Auflösung, als den üblichen 8 Bit auszugeben. Das hier beschriebene Modell 

kann auf einfache Weise für die Bearbeitung höherwertiger Bilddaten erweitert 

werden. Der Einfachheit halber wird jedoch auf diesen allgemeinen Fall ver- 

zichtet und die Experimente und Ergebnisse werden mit 8 Bit durchgeführt und 

dargestellt.


• Ohne einen Weißabgleich 7 kann es sein, dass die verschiedenen Farbkanäle in 

der Aufnahme eines Kamerasensors ungleich gewichtet sind. Dies wird impli- 

zit bei der Berechnung der Farbfaktoren für die Interpolation berücksichtigt und 

führt für schwache Werte zu hohem Rauschen, da der Wert für die resultieren- 

de Farbzusammensetzung unverhältnismäßig stark angehoben wird. Durch die 

Vorgabe einer homogenen weißen Fläche als Kalibrierbild für die Faserregis- 

trierung wird sichergestellt, dass alle Kanäle die gleiche Gewichtung haben. In 

der Praxis kann diese Vereinfachung mit einem entsprechenden Weissabgleich 

gerechtfertigt werden. 

• Die Schärfe der einzelnen Faserpunkte variiert in realen Aufnahmen besonders 

zu den Aperturrändern hin. Ursachen hierfür sind geometrische Abberation, so- 

wie Ungenauigkeiten und technische Begrenzungen in der Fertigung der Ver- 

bindungsteile zwischen Endoskop und Kamera. Mit hochwertigen Optiken und 

Adaptern sowie der Minimierung von Schnittstellen im Strahlengang zwischen 

den Komponenten konnte dieser Effekt nachweislich reduziert werden, sodass 

er beim Modell vernachlässigt werden konnte. 

3.1.4 Geometrische Kalibrierung zur Bildentzerrung 

Endoskope sind typischerweise mit weitwinkeligen Optiken versehen, um bei kleinem 

Arbeitsdurchmesser im Frontbereich trotzdem einen ausreichend großen Sichtbereich 

zu ermöglichen. Eine solche Weitwinkeloptik weist im einfachen Fall, d.h. ohne kom- 

plizierte und damit platzaufwändige optische Korrektur, eine starke, in erster Näherung 

radiale Verzerrung in dezentralen Stellen der Aufnahmen auf. Diese Verzerrung macht 

sich unter anderem bemerkbar, wenn die gewonnenen Bilddaten für eine räumliche 

Rekonstruktion herangezogen werden. In diesem Fall ist es besonders wichtig, eine 

adäquate Korrektur vorzunehmen. 

Intel stellt die freie Programmbibliothek OpenCV [Int01] zur Verfügung, die un- 

ter anderem eine Funktionalität zur Bildentzerrung für Kamerasysteme mit einfacher 

Linsenoptik zur Verfügung stellt. Sie nähert die intrinsischen Parameter 

• Brennweite, 

• Position der optischen Achse im Bild und 

7 Weißabgleich: Verfahren zur Korrektur der Gewichtung von Farbkanälen eines Kamerasensors be- 

züglich der Farbtemperatur des Lichtes am Aufnahmeort


(a) (b) 

(c) (d) (e) 

Abbildung 3.7: (a,b) Endoskopische Aufnahme einer Bohrung mit feinkörniger Innenwandung. 

(c) Rekonstruierte 3D-Punktwolke zeigt trotz des konstanten Innendurchmessers eine konische 

Verzerrung. Die perspektivische Front- (d) und Rückansicht (e) aus gleicher Entfernung zum 

Schwerpunkt der 3D-Punktwolke verdeutlichen diesen Effekt. 

• Verzerrungsparameter, aufgeteilt in je zwei radiale Komponenten ρ1 und ρ2, so- 

wie zwei tangentiale Komponenten τ1 und τ2 

im Sinne minimaler quadratischer Fehler (geometrische Kalibrierung) durch Lösen 

eines hinreichend großen Gleichungssystems aus Abbildungsgleichungen geeichter 

Merkmale auf einem Kalibrierkörper. Abbildung 2.8 zeigt exemplarisch die endosko- 

pisch erfasste Aufnahme einer Kalibrierplatte und die entzerrte Darstellung. 

Der Gedanke ist naheliegend, das beschriebene Modell und den Algorithmus zur 

Entzerrung auf endoskopisches Bildmaterial anzuwenden, wie es in einigen Arbeiten 

bislang vorgeschlagen und angewendet wird [RWE07, RWW06, WSRW05]. Jedoch 

haben neuere Untersuchungen gezeigt, dass die Kalibrierung für das dahinter ange- 

nommene Verzerrungsmodell für die Endoskopie nicht ausreichend ist. Wie sich das 

auf die Ergebnisse von räumlichen Rekonstruktionen auswirkt, soll hier an einem ty- 

pischen Beispiel dargestellt werden. Die Bilddaten für die Rekonstruktion entstehen 

aus einer linearen Bewegung durch die Referenzbohrung RFN mit feinkörniger Innen- 

wandung (vgl. Tab. 4.3). Die Bohrung hat einen konstanten Innendurchmesser von 

8, 5mm und die Endoskopspitze wird mit einer Schrittweite von 0, 5mm durch die 

Bohrung geschoben. Zusätzlich zu den 98 verwendeten Einzelaufnahmen wird ein ge- 

eignetes Kalibriertarget aufgenommen, aus dem über Merkmalskorrespondenzen die 

intrinsischen Parameter bestimmt werden. Nachdem die Bilder mittels des OpenCV-


Abbildung 3.8: Verlauf des Rückprojektionsfehlers für einen typischen Bereich des Verzer- 

rungsfaktors ρ bei Bearbeitung mit der Software SynthEyes (nach [Ste07]). 

Algorithmus auf der Basis der ermittelten Verzerrungsparameter entzerrt sind (vgl. 

Abb. 3.7(b)), wird daraus eine 3D-Punktwolke rekonstruiert. Abbildung 3.7(c) zeigt 

diese 3D-Punktwolke aus drei Blickrichtungen. Es fällt auf, dass die 3D-Punktwol- 

ke trotz des konstanten Innendurchmessers eine konische Verzerrung aufweist. Die 

perspektivische Front- und Rückansicht, welche die 3D-Punktwolke aus gleicher Ent- 

fernung zu ihrem Schwerpunkt darstellen, verdeutlichen diesen Effekt durch die unter- 

schiedliche Ausdehnung der projizierten Verteilung. 

Die integrierte automatische Vorverarbeitung der Rekonstruktionssoftware Synth- 

Eyes zeigt für endoskopische Bildsequenzen ähnliche Schwächen bezüglich Kalibrie- 

rung und Entzerrung. Zunächst wurde davon ausgegangen, dass es an dem vereinfach- 

ten Verzerrungsmodell der Software liegt. Dieses schränkt die intrinsischen Parameter 

auf eine Brennweite und einen radialen Verzerrungskoeffizient ρ ein. Über eine alter- 

native Methode zur Kalibrierung der Optik konnte dann aber bestätigt werden, dass 

SynthEyes für die Rekonstruktion von 3D-Modellen aus endoskopischen Bilddaten 

doch geeignet ist. Der Algorithmus gibt nämlich einen Wert für den Gesamtfehler an, 

der bei der Rückprojektion der triangulierten Objektpunkte auf die korrespondierenden 

Merkmale im 2D-Raum entsteht. Ohne das Einbringen von Zusatzinformation über die 

Objektgeometrie der Rekonstruktion führt die Minimierung dieses Fehlers zum opti- 

malen Verzerrungskoeffizient ˆρ. Für das genannte Beispiel der Bohrung, die mit dem 

Endoskop E6 (vgl. Tab. 4.1) über das Kameramodul K2 (vgl. Tab. 4.2) aufgezeichnet 

wurde, zeigt Abbildung 3.8 den Verlauf des Rückprojektionsfehlers für einen typi- 

schen Bereich des Verzerrungsfaktors. Mit dem Verzerrungsfaktor ˆρ = −0, 14 gelingt 

die sichtbar verzerrungsfreie Rekonstruktion des Zylinderkörpers (vgl. Abb. 3.44 auf 

S. 118). Aufgrund der unterschiedlichen Verzerrungsmodelle kann der Parameter ρ

60 3.2. RESTAURIERUNG EINZELNER INTENSITÄTSBILDER 

jedoch nicht direkt mit einem der Verzerrungskoeffizienten ρ1 bzw. ρ2 gleichgesetzt 

werden, was einen Vergleich der beiden Ansätze erschwert. 

3.2 Restaurierung einzelner Intensitätsbilder 

Diese Arbeit untersucht und erweitert zwei Ansätze zur Restaurierung von Einzel- 

bildern, nämlich die spektrale Filterung und die Interpolation. Sie eignen sich in be- 

sonderem Maße zur Reduktion der beschriebenen Rasterstruktur und werden für den 

automatisierten Betrieb im Anwendungsbereich der Faserendoskopie optimiert. Das 

beinhaltet, dass sie automatisch und unabhängig von Abmessungen und Faserdichte 

des Bildleiters sowie der Größe und Pixelanzahl des Bildsensors arbeiten müssen. Da 

sich die Rasterstruktur primär als Störung in der Helligkeit der Bilder auswirkt, werden 

die Verfahren zur Rasterreduktion zunächst auf dem Intensitätskanal beschrieben. 

Zwar wurde auch die Klasse der Wavelet-Transformationen als Unterkategorie der 

Frequenzverfahren für die Restaurierung von faseroptischen Aufnahmen untersucht, 

allerdings bescheinigen die Ergebnisse keinen nennenswerten Fortschritt gegenüber 

der Anwendung der Fourier-Theorie. Das kann mit der Periodizität in der Faseranord- 

nung erklärt werden, die relativ konstant in der gesamten Apertur auftritt. Eine Variati- 

on in der Orts-Frequenz-Auflösung, nach Art der Wavelet-Transformation erweist sich 

hier als nicht zielführend. 

Obwohl die Filterung für Grauwertbilder und damit auch für die merkmalsbasierte 

3D-Rekonstruktion bessere Ergebnisse zeigen wird, so hat doch auch die Interpolation 

als Verfahren im Ortsraum ihre positiven Alleinstellungsmerkmale. Die wichtigsten 

Aspekte aus Tabelle 3.1 sind hier kurz ausgeführt. Die Filterung zeigt generell eine 

glattere Restaurierung, d.h. ohne Artefakte an Kanten oder kontrastreichen Intensitäts- 

übergängen. Allerdings reduziert sie durch die Glättung über das Wabenmuster die 

mittlere Intensität, die mit Einfluss auf das Signal-zu-Rausch-Verhältnis nachträglich 

angehoben werden muss. Die Interpolation bietet die bessere Möglichkeit zur Korrek- 

tur von Farbstützstellen und die lokale Ergänzung von Bildinhalten zur Auflösungs- 

steigerung. Daher wird für die maschinelle Weiterverarbeitung, z. B. eine räumliche 

Rekonstruktion, die ihre Information zumeist aus Graustufenbildern entnimmt, tenden- 

ziell die Filterung präferiert. Für eine Texturierung von Rekonstruktionen oder aber 

überhaupt für die visuelle Darstellung und Anzeige von Endoskopiebildern wird die 

Interpolation mit der Erweiterung zur Berücksichtigung der Verteilung des Farbfilter- 

mosaiks auf dem Kamerasensor verwendet. Durch geschickte Kombination der beiden

3.2. RESTAURIERUNG EINZELNER INTENSITÄTSBILDER 61 

Ansätze ergeben sich weitere interessante Anwendungen, wie beispielsweise die Kom- 

pensation singulärer Faserdefekte (vgl. Abschn. 3.2.3). 

3.2.1 Filterung durch spektrale Maskierung 

Das Ziel der digitalen Vorverarbeitung von endoskopischem Bildmaterial ist einerseits 

die Verbesserung des subjektiven Empfindens beim Betrachten der Aufnahmen. Ande- 

rerseits sollen die Bild-Informationen für beabsichtigte Rekonstruktionsaufgaben mit 

Computern optimiert werden (vgl. Projektbeschreibung in [WSW04]). Abschnitt 2.3.1 

hat den Herstellungsprozess von Bildbündeln und die daraus resultierende Ausrichtung 

der Fasern im Querschnitt erklärt. Die bei der faseroptischen Übertragung durch Unter- 

und Überabtastung hervorgerufene Rasterstruktur kann zwar bei kleiner Apertur vom 

menschlichen Auge kompensiert werden, führt jedoch bei der Weiterverarbeitung der 

Bilddaten mittels Computern zwecks Rekonstruktion zu erheblichen Fehlern, da Algo- 

rithmen zur Objekterkennung und -verfolgung meist kontrastreiche Strukturen bestim- 

men und registrieren. Die abschnittsweise hexagonale Anordnung dieser Wabenstruk- 

tur motiviert eine Analyse und Bearbeitung derartig gewonnener Aufnahmen über das 

Fourier-Spektrum. Hier können gezielt periodische Anteile des Signals dargestellt und 

bearbeitet, z. B. separiert werden. In diesem Kapitel werden daher Filterverfahren im 

Frequenzbereich vorgestellt und verglichen. 

Abbildung 3.9 zeigt für einige charakteristische Aufnahmen ihr Frequenzspektrum, 

das je nach Herstellungsprozess des Bildbündels eine klare Struktur mit sechs sternför- 

mig verteilten Schwerpunkten (im Fall von Glasfasern: A, B, D, G, H, I, J) oder eine 

kreisförmige Verteilung (im Fall von Quarzfasern: C, E, F) zeigt. 

Bei der Dimensionierung der Filter treten zwei Anforderungen in Konkurrenz. Zum 

einen wird eine vollständige Reduktion der Wabenartefakte erwartet, was für eine star- 

ke Filterung, mit niedriger Grenzfrequenz spricht. Zum anderen bewirkt eine zu groß- 

zügig ausgelegte Glättung die unnötige Abschwächung wichtiger Details im Bild. Eine 

manuelle Parametrisierung stößt meist an ihre Grenzen, da entweder geschultes Per- 

sonal benötigt wird oder langwierige Konfigurationen durchprobiert werden müssen. 

Unter Berücksichtigung des Abtasttheorems von Nyquist und Shannon lässt sich ein 

adaptives Verfahren definieren, um geeignete Filter zur optimalen Eliminierung der 

Raster-Struktur automatisch zu erstellen [WRE + 06, WRWS05, WRM + 05]. Dadurch 

wird es möglich, innerhalb gewisser Grenzen, unabhängig von bautechnischen Para- 

metern eines flexiblen fiberskopischen Bildleitersystems, wie


Tabelle 3.1: Vor- und Nachteile der Restaurierungsansätze Filterung und Interpolation. 

Filterung Interpolation 

Einsatzbereich 

Anwendbar für beliebige Kombinationen aus Endoskop und Kamerasystem 

Ablauf 

Restaurierung nach initialer Kalibrierung 

Signalraum 

Frequenzraum Ortsraum 

Prinzip 

Frequenzmaskierung unter Berücksichti- 

gung der Theorie des Nyquist-Shannon- 

Abtasttheorems zum Trennen von Bild- 

und Wabenstruktur 

Restaurierungsqualität 

Registriert die Fasern und nutzt deren In- 

tensitäten als Stützstellen zur Restaurie- 

rung der Bildinformation durch baryzen- 

trische Interpolation 

Höhere Unschärfe, weniger Artefakte Artefakte in Strukturen, nichtdifferenzier- 

bare Intensitätsübergänge 

Verfälschung von Helligkeit und Kontrast Ansätze zur Kantenerhaltung im Zuge der 

Auflösungssteigerung 

Globale Überlagerung von Bildern mög- 

lich, jedoch schwierig 

Farbe 

Separate Filterung der Farbkanäle, führt zu 

Artefakten 

Interpolation möglich 

Wirkungsvoll durch lokale Detailergän- 

zung 

Berücksichtigung der Anordnung des 

Farbfiltermosaiks auf dem Einchip-Sensor 

entfernt Farbartefakte 

Charakteristische Eigenschaften verschiedener Bildbündel 

Berücksichtigung der unterschiedlichen 

Faseranordnung 

Kalibrierung 

Keine Unterscheidung zwischen Glas- und 

Quarzfaser 

Kein homogenes Referenzbild notwendig Weißbild zur Faserregistrierung notwen- 

dig 

Sensibilität auf Versatz der Anordnung 

(kann durch Nachkalibrierung reduziert werden) 

Robust bei Kreismaske, bedingt sensibel 

bei Sternmaske 

Sehr anfällig auf Lageänderung der Faser- 

zentren


Bild - A - Spektrum Bild - B - Spektrum 

Bild - C - Spektrum Bild - D - Spektrum 

Bild - E - Spektrum Bild - F - Spektrum 

Bild - G - Spektrum Bild - H - Spektrum 

Bild - I - Spektrum Bild - J - Spektrum 

Abbildung 3.9: Mit flexiblen Endoskopen aufgenommene Referenzbilder mit zugehörigen Fre- 

quenzspektren. A, B, D, G, H, I und J zeigen Aufnahmen mit Bildbündeln aus Glasfasern, C, E 

und F stellen Aufnahmen mit Bildbündeln aus Quarzfasern dar.


• Arbeitsdurchmesser, 

• Faseranzahl, 

• Struktur des Bildleiterbündels und 

• Auflösung und Geometrie des eingesetzten Kamerasystems 

die Bildqualität sowohl für den visuellen Einsatz, als auch für die sich anschließenden 

Algorithmen zu optimieren. 

3.2.1.1 Transformation und Anwendung des Abtasttheorems zur Maskierung 

Die Darstellung einer diskretisierten Bildszene S durch ein flexibles Endoskop auf ei- 

nem Videosensor muss in zweierlei Hinsicht als Abtastung betrachtet werden. Einer- 

seits wird die übertragene Bildinformation einer betrachteten Szene durch den Bildlei- 

ter von der Anzahl der abschnittsweise regelmäßig angeordneten Fasern und deren Ab- 

stand df untereinander begrenzt (Unterabtastung). Andererseits besitzt auch der Sensor 

nur eine endliche Auflösung mit der Pixelbreite als Gitterkonstante, die in der gewähl- 

ten Konstellation allerdings deutlich feiner ist, als die des Bildleiters (Überabtastung). 

Aus der abschnittsweise symmetrischen Anordnung der Fasern im Abstand df re- 

sultiert im Fourier-Spektrum ein Frequenz-Anteil um den Bereich fs = 1/df (vgl. 

Abb. 3.11(c)). Der niederfrequente Anteil des übertragenen Bilds erstreckt sich um den 

Mittelpunkt des Spektrums (Gleichanteil). Gemäß dem Abtasttheorem von Nyquist 

(vgl. [GRS97]) darf dessen maximale Frequenz f0 die halbe Abtastfrequenz (nämlich 

durch das Raster der Glasfasern) nicht überschreiten, um bei der Abtastung keine Ver- 

luste zu erleiden: f0 = fs 

. Ist diese Bedingung erfüllt, können die Spektralbereiche von 

2 

Bild und Wabenmuster idealerweise mit einer im 2-dimensionalen zum Kreis erweiter- 

ten Rechteckfunktion (Filtermaske) mit der Grenzfrequenz f0 separiert werden. Dazu 

wird das strukturüberlagerte Eingangbild Î im Frequenzbereich elementweise mit die- 

ser Filtermaske M multipliziert (Operatorsymbol ⊙). Eine entsprechende Maske wird 

automatisch aus der spektralen Darstellung eines Referenzbilds Îref oder aus einer an- 

deren geeigneten faseroptischen Aufnahme Î generiert. Der zugehörige Operator M 

wird in den folgenden Abschnitten näher ausgeführt. Zur Transformation F wird die 

(inverse) schnelle Fourier-Transformation FFT verwendet. Formal entsteht damit das 

strukturfreie Bild I aus 

I(x, y) = F −1 η · F Î ⊙ M(i, j) 

mit 0 ≤ x, i < W, 0 ≤ y, j < H . 

(3.6)


Der Faktor η dient der Energieerhaltung im Spektrum. Durch die Maskierung des 

Spektrums wird dessen Energie gesenkt. Der Verlust beträgt typischerweise zwischen 

1% und 5% und hängt vom Kontrast und der Dichte der Wabenstruktur, sowie deren 

Helligkeit gegenüber der Szene ab. Als Ausgleich wird der Faktor η bestimmt, der den 

Verlust bezüglich des Spektrums vor der Dämpfung angibt, und vor der Rücktransfor- 

mation in den Ortsraum mit dem Spektrum multipliziert: 

η = 

 

F Î 2 

 

F Î ⊙ M(i, j) 2 

. (3.7) 

Mit dem beschriebenen Ansatz kann die technisch bedingte Überlagerung einer 

Wabenstruktur in Aufnahmen mit flexiblen Endoskopen informationstheoretisch best- 

möglich reduziert werden. Andere Arbeiten in der Literatur verwenden Bandsperre- 

filter zur gezielten Dämpfung des Wabenmusters [DBM98]. Aus Überlegungen zur 

Übertragung von Bildinhalten über das Glasfaserbündel wird jedoch deutlich, dass 

Frequenzanteile ab und über der Grundfrequenz des Wabenmusters keine Bildinhal- 

te mehr tragen können, sondern auf spektrale Wiederholungen zurückzuführen sind 

(vgl. insbesondere Abb. 3.9, A und D). 

3.2.1.2 Maskengenerierung 

Ziel der Maskengenerierung ist die automatische Bereitstellung von geeigneten Fil- 

termasken, um die Wabenstruktur in endoskopisch erfassten Bildern bestmöglich zu 

entfernen und gleichzeitig die Bildinformation zu erhalten. Dazu müssen charakteris- 

tische Parameter, wie Grenzfrequenzen und Rotationswinkel aus dem Spektrum abge- 

leitet werden. In Abschnitt 2.3.1 sind die Unterschiede im Aufbau von Bildbündeln 

beschrieben, die sich auf die spektrale Darstellung der Abbildungen auswirken. 

Aus dem Spektrum F 

Îref eines initialen Bilds Îref, das hier nicht notwendigerweise 

durch Abbildung einer homogen weißen Fläche entstanden sein muss, wird die 

Information zur Erstellung der Maske M : {0; W −1}×{0; H −1} ↦→ {0.0; 1.0} abge- 

leitet, die unerwünschte Frequenzbereiche im Spektrum F Î von Endoskopbildern 

mit ähnlichem Wabenmuster unterdrückt: 

M(i, j) = M F Îref(x, y) , (3.8) 

mit 0 ≤ i, x < W, 0 ≤ j, y < H .


Im Folgenden wird für die zwei grundlegenden Fälle, nämlich dem des Quarzfaser- 

bündels und dem des Glasfaserbündels, die Funktion des Operators M beschrieben, 

der dem Spektrum die notwendigen Parameter entnimmt und eine adäquate Binärmas- 

ke bzw. eine kontinuierliche Gewichtungsmaske erstellt. Die Abmessung der Maske 

entspricht jeweils den Dimensionen des (Referenz-)Bilds und wird lediglich intern zur 

schnelleren Berechnung mittels der Transformation F auf die nächst höhere Zweier- 

potenz aufgerundet (Operatorsymbol ⌈·⌉): 

WM = 2 ⌈log 2 W⌉ und (3.9) 

HM = 2 ⌈log 2 H⌉ 

. (3.10) 

Obwohl die Breite W und die Höhe H eines Bilds im Allgemeinen voneinander 

abweichen, wird die Erstellung einer Maske der Einfachheit halber am Beispiel eines 

quadratischen Bilds (W = H) demonstriert. Gemäß den Gleichungen (3.9) und (3.10) 

werden typische Bildgrößen zwischen SVGA (800 × 600) und XGA (1024 × 768) 

intern aus Gründen höherer Effizienz auf die Dimension 1024 × 1024 erweitert, um 

Gebrauch von der schnellen Fourier-Transformation machen zu können. 

Masken für Quarzfaserbündel Bei Abbildungen durch ein Quarzfaserbündel zeigt 

das Spektrum typischerweise eine radialsymmetrische Verteilung der Frequenzantei- 

le (vgl. Abb. 3.10), welche durch das Wabenmuster erzeugt werden, da dieses zwar 

eine relativ konstante Periodizität zeigt, aber lediglich lokal einer hexagonalen Aus- 

richtung folgt. Der entscheidende Parameter neben der generellen Größe der Maske 

ist in diesem Fall die Hauptfrequenz fs der Wabenstruktur, die der doppelten Frequenz 

des maximal zu übertragenden Bildinhalts entspricht. Da der niederfrequente Bildan- 

teil meist keine klare Grenze zeigt, wird die letztgenannte Grenzfrequenz f0 über das 

kreisförmige Frequenzband der Wabenstruktur bestimmt, wobei fs = 2 · f0 gilt. 

Die zunächst triviale kreissymmetrische Maske MK entspricht im Eindimensiona- 

len dem Verlauf einer Rechteckfunktion mit der Grenzfrequenz f0: 

 

1, r < f0 

MQ(i, j) = 

0, sonst 

mit 0 ≤ i < W, 0 ≤ j < H und r = (i − W/2) 2 + (j − H/2) 2 . 

wobei der Gleichanteil im Spektrum 8 bei (W/2; H/2) liegt. 

(3.11) 

8 Vereinbarungsgemäß werden Spektren derart gespiegelt, dass der Gleichanteil im Zentrum liegt 

(DC-Flip). Eine visuelle Ausgabe und Darstellung erfolgt als Betragsspektrum.


(a) (b) (c) 

(d) (e) (f) 

Abbildung 3.10: (a) Vergrößerter heller Ausschnitt (b) einer endoskopischen Aufnahme (a) 

die mit einem Bildbündel aus Quarzfasern übertragen wurde. (c) Fourier-Spektrum und (d) 

geeignete Kreismaske zur spektralen Filterung. (e,f) Beispiel der Rasterreduktion an einem 

Bildausschnitt, der in (a) gekennzeichnet ist. 

Masken für Glasfaserbündel Im Fall der Abbildung durch ein Glasfaserbündel 

zeigt das Spektrum typischerweise sechs Frequenzschwerpunkte, die von der homo- 

genen hexagonalen Anordnung des Wabenmusters herrühren (vgl. Abb. 3.11). Neben 

den bereits für das Spektrum des Quarzfaserbündels genannten Parametern kommt hier 

noch der Winkel αs ins Spiel, der die Rotationsvarianz der Frequenzverteilung charak- 

terisiert. Um die Vorteile der Konzentration in der Frequenzanordnung für die Filterung 

nutzen zu können, wird in diesem Fall eine sternförmige Maske MG erstellt, die dem 

eindimensionalen Verlauf einer Rechteckfunktion mit variabler Grenzfrequenz f0 · l 

entspricht. Der rotationsabhängige Parameter l erhöht dabei durch seinen Definitions- 

bereich 1 ± ζ mit ζ ≤ 1 die Grenzfrequenz f0 für Abschnitte zwischen den sechs 

Frequenzschwerpunkten der Wabenstruktur und verringert sie für Abschnitte in der 

Nähe der Frequenzschwerpunkte. αs wird als Winkel zwischen vertikaler Achse und 

der Verbindung zwischen dem Zentrum und dem ersten Spitzenwert in mathematisch 

positiver Richtung definiert (s. Abb. 3.11).


(a) (b) (c) 

(d) (e) (f) 

Abbildung 3.11: (b) Vergrößerter heller Ausschnitt (a) einer endoskopischen Aufnahme nach 

Übertragung mit einem Bildbündel aus Glasfasern. (c) Fourier-Spektrum mit charakteristi- 

schen Größen und (d) geeignete Sternmaske zur spektralen Filterung. (e,f) Beispiel der Raster- 

reduktion an einem Bildausschnitt, der in (a) gekennzeichnet ist. 

MG(i, j) = 

mit 

und 

 

1, r < f0 · l(i, j) 

0, sonst 

0 ≤ i < W, 0 ≤ j < H 

l(i, j) = (1 − ζ) + cos 2 (3 · α + αs) · 2ζ 

, (3.12) 

wobei α den Winkel ∠(i, j) eines Frequenzpunktes (i, j) bezüglich der Spektrumsmitte 

und der vertikalen Achse i = 0 bezeichnet. Der Term cos 2 (3 · . . .) bewirkt die peri- 

odische Frequenzerweiterung, die sich in Form von sechs abgerundeten Sternspitzen 

äußert. Das Zusammenspiel von Gewichtungsterm 2 · ζ und Summand (1 − ζ) führt 

zur beschriebenen Sternform und sichert gleichzeitig eine konstante Gesamtfläche zwi- 

,


(a) (b) (c) (d) 

Abbildung 3.12: Überblick über die vier Maskentypen, die zur Filterung von endoskopisch 

erfassten Aufnahmen aus deren Spektrum abgeleitet werden können: Kreisförmig mit hartem 

Übergang (a), kreisförmig mit weichem Übergang (b), sternförmig mit hartem Übergang (c) 

und sternförmig mit weichem Übergang (d). 

schen Stern und Kreis mit gleicher Grenzfrequenz f0. Die Äquivalenz der Flächen kann 

über das Kreisintegral gezeigt werden, nach dem gilt: 

2π f0 

0 

0 

r · (1 − ζ) + cos 2 (3 · α + αs ) · 2ζ dr dα = f 2 0 π . 

Weicher Übergang der Grenzfrequenz Vorteilhaft an der Maskengenerierung, wie 

sie in den vergangenen zwei Abschnitten beschrieben wurde, ist die Grenzfrequenz, 

die Frequenzen über einem fest definierten Wert f0 vollständig unterdrückt. Über die 

Signaltheorie kann diese Grenzfrequenz exakt so gewählt werden, dass periodische 

Anteile der Wabenstruktur unterdrückt werden und gleichzeitig der maximal mögliche 

Frequenzanteil der Bildinformation erhalten bleibt. 

Eine Tiefpassfilterung resultiert stets in einer Weichzeichnung von Strukturen im 

Ortsraum. Die Kreismaske ist in der Lage, mit einer harten Grenze die Bildfrequen- 

zen von denen der Wabenstruktur zu separieren. Parallel zu harten Kanten, z. B. durch 

kontrastreich ausgesteuerte Bildinhalte, ist im gefilterten Bild ein Überschwingen der 

Intensität zu beobachten (vgl. Abb. 3.13(f)). Diese Artefakte lassen sich durch die sinc- 

Funktion 9 erklären, mit der das Bild im Ortsraum gefaltet wird, wenn im Frequenzbe- 

reich eine Rechteckfunktion angesetzt wird. Um diesem Effekt im Ortsraum entgegen- 

zuwirken, müsste eine Gauß-Funktion verwendet werden, die sowohl im Orts- als auch 

im Frequenzbereich die gleichen Eigenschaften im Verlauf zeigt. Nachteil hierbei ist 

dann der unscharfe Übergang im Bereich der Grenzfrequenz. Bildanteile können nicht 

mehr klar von Strukturanteilen getrennt werden. Die Frequenzanteile werden im Über- 

gangsbereich um f0 zu beiden Seiten hin gedämpft. 

9 sinc-Funktion: (engl. sinus cardinalis) Die sincFunktion ist als sin(x)/x definiert und spielt in der 

Signalverarbeitung eine wichtige Rolle


(a) (b) 

(c) (d) (e) 

(f) (g) (h) 

Abbildung 3.13: (a) Fiberskopische Aufnahme eines Schachbrettmusters mit kontrastreichen 

Übergängen sowie (b) ein vergrößerter Ausschnitt. (f) Gefilterter Ausschnitt mit (c) Maske ohne 

Glättung, in dem wellenartiges Überschwingen parallel zu hell-dunkel-Übergängen erkennbar 

ist. Gleicher Ausschnitt (g,h) mit weicher Maskierung, d.h. Maske (d,e) wird zunächst um den 

Faktor 0.1 (d) bzw. um 0.2 (e) geglättet. Dadurch reduziert sich der beschriebene Einschwing- 

effekt an den Kanten. 

Als Kompromiss wird deshalb der scharfe Rand der Maske durch Gauß-Glättung 

mit einem weichen Übergang versehen. Der bislang diskrete Definitionsbereich der 

Masken erweitert sich damit auf das kontinuierliche Intervall [0.0; 1.0]. Die Filterer- 

gebnisse hinterlassen insbesondere nach visuellen Gesichtspunkten, verglichen mit der


harten Filterung einen besseren Eindruck. Abbildung 3.13(g) und Abbildung 3.13(h) 

zeigen das Filterergebnis nach Glättung der Maske um den Faktor 0.1 bzw. 0.2. 

3.2.2 Physikalisch motivierte Grauwertinterpolation 

Die Idee der Faserregistrierung [EKP93], zusammen mit einer flächenabhängigen Ge- 

wichtung der Intensitäten [Bro00] bildet die Grundlage für den Algorithmus zur phy- 

sikalisch motivierten Interpolation, wie er von Weisensel [Wei05] erstmals für einen 

pixelgenauen Ansatz zur Auflösungssteigerung umgesetzt und daraufhin mit Elter et al. 

optimiert wurde [ERW06]. Er beruht auf den physikalischen Eigenschaften der Licht- 

wellenübertragung von Glasfasern. Die Intensitätsverteilung über den Querschnitt ei- 

ner Faser entspricht in erster Näherung einer Normalverteilung und wird durch eine 

zweidimensionale Gauß-Verteilung modelliert (vgl. Abschn. 3.1.1.1). Der Algorith- 

mus arbeitet zweistufig. Zunächst wird auf einem leeren Bild mit hellem Hintergrund 

die Faserverteilung registriert und in Form eines Delaunay-Gitters gespeichert. Dieser 

Schritt ist rechenintensiv und wird lediglich bei veränderter Ausrichtung von Faser- 

querschnitt zu Kamerasensor durchgeführt. Im zweiten, für alle folgenden Aufnahmen 

durchzuführenden Schritt werden durch Interpolation zwischen den subpixelgenau be- 

stimmten Faserzentren wabenfreie Ausgangsbilder berechnet (vgl. Ablaufdiagramm in 

Abb. 3.14). 

Da die Faserregistrierung sehr empfindlich auf eine Verschiebung zwischen Faser- 

bündel und Bildsensor reagiert, kann eine sog. Nachkalibrierung die Anwendung des 

Verfahrens deutlich verbessern. Dazu registriert der Algorithmus in regelmäßigen Ab- 

ständen (z. B. alle drei bis fünf Bilder) in ausreichend beleuchteten Regionen der Auf- 

nahme eine mögliche Verschiebung und aktualisiert die gespeicherten Faserpositionen 

automatisch durch die geschätzte Bewegung. Diese Nachkalibrierung wird besonders 

unter Berücksichtigung der Beschleunigung durch zusätzliche Hardware interessant 

(vgl. Abschn. 3.4), die eine ausreichende Leerlaufzeit zwischen den Interpolationszy- 

klen ermöglicht. 

3.2.2.1 Faserregistrierung 

Ziel der Faserregistrierung ist die subpixelgenaue Bestimmung der projizierten Faser- 

mittelpunkte auf dem Bildsensor. Dazu wird ein heller, homogen ausgeleuchteter Be- 

reich, beispielsweise auf einem matten, weißen Kunststoff oder einem holzfreien Kar- 

ton mit dem Endoskop erfasst und als sog. Weißbild Îref gespeichert. Der dreistufige


Abbildung 3.14: Ablaufdiagramm der physikalisch motivierten Interpolation. 

Abbildung 3.15: Ablaufdiagramm der Faserregistrierung als Kalibrierschritt der Interpolation 

(vgl. Abb. 3.14). Die möglichen Kandidaten für Faserzentren werden ihrer Wahrscheinlichkeit 

nach gewichtet, feinpositioniert und über ein Distanzkriterium zu einem Delaunay-Gitter zu- 

sammengefügt. 

Vorgang (vgl. Abb. 3.15) der Registrierung beginnt mit der Groblokalisierung von sog. 

Kandidatenpixel, die daraufhin nach ihrer Relevanz bewertet werden. Ein hoher Wert 

indiziert dabei die starke Ähnlichkeit mit einer symmetrischen Gauß-Verteilung, wel- 

che in erster Näherung die Intensitätsverteilung einer lichtleitenden Faser beschreibt. 

Im zweiten Schritt werden iterativ Gauß-Funktionen in die Helligkeitsverteilung ein- 

gepasst, wobei als Initialwert für die Position die Koordinaten der Kandidatenpixel 

verwendet werden. Abschließend werden die präzisierten Kandidatenpixel in abstei- 

gender Reihenfolge ihrer Relevanz und unter Berücksichtigung eines definierten Ab- 

standsmaßes einem Delaunay-Gitter hinzugefügt, das die Datenbasis für die Interpola- 

tion bildet. Der Vorgang der subpixelgenauen Registrierung ist Bestandteil der Erfin- 

dungsmeldung [EWR + 06]. 

Glättung Der Algorithmus zur Auffindung von Faserzentren verlässt sich darauf, 

dass die Intensitätsverteilung vom Mittelpunkt der Faser aus streng monoton abfallend 

verläuft. Messungen haben gezeigt, dass die tatsächliche Verteilung jedoch durch Rau- 

schen der bildgebenden Elektronik Störungen aufweist, die sich in einigen Fällen bei 

der Detektion der Maxima negativ bemerkbar machen.


(a) 

(b) (c) 

(d) (e) 

Abbildung 3.16: Größe (gekennzeichnet mit Quadraten) und Varianz (gekennzeichnet mit 

Punkten) der Impulsantwortmatrix in Abhängigkeit des geschätzten Faserabstands (a). Resul- 

tate des Maximumfilters (c) bzw. (e): auf den Originaldaten (b) bzw. auf den geglätteten Daten 

(d). 

Aus diesem Grund wird das Bild zunächst mit einer symmetrischen Gauß-Impuls- 

antwortmatrix der Größe Wk gefaltet. Der ungerade Wert Wk leitet sich aus dem ge- 

schätzten Faserabstand ˜df ab. Indem sie kleiner gewählt wird, als der Faserabstand, 

bleiben die strukturellen Eigenschaften der Intensitätsverteilung durch die Glättung er- 

halten. Die Standardabweichung σk der Impulsantwortmatrix zur Glättung wird derart 

gewählt, dass der minimale Wert am Rand der Impulsantwortmatrix einen maximalen 

Prozentsatz pσ = 5% des Spitzenwerts nicht übersteigt: 

σk = 

Wk−1 

4· √ − log 2 pσ 

0 sonst 

für Wk > 4 

Die geeignete Fensterbreite in Abhängigkeit von ˜df, als auch die Schwelle bei ˜df = 4, 

ab der eine Glättung als Vorverarbeitung durchgeführt wird, wurden empirisch festge- 

legt. 

Die beabsichtigte Wirkung zeigt sich bei relativ großen Faserabständen, bei denen 

der Maximumfilter durch die verrauschten Intensitätswerte sonst keine geschlossenen 

Kandidatenbereiche mehr liefern würde (vgl. Abb. 3.16 (c)). Durch die Glättung er- 

zielt der nun folgende Schritt zur Groblokalisierung von Kandidatenpixel geschlossene 

Kandidatenbereiche. 

.


Groblokalisierung von Kandidatenpixel Der Algorithmus zur präzisen Bestim- 

mung der Faserposition kann prinzipiell für jede Position im Bild ausgeführt werden, 

erfordert jedoch einen hohen Rechenaufwand. Aus diesem Grund werden zunächst 

pixelgenau potenzielle Bildpunkte als sog. Kandidatenpixel ausgemacht. 

Dazu werden lokal helle Strukturen geortet, indem ein Fenster der Breite ˜df über 

das Bild gleitet und jeweils innerhalb dieser Nachbarschaftsumgebung N (x, y) die ma- 

ximale Intensität Îmax mit der minimalen Intensität Îmin verglichen wird. Übersteigt die- 

se Differenz eine festgelegte Schwelle mdist, so gilt die Koordinate (xmax; ymax) des 

ermittelten Maximums in der Umgebung N (x, y) als Kandidatenpixel: 

Pkand = 

(ˆx, ˆy)| Îmax − Îmin > mdist 

. (3.13) 

Dadurch, dass der Schwellwert auf die lokale Intensitätsdifferenz bezogen wird, be- 

rücksichtigt die Filterung simultan den sonst notwendigen Schritt einer Gradientenkor- 

rektur. Dieser ist erforderlich, da durch die eingeschränkte endoskopische Beleuchtung 

die Helligkeit im Bild zu den Rändern hin meist deutliche abfällt (vgl. Abschn. 2.3.3). 

Abbildung 3.16 (e) zeigt für das Ausgangsbild (d) das Resultat der Kandidatensuche, 

wobei jeder weiße Bildpunkt eine mögliche pixelgenaue Koordinate für ein Faserzen- 

trum darstellt. 

Die Bedeutung dieser Einschränkung des Suchraums soll an einem typischen Bei- 

spiel verdeutlicht werden. Ein Bild der Größe 1024×768 Pixel zeigt eine faseroptische 

Abbildung mit 30.000 Fasern (vgl. Abb. 3.17(a)). Innerhalb einer ROI, die mit einem 

Radius von 345 Pixel nahezu die gesamte sichtbare Apertur abdeckt, müssen von ur- 

sprünglich 374.145 möglichen Pixelpositionen dann nur noch 46.050 Kandidatenpixel 

(vgl. Abb. 3.17(c)) bearbeitet werden. Das entspricht einer Reduzierung auf weniger 

als 13%. Noch wirkungsvoller sind die Zahlen bei geringerer Faserdichte. Es wur- 

de überprüft, dass sich unter den Kandidatenpixel noch sämtliche richtigen Faserzen- 

tren befinden. Werden die Schritte A und B im Ablauf der Abbildung 3.15 übersprun- 

gen und dementsprechend ohne Vorselektion die Präzisierung und Triangulierung ab 

Schritt C auf allen möglichen Bildpunkten durchgeführt, so steigert dies die Berech- 

nungszeit für das oben verwendete Beispiel auf der eingesetzten Rechnerarchitektur 

um das 15-fache von 6, 3s auf 98, 7s, da die Präzisierung während der Triangulierung 

im Gegensatz zur Kandidatenselektion vergleichsweise rechenintensiv ist. 

Relevanzbewertung In diesem Schritt wird die Ähnlichkeit der Intensitätsverteilung 

in der Umgebung von Kandidatenpixel mit einer definierten Gauss-Verteilung bewer-


(a) (b) (c) 

(d) (e) (f) 

Abbildung 3.17: Bestimmung von Kandidatenpixel zur Reduktion des Berechnungsaufwands 

für die Bestimmung von Faserzentren. 

tet. Dazu wird ein Template 10 T mit den diskreten Funktionswerten einer 2D-Gauß- 

Verteilung erstellt, deren Mittelwert auf dem Zentrum des Fensters liegt. Die Größe 

des Fensters entspricht dem abgerundeten geschätzten Faserabstands ˜df. Die Varianz 

der Gauß’schen Intensitätsverteilung wird wie im Abschnitt Glättung über das 5%- 

Kriterium festgelegt. Durch blockweisen Vergleich mit dem Template-Fenster wird 

nun zu jedem Kandidatenpixel pkand,i die Summe der quadratischen Differenz als Re- 

levanzfaktor 11 ϑ(pkand,i) berechnet: 

ϑ(pkand,i) = 1 

2 ˜df 

 

 

 

 

 

 

 

N (pkand,i) 

 

 

 

2 

Î(x, y) · T(x, y) − T(x, y) 

 

 

, (3.14) 

wobei T(x, y) bzw. Î(x, y) die Intensitätswerte des Templates bzw. des Kalibrierbilds 

in der 

˜df × ˜df -Nachbarschaft N bezeichnen. 

Die Helligkeit der Kandidatenpixel in Abbildung 3.17(f) repräsentiert den Wert der 

Relevanzfaktoren als Beispiel für die Kandidatenpixel aus Abbildung 3.17(e). 

10 Template: Intensitätsmatrix, hier zum blockweisen Vergleich der Ähnlichkeit von Bildausschnitten 

11 Relevanzfaktor: Charakteristischer Wert für die Ähnlichkeit eines Bildausschnitts zu einer definier- 

ten Vergleichsgröße, hier einer Gauß-Funktion


Präzisierung der Faserposition Nun werden die Faserpositionen und charakteristi- 

schen -eigenschaften an den ermittelten Kandidatenpixel präzisiert, indem die variable 

Gauß-Funktion 

 

2 (x − µx) 

g(x, y; v) = a · exp − 

2σ2 − 

x 

2 (y − µy) 

2σ 2 y 

(3.15) 

mit dem Parametervektor v = [µx, µy, σx, σy, a] durch nichtlineare Optimierung an 

die jeweilige Intensitätsverteilung in der lokalen Umgebung N angepasst wird. Als 

Resultat dieses iterativen Schritts liegen folgende detaillierte Informationen über die 

Gauß-Verteilung vor: 

• Mittelwert µx,µy: Faserzentrum 

• Varianz σx,σy: Breite der Lichtverteilung 

• Amplitude a: Intensitätsmaximum 

Für jedes Kandidatenpixel pkand,i wird Gleichung (3.15) mit der Pixelposition als Start- 

wert für die Nachbarschaft N (pi) durch nichtlineare Optimierung des Least-Square 

Problems 12 bezüglich des Parametervektors v angepasst: 

v = argmin r(pkand,i, u) 

u 

mit 

r(pkand,i, u) = 

N (pkand,i) 

g(x, y; u) − Î(x, y) 2 

Das Residuum r wird iterativ nach der Levenberg-Marquardt Methode minimiert. 

Falls die Optimierung innerhalb einer definierten Anzahl von Iterationen konvergiert, 

wird der Mittelwert µx,µy als subpixelgenaues Faserzentrum, die Amplitude a als Refe- 

renzwert für die Helligkeit, das verbleibende Residuum r als präzisierter Relevanzfak- 

tor und die Varianz σx,σy als charakteristische Größe zur nachträglichen Modellierung 

der lokalen Helligkeitsverteilung gespeichert. Kann die Optimierung für ein Kandi- 

datenpixel nicht abgeschlossen werden, so verbleibt der grobe Schätzwert des block- 

weisen Vergleichs als Relevanzfaktor, ebenso verbleibt die Faserposition, d.h. sie wird 

pixelgenau übernommen und als Helligkeit wird ein Schätzwert aus den umliegenden 

Bildpunkten ermittelt (vgl. Abschn. 3.2.2.2). 

In der Anwendung der Interpolation hat sich gezeigt, dass die Varianz der Inten- 

sitätsverteilung ohne Einschränkungen als symmetrisch betrachtet werden kann. Die 

drate 

12 Least-Square Problem: Näherung eines Gleichungssystems nach der Methode der kleinsten Qua- 

.


(a) (b) 

(c) (d) (e) 

Abbildung 3.18: (a) Kandidatenpixel in vergrößertem Ausschnitt eines Kalibrierbilds (vgl. 

Abb. 3.17(c)). Pixelgenaue Positionen möglicher Faserzentren sind durch Quadrate markiert, 

wobei mit einem Kreuz diejenigen gekennzeichnet sind, die im Zuge der Triangulierung auf- 

grund des Distanzkriteriums unberücksichtigt bleiben. (b) Feinpositionierte Faserzentren. (c-e) 

Triangulierung der Faserzentren in drei Schritten. 

Verwendung nur einer Variablen für diese Charakterisierung vereinfacht und beschleu- 

nigt den Vorgang der Präzisierung. 

Bedingte Triangulierung nach absteigender Relevanz Der Bereich einer einzel- 

nen Faser kann auch nach der Reduzierung der Bildpunkte durch mehrere mögliche 

Kandidatenpixel beschrieben werden. Dabei ist es möglich, dass zwei oder gar mehre- 

re Kandidatenpixel durch die iterative Anpassung einer Gauß-Funktion auf denselben 

subpixelgenauen Punkt zu liegen kommen. Wichtig ist, dass lediglich ein Kandidaten- 

pixel pkand,i, nämlich dasjenige mit dem höchsten Relevanzfaktor ϑ(pkand,i), als Faser- 

zentrum berücksichtigt wird. Um dies sicherzustellen, werden die Kandidatenpixel ab- 

steigend bezüglich ihrer Relevanz einem geordneten Dreiecksgitter (Delaunay-Gitter) 

hinzugefügt. Damit nicht mehrere Kandidatenpixel aus dem Bereich einer einzelnen 

Faser hinzugefügt werden, weil sie alle einen höheren Relevanzfaktor aufweisen als 

ein Kandidatenpixel einer weiteren Faser, wird das Hinzufügen vom Abstand zu schon 

eingefügten Stützstellen abhängig gemacht. Diese Abstände liegen im gesamten Aper- 

turbereich in einem nahezu konstanten engen Bereich (vgl. Aufbau in Abschn. 2.3.1), 

für den in Abhängigkeit des geschätzten Faserabstands ˜df eine untere Schranke festge-


legt werden kann: dmin = (1 − ζ) · ˜df. Die Toleranz, die durch den Parameter ζ gewährt 

wird, ist in der vorliegenden Implementierung auf etwa 5% gesetzt. 

Mit D k−1 , k < NF, liege eine Delaunay-Triangulierung vor, die bereits eine Menge 

an Gitterpunkten enthält (vgl. Abb. 3.17(c)). di bezeichne die NN Distanzen eines wei- 

teren präzisierten Kandidatenpixels pkand zu seinen NN nächstgelegenen Nachbarn pf ,n, 

n ≤ NN, im Gitter. Erfüllt der Kandidat die Bedingung di ≤ dmin∀pf ,n, so wird er dem 

Delaunay-Netz als weiteres Faserzentrum hinzugefügt (vgl. Abb. 3.17(d)). Durch die 

ausreichend homogen verteilte hexagonale Struktur der Faserzentren im endgültigen 

Gitter D NF , kurz D (vgl. Abb. 3.17(e)) bilden alle natürlichen Nachbarn auch gleich- 

zeitig die nächsten Nachbarn der Triangulierung und müssen daher in der Betrachtung 

von Nachbarschaftsverhältnissen nicht unterschieden werden. 

3.2.2.2 Interpolation 

Nach der subpixelgenauen Lokalisierung der Faserzentren bilden diese nun die Stützt- 

stellen für eine Interpolation aller dazwischenliegenden Bildpunkte. Dieser Vorgang 

wird für spätere Abschnitte mit dem Operator I symbolisiert. Unter der Annahme 

einer konstanten Verteilung der Fasern im Bildleiter bleibt sowohl der Mittelpunkt 

(µx, µy), als auch die Beschaffenheit der Helligkeitsverteilung, welche durch die Vari- 

anz (σx, σy) charakterisiert ist, für jede Faser konstant. Aus dem aktuellen Bild muss 

deshalb lediglich die Helligkeitsamplitude a bestimmt werden. Im Gegensatz zur itera- 

tiven initialen Berechnung der genannten konstanten Parameter, lässt sich die Amplitu- 

de für eine Faser mit dem Mittelpunkt (µx, µy) in expliziter Form in Abhängigkeit der 

benachbarten Intensitätswerte Î(x, y) angeben. Aufgrund bekannter Varianz der Gauß- 

Verteilung genügen wenige Intensitätswerte für eine hinreichend genaue Berechnung 

von a. Am Beispiel der Vierer-Nachbarschaft ABCD (vgl. Abb. 3.19) wird für den 

bekannten Intensitätsvektor i = Î(xA, yA), Î(xB, yB), Î(xC, yC), Î(xD, yD) T das lineare 

Gleichungssystem für die exponentielle Verteilung aufgestellt: 

i = a · m , (3.16) 

wobei m = (mA, mB, mC, mD) T den Vektor mit Exponentialtermen der Gauß-Vertei- 

lung bezeichnet, für den gilt: 

 

mk = exp − 1 

 

(µx − xk) 

2 

2 

σ 2 x 

+ (µy − yk) 2 

σ2 

y 

für k = {A, B, C, D} . 

Zur Lösung der Gleichung (3.16) nach a kann die für Vektoren entartete Moore- 

Penrose-Inverse M + angewendet werden [BIG03]. Sie liefert das explizite Optimum


⎧ 

⎪⎨ 

 

xA 

yA 

pI,A 

 

, 

 

xB 

yB 

pI,B 

 

, 

 

xC 

yC 

pI,C 

 

, 

 

xD 

yD 

⎪⎬ 

= 

⎪⎩ ⎪⎭ 

pI,D 

 

⌊µx⌋ 

⌊µy⌋ 

, 

⌈µx⌉ 

⌊µy⌋ 

, 

⌊µx⌋ 

⌈µy⌉ 

, 

⌈µx⌉ 

⌈µy⌉ 

Abbildung 3.19: Vierer-Nachbarschaft {pA, pB, pC, pD} eines Faserzentrums zur Berechnung 

der Amplitude in expliziter Form für die Interpolation. 

für den Parameter a hinsichtlich der minimalen euklidischen Norm für das aufgestellte 

System: 

a = i · m + mit m + = mT 

m T · m 

⎫ 

. (3.17) 

Im Gegensatz zur initialen Registrierung der Fasern wird an die Interpolation die 

Anforderung einer Echtzeitverarbeitung der Bilddaten gestellt. Daher wird eine Look- 

up-Tabelle erstellt, die für jeden Bildpunkt pI die Information zur Gewichtung der NN 

beteiligten Stützstellen pf ,i mit i ∈ {1; . . . ; NN} bereitstellt, aus welchen sich die In- 

tensität I(pI) zusammensetzt. Statt einer relativ ungenauen linearen Kombination aus 

NN ≤ 2 Stützstellen, wird die Helligkeit I(pI) standardmäßig aus mindestens drei, 

nämlich den begrenzenden Eckpunkten des umschließenden Dreiecks gebildet. Das 

Prinzip der baryzentrischen, auch affin genannten Kombination gewichtet die Intensi- 

täten ai i ≤ NN der NN Stützstellen des einschließenden Dreiecks gemäß ihrer bary- 

zentrischen Koordinaten bi bezüglich des Bildpunkts pI: 

NN 

I(pI) = bi(pI) · ai . 

i=1 

Beispiel: Für NN = 3 lauten die baryzentrischen Koordinaten eines Bildpunkts pI be- 

züglich seiner drei umschließenden Stützstellen pf ,1, pf ,2 und pf ,3 mit den Koordinaten 

(x1; y1), (x2; y2) und (x3; y3) 

b1 = 1 

c (px(y2 − y3) + x2(y3 − py) + x3(py − y2)) (3.18) 

b2 = 1 

c (x1(py − y3) + px(y3 − y1) + x3(y1 − py)) (3.19) 

b3 = 1 

c (x1(y2 − py) + x2(py − y1) + px(y1 − y2)) (3.20) 

mit 

c = x1(y2 − y3) + x2(y3 − y1) + x3(y1 − y2) .


(a) (b) 

(c) (d) 

Abbildung 3.20: Beispiel der physikalisch motivierten Interpolation an einem realen Bild des 

Hohlraums eines technischen Bauteils. Das Original (a) mit vergrößertem Ausschnitt (c), sowie 

das interpolierte Ergebnis (b) mit dem gleichen Ausschnitt (d). 

Als Beispiel für die Auswirkung der Interpolation auf das endoskopische Abbild 

des Hohlraums eines technischen Bauteils sind in Abbildung 3.20 das Originalbild (a) 

und das interpolierte Ergebnis (b) gegenübergestellt. Im vergrößerten Ausschnitt (c) 

des Originals sind deutlich die Wabenartefakte zu sehen, die nach der Interpolation 

aus dem Abbild (d) entfernt sind. 

Eine nichtlineare Gewichtung mit trigonometrischen oder polynomialen Funktio- 

nen, sowie eine intelligente Kombination von mehr als drei Stützstellen pro Bildpunkt 

ist angedacht, um glättend und gleichzeitig kantenerhaltend auf die Interpolation Ein- 

fluss zu nehmen (s. Ausblick).


3.2.3 Anwendung zur Kompensation singulärer Faserdefekte 

Die gute Abbildungseigenschaft von flexiblen Endoskopen steht und fällt mit der Funk- 

tionsfähigkeit der Fasern im Bildbündel. Sowohl durch unsachgemäßen oder längeren 

Gebrauch unter hoher Beanspruchung, als auch durch schlechte Produktionsbedingun- 

gen kann ein Bildbündel Faserdefekte aufweisen. Diese äußern sich durch dunkle Stel- 

len in der Abbildung und repräsentieren jeweils eine gebrochene Faser, die also kein 

Licht mehr leitet. 

Angeregt durch eine Fragestellung eines Industriepartners wurde untersucht, in- 

wieweit ein degradiertes Bildbündel durch digitale Bildverarbeitung noch für (einge- 

schränkte) visuelle Kontrollen verwendet bzw. als preisgünstiges Gerät für den Hob- 

bybereich eingesetzt werden kann. Es zeigt sich, dass ein kombinierter Algorithmus, 

(a) (b) 

(c) (d) 

Abbildung 3.21: Gebrochene Fasern erzeugen singuläre Faserdefekte im Kalibrierbild (a). Bei- 

spielhafte Abbildung eines Firmenlogos durch das Endoskop (b). Filterung zur Eliminierung 

des Wabenmusters bewahrt dunkle Flecken (c). Gefilterte Interpolation entfernt Wabenmuster 

und Bildstörungen durch gebrochene Fasern (d).

82 3.3. ARTEFAKTREDUZIERENDE FARBINTERPOLATION 

bestehend aus Interpolation und Filterung prädestiniert ist, um einzelne Fehler auszu- 

gleichen und dadurch den visuellen Eindruck der abgebildeten Szene zu verbessern. 

Abbildung 3.21 zeigt die Anwendung der genannten Verfahren für ein Beispielbild. 

Im Kalibrierbild (a) und der direkten Aufnahme eines Firmenlogos mit dem Endoskop 

E11 (vgl. Tab. 4.1) sind (b) die gebrochenen Fasern in der sonst homogenen Waben- 

struktur deutlich zu erkennen. Die Anwendung der spektralen Maskierung durch eine 

sternförmige Tiefpassmaske (vgl. Abschn. 3.2.1) kann die Faserdefekte nicht beseiti- 

gen (c), da sie lokale Störungen in der Gitterstruktur nicht berücksichtigt. Wird jedoch 

zunächst die adaptive Interpolation (vgl. Abschn. 3.2.2) genutzt, so werden einzel- 

ne Bildstörungen toleriert und der Betrachter erhält einen fehlerfreien Eindruck der 

Szene (d). Die abschließende Filterung beseitigt Artefakte aus nicht differenzierbaren 

Intensitätsübergängen, die durch die Interpolation entstehen können. Eine quantitative 

Bewertung dieses kombinierten Vorgehens erfolgt in Abschnitt 4.4. 

3.3 Artefaktreduzierende Farbinterpolation 

Die Farbe ist ein bedeutendes Kriterium, wenn es um die optische Beurteilung von 

Objekt- und Objektflächeneigenschaften geht. In der Medizin spielt die Farbe von Tex- 

turen eine wichtige Rolle, wenn es z. B. um Gewebeveränderungen, Entzündungen und 

andere Auffälligkeiten z. B. auf Schleimhäuten geht. Daher ist es wichtig, die Verfah- 

ren zur Artefaktreduktion auch unter dem Aspekt der Farbe zu betrachten und zu erwei- 

tern. In den vorausgehenden Abschnitten wurde die Automatisierung für Algorithmen 

zur spektralen Filterung und der Interpolation aus kontinuierlichen Gittern beschrie- 

ben, die auf Basis von Intensitätsbildern arbeiten. Damit lassen sich positive Auswir- 

kungen auf die Qualität von Grauwertbildern und damit auf die Weiterverwendung 

z. B. für eine räumliche Rekonstruktion zeigen. Bei einer Visualisierung und optischen 

Bewertung der Bilddaten, sowie der Definition und Verarbeitung von Farbmerkmalen 

stoßen die herkömmlichen Ansätze auf Schwierigkeiten, wie Abschnitt 2.3.3 gezeigt 

hat. 

Mit dieser Arbeit wird eine wirksame Erweiterung zur artefaktfreien Bestimmung 

der Farbwerte an den registrierten Faserzentren vorgeschlagen. Sie verknüpft die In- 

terpolation aus dem subpixelgenauen Stützstellengitter mit dem Wissen um die An- 

ordnung des Mosaiks der Farbfilterelemente auf dem Bildsensor. Ein entsprechender 

Ansatz wurde als Erfindungsmeldung [WZ07] eingereicht. Die Anordnung der Farb- 

elemente kann dem Datenblatt des Kameramodells entnommen werden oder anhand 

einer Mosaikkalibrierung ermittelt werden. Indem direkt auf die sog. Rohdaten zuge-

3.3. ARTEFAKTREDUZIERENDE FARBINTERPOLATION 83 

Abbildung 3.22: Ablaufdiagramm der physikalisch motivierten Interpolation mit Erweiterung 

zur artefaktfreien Bestimmung der Farbwerte an den registrierten Faserzentren. Zur Verbesse- 

rung der Übersichtlichkeit ist der mögliche Schritt zur Nachkalibrierung ausgeblendet. 

griffen wird, kann der negative Einfluss des Demosaicing auf das Farbbild umgangen 

werden und die Farbwiedergabe mit implizitem Weißabgleich verbessert werden. Der 

Ablauf der stützstellenbasierten Interpolation aus Abschnitt 3.2.2 wird um die Zuwei- 

sung relevanter Sensorelemente, die Berechnung von Korrekturfaktoren für die Farb- 

verteilung und -gewichtung und die Farbbestimmung und -korrektur erweitert (vgl. 

Abb. 3.22). 

Demosaicing und Faserregistrierung Die im Abschnitt 3.2 zur stützstellenbasier- 

ten Interpolation beschriebene Faserregistrierung wird auf einem Intensitätsbild durch- 

geführt. Dazu werden die Rohdaten ˆRref des Weißbilds durch eine der Methoden aus 

Abschnitt 2.3.2 zu einem Grauwertbild konvertiert (Demosaicing). Die Faserregistrie- 

rung liefert eine geordnete Gitterstruktur D mit den subpixelgenauen Koordinaten des 

Schwerpunkts einer jeden Faser pf ,i, i ≤ NF. 

Zuweisung relevanter Sensorelemente Weil mehrere Sensorelemente SE(pf ) vom 

einfallenden Licht der Faser pf betroffen sind, werden diese Sensorelemente jeweils 

den Fasern mit der nächstliegenden Koordinate zugeordnet (vgl. Abb. 3.23). Dabei 

wird zunächst nicht berücksichtigt, mit welcher Intensität die einzelnen Sensorele- 

mente beitragen, sondern nur binär entschieden, welche Elemente auf welche Fasern 

Einfluss haben.

84 3.3. ARTEFAKTREDUZIERENDE FARBINTERPOLATION 

(a) (b) 

Abbildung 3.23: Vergrößerter Ausschnitt des Intensitätsbilds (a) und schematische Darstellung 

des Bayer-Pattern (b) um eine angedeutete Faser pf herum mit Markierung der zugewiesenen 

Sensorelemente SE. 

Korrekturfaktoren für Farbverteilung und -gewichtung Für jeden Farbkanal χ 

wird nun die Summe aller Intensitäten ˆRref der zugehörigen Sensorelemente im Roh- 

bild gebildet. Diese Summe wird als Kalibriersumme K bezeichnet: 

χ K(pf ) = 

SE(pf ) 

χˆRref(pf ) mit χ ∈ {R, G, B} und pf ∈ D . 

Die Definition eines Referenzintensitätswerts ˆK(pf ) dient der Kompensation von glo- 

balen Helligkeitsgradienten und bietet eine Möglichkeit, die Berechnung des Aus- 

gangsbilds visuell realistischer zu skalieren. Ein guter Richtwert ist hier 90 − 95% 

der maximalen Helligkeit. Es ist auch möglich, den Wert an lokale Bildinhalte zu a- 

daptieren oder die mittlere Helligkeit einer normal beleuchteten Szene zu verwenden. 

Die Kalibriersumme wird auf den Referenzintensitätswert normiert und bildet so den 

Korrekturfaktor 

χ C(pf ) = ˆK(pf ) 

χ K(pf ) mit χ ∈ {R, G, B} und pf ∈ D . 

Farbbestimmung und -korrektur Nach den initialen Phasen der Kalibrierung wer- 

den nun die Schritte zur Farbbestimmung und -korrektur auf einer ganzen Sequenz 

von Bildern durchgeführt, die entweder direkt von einer Kamera aufgenommen wer- 

den oder aus dem Speicher, z. B. einem Bildarchiv gelesen werden. O.B.d.A. werden 

die Schritte für ein einzelnes Bild ˆR der Sequenz beschrieben. 

Ähnlich der Summenbildung für die Korrekturfaktoren werden hier für alle zugehöri- 

gen Sensorelemente SE(pf ) einer Faser pf die Intensitäten aus dem zu bearbeitenden

3.4. NACHKALIBRIERUNG ZUR SYSTEMSTABILISIERUNG 85 

Bild ˆR entnommen und zur Summe E(pf ) summiert. Die Operation findet wiederum 

für alle Farbkanäle separat statt. 

χ 

E(pf ) = 

χˆR(pf ) mit χ ∈ {R, G, B} und pf ∈ D . 

SE(pf ) 

Die korrigierte Intensität χ apf für den Farbkanal χ der Faser pf im aktuellen Bild ent- 

steht durch Multiplikation mit dem Korrekturfaktor χ E(pf ): 

χ apf =χ E(pf ) · χ C(pf ) mit χ ∈ {R, G, B} und pf ∈ D . 

Als angepasster Farbwert wird der Faser pf im Gitter D nun das Intensitätstripel apf = 

 

Rapf ,G apf ,B 

apf zugewiesen. 

Das beschriebene Vorgehen ist beispielhaft für die RGB-Repräsentation dargestellt, 

gleichwohl sich beliebige Anzahl und Arten von Farbkanälen auf diese Weise berück- 

sichtigen lassen. Bekannte Aufgabenstellungen aus dem industriellen Umfeld erfor- 

dern hier z. B. ein nicht sichtbares Spektrum im nahen infraroten Bereich, was für die 

Software algorithmisch problemlos handhabbar ist. 

Farbinterpolation Die Faserzentren pf des Gitters D werden um die korrigierten 

Farbwerte apf ergänzt und stehen daraufhin als Datenbasis für die baryzentrische Interpolation 

zur Verfügung. Für eine schnelle Bearbeitung werden die Nachbarschafts- 

beziehungen des Gitters sowie die zugehörigen Farbdaten in einer Lookup Tabelle vor- 

gehalten, aus der für jedes Sensorelement, das zwischen genau drei Faserzentren liegt, 

die nötige Information zur Restaurierung entnommen werden kann. 

3.4 Nachkalibrierung zur Systemstabilisierung 

Im Einsatz unterliegen Endoskopsysteme oft einer starken mechanischen Beanspru- 

chung. Die Verbindung zwischen dem Okular des Endoskops und dem Kamerasensor 

z. B. über eine mechanische Verschraubung oder einen Bajonettverschluss reagiert äu- 

ßerst sensibel auf solche Kräfte, da bereits eine kleine Verschiebung in der Größenord- 

nung weniger Mikrometer oder eine Drehbewegung um wenige Winkelsekunden zu 

einem Versatz des Bildbündels in der Größenordnung mehrerer Sensorelemente führt. 

Diese Veränderung wird hier als Dejustierung bezeichnet. Die Folge ist eine Verschie- 

bung der Faserzentren auf dem Bildsensor, die im Kalibrierschritt für die Interpolation 

registriert und gespeichert wurden (vgl. Abschn. 3.2.2). Dies hat massive Auswirkun- 

gen auf die Rekonstruktion, da die Berechnung der Lichtleiterintensitäten und -farben

86 3.4. NACHKALIBRIERUNG ZUR SYSTEMSTABILISIERUNG 

Ohne Nachkalibrierung 

(a) t = 0s (b) t = 1s (c) t = 2s (d) t = 3s 

Mit Nachkalibrierung 

(e) t = 0s (f) t = 1s (g) t = 2s (h) t = 3s 

Abbildung 3.24: Sequenz von restaurierten Bildern, die im zeitlichen Verlauf (von links nach 

rechts) einer Dejustierung durch Verdrehen der Verbindung zwischen Endoskop und Kamera 

unterzogen werden. Ohne zusätzliche Bearbeitungsschritte zeigt die Sequenz (a)-(d) deutliche 

Einbußen bezüglich Helligkeit und Struktur der Aufnahmen, wohingegen eine aktive Nachkali- 

brierung diese Effekte sichtbar reduziert (e)-(h). 

stark abhängig ist von der genauen Lichtleiterposition. In Abbildung 3.24 ist ein derar- 

tiger Vorgang im zeitlichen Verlauf dargestellt. Ohne zusätzliche Bearbeitungsschritte 

zeigt die Sequenz (a) bis (d) deutliche Einbußen bezüglich Helligkeit und Struktur der 

Aufnahmen, weil sich mit der Zeit die Faserpositionen verschieben, an deren Koordi- 

naten die Informationen aus dem Bild bestimmt werden. 

Prinzip der Nachkalibrierung Mit der Nachkalibrierung wird eine zeitdynamische 

Rückkopplung für die Kalibrierung entwickelt und vorgestellt, die während des Be- 

triebs eines Endoskops Korrekturen an den Kalibrierdaten vornehmen kann, um eine 

schleichende Dejustierung zu kompensieren. In Abschnitt 3.2.2 wurde die Kalibrie- 

rung als vergleichsweise zeitaufwändiger Vorgang beschrieben. Die Anforderungen 

der Nachkalibrierung sind jedoch nicht so hoch, wie die initiale Berechnung von cha- 

rakteristischen Parameter jeder einzelnen Faser, die zusätzlich in eine Nachbarschafts- 

beziehung gebracht werden müssen. Daher kann die Kalibrierung für die hier benötigte 

dynamische Nachführung vereinfacht werden.

3.4. NACHKALIBRIERUNG ZUR SYSTEMSTABILISIERUNG 87 

(a) (b) (c) 

Abbildung 3.25: (a) Individuelle Erkennung lokaler Verschiebungen von Faserzentren nach 

einer Dejustierung mit (b) vergrößerter Visualisierung eines einzelnen Bewegungsvektors. (c) 

Stabilisierung der Bewegung durch Optimierung mittels rigidem Bewegungsmodell. 

Aktualisierung der Faserpositionen Die Dejustierung eines Lichtleiters äußert sich 

dadurch, dass das Abbild seiner Lichtverteilung an einer verschobenen Stelle auf den 

Kamerasensor trifft. Um diese Verschiebung zu ermitteln, wird die Registrierung aus 

Abschnitt 3.2.2.1 erneut durchgeführt, diesmal jedoch in vereinfachter Form auf der 

Grafikkarte. Ein Schwellwert entscheidet darüber, ob sich die Intensitätsverteilung um 

die betrachtete Stelle herum für die Registrierung eignet. Dies ist im laufenden Betrieb 

nicht selbstverständlich, da eventuell durch zu starke Helligkeit die Faser übersteuert 

wiedergegeben wird oder sich die Faser durch zu geringe Ausleuchtung nicht ausrei- 

chend vom Hintergrund abhebt. Weiterhin ist entscheidend, dass sich die Faser seit der 

letzten Registrierung nicht zu weit entfernt hat, sonst wird die Lokalisierung fälsch- 

licherweise von den hellen Bereichen benachbarter Faserzentren beeinflusst. Sind die 

genannten Kriterien für die Umgebung einer Faser erfüllt, so wird die Registrierung 

durchgeführt. Als Ergebnis liegen aktualisierte Werte für die Faserpositionen vor. 

Rigides Bewegungsmodell zur Stabilisierung der detektierten Bewegung Durch 

eine geeignete Bildfrequenz kann sichergestellt werden, dass die Verschiebung zwi- 

schen jeweils zwei Bildern in der Größenordnung von wenigen Pixel bleibt. Im Ge- 

gensatz zur Bewegung von Objektmerkmalen in der Szene, die durch das Endoskop 

perspektivisch auf den Sensor abgebildet werden, kann die Dejustierung des Okular- 

adapters näherungsweise durch eine rigide Transformation beschrieben werden. Über 

ein entsprechendes Bewegungsmodell mit Translation und Rotation können die Para- 

meter der Verschiebungen, die im laufenden Betrieb nicht an allen Stellen zuverlässig 

erkannt werden können, stabiler bestimmt werden.

88 3.5. SUPERPOSITION IN FIBEROPTISCHEN BILDSEQUENZEN 

Schwierigkeit durch ungünstige Beleuchtung und homogenen Bildinhalt Die in- 

dividuelle Nachkalibrierung der einzelnen Faserzentren hat jedoch zwei nennenswerte 

Nachteile. Erstens unterliegt die lokale Erkennung einem gewissen Fehler, wie die 

Visualisierung der Bewegungsvektoren in Abbildung 3.25(a) zeigt. Eine wiederholte 

Kalibrierung schafft zwar in einigen Fällen Abhilfe, allerdings nur in den Bereichen, in 

denen eine aussagekräftige Verteilung vorliegt. Durch die zeitliche Dynamik von Über- 

steuerung oder Unterbelichtung in der Bildsequenz ist das jedoch oft nicht ausreichend 

möglich. Damit ist auch das zweite Problem angeschnitten, nämlich die Unsicherheit 

über die Beleuchtung und vor allem über den Inhalt einer endoskopischen Sequenz. 

Bleibt ein Ausschnitt über einen längeren Abschnitt unterbelichtet, können die dort 

befindlichen Lichtleiter möglicherweise keine Aktualisierung erfahren. In der Folge 

kann die Transformation soweit fortgeschritten sein, dass eine korrekte Bestimmung 

der Verschiebung nicht mehr möglich ist. 

Um dieses Problem in den Griff zu bekommen, werden durch Minimierung des 

quadratischen Fehlers aus den Einzelverschiebungen die Parameter für eine rigide 

Transformation bestimmt. Mit dieser Transformation werden sodann alle Lichtleiter- 

koordinaten aktualisiert, auch wenn diese gerade nicht zur Bestimmung der Bewe- 

gungsvektoren beitragen können. Die Visualisierung der Bewegungsvektoren zeigt die 

Stabilisierung der Bewegungen durch eine geringere Varianz in der Vektorgewichtung 

und -ausrichtung (vgl. Abb. 3.25(c)). Durch regelmäßige Aktualisierung der Faserzen- 

tren in den Gitterdaten arbeitet die Interpolation in der beabsichtigten Weise auch nach 

Dejustierungen, welche die genannten Grenzen einhalten und zeigt auch nach mehre- 

ren Schritten keine wahrnehmbaren Einbußen bezüglich der ursprünglichen Helligkeit 

und Struktur (vgl. (e) bis (h) in Abb. 3.24). 

3.5 Superposition in fiberoptischen Bildsequenzen 

Abschnitt 2.6 hat unter dem Begriff Super Resolution verschiedene Ansätze beschrie- 

ben, mit denen die Auflösung von Bildsequenzen gesteigert werden kann. Trotz viel- 

versprechender Verfahren im Bereich der Bearbeitung von Videobildern und einigen 

Bestrebungen, diese Methoden zur Bearbeitung unregulär abgetasteter Bilddaten zu 

übertragen (Superposition), existiert keine praktikable Umsetzung für die Anwendung 

mit Faseroptiken, wie sie unter anderem in der flexiblen Endoskopie eingesetzt werden. 

Dieser Abschnitt stellt ein erweitertes Verfahren vor, dass speziell für diesen Anwen- 

dungsbereich geeignet ist [WERW06, WRW06]. Zuerst wird die Wirkung von Super 

Resolution anhand des Informationsflusses veranschaulicht, danach werden das Prin-

3.5. SUPERPOSITION IN FIBEROPTISCHEN BILDSEQUENZEN 89 

(a) Einzelbild (statisch) 

(b) Bildsequenz (dynamisch) 

Abbildung 3.26: Informationsfluss der faseroptischen Abbildung. (a) Bei der Übertragung 

durch ein Faserbündel wird die Bildinformation durch Verdeckung und Verfälschung reduziert 

(Äquivokation). (b) Die Superposition nutzt die örtliche Korrelation innerhalb einer Bildse- 

quenz, um Anteile der verdeckten Bildinformation zurück zu gewinnen bzw. Verluste durch 

Strukturartefakte zu reduzieren. 

zip und die fundamentalen Voraussetzungen der Mehrfachabtastung durch Faserbündel 

erarbeitet. Im Anschluss werden die Vorteile des gewählten Verfahrens im Kontext der 

Endoskopie aufgelistet und daraufhin die konkrete Umsetzung in die Interpolation mit 

lokaler Bewegungsschätzung und Abbruchkriterien erläutert, bevor abschließend eine 

Erweiterung des Ansatzes für die Farbbildverarbeitung vorgeschlagen wird. 

3.5.1 Informationsgewinn durch Überlagerung 

Der Ansatz basiert auf dem Ortsraumverfahren der Interpolation. Die physikalisch 

motivierte Interpolation aus Abschnitt 3.2.2 bietet eine ideale Grundlage zur Über- 

lagerung von Bildinformation, da sie ein kontinuierliches Gitter mit Intensitätswerten 

zur Interpolation bereithält, das beliebig durch weitere Stützstellen erweitert werden 

kann. Durch Superposition, d.h. Überlagerung nichtredundanter Information zwischen 

mehreren Einzelaufnahmen können Strukturartefakten und der physikalische Informa- 

tionsgehalt der bearbeiteten faseroptischen Abbildungen erhöht werden [WWRW06].


Motiviert aus dem Gedanken der Transinformation veranschaulicht Abbildung 3.26 

den Effekt der Superposition auf den Informationsfluss gegenüber dem statischen Fall 

der faseroptischen Einzelbildübertragung. Bei der Übertragung durch ein Faserbündel 

wird die Bildinformation der Szene, H(X), durch Verdeckung aufgrund von Abtastung 

sowie durch Verfälschung aufgrund von Strukturartefakten und Farbmoiré reduziert. 

Dieser Anteil H(X|Y) wird Äquivokation genannt. Die Transinformation H(X; Y) ent- 

spricht der tatsächlich abgetasteten Information, die über die Fasern des Bildbündels 

übertragen werden. Im dynamischen Fall gelingt es unter bestimmten Voraussetzungen 

(s. folgender Abschnitt), durch geschickte Überlagerung zeitlich benachbarter, redun- 

danter Aufnahmen einen Teil der Äquivokation zurückzugewinnen und damit den An- 

teil der Transinformation zu erhöhen. Für die Abbildung bedeutet dies einen höheren 

Grad an Details bzw. Restaurierungsgüte. 

3.5.2 Prinzip und fundamentale Voraussetzung 

Das Prinzip der Superposition ähnelt dem menschlichen Verhalten beim Arbeiten mit 

einem Fiberskop oder beim Blick durch eine gitterartige Struktur. Kleine Seitwärtsbe- 

wegungen verbessern den Eindruck der betrachteten Szene und lassen offensichtlich 

mehr Details erkennen. Fundamentale Voraussetzung für dieses Prinzip ist eine effek- 

tive Abtastfläche, die kleiner ist, als die Gesamtfläche der Elemente, auf welche die 

Szene abgebildet wird. Dieser Zusammenhang wird im nächsten Abschnitt an einem 

anschaulichen Beispiel verdeutlicht. 

Weitere Bedingung für die praktische Anwendbarkeit von Superposition beim Be- 

trieb eines Geräts mit faseroptischer Übertragung sind geeignete Bewegungen, mit de- 

nen die distale Optik über oder durch die betrachtete Szene fährt oder geführt wird. Die 

entsprechenden Verschiebungen in den aufgezeichneten Abbildungen aus verschiede- 

nen Blickrichtungen müssen sich zwischen einer Mindest- und einer Maximaldistanz 

bewegen. Sind die Bewegungen zu gering, so liefert die Überlagerung von zugehöri- 

gen Bildausschnitten keine zusätzlichen Details. Ist der Betrag der Bewegungsvekto- 

ren zu groß, können sie zwischen aufeinander folgenden Bildern nicht mehr korrekt 

identifiziert werden und führen zu falscher Überlagerung. Auch zu kleine oder sich 

periodisch wiederholende Strukturen im Bild führen zu Fehlverhalten der eingesetzten 

Bewegungsschätzer. Die Bewegungsschätzung ist daher der zweite limitierende Faktor 

für den Erfolg und das Ergebnis der Detailsteigerung. Eine theoretische Abschätzung 

der Genauigkeit von Bewegungsschätzern für endoskopische Bilder ist jedoch nicht 

Inhalt dieser Arbeit.


(a) Ages 

(b) Aeff 

Abbildung 3.27: Veranschaulichung der (b) effektiven Fläche im Vergleich zur (a) gesamten 

Fläche (hier im Verhältnis 1/9). 

(a) Position 1 (b) Position 2 (c) Position 3 (d) Position 4 

Abbildung 3.28: Abtastung eines Schwarz-Weiß-Übergangs mit einem Feld aus neun Abtast- 

quadraten der Kantenlänge ∆d und damit der Gesamtfläche Ages(vgl. Abb. 3.27(a)). Jede Po- 

sition (1-4) zeigt das Abtastfeld nach einer horizontalen Verschiebung um den Abstand ∆d. 

3.5.2.1 Abtastung mit verringerter effektiver Fläche 

Effektive Abtastfläche Abbildung 3.27 zeigt zwei abgerundete Rechtecke, die je- 

weils eine quadratische Fläche der Größe Ages zeigen. In (a) ist die Fläche in neun 

Abtastquadrate der Breite ∆d aufgeteilt, welche zusammen die gesamte Fläche Ages = 

9∆d 2 ausfüllen. (b) zeigt ebenfalls neun Abtastquadrate, die jedoch jeweils nur ein 

Drittel der ursprünglichen Kantenlänge aufweisen. Die Summe dieser sogenannten ef- 

fektiven Abtastfläche Aeff beträgt hier demzufolge nur noch ein Neuntel der Fläche 

Ages: 

∆eff = Aeff 

Ages 

= 1 

∆d 2 

2 ∆d 

= 

3 

1 

9 

Abtastung mit gesamter Fläche In Abbildung 3.28 wird das Abtastfeld nun über 

einen Schwarz-Weiß-Übergang geschoben, der im horizontalen Helligkeitsverlauf ei- 

ne Stufenfunktion von Null auf Eins darstellt. Ähnlich wie bei der Faltung bekommt 

jedes Abtastquadrat als Helligkeit den überdeckten weißen Bereich, bezogen auf die 

Quadratfläche, zugeordnet. Aufgrund der gewählten Schritte im konstanten Abstand 

∆d bedeutet das den Wert Eins für vollständig im Weißen oder Null für vollständig 

im Schwarzen. In Analogie zu einer Faser im Bündel eines Bildleiters wird in jedem 

Schritt aus einem beliebigen, jedoch bezüglich der Fläche über die Schritte konstanten


(a) Position 2 1 

3 

(b) Position 2 2 

3 

Abbildung 3.29: Zusätzliche Abtastung des Schwarz-Weiß-Übergangs mit dem Feld aus neun 

Abtastquadraten der Kantenlänge ∆d (Gesamtfläche Ages) an zwei äquidistant verteilten Zwi- 

schenpositionen d/∆d = 2 1 

2 

3 und d/∆d = 2 3 . 

Abbildung 3.30: Funktion der Abtastwerte, die den einzelnen Schritten in Abbildung 3.28 

(Kennzeichnung: Raute) und Abbildung 3.29 (Kennzeichnung: Kreis) entnommen sind. 

Abtastquadrat der Helligkeitswert entnommen. Diese Werte bilden die rautenförmigen 

Stützstellen in Abbildung 3.30, die entsprechend der quadratischen Abtastfläche durch 

Linien zu einer stetigen Funktion verbunden sind. 

Zwischenabtastung mit gesamter Fläche Die beiden Zwischenschritte in Abbil- 

dung 3.29(a) und 3.29(b) zeigen die örtliche Verschiebung der Abtastquadrate um 

einen Bruchteil ihrer Kantenlänge und damit die Überabtastung des Übergangs von 

Schwarz nach Weiß. An den Stellen d/∆d = 2 1 

3 

und d/∆d = 2 2 

3 

wird damit der 

Verlauf in Abbildung 3.30 um zwei Werte erweitert, die jeweils mit einem Kreis ge- 

kennzeichnet sind. Die ungeraden Werte kommen, wie bereits beschrieben, durch den 

Anteil des abtastenden Quadrats zustande, der über der weißen Fläche liegt. Dem ste- 

tig erweiterten Kurvenverlauf ist zu entnehmen, dass die zusätzlich eingefügten Ab- 

tastwerte keine zusätzliche Information im Sinne einer Änderung des Signalverlaufs 

hinzufügen. Lediglich bei fehlerhafter Restaurierung des Signals aus den ursprünglich 

bekannten Stützstellen (Rauten) kann die Verschiebung einen Beitrag zur Korrektur 

des Signals hin zum korrekten Verlauf liefern.


(a) Position 1 (b) Position 2 (c) Position 3 (d) Position 4 

Abbildung 3.31: Abtastung eines Schwarz-Weiß-Übergangs mit einem Feld aus neun Abtast- 

quadraten der Kantenlänge ∆d/3 (vgl. Abb. 3.27(b)) und damit der effektiven Gesamtfläche 

Aeff = Ages/9. Jede Position (1-4) zeigt das Abtastfeld nach einer horizontalen Verschiebung 

um den Abstand ∆d. 

(a) Position 2 1 

3 

(b) Position 2 2 

3 

Abbildung 3.32: Zusätzliche Abtastung des Schwarz-Weiß-Übergangs mit dem Feld aus neun 

Abtastquadraten der effektiven Kantenlänge ∆d/9 (Effektive Gesamtfläche Ages/9) an zwei 

äquidistant verteilten Zwischenpositionen d/∆d = 2 1 

2 

3 und d/∆d = 2 3 . 

Abtastung mit effektiver Fläche Jetzt werden die gleichen Abtastschritte mit der 

verringerten Abtastfläche (vgl. Abb. 3.27(b)) vorgenommen. Abbildung 3.31 zeigt die 

Einzelschritte, die bis auf die geringere Fläche, welche den Funktionswert des Abtast- 

quadrats repräsentieren, mit denen aus Abbildung 3.28 übereinstimmen. Das spiegelt 

sich auch in den durch Rauten gekennzeichneten Stützstellen in Abbildung 3.33 wie- 

der. 

Zwischenabtastung mit effektiver Fläche Die beiden Zwischenschritte an den Ko- 

ordinaten d/∆d = 2 1 

2 

(vgl. Abb. 3.32(a)) und d/∆d = 2 (vgl. Abb. 3.32(b)) ergeben 

3 3 

für die betrachteten Abtaststellen andere Werte, als bei der Abtastung mit der Ge- 

samtfläche. Im Verlauf von Abbildung 3.33 führen die beiden Werte (Kennzeichnung: 

Kreis) zu einem schärferen Kurvenverlauf gegenüber der ursprünglichen gestrichelten 

Funktion. Die beiden Werte tragen damit zur Präzisierung der abgetasteten Stufenfunk- 

tion bei. 

Fazit Die Überlegungen zur Flächenabtastung zeigen, dass sich durch eine Reduzie- 

rung der effektiven Abtastbreite um den Faktor Drei und eine geeignete Zwischenab- 

tastung die Anzahl der informationstragenden Abtaststellen Nabtast in dieser Ortsrich- 

tung um den Faktor Drei steigern lässt. Für die betroffene Fläche kann entsprechend


Abbildung 3.33: Funktion der Abtastwerte, die den einzelnen Schritten in Abbildung 3.31 

(Kennzeichnung: Raute) und Abbildung 3.32 (Kennzeichnung: Kreis) entnommen sind. 

gezeigt werden, dass sich durch die Verringerung der effektiven Abtastfläche um den 

Faktor ∆eff die Anzahl der informationstragenden Abtaststellen Nabtast in diesem Be- 

reich um den Faktor 1 

∆eff 

erhöhen lässt. Damit ergibt sich folgender Zusammenhang: 

Abtastung mit effektiver Fläche 

Aeff = ∆eff · Ages 

Geeignete ⇓ Zwischenabtastung 

Erhöhung von Nabtast um Faktor 1 

∆eff 

(3.21) 

Wie man sich an der Visualisierung der Zwischenabtastungen in den Abbildungen 3.29 

und 3.32 veranschaulichen kann, tragen die gewählten Verschiebungen in optimaler 

Weise zu weiteren informationstragenden Stützstellen bei. Weder eine höhere Anzahl 

an Zwischenabtastungen noch eine andere Wahl der Abtastkoordinaten können zu wei- 

teren Informationen führen. Zwischenabtastungen in äquidistanten Abständen sind in 

der Praxis nur näherungsweise durch mechanische Hilfskonstruktionen zu realisieren. 

Die Problematik der Bewegungsschätzung wird in einem späteren Abschnitt aufgegrif- 

fen. 

3.5.2.2 Auswirkung der effektiven Fläche auf die Grenzen der Auflösungssteige- 

rung beim Faserbündel 

In einem Faserbündel beruht der Effekt einer effektiven Abtastfläche maßgeblich auf 

zwei Eigenschaften. Einerseits erzeugt die hexagonale Anordnung der kreisförmigen 

Querschnitte eines Glasfaserbündels Zwischenräume, wodurch die effektive Fläche 

bereits auf etwa 91% reduziert wird (vgl. Abb. 3.34(a)). Andererseits ist nach der 

sog. Kern-Mantel-Relation das Kernglas von einem Mantelmaterial mit höherem Bre- 

chungsindex umgeben (vgl. Abschn. 2.3.1), das seinerseits zwar eine geringe Lichtleit-


(a) (b) 

Abbildung 3.34: Schematischer Blick auf das Ende eines Faserbündels: (a) Kleine Zwischen- 

raumfläche bei großer effektiven Abtastfläche bzw. (b) vergleichsweise große Zwischenraum- 

fläche bei geringerer effektiver Abtastfläche. 

fähigkeit aufweist, allerdings den effektiven Durchmesser der Fasern gegenüber ihrem 

Abstand messbar reduziert. 

Aus Sicht des Anwenders steht die Möglichkeit der Auflösungssteigerung in Kon- 

kurrenz zu dem erreichbaren Signal-zu-Rausch-Verhältnis. Dieses wird durch die Ver- 

ringerung der Abtastfläche reduziert und es ist zu vermuten, dass ab einem bestimmten 

Punkt das verursachte Rauschen, z.B. der Kamera, den möglichen Gewinn durch eine 

Erhöhung der Anzahl der Abtastpunkte kompensiert. Die theoretischen Überlegungen 

zu einer optimalen Lösung sind allerdings nicht Gegenstand dieser Arbeit. 

Die Recherche in der Literatur bzw. die Nachfrage bei der Schott AG hat keine Hin- 

weise auf eine adäquate Angabe auf die beschriebene effektive Abtastfläche ergeben. 

Sofern sie zugänglich ist, liefert die Angabe des Kerndurchmessers der Einzelfaser 

nach dem mehrmaligen Prozess des Dünnziehens eine gute Näherung für diese Aussa- 

ge, falls davon ausgegangen wird, dass sich die Mantelstärke im Verhältnis zum Kern- 

durchmesser proportional verringert. Aufgrund der Transparenz des Mantelmaterials 

und wegen auftretenden Streulichts kann jedoch nicht unmittelbar vom Kerndurch- 

messer auf die effektive Abtastfläche geschlossen werden, wie Messungen bestätigen. 

Die Einflussfaktoren der Optik, der Beleuchtung und des Kamerasystems sind viel- 

fältig und beeinflussen die Kontrastübergänge in der Abbildung einer Szene auf ein- 

zelne Sensorelemente. Deshalb soll im Folgenden für die Endoskopie eine solche ef- 

fektive Abtastfläche definiert und bestimmt werden, die ohne optische Verluste ein 

äquivalentes Abtastverhalten zeigt, wie die Fasern des betrachteten Bildbündels. Auf- 

bauend auf dieser Simulation wird im Anschluss an diesen Abschnitt ein Messverfah- 

ren vorgeschlagen, mit dem der Faktor ∆eff für ein Faserbündel abgeschätzt werden


(a) (b) (c) 

Abbildung 3.35: Fiktives Experiment zur Abtastung eines Balkens durch eine einzelne Faser 

mit definiertem effektiven Durchmesser de (a). Kreisfunktion k(x) zur Bestimmung der anteili- 

gen Balkenfläche Ab in Abhängigkeit der Position des Balkens in der kreisförmigen Abtastfläche 

(b). Ausschnitt einer Dreiecksfläche mit Kennzeichnung des Anteils an der Zwischenraumfläche 

Az und dem Anteil an der effektiven Abtastfläche Aeff. 

kann. Mit dem ermittelten Faktor sind daraufhin Interpretationen möglich, inwiefern 

visuelle Verbesserungen in Bildsequenzen auf Korrekturen von Restaurierungsfehlern 

zurückzuführen sind bzw. welcher Anteil an zusätzlichen Abtaststellen tatsächlich auf 

zusätzliche Bildinformation zurückzuführen ist. Konkrete Ergebnisse über die Wir- 

kung des Verfahrens auf die Bildqualität können den definierten Szenarien und realen 

Messungen in Kapitel 4 entnommen werden. 

3.5.2.3 Simulation der Flächenabtastung mit effektiver Kreisfläche 

Das idealisierte 13 Flächenabtastverhalten einer Faser mit effektivem Radius de/2 wird 

durch die Schnittfläche eines schwarzen Balkens der Breite db mit einem Kreis (ef- 

fektive Abtastfläche) des Durchmessers de > 0 simuliert (vgl. Abb. 3.35(a)). Diese 

Schnittmenge verringert die Beleuchtungsstärke der hellen Kreisfläche um den ent- 

sprechenden Anteil des dunklen Balkens. 

Dazu definiere k(x, de) eine Kreisfunktion mit Radius de, deren Mittelpunkt bei 

(de/2; 0) liegt (vgl. Abb. 3.35(b)): 

k(x, de) = −x 2 + de x mit de > 0, 0 ≤ x ≤ de . (3.22) 

Die verbleibende normierte Kreisfläche Ab ist die Differenz aus Eins und dem dop- 

pelten Integral der Kreisfunktion k(x, de) innerhalb der Begrenzungen des Balkens, 

13 Hier: Ohne Unschärfe durch Optik und Übersprechen durch Streulicht


Abbildung 3.36: Idealer Verlauf der Beleuchtungsstärke am Eingang einer Faser mit effektivem 

Durchmesser de, wenn sie von einem dunklen Balken unterschiedlicher Breite db auf hellem 

Untergrund verdeckt wird. 

sofern sie im Definitionsbereich von Gleichung (3.22) liegen. Der integrierte Anteil 

der Kreisfläche ist auf die effektive Abtastfläche Amax = π de 2 /4 normiert: 

Ab(xb, db, de) = (3.23) 

= 1 − 2 

⎧ xb 

0 

⎪⎨ 

· 

Amax 

⎪⎩ 

k(x, de) dx für 0 ≤ xb ≤ de und db > xb 

Amax/2 für xb ≥ de und db ≥ xb 

de 

xb−db k(x, de) dx für xb > de und xb − de < db ≤ xb 

xb 

xb−db k(x, de) 

. 

dx für 0 < xb < de und 0 < db < xb 

0 sonst 

Für 0 ≤ xb < de und 0 ≤ db ≤ xb liegen die Integrationsgrenzen zwischen xb − db und 

xb und die verbleibende normierte Kreisfläche ergibt 

Ab(xb, db, de) = (3.24) 

1 − 1 

 

de 2 

2 x − de 

arcsin + 2 (2 x − de) xb 

−x (x − de) . 

de 2 π 

de 

xb−db 

Abbildung 3.36 zeigt den Verlauf der verbleibenden normierten Kreisfläche Ab für 

mehrere Balkenbreiten db/de. Die Kurvenschar macht deutlich, dass für eine geeignete 

Balkenbreite db < de, möglichst im Bereich db = de/2, über das Minimum des je- 

weiligen Verlaufs eine Aussage über den effektiven Durchmesser de abgeleitet werden 

kann. Anschaulich liegt das Minimum an der Position, wo der schwarze Balken ge-


nau mittig im Kreis zu liegen kommt. Dieses Minimum Ab,min(db, de) beträgt für ein 

gewähltes Verhältnis von db und de mit xb ′ = de 

2 

+ db 

2 

Ab,min(db, de) = Ab (xb ′ , db, de) für 0 < db < de (3.25) 

Das Minimum Ab,min(db, de < db) beträgt 0, 0 und das Maximum Ab,max der Kurven- 

schar liegt generell bei 1, 0. Das Verhältnis δL wird als Quotient von Ab,min(db, de > db) 

zu Ab,max in Bezug auf Ab,min(db, de < db) definiert 

δL = Ab,min(db, de > db) − Ab,min(db, de < db) 

Ab,max − Ab,min(db, de < db) 

= 

= 

Ab,min(db, de > db) = 

1 − 1 

 

2 db 

de 2 π 

 

de 2 − db 2 + 2 de 2 

db 

arcsin 

de 

= (3.26) 

 

für 0 < db < de . 

3.5.3 Messverfahren zur Bestimmung der effektiven Abtastfläche 

Da der entscheidende Parameter de den technischen Daten handelsüblicher Endoskope 

nicht zu entnehmen ist, wird hier eine Messmethode vorgeschlagen, mit der de abge- 

schätzt werden kann. Dazu wird das Abtastverhalten einzelner Fasern beim Überfahren 

von schwarzen Balken der Breite db analysiert. 

Mit dem Endoskop werden mehrere Bildfolgen eines geeigneten Referenzbalken- 

musters (s. Abb. 3.37) aufgenommen. Die Motorbühne, auf der das Balkenmuster liegt, 

wird in äquidistanten Abständen im submikrometerbereich verschoben. Da die Para- 

meter der optischen Linsen bzw. die Vergrößerungen im optischen Strahlengang des 

Endoskops und des Adapters zum Kamerasensor nicht bekannt sind, werden Abtast- 

werte aus dem Intensitätsbild des Kamerasensors nahe der optischen Achse entnom- 

men und es wird angenommen, dass die radiale Verzerrung (vgl. Abschnitt 2.4.1) die 

Bewegung in diesem Bereich nicht signifikant beeinflusst und sich die Bewegungen 

zwischen verfahrbarer Bühne, Endoskop und Kamera proportional verhalten. Für die 

Charakterisierung der Beleuchtungsstärke einer Faser wird das Mittel der hellsten neun 

Bildpunkte innerhalb der Gauss-Verteilung dieser Faser auf dem Intensitätsbild des 

Kamerasensors berechnet. Entsprechend den Überlegungen zur Lichtübertragung ei- 

ner Glasfaser (vgl. Abschn. 2.3.1) und der Veranschaulichung der Flächenintegration 

im vorausgegangenen Abschnitt wird davon ausgegangen, dass nicht die Struktur des 

abgebildeten dunklen Balkens, sondern nur die reduzierte Beleuchtungsstärke einen 

Einfluss auf die Intensität des austretenden Lichts am Ende einer Faser hat. Auf dem 

Sensor führt diese zu einer Gauss-förmigen Verteilung, die durch Integration durch die 

einzelnen Sensorelemente in quantisierte Intensitätswerte umgesetzt wird.


Abbildung 3.37: Referenzmuster mit dünnen schwarzen Balken unterschiedlicher Breite vor 

weißem Hintergrund. 

Abtastung eines breiten Balkens Die Messkurve eines breiten Balkens, hier mit 

einer Breite von 2.000µm (vgl. (c) in Abb. 3.38) startet bei Ab,max = 95, 1 und fällt 

aufgrund der Verdunkelung durch den schwarzen Balken auf das ausgeprägte Mini- 

mum bei Ab,min(2.000µm, de ≥ db) = 19, 4. Die Breite des dunklen Balkens ist so zu 

wählen, dass dieser auf dem Sensor mehrere Fasern überdeckt. Im Kurvenverlauf ist 

dies daran zu erkennen, dass die Intensität für einen gewissen Abschnitt auf dem Mini- 

mum verbleibt. Ist dies nicht gewährleistet, muss von Streulicht ausgegangen werden, 

das der weiße Bereich im Übergangsbereich auf den dunklen Balken wirft. 

Weiterhin kann aus dem Verlauf der zurückgelegte Weg eines Schritts der Motorbüh- 

ne bestimmt werden. Dazu werden an die abfallende bzw. an die aufsteigende Flanke 

Tangenten angepasst. Der Abstand der Schnittpunkte mit den horizontalen Geraden 

durch das Minimum Ab,min(2.000µm, de ≥ db) bzw. durch das Maximum Ab,max (vgl. 

Abb. 3.38) entspricht dem zurückgelegten Weg für die Balkenbreite von 2.000µm, hier 

5050 Schritte. Der Quotient aus Balkenbreite und Anzahl der benötigten Schritte er- 

gibt: 

2.000µm 

µm 

= 0, 396 

5.050 Schritte Schritt 

Der gemessene Wert von 0, 396 µm 

stimmt gut mit der Herstellerangabe von 0, 4µm 

Schritt 

überein. 

Abtastungen eines dünnen Balkens Für den dünnen Balken wird entsprechend den 

Erkenntnissen aus der Simulation eine Breite von 200µm gewählt. Aus dem Intensi- 

tätsbild des Kamerasensors werden nahe der horizontalen und vertikalen Mitte zwei 

in Bewegungsrichtung aneinandergrenzende Fasern ausgewählt. Die beiden Messkur- 

ven (a) und (b) in Abbildung 3.38 stellen den Intensitätsverlauf für diese Abtastpunkte 

dar. Sie zeigen vergleichbare Werte für Minimum und Maximum und sind unter Be- 

rücksichtigung von Bildrauschen und glättenden Einflüssen von Optik und Streulicht 

plausibel zu den simulierten Ergebnissen in Abbildung 3.36. Aus dem Verlauf (a) um 

die Sensorkoordinate (417;289) wird das Minimum Ab,min(2.000µm, de) = 58, 7 be-


Abbildung 3.38: Gemessenes Intensitätsprofil der Abtastung eines schwarzen Balkens der Brei- 

te db = 200µm bzw. db = 2.000µm in 7.500 Schritten der Motorbühne mit dem Glasfaseren- 

doskop E6 (vgl. Tab. 4.1) 

stimmt, wobei die zugehörige effektive Breite de noch nicht bekannt ist. Das Intensi- 

tätsverhältnis δL ergibt sich nach der Definition in Gleichung (3.26) zu 

δL = 

58, 7 − 19, 4 

95, 1 − 19, 4 

= 0, 519 

Durch numerische Iteration wird mit Gleichung (3.26) der Wert für de derart bestimmt, 

dass das Intensitätsverhältnis δL der daraus formulierten Funktion Ab(xb, 200µm, de) 

das Minimum bei eben 0, 519 zeigt. Abbildung 3.36 veranschaulicht das Ergebnis 

durch den Kurvenverlauf mit dem Verhältnis db/de = 0, 39. 

Übertragung der Messergebnisse in die Angabe effektive Fläche Mit den Parame- 

tern zur Faserdichte im Bildbündel, dem ermittelten Verhältnis db/de und der gewähl- 

ten Balkenbreite lässt sich jetzt die effektive Fläche berechnen. Beim verwendeten 

Endoskop liegen im Rahmen der Fertigungstoleranz 12.000 Fasern in einem Bündel- 

radius von 500µm, was mit Gleichung (3.4) einen Faserabstand von 

df = 8, 75µm 

ergibt. Wie sich in Abbildung 3.38 aus dem Abstand sf der beiden um einen Faserab- 

stand versetzten Messpunkte für den dünnen Balken entnehmen lässt, entspricht dieser 

Faserabstand einem Verfahrweg der Bühne in ihrem Bezugssystem von 

df| Bühne = 1.475 · 0, 396µm = 584µm .


Der effektive Durchmesser de berechnet sich im Bezugssystem der Bühne, wo der 

Balken eine Breite von db = 200µm zeigt, aus dem ermittelten Verhältnis db/de = 

0, 39 zu 

de| Bühne = 200µm 

0, 39 

= 513µm . 

Das ergibt ein Verhältnis von effektivem Durchmesser de zu Faserabstand df von 

de 

df 

= de| Bühne 

df| Bühne 

= 87, 8% . 

In Bezug auf die Querschnittsfläche des Faserbündels resultiert der effektive Durch- 

messer einer Faser in 

de = 87, 8% · df = 87, 8% · 8, 75µm = 7, 68µm . 

Die effektive Abtastfläche Aeff in Bezug auf die volle Fläche Aeff + Az beträgt für 

die definierten Längenangaben df und de (Kantenlänge des Dreiecks bzw. Radius der 

Kreisausschnitte in Abb. 3.35(c)) 

Aeff 

Aeff + Az 

= 1 

2 

de 2 π 

df 2 √ 3 

= 69, 9% . 

Fazit Die Annahme, dass sich Super Resolution für Glasfaserbündel prinzipiell eig- 

net, konnte durch Simulation und Messung bestätigt werden. Die Effektivität der Auf- 

lösungssteigerung hängt neben dem Erfolg der Bewegungsschätzung maßgeblich von 

der effektiven Fläche des Faserbündels ab. Bei dem untersuchten handelsüblichen Ge- 

rät beträgt die effektive Fläche knapp 70% der Gesamtfläche. Die Qualität einer Auf- 

nahme in Form seiner informationstragenden Bildpunkte kann dadurch nach Gl. (3.21) 

durch äquidistante Zwischenabtastung um etwa 43% erhöht werden. Für die Aufnah- 

men mit der Endoskopanordnung aus diesem Abschnitt mit 12.000 Fasern bedeutet 

dies eine Erhöhung der Anzahl an informationstragenden Stützstellen von 12.000 auf 

max. 17.160. Bildverbesserungen, die darüber hinaus visuell wahrgenommen werden, 

beruhen, wie oben beschrieben, auf der Korrektur von Interpolationsartefakten. 

3.5.4 Vorteile der Superposition für die Endoskopie 

Der auf hexagonalähnliche Gitterstrukturen angepasste und optimierte Ansatz der Su- 

perposition hat eine Reihe von Vorzügen, die besonders den Anforderungen der Faser- 

endoskopie entgegenkommen.


Präzision Zur Komposition des hoch auflösenden Gitters werden statt interpolierten 

Aufnahmen (bedingt durch den Auflösungsunterschied zwischen Kamera und Faser- 

bündel) explizit die Helligkeiten der Faserzentren verwendet. Die Amplituden werden 

subpixelgenau durch eingepasste charakteristische Funktionen bestimmt. 

Robustheit Konstruktiv bedingte Unregelmäßigkeiten der Wabenstruktur haben kei- 

nen negativen Einfluss auf das Ergebnis. Die abschließende Interpolation berücksich- 

tigt die jeweils nächsten Nachbarn in baryzentrischer Gewichtung. 

Verzerrungstoleranz Das Verfahren toleriert nicht-globale Bewegungen, wie sie be- 

sonders bei weitwinkeligen Endoskopoptiken auftreten. Stark variierende und verzerrte 

Bewegungen abseits der optischen Achse müssen nicht perspektivisch modelliert wer- 

den. Zur Ergänzung des HR-Bilds können lokale Bildbereiche oder sogar nur einzelne 

Bildpunkte verwendet werden. So kann die Bewegungsdetektion auf lokalen Merkma- 

len arbeiten und bleibt nahezu unabhängig von globalen Bewegungsmustern. Letztere 

können gemäß den Ausführungen in Abschnitt 2.6.6 in der Endoskopie nur unter ge- 

wissen, meist unrealistischen Voraussetzungen modelliert werden. 

Komplexität Der Grad der Detailsteigerung kann bis zu seiner Grenze (vgl. Ab- 

schn. 3.5.2) flexibel gegen den erforderlichen Berechnungsaufwand eingetauscht wer- 

den, da mit Hilfe einer Bewegungsschätzung sukzessive weitere Bildbereiche unter- 

sucht bzw. ausgelassen werden können sowie weitere angrenzende Bilder mit ein- oder 

ausgeschlossen werden können. 

Stabilität Abgesehen von der hohen Störanfälligkeit aufgrund fehlerhafter Bewe- 

gungsvektoren gibt es keine Mehrdeutigkeiten beim Aufbau der resultierenden HR- 

Daten. 

3.5.5 Bewegungsschätzung 

In der Bildverarbeitung existieren viele Algorithmen zur Registrierung von Bildaus- 

schnitten oder ganzen Bildern. Ein guter Überblick ist im Rahmen der Algorithmen 

zur Auflösungssteigerung für die Mikroskopie in [Han07b] zu finden. Kann wie im An- 

wendungsfall der Endoskopie nicht von einer globalen Bewegung ausgegangen werden


oder lässt sich diese nicht zufriedenstellend modellieren, so bietet der merkmalsba- 

sierte KLT-Tracking-Ansatz zur Bewegungsdetektion von Kanade, Lucas und Tomasi 

[TK91, ST94, LK81] einen praktischen Ausweg. Er sieht vor, lokale Bereiche als af- 

fin transformierbar zu approximieren und diese in zeitlich benachbarten Bildern wie- 

der aufzufinden. Einzelne Bereiche werden dabei als Regionen um Merkmale betrach- 

tet, die in definiertem Mindestabstand gesucht und positioniert werden. Als Merkmale 

werden Bildbereiche mit hohem Kontrast im Sinne eines großen minimalen Eigenvek- 

tors in der Strukturmatrix in Betracht gezogen. Aufgabe des Tracking-Algorithmus ist 

es nun, die Verschiebungen dieser Merkmale in benachbarten Bildern subfasergenau 

zu schätzen. Der KLT-Tracker minimiert dazu die Abweichung zwischen variablen 

Bildausschnitten, um so im Fall begrenzter Bewegung zu einer Schätzung des Bewe- 

gungsvektors für dieses Merkmal zu gelangen. 

Merkmale werden meist über den Kontrast als Auffälligkeiten in der Textur oder 

Geometrie von Objekten definiert. Deshalb wirkt sich die kontrastreiche Wabenstruk- 

tur der Faseroptik störend auf die Merkmalssuche und -registrierung aus. Die verwen- 

deten Bildsequenzen werden daher für die Bewegungsschätzung vorab durch Filte- 

rung oder Interpolation (vgl. Abschn. 3.2) von den Strukturartefakten befreit. Weiter- 

hin müssen bestimmte Bildbereiche für die Wahl und Weiterverfolgung von Merk- 

malen ausgeschlossen werden. Das Einbringen dieses Vorwissens ist nötig, damit der 

Tracking-Algorithmus unterschiedliche Bildbereiche hinsichtlich deren Brauchbarkeit 

für den spezifischen Anwendungsfall unterscheiden kann. In inhaltslosen Bereichen 

außerhalb der Apertur dürfen ebenso wenig Merkmale gesetzt oder registriert werden, 

wie in der Nähe von zentralen Bereichen senkrecht zur Bewegungsachse, wo Merk- 

male zu geringe Verschiebungen aufweisen, falls das Endoskop beispielsweise in einer 

Bohrung geführt wird. 

3.5.6 Umsetzung und Integration in die Bildrestaurierung 

Der Ansatz zur Auflösungssteigerung ist eng in die physikalisch motivierte Interpola- 

tion aus Abschnitt 3.2.2 integriert. Die ergänzenden Schritte sind im Ablaufdiagramm 

in Abbildung 3.39 skizziert. Um die Übersichtlichkeit zu wahren, ist der Einfluss der 

Faserregistrierung auf die Aufbereitung (im Fall der Interpolation) sowie die mögliche 

Nachkalibrierung (vgl. Abb. 3.14) nicht mit in das Diagramm aufgenommen. Ohne 

Beschränkung der Allgemeinheit wird der Vorgang der Auflösungssteigerung für ein 

Basisbild LR Îˆn aus einer LR-Bildsequenz mit (NI + 1) Aufnahmen ausgeführt. Der 

Basisindex ˆn ist frei wählbar und unterteilt die Sequenz in einen zeitlich zurücklie- 

genden Abschnitt { LR Îˆn−z; . . . ; LR Îˆn−1} und einen zeitlich vorausliegenden Abschnitt


Abbildung 3.39: Ablauf der Auflösungssteigerung nach dem vorgestellten Verfahren. Aus der 

LR-Sequenz von Eingangsbildern wird das Intensitätsgitter des LR-Basisbilds durch Details 

der benachbarten Bilder ergänzt und durch Interpolation in das HR-Bild überführt. Für die 

Faserregistrierung wird wie bei der Interpolation ein separates Referenzbild ausgewertet. 

{ LR Îˆn+1; . . . ; LR Îˆn+v}. Ziel der Auflösungssteigerung ist die Ergänzung des Basisbilds 

um nichtredundante Details aus den z + v = NI benachbarten Bildern der LR-Sequenz, 

um durch abschließende HR-Interpolation ein korrespondierendes HR-Bild zu gene- 

rieren. 

Details der einzelnen Schritte: 

1. Faserregistrierung 

Nach einer adaptiven Vorverarbeitung der Bilddaten zur zuverlässigen Unter- 

scheidung der Faserzentren pf werden diese subpixelgenau lokalisiert und in 

Form eines triangulierten Datengitters D als Lookup-Tabelle bereitgestellt. Das 

Vorgehen dabei entspricht dem ersten Schritt der physikalisch motivierten Inter- 

polation in Abschnitt 3.2.2.1. Das LR-Gitter D hat definierte Nachbarschaftsbe- 

ziehungen, die ein nachträgliches Einfügen von weiteren Stützstellen an beliebi- 

gen Positionen erlauben. 

2. Bereitstellung des HR-Gitters 

In diesem Schritt wird ein kontinuierliches HR-Gitter mit Basiseinträgen aus D 

vorbereitet. Dazu wird das LR-Basisbild LR Îˆn an den Stützstellen pf ausgewertet. 

Die konstanten Parameter (Position µx, µy sowie Verteilungsform σx, σy) werden 

aus dem Schritt der Faserregistrierung übernommen. Lediglich die Amplituden 

müssen aus dem Basisbild bestimmt und den entsprechenden Pixel-Koordinaten


der triangulierten Datenstruktur aus Schritt 1 hinzugefügt werden. Das resul- 

tierende Datengitter Dˆn trägt den Index des Bilds mit den zugrunde liegenden 

Intensitäten, hier also ˆn. 

3. Aufbereitung der Eingangssequenz 

Für ein subpixelgenaues Ergebnis der nachfolgenden Bewegungsschätzung wird 

die Wabenstruktur aus den Bildern der Eingangssequenz entfernt. Obwohl sich 

aufgrund des bereitgestellten Gitters nach der Faserregistrierung die Interpola- 

tion als Verfahren anbietet, kommt alternativ auch die optimierte Filterung aus 

Abschnitt 3.2.1 in Frage. 

4. Lokale Bewegungsschätzung 

In der LR-Sequenz aus aufbereiteten Eingangsbildern werden nun gemeinsame 

Merkmale in Form von Bereichen mit hinreichender Ähnlichkeit gesucht. Dazu 

wird die in Abschnitt 3.5.5 beschriebene iterative Implementierung des KLT- 

Tracking-Ansatzes unter Nutzung von mehreren Auflösungsstufen genutzt. Die 

maximale Anzahl der verwendeten Merkmale wird auf NM beschränkt. Die ma- 

ximal NM · NI registrierten Vektoren der Bewegungungen werden als Punktpaare 

{pˆn,m; pn,m} gespeichert, wobei die erste Position das m-te Merkmal im Basis- 

bild (Index ˆn) und die zweite dieses im n-ten Bild der angrenzenden Sequenz 

bezeichnet. 

Für die Merkmalsregistrierung zeigt Abbildung 3.40 zwei unterschiedliche Track- 

ing-Modi, das direkte bzw. das sequentielle Vorgehen: 

• Direkt Die Merkmale werden alle aus dem Basisbild entnommen und 

die Korrespondenzfindung erfolgt direkt zu den einzelnen benachbarten 

Bildern. Der Vorteil ist eine höhere Präzision, da keine Folgefehler durch 

ungenaue Korrespondenzfindung auftreten können. 

• Sequentiell Die Merkmale werden einmalig im Basisbild bestimmt und 

sodann sukzessive in beide Richtungen der benachbarten Bilder weiter- 

verfolgt. Der Vorteil ist eine schnellere Bearbeitung und Auffindung von 

Merkmalen, da der Aufenthaltsort durch Bewegungsschätzung eingegrenzt 

werden kann. Des weiteren können größere Entfernungen von Merkmalen 

verfolgt werden, was im direkten Modus früher zu Schwierigkeiten führt. 

5. Erweiterung des HR-Gitters 

Für die NI diskrete LR-Bildern um das Basisbild herum werden nun von Stel- 

len sicher georteter Verschiebung die nächstliegenden Intensitäten an die bewe- 

gungsinvertierten Positionen als Stützstellen in das HR-Gitter eingebracht. Die


(a) Direkt 

(b) Sequentiell 

Abbildung 3.40: Veranschaulichung der unterschiedlichen Modi der Korrespondenzfindung. 

Beim direkten Vorgehen werden die Merkmale aus dem Basisbild unmittelbar zu den einzelnen 

Bildern registriert. Im sequentiellen Modus werden die Merkmale von Bild zu Bild in zeitlicher 

Abfolge weiterverfolgt. 

lokalen Bewegungsinformationen können auch dazu verwendet werden, ganze 

Gitterausschnitte bewegungskompensiert in das HR-Gitter einzufügen, wobei 

gegebenenfalls eine affine Verzerrung des Gitterbereichs berücksichtigt werden 

muss. In beiden Fällen werden die Gitterdichte und der Detailgehalt des Gitters 

erhöht. 

Formal wird die Ergänzung des HR-Gitters am Beispiel von drei nächsten Faser- 

zentren formuliert. Für jedes registrierte Merkmal pn,m werden die drei nächsten 

Nachbarn pf ,1, pf ,2 und pf ,3 im Gitter gewählt, weil für sie die Intensität der 

Stützstelle direkt bestimmbar ist. Die entsprechenden Positionen ˆpn,m im Ba- 

sisbild werden durch Subtraktion mit dem Bewegungsvektor (pn,m − pˆn,m) des 

registrierten Merkmalpaars gebildet: 

⎛ ⎞ ⎛ ⎞ 

ˆp1 pf ,1 

⎜ ⎟ ⎜ ⎟ 

⎝ˆp2⎠ 

= ⎝pf 

,2⎠ 

ˆp3 

n,m 

pf ,3 

n,m 

⎛ ⎞ 

1 

⎜ ⎟ 

− ⎝1⎠ 

· 

1 

pn,m − pˆn,m 

 

. (3.27) 

Jede bewegungskompensierte Stützstelle, die nicht auf eine bereits vorhande- 

ne Position abgebildet wird, trägt mit weiterer Abtastinformation zum Aufbau 

des HR-Bilds bei. Die in diesem Fall maximal 3 · NM zusätzlichen Intensitätsin-


(a) (b) (c) 

Abbildung 3.41: Wirkungsweise des vorgestellten Verfahrens der Auflösungssteigerung bei 

präziser Bewegungsschätzung in faseroptischen Aufnahmen. Bildausschnitt im Original (a), 

interpoliert (b) und als Superposition aus 10 benachbarten Aufnahmen (c). 

formationen für das Basisbild aus dem aktuellen Bild mit dem Index n werden 

als Menge R NM 

n zusammengefasst. Das resultierende HR-Gitter HR Dˆn setzt sich 

letztendlich aus der Vereinigung aller zusätzlichen Stützstellenmengen R mit 

dem Grundgitter Dˆn zusammen: 

6. HR 14 -Interpolation 

NI 

Dˆn ∪ R 

i=1 

NM 

i ↦→ HR Dˆn . 

Im letzten Schritt vereint sich der Ansatz der Auflösungssteigerung wieder mit 

der physikalisch motivierten Interpolation (Operatorsymbol I), indem das Gitter 

wiederum in eine kartesische Abbildung HR I (NI,NM) überführt wird: 

 

HR (NI,NM) HRDˆn 

I = I 

. (3.28) 

Der Unterschied liegt hier in der Datenbasis in Form des HR-Intensitätsgitters 

HR I (NI,NM) , das nach der Ergänzung nun eine vergleichsweise hohe Stützstellen- 

dichte aufweist. Der Superskript (NI, NM) in der Schreibweise des HR-Bilds ent- 

hält die Information über die Anzahl NI der einbezogenen benachbarten Bilder, 

sowie die Anahl NM der maximal gesetzten und registrierten Merkmale. 

Abbildung 3.41 zeigt am vergrößerten Ausschnitt einer Aufnahme durch ein Glas- 

faserendoskop die Wirkungsweise des Verfahrens. In 3.41(a) ist die Wabenstruktur 

deutlich zu erkennen, die in 3.41(b) durch Interpolation reduziert ist, um Bewegungen 

in der Sequenz besser detektieren zu können. 3.41(c) zeigt das Ergebnis der Superpo- 

sition nach sequentieller Überlagerung von Merkmalen aus 12 Aufnahmen. 

14 engl. High Resolution. Hier: mit hoher Auflösung


3.5.7 Abbruchkriterien 

Der dynamische Ansatz des Algorithmus kann zu einer unerwünscht langen Berech- 

nungszeit führen, sofern keine geeigneten Abbruchkriterien definiert werden. Solan- 

ge der Tracking-Algorithmus bestehende Merkmale in weiteren benachbarten Bildern 

auffindet oder weitere registrierbare Merkmale in den Bildern gesetzt werden können, 

lassen sich endlos weitere Stützstellen im Basisbild hinzufügen, obwohl diese entwe- 

der keine oder sogar falsche Information liefern. Da die Zuverlässigkeit und Präzision 

des Tracking-Algorithmus bei zu geringem Signal-zu-Rausch-Abstand bei der Wahl 

neuer Merkmale oder ihrer Registrierung in anderen Bildern an ihre Grenzen stößt, 

müssen andere sinnvolle Grenzen definiert werden. 

Aus diesem Grund werden zwei Abbruchkriterien definiert, bei deren Eintreten die 

Erweiterung des HR-Gitters gestoppt wird. Das ist zum einen eine maximale Berech- 

nungszeit- bzw. komplexität und zum anderen eine minimale Qualitätsverbesserung im 

HR-Bild. Für das erste Kriterium kann sowohl eine definierte Zeit als auch ein defi- 

nierter Merkmalsumfang in einer bestimmten Menge von Bildern in Betracht gezogen 

werden. Die Qualitätsverbesserung kann entweder über die Anzahl von zusätzlichen 

Details im HR-Datengitter oder über Differenzmaße im Vergleich zum LR-Bild über- 

prüft werden. Generell muss jedoch auf die grundsätzliche Grenze nach dem Prinzip 

der Flächenabtastung geachtet werden, wie sie in Abschnitt 3.5.2 untersucht und defi- 

niert wurde. Demnach bildet das Verhältnis zwischen effektiver Abtastfläche und der 

Gesamtfläche der Faseranordnung eine fundamentale Grenze für die Effektivität einer 

Bildüberlagerung hinsichtlich der Auflösungssteigerung. 

3.5.8 Erweiterung für Farbe 

Abschnitt 3.3 hat auf die Bedeutung der Farbe in der Endoskopie hingewiesen und 

einen Ansatz zur Struktur- und Artefaktreduktion für die Einzelbildrestaurierung prä- 

sentiert. Die besondere Berücksichtigung der physikalischen Anordnung von Farbfil- 

termosaiken in Einchip-Kameras in Kombination mit der Information über die subpi- 

xelgenaue Position von Faserabbildungen auf der Sensorfläche ermöglicht eine Kor- 

rektur der sonst verfälschten Farbanteile der einzelnen Faserbereiche. 

Da der Ansatz zur Auflösungssteigerung die Eingangsbilder lediglich an den subpi- 

xelgenau registrierten Stützstellen abtastet, um Information über den Abtastpunkt zu 

erhalten, kann die Farberweiterung hier direkt übernommen werden. Die triangulierte 

Datenstruktur enthält dann statt Grauwerten Farbwerte und die HR-Interpolation am 

Ende findet auf mehreren Kanälen statt. Wegen dem Umfang ist der Ansatz der Auflö-

3.6. DEFINITION VON GÜTEKRITERIEN ZUR EVALUIERUNG 109 

sungssteigerung hier nur für einkanalige Eingangbilder gezeigt, lässt sich jedoch wie 

beschrieben auf weitere Farbkanäle erweitern, sofern die Voraussetzungen für die Far- 

binterpolation, u.a. Zugriff auf Rohdaten der Kamera, gegeben sind. 

3.6 Definition von Gütekriterien zur Evaluierung 

Die Bewertung der Qualität von Bildverarbeitungsalgorithmen erfordert in der Regel 

einen inhaltlichen oder semantischen Vergleich eines errechneten Ergebnisbilds mit 

einem idealen Bild. Trotz zahlreicher Versuche in der Literatur ist die Methodik zur 

Evaluierung keinesfalls einheitlich. Prinzipielle Unterschiede existieren in der Wahl 

des Vergleichsbilds. Vorgeschlagen wird u. a., dieses als Grundwahrheit vor einer Mo- 

dellierung der betrachteten Effekte oder durch eine alternative Aufnahme mit einem 

definierten Referenzsystem bereitzustellen. Die Auswertung in diesem Kapitel wird 

darüber hinaus noch durch eine geometrische Analyse von Raumrekonstruktionen er- 

gänzt, die ein konkretes Forschungsgebiet in der Endoskopie darstellt. 

Zur objektiven Beurteilung der vorgestellten Verfahren werden unterschiedliche 

Gütekriterien definiert. Im Kontext dieser Arbeit spielen dabei in erster Linie visuell 

wahrnehmbare Veränderungen von Bildstrukturen eine Rolle. Die Möglichkeiten eines 

Vergleichs sind vielfältig und jeder Ansatz wird mehr oder weniger abweichende Er- 

gebnisse zeigen. Deshalb ist eine vollständige Betrachtung ausgeschlossen. Im Gegen- 

satz zur Auswertung von Grauwertbildern muss beim Vergleich von Farbbildern die 

Erweiterung des ursprünglichen Farbraums der Grundwahrheit berücksichtigt werden. 

Die zugehörigen Theorien und Ansätze erweiterter Metriken für Farbbilder [HPP04] 

würden den Rahmen dieser Arbeit sprengen und werden daher weiterführenden Unter- 

suchungen überlassen. 

Für die Auswertung werden einige Differenz- und Ähnlichkeitsmaße verwendet, 

die dem Standard in der Literatur folgen [Jai89, TV98, WBSS04, CV00]. Darüber hin- 

aus sind aus der Literatur noch eine Vielzahl weiterer Möglichkeiten bekannt, zwei Bil- 

der miteinander zu vergleichen [FBPD06]. Dazu zählen u.a. die normalisierte Kreuz- 

korrelation (NCC), die Merkmalsintensität (PI), die Gradientenkorrelation (GC) oder 

die Gradientendifferenz (GD). Speziell für den vorliegenden Anwendungskontext der 

Faserendoskopie wurde darüber hinaus ein Qualitätsindikator bezüglich Glättung und 

Detailerhaltung in USAF-Testbildern definiert sowie andererseits quantitative Aussa- 

gen aus der Raumrekonstruktion von zylinderartigen Objekten gezogen.

110 3.6. DEFINITION VON GÜTEKRITERIEN ZUR EVALUIERUNG 

3.6.1 Glättung vs. Detailerhaltung im USAF-Testbild (QSR) 

Die Verfahren zur Restaurierung von faseroptisch gewonnenen Bilddaten unterliegen 

stets einem Kompromiss zwischen Glättung und Detailerhaltung. Eine Untersuchung 

z. B. für die Filterung muss daher sowohl den positiven Effekt der Rasterreduktion 

als auch den unerwünschten Einfluss der Unschärfe berücksichtigen. Diese Dualität 

kann prädestiniert in der Abbildung des USAF-Testbilds ausgewertet werden. Dieses 

Auflösungsmuster zeigt quadratische Gruppen von Linienpaaren, die schneckenförmig 

immer schmäler und dichter angeordnet sind. Es wird ein Güteindikator QSR 15 defi- 

niert, der sich aus zwei Komponenten zusammensetzt, der varianzbasierten Glattheit 

QS und einer Rayleigh-ähnlichen Aussage zur Linientrennung QR. Der Einfluss der 

beiden Komponenten wird durch einen heuristisch bestimmten Gewichtungsfaktor γ 

vorgegeben. Die Werte für QS und QS werden aus der Kombination von bearbeiteter 

und unbearbeiteter Aufnahme des USAF-Testbilds, IUSAF bzw. ÎUSAF, bestimmt: 

• Varianzbasierte Glattheit QS 

Die Effektivität der Glättung wird über die Grauwertvarianz in einem bestimm- 

ten Evaluierungsbereich ΩS (vgl. Abb. 3.42) der Abbildung definiert, der in der 

ursprünglichen Szene einen konstanten Intensitätswert aufweist. Diese Varianz 

wird auf die verbleibende Wabenstruktur nach Anwendung der Filter zurück- 

geführt. Zur Mittelwertbildung wird gefordert, dass sich der Bildbereich über 

mehrere Fasern in der ungefilterten Version erstreckt. Als Indikator QS für die 

Glattheit wird die normalisierte Standardabweichung (Wertebereich [0; 1]) des 

Evaluierungsbereichs ΩS von Eins abgezogen. Mit σ0 bzw. µ0 als Standardab- 

weichung bzw. Mittelwert in der Region ΩS des ungefilterten Abbilds ÎUSAF(i, j) 

und σs bzw. µs als Standardabweichung bzw. Mittelwert in der gleichen Region 

des gefilterten Abbilds IUSAF(i, j) ist QS definiert als 

QS = 1 − σs 

 

 

 

= 1 − 

 

σ0 

 

ÎUSAF(i, j) − ˆµs 

(i,j)∈ΩS (IUSAF(i, j) − µs) 2 

(i,j)∈ΩS 

2 

(3.29) 

mit QS ∈ [0; 1] . (3.30) 

Ein hoher Wert von QS korrespondiert mit einer hohen Glattheit des betrachteten 

Ausschnitts. 

• Rayleigh-ähnliches Linienkriterium QR 

Der Evaluierungsbereich ΩR in Abbildung 3.42 ist senkrecht entlang derjenigen 

15 QSR: (Quality regarding smoothness and Rayleigh based criterion) Güteindikator, der über die 

Glättung (Smoothing) und eine Rayleigh basierte Detailerhaltung im USAF-Testbild definiert ist


Abbildung 3.42: Testbild (oben) mit Abtastlinie ssl (unten) zur Veranschaulichung des Gütein- 

dikators QSR. Der Evaluierungsbereich ΩR verläuft senkrecht entlang der dichtesten Linien- 

gruppe, die noch ohne Zweideutigkeit bzw. Zerstörung durch Alias dargestellt wird und trägt 

zum Rayleigh-ähnlichen Kriterium zur Detailerhaltung bei. Der homogene Evaluierungsbe- 

reich ΩS wird genutzt, um die Varianz die Reststruktur bzw. die Glattheit der Faserstruktur zu 

bestimmen. 

Anordnung von Linienpaaren gewählt, in der sich sowohl noch sichtbar gut se- 

parierbare Linienpaare als auch schon fehlerhafte (von Alias gekennzeichnete) 

befinden. Aus diesem Bereich ΩR wird durch Reihenmittelung eine robuste Ab- 

tastlinie ssl(k) erzeugt (vgl. Abb. 3.42, unten). Die Anzahl der Spalten, ΩR,WR 

wird dabei in der Größenordnung eines Faserabstands in Sensorelementen ge- 

wählt: 

ssl(k) = 1 

 

WR 

j∈ΩR,WR (IUSAF(k, j)) für k ∈ ΩR,HR , (3.31) 

wobei ΩR,WR und ΩR,HR die Koordinaten der Pixel in einer der indizierten Reihen 

bzw. Spalten bezeichnen. Im Beispiel der Abbildung 3.42 sind in der Abtastlinie 

die ersten drei Paare ωR,1, ωR,2 und ωR,3 noch eindeutig trennbar, wobei die letz- 

ten beiden, ωR,4 und ωR,5 durch Alias einen fehlerhaften Verlauf zeigen. Aus den


trennbaren Linienpaaren wird von demjenigen mit der höchsten Dichte (hier: 

ˆωR = ωR,3) der minimale und der maximale Wert bestimmt: 

ssl,min = min {ssl(k)}| k∈ˆωR und (3.32) 

ssl,max = max {ssl(k)}| k∈ˆωR . (3.33) 

Die Güte der Linientrennung QR wird in Anlehnung an das Rayleigh-Kriterium 

zur Separierbarkeit von Spektrallinien definiert. Es setzt die Differenz zwischen 

den beiden Werten der Gleichungen (3.32) und (3.33) ins Verhältnis zum Maxi- 

mum: 

QR = ssl,max − ssl,min 

ssl,max 

. (3.34) 

Die Gleichungen (3.30) und (3.34) bilden ihren charakteristischen Wert jeweils auf den 

Bereich [0; 1] ab. Mit ihnen wird der gewichtete Güteindikator QSR gebildet: 

QSR = γ · QS + (1 − γ) · QR mit 0 ≤ γ ≤ 1 . (3.35) 

γ gewichtet den Einfluss der Wabenreduktion gegenüber der Bedeutung der Detailer- 

haltung. Ein hoher Wert QSR indiziert ein gutes Ergebnis hinsichtlich der gewählten 

Gewichtung zwischen den genannten Einflussgrößen. Für γ = 1 bescheinigt ein hoher 

Wert QSR eine gute Detailerhaltung, ohne die Glättung zu berücksichtigen. Für γ = 0 

wird QSR lediglich vom Erfolg der Glättung beeinflusst. Als geeigneter wird daher ein 

Kompromiss zwischen Null und Eins gewählt (vgl. Abschn. 4.3). 

3.6.2 Differenzmaße 

Differenzmaße vergleichen im Kontext dieser Arbeit ein verändertes Bild punktwei- 

se mit dem ursprünglichen Szenenbild, der sog. Grundwahrheit. Weil der aufwändige 

und unpräzise Schritt der Bildregistrierung und der damit verbundenen Wahl eines 

geeigneten Ausschnitts nach der Transformation vermieden werden soll, setzen die- 

se Maße eine exakte örtliche Übereinstimmung von Bildinhalten zwischen Eingangs- 

und Ausgangsbild voraus. Da diese Voraussetzung zwischen der Objektszene und einer 

restaurierten Abbildung in der Realität nicht gegeben ist, werden die Effekte der Fa- 

serabbildung und die zugehörige Grundwahrheit mit dem Modell aus Abschnitt 3.1.1 

nachgebildet. Nach Aufbereitung mit den zu untersuchenden Verfahren können die 

Ergebnisse mit den Originaldaten verglichen werden (vgl. Abb. 3.43).


Abbildung 3.43: Vorgehen zum Vergleich eines beliebigen Bilds, welches von dem Übertra- 

gungssystem unbeeinflusst bleibt, mit seinem aufbereiteten faseroptischen Modell. 

Mittlere Betragsdifferenz (MAD) 

Ein einfaches Maß zur Quantifizierung der Abweichung zweier Signale Î und I ist das 

Mittel der Summe aus den Beträgen der Differenzen ihrer Abtastwerte, auch MAD 16 

abgekürzt: 

MAD(Î, I) = 1 

|R| 

 

(x,y)∈R 

 

Î(x, y) − I(x, y) . (3.36) 

Hierbei ist |R| die Mächtigkeit der Menge R, also Anzahl der Pixel innerhalb des 

berücksichtigten Bereichs. 

Wurzel der mittleren quadratischen Abweichung (RMSE) 

Die Berechnung der MAD gewichtet alle einfließenden Fehler linear und toleriert da- 

mit im Vergleich zur quadratischen Gewichtung mehr Ausreißer in der Verteilung. Um 

diesen Effekt berücksichtigen und beobachten zu können, wird zusätzlich die Wurzel 

der mittleren quadratischen Abweichung (RMSE 17 ) für den Vergleich zwischen Szene 

I und Faserabbild Î herangezogen: 

RMSE(Î, I) = 1 

 

(Î(x, y) − I(x, y)) 

|R| 

(x,y)∈R 

2 . (3.37) 

Die Wurzelfunktion in der Berechnung stellt ein aussagekräftigeres Ergebnis in der 

Einheit Grauwert sicher. 

16 MAD: (Mean absolute difference) Mittel der Summe aus den Beträgen der Differenzen 

17 RMSE: Root mean square error (Wurzel der mittleren quadratischen Abweichung)


Spitzensignal-zu-Rausch-Verhältnis (PSNR) 

Auf der Basis des RMSE wird das Spitzensignal-zu-Rausch-Verhältnis (PSNR 18 ) de- 

finiert. Dazu wird der Fehler, hier als Rauschen interpretiert, ins Verhältnis zum Spit- 

zenwert des Signals gesetzt und logarithmisch ausgegeben: 

PSNR(Î, I) = 20 log 10 

Imax 

RMSE(Î, I) 

. (3.38) 

Für Grauwertbilder kann Imax bei einer Quantisierung von acht Bit maximal 255 betra- 

gen. Je größer die Ähnlichkeit der verglichenen Bilder Î und I ist, desto höher ist der 

in Dezibel (dB) gemessene PSNR-Wert. 

3.6.3 Ähnlichkeitsmaße 

Ähnlichkeitsmaße beurteilen den Bildinhalt nicht ausschließlich durch Differenzbil- 

dung einzelner Bildpunkte, sondern beziehen Strukturmittelwerte und statistische Hi- 

stogrammverteilungen in den Vergleich mit ein. Als Ähnlichkeitsmaß wird neben der 

strukturellen Ähnlichkeit auch die auf die Bildverarbeitung übertragene Definition der 

Transinformation verwendet. Erstere gewichtet die strukturellen Eigenschaften von 

Abbildungen im Gegensatz zu klassischen Differenzmaßen unter Berücksichtigung der 

psychovisuellen Wahrnehmung des Menschen. Die Transinformation verdeutlicht den 

Informationsverlust als statistischen Zusammenhang zwischen Eingangs- und Aus- 

gangsbild. 

Mittlere strukturelle Ähnlichkeit (MSSIM) 

Der Nachteil der Qualitätsmessung mittels MAD und PSNR ist, dass die Störungen 

im Bild nicht danach gewichtet werden, wie stark sie dem Betrachter auffallen. Daher 

wird als weiteres Maß zur Evaluierung die mittlere strukturelle Ähnlichkeit (MSSIM 19 ) 

verwendet. Das menschliche visuelle System ist stark empfänglich für strukturelle In- 

formationen, die auf starken Kanten und hohen Auflösungen basieren. 

Bilder, die den gleichen RMSE zum Original besitzen, können im Auge des Be- 

trachters dennoch völlig anderer Qualität sein, da sie sich in ihrer Struktur unterschei- 

den. Um ein Qualitätsmaß angeben zu können, welches an das visuelle System des 

Menschen angepasst ist, wurde von Wang et al. [WBSS04] eine Methode entwickelt, 

18 PSNR: (Peak signal to noise ratio) Spitzensignal-zu-Rausch-Verhältnis 

19 MSSIM: (Mean structural similarity) Mittlere strukturelle Ähnlichkeit


die zwei Bilder auf strukturelle Ähnlichkeit untersucht. Dabei wird davon ausgegan- 

gen, dass diese strukturelle Ähnlichkeit von lokalen Helligkeits- und Kontrastunter- 

schieden im Originalbild Î und dem bearbeiteten Bild I abhängt. Nach Wang et al. 

wird der Helligkeitsunterschied l(Î, I) und der Kontrastunterschied c(Î, I) in einer de- 

finierten Region zwischen den Bildern folgendermaßen bestimmt 

l(Î, I) = 

c(Î, I) = 

2 ˆµ µ + C1 

ˆµ 2 + µ 2 + C1 

2 ˆσ σ + C2 

ˆσ 2 + σ2 + C2 

(3.39) 

, (3.40) 

wobei die Helligkeit in der Region durch dessen Intensitätsmittelwert ˆµ (für Î) bzw. µ 

(für I) angegeben wird und der Kontrast die Standardabweichung ˆσ (für Î) bzw. σ (für 

I) vom Mittelwert beschreibt. Es gilt C1 = (K1 L) 2 und C2 = (K2 L) 2 . L bezeichnet den 

maximal möglichen Helligkeitswert im Bild (bei acht Bit Quantisierung beträgt dieser 

255) und K1 bzw. K2 sind Konstanten (


Soweit nicht anders angegeben, wird für typische faserendoskopische Aufnahmen in 

dieser Arbeit eine Fensterdimension von WS = 8 verwendet und die Konstanten auf 

K1 = 0, 01 und K2 = 0, 03 gesetzt. 

Transinformation (TI) 

Aus der Informationstheorie kommt die Definition der Transinformation TI 20 . Sie gilt 

als ein Maß für die Stärke des statistischen Zusammenhangs zweier Zufallsgrößen und 

wird in der Einheit Bit angegeben. Dieses Entropie-basierte Maß, das in der Litera- 

tur auch unter dem Begriff der Mutual Information (MI) bekannt ist, findet auch im 

Bereich der Bildregistrierung Verwendung [CV00]. Hier werden die beiden zu ver- 

gleichenden Bilder als zwei Zufallsvariablen A = Î und B = I interpretiert. Der Grad 

der Abhängigkeit dieser Zufallsvariablen ist definiert als 

MI(A, B) = 

PA,B(a, b) 

PA,B(a, b) log2 PA(a)PB(b) 

a,b 

, (3.45) 

wobei A und B die Intensitätsverteilung der beiden zu vergleichenden Bilder beschrei- 

ben, PA(a) und PB(b) die Randverteilungen sind und PA,B(a, b) die zweidimensionale 

Wahrscheinlichkeitsverteilung von A und B ist. Letztere lassen sich sehr einfach auf 

der Basis von Histogrammen h berechnen, denn es gilt 

h(a, b) 

PA,B(a, b) = 

a,b h(a, b) 

PA(a) = 

PA,B(a, b) 

b 

PB(b) = 

PA,B(a, b) . (3.46) 

h ist hier ein zweidimensionales Histogramm in Abhängigkeit von A und B. Der Wert 

an der Position (a, b) gibt die Anzahl an Intensitätspaaren an, welche in A (Î) den Wert 

a und in B (I) den Wert b besitzen. Die Transinformation basiert auf der Entropiefunk- 

tion H, für die der Zusammenhang gilt: 

a 

MI(A, B) = H(A) + H(B) − H(A, B) . (3.47) 

Vergleicht man ein Bild der Intensitätsverteilung A mit sich selbst, so folgt 

MI(A, A) = H(A) + H(A) − H(A, A) 

= 2H(A) − H(A, A) = H(A) , (3.48) 

20 TI: (Transinformation) Statistisches Maß für den Zusammenhang von Zufallsgrößen


da die gemeinsame Entropie von A und A gleich der Entropie von A ist. Der Wert für MI 

liegt folglich im Intervall [0, H(A)]. Ist eine Zufallsgröße vollständig durch die andere 

bestimmt, so gilt MI(A, B) = H(A), sind die Bilder hingegen unkorreliert zueinander, 

so gilt MI(A, B) = 0. 

3.6.4 Gütekriterien der Rekonstruktion von Raumpunkten 

Die bisher beschriebenen Gütekriterien haben keine weiterführende Auswertung der 

Bilddaten für eine anwendungsspezifische Verwendung berücksichtigt, sondern nur 

den Abstand zum Original oder die visuell wahrnehmbare Auflösung in bestimmten 

Bildbereichen auf verschiedene Weise verglichen. Als ein solches Ziel der Bildaufbe- 

reitung im Kontext einer konkreten Anwendung wird die 3D-Rekonstruktion aus einer 

Folge aufbereiteter Bilder untersucht. Dabei ist es unerheblich, welche visuelle Qua- 

lität die aufbereitete Bildfolge zeigt, sondern welche Präzision die Anwendung bzw. 

welche Güte das Resultat der räumlichen Rekonstruktion zeigt. 

Zur 3D-Rekonstruktion von Objekten wurde das Programm SynthEyes [And07] 

genutzt. Dies ist eine Anwendung aus dem Bereich der Filmindustrie zur nachträgli- 

chen räumlichen Darstellung und Erweiterung von Szenen aus Bildsequenzen. Sie lässt 

vielfältige manuelle Einstellungen zu und erlaubt den Zugriff und Export von wichti- 

gen (Zwischen-) Ergebnissen. Entscheidend für die Wahl dieses Programms ist u.a. 

die einfache verzerrungsfreie Darstellung der stark weitwinkelig verzeichneten Auf- 

nahmen aus endoskopischen Ansichten (vgl. Abschn. 2.4.1). 

Um die Auswirkungen von verschiedenen relevanten Methoden der Bildaufberei- 

tung (Filterung, Interpolation) zu untersuchen, werden diese auf künstlich faserstruk- 

turierte Bildsequenzen angewendet und die Ergebnisse der anschließenden 3D-Rekon- 

struktion mit denen auf Basis der originalen Bildsequenzen verglichen. Als Kriterien 

werden die Anzahl der lokalisierten Merkmale ausgewertet, der intern ermittelte Rück- 

projektionsfehler überprüft und die resultierende Geometrie mit der aufgenommenen 

Szene verglichen. 

Anzahl der Korrespondenzen 

Die Qualität einer 3D-Rekonstruktion wird unter anderem von der Anzahl der rekon- 

struierten 3D-Punkte beeinflusst, sofern diese eine gewisse Ortsauflösung einhalten. 

Eine höhere Dichte an rekonstruierten 3D-Punkten lässt eine detailreichere räumli- 

che Darstellung zu. Die resultierende 3D-Punktwolke (vgl. Abb. 3.44) wird in ihrer


Abbildung 3.44: (a) Merkmalskorrespondenzen im Einzelbild beim endoskopischen Blick in 

eine Bohrung und (b) rekonstruierte 3D-Punktwolke aus der Bildsequenz. 

Dichte zunächst durch die Anzahl der Korrespondenzen in den einzelnen Aufnahmen 

bestimmt, da jede Korrespondenz einen potenziellen Raumpunkt liefert. Für die Dar- 

stellung einer Oberfläche können diese Raumpunkte in einem weiteren Schritt zu ei- 

nem Dreiecksnetz verknüpft werden. Für jedes Dreieck wird aus der (endoskopischen) 

Bildsequenz an der entsprechenden Stelle eine Textur berechnet und zugeordnet, so- 

dass ein Flächenmodell entsteht [TBM02]. Je höher die Anzahl an Korrespondenzen 

und damit die Anzahl der rekonstruierten 3D-Punkte ist, desto dichter und feiner ist 

auch das texturierte Flächenmodell. 

Um die Feinheit des Rekonstruktionsergebnisses der aufbereiteten Bildsequenzen 

zu untersuchen, wird die Anzahl der Korrespondenzen bei der vom Abbildungssystem 

unbeeinflussten (Î), bzw. der gefilterten und interpolierten Bildsequenz (I) untersucht. 

Unterscheidet sich die Anzahl der Korrespondenzen bei einer aufbereiteten Bildse- 

quenz deutlich von einer anders aufbereiteten Bildsequenz, so kann eine Aufberei- 

tungsmethode in Bezug auf die Feinheit des Rekonstruktionsergebnisses vorgezogen 

werden. 

Rückprojektionsfehler 

Der Rückprojektionsfehler beschreibt die Wurzel der mittleren quadratischen Abwei- 

chung der sog. Rückprojektion. Dazu werden die rekonstruierten Punkte im 3D-Raum 

auf Basis der geschätzten räumlichen Kalibrierdaten (Abbildungsmatrix) zurück auf 

die 2D-Ebene projiziert und dort mit den ursprünglichen Positionen der Korrespon- 

denzen in der jeweiligen Bildebene verglichen. SynthEyes optimiert die Raumpunkte 

aus den Korrespondenzen unter anderem nach diesem Kriterium und gibt nach dessen 

iterativer Berechnung den endgültigen Rückprojektionsfehler in Pixel aus. Der Rück- 

projektionsfehler ist ein Indikator für die mittlere Gesamtgüte der Rekonstruktion und


führt laut SynthEyes über einem kritischen Grenzwert von 1.0 zu visuell unbefriedi- 

genden Ergebnissen. 

Achsenverhältnis und Projektionsgüte 

Eine weitere Möglichkeit, die Qualität der rekonstruierten 3D-Punktwolke anzugeben, 

ist der Vergleich dieser Punktwolke mit der bekannten Geometrie, in der die Bildse- 

quenz aufgenommen wurde. Im Kontext dieser Arbeit wurden beispielhaft zylinder- 

förmige Bohrungen (Hohlzylinder) verwendet, die mit Endoskopen entlang der Sym- 

metrieachse untersucht werden. Die einfache Struktur des Zylinders ermöglicht eine 

einfache Parametrisierung und eignet sich gut zur Mittelung einer definierten Menge 

an Punkten entlang der Symmetrieachse. Als Kriterium für die originalgetreue Wieder- 

gabe der Objektgeometrie wird zum einen die Streuung der rekonstruierten 3D-Punkte 

um die Zylinderwandung und zum anderen die Kreisförmigkeit der Punktmenge in der 

Projektion auf die Zylindergrundfläche ausgewertet. Für beide Größen muss zunächst 

der Kamerapfad festgelegt werden. Dies geschieht durch Angleichen einer Geraden 

an die geschätzten Kamerapunkte, die idealerweise auf einer Linie liegen. Die Norm 

dieser Gerade bildet die normierte Senkrechte n der beabsichtigten Projektionsebene. 

Ein Punkt r(x, y, z) wird senkrecht bezüglich n auf den Punkt ¯r(x, y, z) projiziert: 

¯r(x, y, z) = r(x, y, z) − (r(x, y, z) · n + d) · n (3.49) 

mit d = −¯r(x, y, z) · n . 

Um die Kreisförmigkeit des Querschnitts zu bestimmen, werden die 3D-Koordinaten 

eines bestimmten Abschnitts der Zylinderrekonstruktion auf die n-Ebene projiziert 

(vgl. Abb. 3.45). Durch Minimierung der Fehlerquadrate zu einer parametrisierten El- 

lipse wird deren Charakteristik, also der Mittelpunkt, die kleine Hauptachse ea, die 

große Hauptachse eb und die Orientierung im 2D-Koordinatensystem numerisch be- 

stimmt. Das Verhältnis ea/eb, also zwischen kleiner und großer Hauptachse gibt die 

Annäherung der Rekonstruktion des Zylinderquerschnitts an einen Kreis wieder, die 

bestenfalls ea/eb = 1, nämlich kreisförmig sein sollte. Als zweite Größe wird der mitt- 

lere euklidische Abstand dRek zwischen den NRek projizierten Datenpunkten und der 

parametrisierten Ellipse angegeben. Der Fehlerabstand δRek,i ist die minimierte eukli- 

dische Distanz zwischen der Koordinate (xi; yi) der Rekonstruktion und der entspre- 

chenden Koordinate (ui; vi) auf dem projizierten Zylinderquerschnitt: 

δRek,i = (xi − ûi) 2 + (yi − ˆvi) 2 (3.50) 

mit (ûi; ˆvi) = argmin[(xi 

− ui) 

(ui,vi) 

2 + (yi − vi) 2 ] .


Abbildung 3.45: Die rekonstruierten Raumpunkte einer endoskopisch aufgenommenen Boh- 

rung werden auf eine Ebene senkrecht zum Bewegungspfad des Endoskops projiziert und durch 

die Parameter einer Ellipse beschrieben, aus [Ste07]. 

Das Mittel über alle Fehlerabstände aus Gleichung (3.50) wird prozentual zum „Durch- 

messer“ (ea + eb) angegeben (vgl. Gl. (3.51)) und ist als Wert für die Abweichung der 

3D-Punkte um den rekonstruierten Zylinder ebenfalls ein Indikator für die Güte der 

Rekonstruktion: 

QREK = 1 

NREK 

· 

NREK 

i=1 

1 

δRek,i · 

ea + eb 

. (3.51) 

Je geringer QREK ausfällt, desto präziser wurde die räumliche Darstellung der Boh- 

rung aus der aufbereiteten Bildsequenz rekonstruiert. 

3.6.5 Subjektive Evaluierung 

Die subjektive Bewertung von unterschiedlich aufbereiteten Bildern ist von Bedeu- 

tung, um den visuellen Eindruck bei der Darstellung auf einem optischen Ausgabege- 

rät zu beurteilen. Entscheidend ist dabei zu berücksichtigen, dass es sich um subjektive 

Wahrnehmungen handelt, die sich von Person zu Person und von Anwendungsgebiet 

zu Anwendungsgebiet unterscheiden können. In der Literatur gibt es unzählige Be- 

schreibungen zur Durchführung von subjektiven Vergleichstests für Bildmaterial. As- 

lan et al. evaluieren die von ihnen vorgeschlagenen Methoden zur Bildaufbereitung für 

Endoskopiesysteme anhand üblicher Signifikanztests [AKH + 99]. Sie basieren auf Um- 

fragen unter einer Menge von repräsentativen Personen, für diesen Zweck z. B. Ärz- 

te, welche die Endoskopie für ihren Beruf nutzen. Krüger et al. stellen in [KVH + 04] 

ein Evaluierungsschema zum Vergleich von Maßnahmen zur Bildverbesserung für die 

starre Endoskopie vor. Neben üblichen Kriterien, wie der Erkennbarkeit relevanter De-


tails nach einer Helligkeits- und Kontrastanpassung wird in dieser Arbeit auch auf spe- 

zielle anwendungsspezifische Effekte der Endoskopie eingegangen, wie beispielsweise 

der Erfolg einer Glanzlichtreduktion. 

In dieser Arbeit werden für zwei Bereiche subjektive Bewertungen von visuellen 

Ergebnissen gesammelt und ausgewertet. Das ist zum einen die Studie zu Modi und 

Effektivität der Filterung in Abschnitt 4.3 und zum anderen die Beurteilung der spe- 

ziellen Aufbereitung von Farbbildern unter Verwendung der Rohdaten von Einchip- 

Farbsensoren (vgl. Abschn. 4.5). In beiden Fällen erscheint es wichtig, den subjek- 

tiven Eindruck der resultierenden Bilder zu bewerten, um die quantitativen Untersu- 

chungen zu bestätigen oder den Unterschied zwischen subjektiver Wahrnehmung und 

computerassistierter Weiterverarbeitung herauszustellen. Für den ersten Bereich wird 

eine repräsentative Stichprobe von Bildern bzw. Bild-Sequenzen mit den zu verglei- 

chenden Verfahren aufbereitet und in einer geeigneten Umgebung bereitgestellt, wo 

sie von fachkundigem Personal subjektiv an Hand definierter Kriterien, wie Glattheit, 

Detailerhaltung, Kontrast u.ä. beurteilt werden. Im Fall der Farbbildaufbereitung wird 

dadurch die visuelle Verbesserung hinsichtlich Farb- und Strukturartefakten untersucht 

und diskutiert.

4 

123 

Untersuchungen und 

Ergebnisse 

Die Ergebnisse der Bildaufbereitung werden mit aktuellen anerkannten Vergleichs- 

verfahren und Bewertungskriterien beurteilt. Durch die Wahl verschiedener Kriterien, 

nämlich geometrischer, visueller, differentieller und statistischer wird ein Höchstmaß 

an Objektivität erzielt. 

Die Vielfalt an Möglichkeiten zur Bewertung von Bearbeitungsschritten und deren 

Ergebnisse sind in der Bildverarbeitung grenzenlos. Einige Ergebnisse können nur im 

Kontext einer konkreten Anwendung richtig eingeschätzt werden. Andere Vergleichs- 

verfahren liefern große Unterschiede, je nachdem ob sie auf Grauwertbildern oder auf 

Farbbildern ausgeführt werden. Beim visuellen Vergleich werden Resultate von ver- 

schiedenen Personen unterschiedlich wahrgenommen. Je nach seinem Empfinden und 

seinem beruflichen oder fachlichen Hintergrund beurteilt jeder Mensch trotz objek- 

tiver Vorgaben Ergebnisse unterschiedlich. Im Gegensatz dazu können bei objektiven 

Vergleichen mittels Differenz- und Ähnlichkeitsmaßen selbst kleinste Unterschiede re- 

produzierbar quantifiziert werden, die allerdings keine unmittelbare Interpretation über 

die Semantik des Bildinhalts erlauben. 

Wie sich herausstellt, ist die Filterung der Interpolation bezüglich der Restaurie- 

rung von Strukturen überlegen. Das wirkt sich beispielsweise positiv auf Grauwertbil- 

der aus, die für eine 3D-Rekonstruktion aufbereitet werden. Abschnitt 4.2 zeigt diesen 

Unterschied am Vergleich von charakteristischen Kenngrößen des Verlaufs und des 

Resultats der Raumrekonstruktion. Speziell für den Ansatz der Filterung wird in Ab- 

schnitt 4.3 der Kompromiss zwischen der Glättung der Wabenstruktur und der Detail- 

erhaltung von Bildstruktur für verschiedene Filtermasken gegenüber manuell parame- 

trisierten Filtern aus der Literatur untersucht. 

Im Gegensatz zur Filterung erhält die Interpolation ihre Bedeutung wegen der Kor- 

rekturmöglichkeit von Farbartefakten. Die Theorie zum quantitativen Vergleich von

124 4.1. ÜBERSICHT ÜBER DIE VERWENDETEN GERÄTE 

Farbbildern (Farbmetrik, Farbabstände, Farbraumerweiterung, Farbraummodelle, vgl. 

Abschn. 3.6) gegenüber Grauwertbildern würde den Rahmen dieser Arbeit sprengen. 

Daher wird in Abschnitt 4.5 der Erfolg der Reduktion von Farbartefakten zielorientiert 

durch eine Gradientenvisualisierung bestätigt. 

Um die Strukturartefakte zu reduzieren, die der Ansatz der Interpolation mit sich 

bringt, wurde in Abschnitt 3.5 die Superposition vorgeschlagen. Abschnitt 4.6 zeigt 

den Fortschritt durch die Überlagerung von Bildsequenzen. Durch den visuellen Ver- 

gleich einer handregistrierten Referenzaufnahme mittels eines linsenoptischen Endo- 

skops mit den Resultaten der vorgeschlagenen Filterung können speziell die Grenzen 

der Wirkungsweise durch eine falsche Bewegungsschätzung und die effektive Abtast- 

fläche beobachtet werden (vgl. Abschn. 4.6.4). 

4.1 Übersicht über die verwendeten Geräte 

Um die Robustheit und Zuverlässigkeit der vorgestellten Verfahren zur Bildrestaurie- 

rung von faseroptischen Aufnahmen zu demonstrieren, wurde Bildmaterial mit unter- 

schiedlichen Kombinationen von Faserendoskopen und Kameras, sowie ausgewähl- 

ten Beleuchtungseinrichtungen und Adaptern erzeugt. An dieser Stelle wird daher ein 

Überblick über die verwendeten Hardware-Komponenten gegeben. 

Faserendoskope Tabelle 4.1 listet die Hersteller und technischen Daten der Faseren- 

doskope auf. Mit Ausnahme des Mikroendoskops E8 mit 0, 42mm und dem vergleichs- 

weise dicken Endoskop E10 aus der preisgünstigen Baureihe ValueLine von Schölly 

mit 6, 00mm reichen die Arbeitsdurchmesser der Endoskope von knapp einem bis vier 

Millimeter und decken damit den typischen Bereich von dünnen Faserendoskopen ab. 

Die Faseranzahl dieser Geräte liegt im Bereich zwischen 6.000 und 30.000 Fasern. 

Aus dieser Größenordnung ragt das Endoskop E8 aufgrund seines dünnen Bildleiters 

mit nur 3.000 und E9 mit seiner extrem geringen Faserdichte von 2.000 Fasern bei 

3, 2mm Arbeitsdurchmesser heraus. Der Preis von Endoskopen verhält sich abzüglich 

eines Grundbetrags nahezu linear zu ihrer Arbeitslänge. Diese liegt bei den verwen- 

deten Endoskopen zwischen knapp einem halben und gut einem Meter. Alle aufge- 

führten Endoskope besitzen einen 0 ◦ -Geradeausblick (im Gegensatz zu abgewinkelten 

Blickrichtungen zur gezielten Inspektion einer seitlichen Wandung o.ä.), unterschei- 

den sich jedoch im Hinblick auf den Öffnungswinkel. Dieser Wert liegt zwischen 45 ◦ 

und 90 ◦ und charakterisiert die Weitwinkeleigenschaft des Endoskops. Die letzte Spal- 

te der Übersicht gibt das Material des Bildleiters an, das sich wie in Abschnitt 2.3.1

4.1. ÜBERSICHT ÜBER DIE VERWENDETEN GERÄTE 125 

Tabelle 4.1: Hersteller und technische Spezifikationen der verwendeten Faserendoskope. Alle 

Geräte sind mit 0 ◦ -Geradeausblick konfektioniert. 

Endo- Marke Arbeits- Faser- Arbeits- Öffnungs- Bildleiter 

skop durchmesser anzahl länge winkel a Material 

# [mm] [mm] [ ◦ -Grad] 

E1 Everest 0, 9 6.000 650 70 Quarz 

E2 Everest 4, 0 6.000 500 50 Glas 

E3 Olympus 1, 0 6.000 1.000 70 Quarz 

E4 Schölly 1, 0 6.000 500 70 Quarz 

E5 Storz 1, 0 6.000 1.000 60 Quarz 

E6 Schölly 3, 8 10.000 300 80 Glas 

E7 Schölly 3, 8 30.000 500 85 Quarz 

E8 Almikro 0, 42 3.000 1.000 70 Quarz 

E9 Naso 3, 2 2.000 300 n/a Glas 

E10 Schölly 6, 0 12.000 1.250 45 Glas 

E11 Schölly 0, 5 3.000 500 70 Glas 

a laut Hersteller 

beschrieben auf die Homogenität und den Kontrast von dessen Querschnittsstruktur 

auswirkt. 

Abbildung 4.1 zeigt für vier bauähnliche Faserendoskope mit rund einem Millime- 

ter Durchmesser (E1, E3, E4 und E5, vgl. Tab. 4.1) einen vergleichbaren Ausschnitt 

eines USAF-Testbilds. Die rechte Spalte gibt einen vergrößerten Ausschnitt wieder, in 

dem die unterschiedliche Qualität der Wabenstruktur deutlich wird. Die Aufnahmen 

entstammen einer Untersuchung mit dem Ziel, verschiedene Faserendoskope hinsicht- 

lich ihrer Bildqualität zu beurteilen. Aufgrund ihrer unterschiedlichen Arbeitslänge 

wird die Helligkeit ins Verhältnis zur Länge des Bildleiters gesetzt. Sowohl der vergrö- 

ßerte Ausschnitt der Faserabbildung (vgl. Spalte 2 in Abb. 4.1), als auch die zugehörige 

spektrale Verteilung der Bildfrequenzen (vgl. Spalte 3 in Abb. 4.1) gibt Auskunft über 

die Lichtleitfähigkeit und das Kontrastverhältnis in der Abbildung. Für vergleichende 

Untersuchungen in den folgenden Abschnitten kommen überwiegend Endoskope der 

Firma Schölly zum Einsatz, die ein akzeptables Preis-Leistungsverhältnis bei guten 

Werten für das Kontrastverhältnis und die Ortsfrequenzverteilung zeigen.

126 4.1. ÜBERSICHT ÜBER DIE VERWENDETEN GERÄTE 

(a) E1 - Everest 

(b) E3 - Olympus 

(c) E4 - Schölly 

(d) E5 - Storz 

Abbildung 4.1: Visueller Vergleich der Abbildungsgüte von verschiedenen bauähnlichen En- 

doskopen (vgl. Tab. 4.1). Der jeweils vergrößerte Ausschnitt in der zweiten Spalte lässt Un- 

terschiede im Kontrast und in der Faserstruktur erkennen, die sich auch im Spektrum in der 

dritten Spalte auswirken.

4.1. ÜBERSICHT ÜBER DIE VERWENDETEN GERÄTE 127 

Tabelle 4.2: Hersteller und technische Spezifikationen der verwendeten Kameras. 

Kamera Marke Bezeichnung Bus Sensor Anzahl an Pixel- 

# größe Pixel größe 

Grauwertkameras 

[Pixel 2 ] [µm 2 ] 

K1 AVT Marlin IEEE 1/2 ′′ 1392×1040 4, 65 2 

F-145B 

K2 AVT Dolphin IEEE 2/3 ′′ 1392×1040 6, 45 2 

F-145B 

K3 Jai CV-M10E CamLink 1/2 ′′ 782×582 9.9 2 

Farbkameras 

K4 AVT Dolphin IEEE 2/3 ′′ 1392×1040 6, 45 2 

F-145C 

Kameramodelle Zur Bildakquisition werden digitale Industriekameras eingesetzt 

(vgl. Tabelle 4.2), die sowohl technisch eine solide Verarbeitung aufweisen, als auch 

eine hohe Signalgüte in Bezug auf das Aufnahmeverhalten zeigen. Über ihre Schnitt- 

stelle (FireWire (IEEE 1394) bzw. CamLink) können aus den Grauwertkameras K1, 

K2 und K3 Intensitätsabbilder ausgelesen und abgespeichert werden. Die Farbkamera 

K4 führt intern bereits ein sog. Demosaicing durch und liefert das resultierende Farb- 

bild an den Rechner. Die farbkodierten Intensitätsdaten (Rohdaten) liegen ebenfalls 

abrufbereit im Kameraspeicher und können für eine alternative Aufbereitung abgeru- 

fen werden. Die Kamerasensoren haben eine maximale Auflösung von 782×582 bzw. 

1392×1040 Bildelementen bei einer quadratischen Grundfläche zwischen 4, 65 2 µm 2 

und 9.9 2 µm 2 je Einzelelement. 

TV-Adapter Das Endoskop wird mit dem Okular über einen sogenannten TV-Ad- 

apter mit dem Kamerasensor verbunden. Die Brennweite dieses Adapters bestimmt 

den Abbildungsmaßstab und muss an die jeweilige Sensorfläche (hier 1/2 ′′ oder 2/3 ′′ ) 

angepasst werden, um die Apertur möglichst flächenfüllend auf die Sensorfläche ab- 

zubilden. 

Beleuchtungsquellen Um eine Szene adäquat aufnehmen zu können, die innerhalb 

eines geschlossenen Hohlraums liegt, ist eine Lichtquelle notwendig, die Licht über 

den flexiblen Lichtleiter an die Spitze des Endoskops liefert. Hierzu wird die Licht- 

quelle Flexilux 3000 von Schölly verwendet. Sie wird mit einer 100 Watt Halogen-

128 4.2. QUALITÄT VON 3D-REKONSTRUKTIONEN 

lampe betrieben, die nach einem Wärmeschutzglas eine Beleuchtungsstärke von 8, 8 

Mio. Lux am Eingang des Lichtleiters liefert. Für den mobilen Einsatz wird alternativ 

eine LED-Lichtquelle eingesetzt, die mit einem Akku direkt an das Endoskop montiert 

werden kann. Die LED-Handlichtquelle aus der Produktlinie ValueLine von Schölly 

hat eine Nominalleistung von 3,2 Watt und erzeugt am Lichtleitereingang eine Be- 

leuchtungsstärke von etwa 100.000 Lux. 

Um die Problematik der mitgeführten Beleuchtungsquelle (vgl. Abschn. 2.3.3) zu um- 

gehen, können freiliegende Objekte von externen Lichtquellen mit handelsüblichen 

Glühbirnen beleuchtet werden. Im Gegensatz zu diesem Auflicht kann ein transparen- 

tes Linien- oder Farbmuster auch durch ein diffuses sog. Durchlicht beleuchtet werden. 

Durch den Einsatz solcher Lichtkästen werden Reflexionen auf spiegelnden Testmus- 

tern vollständig vermieden. 

4.2 Qualität von 3D-Rekonstruktionen 

In der Motivation dieser Arbeit (vgl. Abschn. 1.2.3) wurde die räumliche Rekonstruk- 

tion von Objekten (beispielsweise Hohlräumen) aus einer faserendoskopischen Bild- 

folge als interessante und angestrebte Anwendung beschrieben. Die Effizienz und Ef- 

fektivität der Triangulierung sowie die Präzision der Punktverteilung einer 3D-Rekon- 

struktion spiegeln allerdings gleichermaßen die Qualität der verwendeten Bilddaten 

wieder, die dafür verwendet werden. In den folgenden Abschnitten wird der Einfluss 

der Aufbereitung dieser Aufnahmen durch die verschiedenen Ansätze zur Filterung 

(vgl. Abschn. 3.2.1) und Interpolation (vgl. Abschn. 3.2.2) auf das Ergebnis von 3D- 

Rekonstruktionen untersucht. Ausgewertet werden hierbei die Häufigkeit der wieder- 

gefundenen und korrespondierenden Merkmalsketten, der Rückprojektionsfehler im 

Triangulierungsprozess und letztendlich das Rekonstruktionsergebnis. 

4.2.1 Bildmaterial 

Als ein typisches Szenario für die Anwendung der Endoskopie im Kontext der industri- 

ellen Inspektion wird für dieses Evaluierungsszenario ein Endoskop senkrecht durch 

eine Bohrung mit konstantem Durchmesser geführt. Diese vergleichsweise einfache 

Parametrisierung dieses Testkörpers erlaubt eine Evaluierung der Rekonstruktionsgüte 

anhand der Streuung der rekonstruierten Raumpunkte in Bezug auf die Zylindergeo- 

metrie.

4.2. QUALITÄT VON 3D-REKONSTRUKTIONEN 129 

Tabelle 4.3 zeigt die Eigenschaften, den Umfang und weitere Details von sechs en- 

doskopisch erfassten Bildsequenzen, die als Grundlage für die 3D-Rekonstruktion ei- 

ner 3D-Punktwolke verwendet werden. Der vergrößerte Ausschnitt vor jeder Sequenz, 

die jeweils durch eine Einzelaufnahme dargestellt wird, zeigt die entsprechende Textur. 

Um in einem ersten Schritt mögliche Rausch- und Spiegelungseffekte auszuschließen, 

werden drei Sequenzen (SZK, SGB und SRT) künstlich generiert. Mit der frei verfüg- 

baren 3D-Grafik-Software Blender 1 wurde eine künstliche Rohrfahrt mit 150 Einzel- 

bildern der Dimension 800×600 simuliert. Die Texturen, die für die Zylinderwandung 

verwendet wurden, stammen aus der freien mediacastle-Datenbank 2 . Sie zeigen ei- 

ne verzinkte Metalloberfläche (SZK), eine kontrastarme matte Metallstruktur (SKA) 

und eine rostige Metalloberfläche (SRT). Die übrigen drei Sequenzen (RZK, RFN und 

RGB) zeigen reale Aufnahmen von Zylinderkörpern. Sie wurden anstelle eines faser- 

basierten mit einem starren Endoskop der Firma Storz mit vergleichbaren optischen 

Kenndaten (0 ◦ -Geradeausblick, Öffnungswinkel 100 ◦ ) aufgezeichnet. Die Sequenzen 

RZK und RFN enthalten 300 Bilder der Dimension 1024 × 768 einer verzinkten Me- 

tallröhre bzw. eines zylinderförmigen Hohlraums mit feinkörniger Sandoberfläche. Die 

Sequenz RGB stellt 78 Bilder der Dimension 800 × 600 bereit, die in einem zylinder- 

förmigen Hohlraum mit grober Sandkörnung aufgezeichnet wurden. 

Diese Basisdaten der sechs Bildsequenzen werden für die Untersuchung des Ef- 

fekts einer faserbasierten Bildübertragung mit einem typischen Wabenmuster model- 

liert (vgl. Abschn. 3.1.1). Das gewählte Bildbündel enthält 12.000 Fasern, die in einem 

Aperturradius von 280 Pixel angeordnet sind. Nach Aufbereitung mit den zu verglei- 

chenden Ansätzen, nämlich der automatischen Filterung und der faserbasierten Inter- 

polation werden die Bilddaten mit der Raumrekonstruktionssoftware SynthEyes bear- 

beitet und ausgewertet. Als Kriterium wird die Anzahl der Korrespondenzen vor der 

Modellierung und nach der Bildaufbereitung mit Filterung oder Interpolation unter- 

sucht. Eine Kette von Merkmalen wird dann als Korrespondenz definiert, wenn sie 

über mindestens zwölf Aufnahmen registriert, d.h. in den Bildern aufgefunden werden 

kann. 

4.2.2 Statistik der Merkmalskorrespondenzen 

Für die Triangulierung, also die Tiefenschätzung eines Punkts aus mindestens zwei 

verschiedenen Ansichten sind zuverlässig gewählte und registrierte Merkmale in meh- 

reren Bildern der Sequenz notwendig. Jede solche Kette von Korrespondenzen liefert 

1 Quelle: http://www.blender.org 

2 Quelle: http://www.mediacastle.de


Tabelle 4.3: Endoskopische Abbildungen von Hohlzylindern mit unterschiedlicher Oberflä- 

chentextur als Datenbasis für die Evaluierung der 3D-Rekonstruktion. Die vorletzte Spalte 

zeigt die Textur als vergrößerten Ausschnitt. Die letzte Spalte zeigt eine Einzelaufnahme der 

Bildsequenz. Die Bildreihen SZK, SKA und SRT sind rauschfrei simuliert, wohingegen RZK, 

RFN und RGB reale Aufnahmen von Zylinderkörpern zeigen. 

Kürzel Beschreibung Textur Einzelbild Anzahl 

SZK 

SKA 

SRT 

RZK 

RFN 

RGB 

Simulierte Textur einer 

verzinkten Metallober- 

fläche. 

Simulierte Textur ei- 

ner kontrastarmen mat- 

ten Metallstruktur. 

Simulierte Textur einer 

rostigen Metalloberflä- 

che. 

Reale Oberfläche ei- 

ner verzinkten Röhre 

(Innen-◦/ 16, 3mm). 

Reale Oberfläche mit 

feiner Sandkörnung 

(Innen-◦/ 8, 5mm). 

Reale Oberfläche mit 

grober Sandkörnung 

(Innen-◦/ 8, 2mm). 

Größe 

150 

800 × 600 

150 

800 × 600 

150 

800 × 600 

300 

1024 × 768 

300 

1024 × 768 

78 

1024 × 768


Tabelle 4.4: Anzahl von Korrespondenzen in einem vergleichbaren Ausschnitt gleicher Län- 

ge der Bildsequenzen aus Tabelle 4.3. Die drei Spalten zeigen die Ergebnisse für die Origi- 

nalqualität ohne Abtastung und für die beiden nach faseroptischer Abtastung restaurierten 

Versionen Filterung und Interpolation. Die prozentuale Angabe gibt das Verhältnis zur Anzahl 

im Original an. 

Sequenz Original Filterung Interpolation 

SZK 1.091 387 (35,5%) 210 (19,2%) 

SKA 804 144 (17,9%) 123 (15,3%) 

SRT 1.403 720 (51,3%) 362 (25,8%) 

RZK 2.098 189 (9,0%) 122 (5,8%) 

RFN 3.972 770 (19,4%) 179 (4,5%) 

RGB 3.411 1.033 (30,3%) 303 (8,9%) 

nach erfolgreicher Berechnung einen Raumpunkt, der sich aus der Verfolgung (engl. 

tracking) von geeigneten Merkmalen und Korrelationen über mehrere Bilder hinweg 

berechnet. Ob ein Punktmerkmal oder ein kleiner Bereich von benachbarten Bild- 

punkten zur Findung der Korrespondenz gewählt wird, entscheiden strukturelle Ei- 

genschaften in seiner Umgebung. Je höher die Anzahl der Korrespondenzen, bzw. der 

rekonstruierten 3D-Punkte, desto feiner wird die Triangulierung der 3D-Punktwolke 

und folglich das Rekonstruktionsergebnis ausfallen. In einer faseroptisch abgebilde- 

ten Bildsequenz können auch nach Aufbereitung durch Filterung oder Interpolation 

von SynthEyes nicht mehr so viele Merkmale lokalisiert werden, wie bei einer Abbil- 

dung mit starrem Endoskop. Durch die niedrige Auflösung und die Einbußen aufgrund 

geringerer Lichtleitfähigkeit werden hohe Frequenzen unterdrückt. Der Kontrast und 

die Schärfe von Begrenzungen charakteristischer Bildmerkmale werden reduziert und 

führen zu niedrigeren Erfolgen und schlechteren Ergebnissen der Registrierung. 

Tabelle 4.4 zeigt die Anzahl der detektierten Korrespondenzen für die verschiede- 

nen Bildsequenzen aus Tabelle 4.3. Die Spalte Original beinhaltet die Ergebnisse für 

die ursprüngliche Bildqualität ohne faseroptische Abbildung. Für die beiden Ansätze 

Filterung und Interpolation können die Resultate den letzen beiden Spalten entnom- 

men werden. Aufgrund großer Schwankungen in der Anzahl gewählter Merkmale in 

der Originalsequenz werden die Ergebnisse nach der Restaurierung auch prozentual 

im Verhältnis dazu angegeben. 

Wie erwartet werden bei allen Originalsequenzen am meisten Korrespondenzen ge- 

wonnen. Werden die Sequenzen einer faserbasierten Modellierung unterzogen, so ste- 

hen nach Filterung noch rund 10% bis 50% Korrespondenzen und nach Interpolation


Abbildung 4.2: Visualisierung der Statistik der Merkmalskorrespondenzen aus Tabelle 4.4. 

noch rund 5% bis 25% Korrespondenzen zur Verfügung. Ohne einen Restaurierungs- 

schritt konnten bei den durchgeführten Experimenten nicht genügend viele Ortsmerk- 

male über ausreichend viele Bilder hinweg registriert werden. Deshalb finden sich in 

Tabelle 4.4 darüber keine Angaben. Im Mittel können den Ergebnissen der Filterung 

also etwa doppelt so viele stabile Merkmale entnommen werden, wie den vergleichba- 

ren Resultaten der Interpolation. 

Gegenüber den simulierten Sequenzen SZK, SKA und SRT zeigen die realen Origi- 

nalaufnahmen RZK, RFN und RGB eine deutlich höhere Anzahl an Korrespondenzen. 

Das lässt sich primär auf den generell höheren Kontrast zurückführen. Weiterhin sind 

die Strukturen der realen Aufnahmen gröber und damit klarer voneinander separierbar. 

Die relativ wenigen Merkmale jedoch, die in den simulierten Aufnahmen berechnet 

werden, bleiben zu einem größeren Teil auch nach einer faseroptischen Abbildung als 

Korrespondenzen erhalten (vgl. prozentuale Angaben der Filterung und Interpolation 

in Tab. 4.4). Die Abwesenheit von Rauschen und die Konstanz von lokalen Intensitäten 

begünstigt die Merkmalsverfolgung auf den simulierten Daten. Die schlechtesten Er- 

gebnisse unter Verwendung von simulierten Daten liefert die Textur mit sehr geringem 

Kontrast, SKA. Hier stehen schon in der Originalqualität nur 804 Korrespondenzen zur 

Verfügung, was sich auf die Stabilität der Rekonstruktion negativ auswirkt, wie auch 

an den weiteren Ergebnissen zu Rückprojektionsfehler und Streuung ersichtlich wird. 

Unter den realen Daten zeigt die Textur mit grober Sandkörnung, RGB, die bes- 

ten Ergebnisse für restaurierte faseroptisch abgetastete Bilddaten. Obwohl die feine 

Sandkörnung RFN in der Originalqualität gut 16% mehr Korrespondenzen liefert, so 

verbleiben in den degradierten Bildern für RGB etwa 34% (1.033 zu 770) mehr Kor-


Tabelle 4.5: Rückprojektionsfehler in Pixel für die 3D-Rekonstruktion von 3D-Punktwolken 

aus den gewählten Korrespondenzen (vgl. Tab. 4.4) der verschiedenen Bildsequenzen aus Ta- 

belle 4.3. Die drei Spalten zeigen die Ergebnisse für die Rekonstruktion aus den Bilddaten 

mit Originalqualität ohne Abtastung und für die beiden nach faseroptischer Abtastung restau- 

rierten Sequenzen (Filterung und Interpolation). Die prozentuale Angabe gibt die Steigerung 

bezüglich des Fehlers im Original an. 


SZK 0,836 0,889 (3,0%) 0,895 (3,7%) 

SKA 0,680 1,130 (66,2%) 1,610 (136,8%) 

SRT 0,547 1,010 (84,6%) 1,023 (87,0%) 

RZK 0,587 0,678 (15,5%) 1,014 (72,7%) 

RFN 0,787 1,517 (92,8%) 1,641 (108,5%) 

RGB 0,832 0,977 (17,4%) 1,275 (53,2%) 

respondenzen, als für RFN, weil viele der feinen hell reflektierenden Punktmerkmale 

durch die mitgeführte Beleuchtung und durch die grobe Abtastung des Faserbündels 

Intensitätsschwankungen unterliegen und oft einem unpräzisen Weg folgen. Abhängig 

vom Material liegt das Verhältnis der Anzahlen von Korrespondenzen zwischen den 

interpolierten und den gefilterten Bildern bei gut der Hälfte bis knapp einem Drittel. 

Fazit: Generell lässt sich erkennen, dass die Textur, die Oberflächenbeschaffenheit 

und die Beleuchtung eine wesentliche Rolle bei der Wahl und Registrierung der Merk- 

male spielt. Die Simulation der faseroptischen Abbildung führt zu einer erheblichen 

Reduzierung der Anzahl an gefundenen Korrespondenzen. In Bezug auf die Statistik 

der Merkmalskorrespondenzen liefert von den Restaurierungsansätzen die Filterung 

durchweg die besseren Ergebnisse. Nach Interpolation stehen umso weniger Merkma- 

le als Korrespondenzen zur Verfügung, je höher der Kontrast in den Aufnahmen ist, 

der in der Originalqualität zunächst für eine große Menge an Korrespondenzen sorgt. 

4.2.3 Rückprojektionsfehler 

In Abschnitt 3.6.4 wurde der Rückprojektionsfehler als interne Messgröße des Re- 

konstruktionsprozesses beschrieben. SynthEyes bietet Zugriff auf dieses Gütekriteri- 

um und erlaubt so eine retrospektive Beurteilung dieses Vorgangs und eine Aussage 

darüber, wie sicher der Algorithmus im Mittel die 3D-Raumpunkte schätzen konnte. 

Der Rückprojektionsfehler fällt umso geringer aus, je länger die Merkmale über die


Abbildung 4.3: Visualisierung der Rückprojektionsfehler aus Tabelle 4.5. 

Bildsequenz verfolgt werden können. Längere Registrierungsabschnitte erlauben auch 

eine robustere Eliminierung von Ausreißern, die sich durch Restaurierungsfehler in 

die Bildsequenz einschleichen. Die Tiefenschätzung der Ortspunkte ist direkt abhän- 

gig von der Rekonstruktion des Kamerapfads. Dieser wird hier allerdings nicht zur 

Bewertung herangezogen. Wie die Statistik der Merkmalskorrespondenzen, so zeigt 

auch die Auswertung des Rückprojektionsfehlers (vgl. Tab. 4.5 und Abb. 4.3) eine 

Überlegenheit seitens der Filterung. Auf Basis der Originalqualität liegt der Rückpro- 

jektionsfehler bei allen Rekonstruktionen im Bereich von 0, 5 bis 0, 9 Pixel. SynthEyes 

gibt einen tolerierbaren Fehlerbereich bis 1.0 Pixel an. Die Werte über 1.0 für vie- 

le der Ergebnisse nach Restaurierung sind prinzipiell noch nicht bedenklich, da die 

Abtastung durch die Sensorelemente nicht mehr in der Größenordnung eines Pixels 

liegt, sondern maßgeblich durch die Abtastung durch das Faserbündel bestimmt wird. 

Für die vorliegende faseroptische Modellierung beträgt das Verhältnis von Faser- zu 

Pixelabstand etwa 4, 5 : 1. Vor diesem Hintergrund liegt der Rückprojektionsfehler 

nach Filterung bzw. Interpolation selbst bei den schlechtesten Ergebnissen, z. B. der 

Interpolation bei SKA bzw. RFN, nur um einen maximalen Faktor von 2, 37 über dem 

des Originals. Die genannten negativen Ausreißer der Interpolation lassen sich auch 

auf das jeweils schlechte Resultat in ihrer Gruppe bezüglich der Statistik der Merk- 

malskorrespondenzen zurückführen. Gemäß Tabelle 4.4 schneidet bei den simulierten 

Daten im Bereich Interpolation ebenfalls die Sequenz SKA und bei den realen Daten 

die Sequenz RFN am schlechtesten ab. Die geringe Anzahl an Korrespondenzen führt 

schließlich auf eine instabilere Rekonstruktion und folglich zu den hier beobachteten 

größeren Rückprojektionsfehlern.


Tabelle 4.6: Streuung der rekonstruierten 3D-Punkte von der zugrunde liegenden Szenengeo- 

metrie. Die gewählten Korrespondenzen (vgl. Tab. 4.4) entstammen den verschiedenen Bildse- 

quenzen aus Tabelle 4.3. Die drei Spalten zeigen die Ergebnisse für die Rekonstruktion aus den 

Bilddaten mit Originalqualität ohne Abtastung und für die beiden nach faseroptischer Abtas- 

tung restaurierten Sequenzen (Filterung und Interpolation). 


SZK 0,881 1,701 1,818 

SKA 0,968 2,167 3,672 

SRT 0,774 1,676 2,226 

RZK 1,337 2,665 2,180 

RFN 1,509 1,852 1,857 

RGB 1,294 1,839 1,569 

Fazit: Unter dem Aspekt der Rückprojektionsfehler erweist sich die Filterung für die 

Vorverarbeitung einer Bildsequenz zur 3D-Rekonstruktion gegenüber der Interpolati- 

on als besser geeignet. Diese Aussage deckt sich mit der Erkenntnis aus der Statistik 

der Merkmalskorrespondenzen. Für die berechneten Korrespondenzen, deren Anzahl 

bei den restaurierten Bilddaten deutlich geringer ist, liegen die Restaurierungsfehler 

in einer ähnlichen Größenordnung. Eine höhere Unsicherheit, die aufgrund der groben 

Abtastung der Bilddaten durch das Faserbündel erwartet wird, konnte nicht nachge- 

wiesen werden. 

4.2.4 Streuung und Achsenverhältnis 

In Abschnitt 3.6.4 wurde die Berechnung des Achsenverhältnisses und der Streuung als 

Gütekriterium für elliptische Gebilde beschrieben. Diese Kriterien basieren auf dem 

Wissen um die Geometrie der rekonstruierten Szene, in diesem Fall eines zylinderar- 

tigen Hohlraums. Für die Auswertung werden 120 rekonstruierte 3D-Raumpunkte mit 

dem geringsten Rückprojektionsfehler verwendet. Die parallel zum Kamerapfad auf ei- 

ne Querschnittsebene projizierten Raumpunkte werden mit dem Erwartungswert, näm- 

lich der Form und der Position eines Kreises verglichen (vgl. Tab. 4.6 und Abb. 4.4). 

Bei den realen Szenen RZK und RGB ist die Streuung überraschenderweise bei der 

Interpolation geringer (2, 2% bzw. 1, 6%), als bei der Filterung (2, 7% bzw. 1, 8%). Die- 

se Ergebnisse müssen allerdings vor dem Hintergrund des Achsenverhältnisses inter- 

pretiert werden, auf das im Rahmen dieser Arbeit nicht im Detail eingegangen werden


Abbildung 4.4: Visualisierung der Streuungsstatistik aus Tabelle 4.6. 

kann. Für die genannten Rekonstruktionen RZK und RGB weicht das Achsenverhältnis 

stärker von der Kreisform ab, als für die übrigen Datensätze [Ste07]. Für die anderen 

untersuchten Zylinder zeigt die Filterung bessere Ergebnisse, insbesondere bei den si- 

mulierten Bildsequenzen. Die Streuung auf Basis der relativ glatten Textur bei SKA 

ist bei der Filterung erheblich geringer, als bei der Interpolation. Die Ergebnisse der 

Filterung und Interpolation unterscheiden sich um etwa 1, 5%, was sich auf den relativ 

großen Rückprojektionsfehler bei der Interpolation zurückführen lässt (vgl. Tab. 4.5). 

Auffallend ist zudem, dass die Streuung für die realen Bilddaten RZK und RFN, 

sowie für die simulierten Bilddaten SKA vergleichsweise hoch ist. Obwohl die Textu- 

ren alle eine feine, meist kontrastarme Struktur aufweisen, ist ein Zusammenhang mit 

der Statistik der Merkmalskorrespondenzen in Tabelle 4.4 nicht ersichtlich, da die An- 

zahl der detektierten Korrespondenzen sehr unterschiedlich ausfällt. Allerdings zeigt 

sich eine Übereinstimmung zwischen der Streuung und der Kombination aus Rück- 

projektionsfehler und Anzahl der Korrespondenzen. Demnach zeigen für die einzel- 

nen Restaurierungsansätze die Bildsequenzen RZK, RFN bzw. SKA mit einem hohen 

Rückprojektionsfehler, kombiniert mit einer geringen Anzahl an Korrespondenzen, ei- 

ne besonders hohe Streuung. Eine qualitativ hochwertige Rekonstruktion gemessen 

an einer geringen Streuung setzt also gute Resultate in den vorausgehenden Gesichts- 

punkten voraus. 

Fazit: Die Untersuchung zur Streuung von 3D-Punkten der Rekonstruktionen lie- 

fert für sich keine eindeutige Präferenz für einen Restaurierungsansatz. Lediglich in 

Kombination mit den Ergebnissen der vorausgehenden Auswertungen zeigen die Wer-

4.3. MODI UND EFFEKTIVITÄT DER FILTERUNG 137 

te eine Übereinstimmung mit den bisherigen Aussagen. Tendenziell werden auch be- 

züglich der Streuung mit der Filterung bessere Ergebnisse erzielt. Wo dies nicht der 

Fall ist, können die Ausreißer dieser Statistik eindeutig auf andere Faktoren, wie z. B. 

eine vergleichsweise geringe Anzahl an Korrespondenzen oder einen hohen Rückpro- 

jektionsfehler zurückgeführt werden. 

4.3 Modi und Effektivität der Filterung 

Hier wird mit dem Güteindikator QSR aus Abschnitt 3.6.1 der geringe, aber nach- 

weisbare Unterschied zwischen den verschiedenen Maskentypen bei der automatisier- 

ten Filterung ausgewertet. Grundlage für die Evaluierung ist die Detailerhaltung und 

Glattheit im USAF-Testbild. Dabei werden die Ergebnisse auch mit den Werten einer 

manuellen Parametrisierung nach dem Stand der Technik verglichen. 

4.3.1 Filteransätze und Maskentypen 

Der Restaurierungsansatz im Frequenzraum (vgl. Abschn. 3.2.1) wird mit weiteren li- 

nearen (Gauss) und nicht-linearen Filteralgorithmen (Median) verglichen, wie sie im 

Artikel [SCG + 01] in der Zeitschrift Nature von Sanderson et al. für die Faserendo- 

skopie vorgeschlagen werden. Die Wirkung dieser Gruppe von Filtern gleicht dem 

optischen Weichzeichnen durch entsprechende Linsensysteme, wie sie häufig in han- 

delsüblichen Komponenten statt digitaler Bildverarbeitung zum Einsatz kommen. 

Tabelle 4.7 gibt einen Überblick über die sieben Filteransätze, die zusammen mit 

dem Originalbild acht zu vergleichende Ergebnisse liefern. Die vier möglichen Kom- 

binationen der spektralen Maskierung F1 bis F4 setzen sich aus der kreisförmigen 

bzw. der sternförmigen Maske sowie je einer Version mit harter Flanke bzw. einer mit 

geglättetem Grenzfrequenzübergang zusammen (vgl. Abschn. 3.2.1). Zum Vergleich 

werden der Median-Filter mit einer Fensterbreite von sieben Bildpunkten und je eine 

Faltung mit einer Gauss-Verteilung der Varianz σ = 1, 0 und σ = 2, 0 herangezogen. 

Bei der empirischen Wahl der fixen Parameter der Vergleichsfilter wurde darauf geach- 

tet, dass die Werte die charakteristische Größe der Faserstruktur widerspiegeln, d.h. die 

Fensterung des Median-Filters und der Einfluss der Gauss-Verteilung entspricht in et- 

wa der Größenordnung des mittleren Abstands der Fasern in der Abbildung.

138 4.3. MODI UND EFFEKTIVITÄT DER FILTERUNG 

Tabelle 4.7: Verschiedene Filtertypen und deren Spezifikationen, die für die Evaluierungen der 

Linientrennung im Auflösungsmuster verglichen werden. Die Einteilung der Filtertypen in die 

Gruppen 1 bis 3 dient der Auswertung der subjektiven Evaluierung. 


# Filtertyp Spezifikation Filter- 

F0 Ohne Filterung Originalbild 

F1 Spektrale Maskierung Kreisform, Stufe 1 

F2 Spektrale Maskierung Kreisform, geglättet 1 

F3 Spektrale Maskierung Sternform, Stufe 1 

F4 Spektrale Maskierung Sternform, geglättet 1 

F5 Median-Filter Fensterbreite 7 2 

F6 Faltung mit Gauss σ = 1, 0 2 

F7 Faltung mit Gauss σ = 2, 0 3 

gruppe 

Für eine Auswertung mit dem beschriebenen Güteindikator aus Abschnitt 3.6.1 ist 

prinzipiell jedes Linienmuster geeignet, dass die folgenden beiden Anforderungen er- 

füllt. Einerseits muss es eine hinreichend große homogene Fläche zur Evaluierung der 

Glattheit bieten und andererseits eine ausreichende Menge an Liniengruppen in abge- 

stufter Dichte darstellen, um den Übergang zwischen visuell gut separierbar und feh- 

lerhaft abgetastet nutzen zu können. Dafür eignet sich das USAF-Testbild USF (vgl. 

Tab. 4.8). 

4.3.3 Resultate 

Abbildung 4.5 zeigt die beiden Evaluierungsbereiche ΩR und ΩS in den gefilterten 

Abbildern UF1 und UF2 des Linienmusters USF (vgl. Tab. 4.8). Sie dienen zur Be- 

rechnung der beiden Komponenten QS (Glattheit) und QR (Detailerhaltung), die ge- 

mäß Gleichung (3.35) (vgl. Abschn. 3.6.1) in die Restaurierungsgüte QSR einfließen. 

Tabelle 4.9 und Tabelle 4.10 listen die beiden Werte QS und QR zusammen mit der re- 

sultierenden Restaurationsgüte QSR auf. Der Gewichtungsfaktor γ kann anwendungs- 

spezifisch variiert werden. Ein geeigneter Richtwert für ein ausgeglichenes Verhältnis 

zwischen Detailerhaltung und Glattheit ist γ = 0, 5. Für eine optimierte Beurteilung 

der Glättung im Fall der wabenartigen Struktur von Faserbildleitern wird der Einfluss


Tabelle 4.8: USAF-Testbild für die kombinierte Evaluierung von Detailerhaltung und Glattheit 

USF 

UF1 

UF2 

USAF-Testbild zur Untersuchung der Auflösung 

von optischen Systemen. Die Dichte der in Grup- 

pen angeordneten Linienpaare nimmt mit steigen- 

dem Index zu. 

Abbildung des USAF-Testbilds USF mit dem Glas- 

faserendoskop E6 (vgl. Tab. 4.1). 

Abbildung des USAF-Testbilds USF mit dem 

Quarzfaserendoskop E4 (vgl. Tab. 4.1). 

(a) UF1 (b) UF2 

Abbildung 4.5: Gefilterte Abbilder des USAF-Testbilds (vgl. Tab. 4.8) mit markierten Evaluie- 

rungsbereichen ΩR für das Rayleigh-basierte Kriterium der Linienseparierbarkeit und ΩS für 

die Bestimmung der Glattheit.


Tabelle 4.9: Ergebnisse der Gütemessung für die Aufnahme UF1 des Linienmusters USF mit 

den Evaluierungsbereichen ΩR und ΩS aus Abbildung 4.5(a). Die Werte liegen im Bereich [0; 1] 

und es gilt: Je größer, desto besser. Jede Zeile repräsentiert einen Filteransatz aus Tabelle 4.7. 

Der Güteindikator QSR wird jeweils für zwei Gewichtungen (γ = 0, 5 und γ = 0, 8) der 

Komponenten QR (Detailerhaltung) und QS (Glattheit) angegeben. 

# Filtertyp QS QR QSR 

γ = 0, 5 γ = 0, 8 

F0 Ohne Filterung 0,000 0,473 0,237 0,0946 

F1 Spek. Mask., Kreis, Stufe 0,643 0,335 0,489 0,581 

F2 Spek. Mask., Kreis, weich 0,657 0,280 0,468 0,581 

F3 Spek. Mask., Stern, Stufe 0,627 0,308 0,468 0,563 

F4 Spek. Mask., Stern, weich 0,657 0,298 0,478 0,585 

F5 Median-Filter, Breite 7 0,504 0,145 0,325 0,432 

F6 Gauss-Faltung, σ = 1, 0 0,317 0,442 0,379 0,342 


der Glättung durch einen höheren Gewichtungsfaktor, z. B. γ = 0, 8 verstärkt. Die letz- 

te Spalte der Tabellen zeigt die Restaurierungsgüte zusätzlich für diese Einstellung. 

Einige der Ergebnisse in Tabelle 4.9 sind besonders auffällig und werden hier kurz 

diskutiert: 

F1: Ohne Filterung Da Gleichung (3.30) zur Berechnung der Glattheit das unge- 

filterte Originalbild als Referenz verwendet, liegt der Wert QS für die Glattheit bei 

Null. Jedwede Anwendung eines Filters führt hier zu einer Senkung der Varianz im 

Evaluierungsbereich ΩS und damit zu einer Verbesserung, d.h. höheren positiven Wert 

QS. Dass eine Filterung stets zum Verwaschen von Details führt, ist an der Detailer- 

haltung r zu erkennen, die hier ihr Maximum zeigt. Im Ergebnis QSR schneiden beide 

Gewichtungen jedoch erwartungsgemäß vergleichsweise schlecht ab. 

F6: Gauss-Faltung mit σ = 1, 0 Die Gauss-Faltung mit einer Varianz von σ = 1, 0 

führt hier zu einer sehr hohen Detailerhaltung von QR = 0, 442. Dass der Filter jedoch 

für diese Aufnahme nicht gut parametrisiert sein kann, zeigt der schlechte Wert für die 

Glattheit, QS = 0, 317, und letztendlich das niedrige Resultat für QSR.


Tabelle 4.10: Ergebnisse der Gütemessung für die Aufnahme UF2 des Linienmusters USF mit 

den Evaluierungsbereichen ΩR und ΩS aus Abbildung 4.5(b). Die Werte liegen im Bereich [0; 1] 

und es gilt: Je größer, desto besser. Jede Zeile repräsentiert einen Filteransatz aus Tabelle 4.7. 

Der Güteindikator QSR wird jeweils für zwei Gewichtungen (γ = 0, 5 und γ = 0, 8) der 

Komponenten QR (Detailerhaltung) und QS (Glattheit) angegeben. 

# Filtertyp QS QR QSR 

γ = 0, 5 γ = 0, 8 

F0 Ohne Filterung 0,000 0,290 0,145 0,0579 

F1 Spek. Mask., Kreis, Stufe 0,285 0,265 0,275 0,281 

F2 Spek. Mask., Kreis, weich 0,285 0,267 0,276 0,281 

F3 Spek. Mask., Stern, Stufe 0,288 0,273 0,280 0,285 

F4 Spek. Mask., Stern, weich 0,288 0,273 0,280 0,285 

F5 Median-Filter, Breite 7 0,283 0,168 0,226 0,260 



F1 - F4: Spektrale Maskierung Dass die automatische spektrale Maskierung durch- 

gehend hohe bzw. die höchsten Werte erzielt, liegt an der hohen Glattheit s > 0, 6 

bei gleichzeitig durchschnittlicher Detailerhaltung dieses automatisch parametrisier- 

ten Ansatzes. Das wird auch später in der visuellen Bewertung (vgl. Abschn. 4.3.4) 

bestätigt. Die Wahl des Gewichtungsfaktors mit γ = 0.8 betont die positive Wirkung 

der Filter F1 bis F4. Allerdings ist der Gewinn durch die sternförmige Maske (F3,F4) 

nicht deutlich, wie zunächst aufgrund der charakteristischen Frequenzverteilung im 

Spektrum der homogenen Anordnung von Fasern im Querschnitt eines Glasfaserbün- 

dels (hier: Endoskop E6, vgl. Tab. 4.1) vermutet wurde. 

F7: Gauss-Faltung mit σ = 2, 0 Der Wert σ = 2, 0 für die Gauss-Faltung führt 

zu einem nahezu identischen Gütewert QSR = 0, 578, wie ihn die spektrale Filterung 

mit weicher Sternmaske (F4) zeigt (QSR = 0, 585). Das lässt auf eine nahezu optimale 

Wahl der Varianz für das Filter schließen. Der Nachteil zu den Ansätzen F1 bis F4 liegt 

hier, wie im Vergleich auch der Ansatz F6 zeigt, in der Notwendigkeit einer manuellen 

Parametrisierung und damit in der Ungewissheit über die optimale Lösung. 

Um den Rahmen dieser Auswertung nicht zu sprengen, werden hier lediglich zwei 

der untersuchten USAF-Abbildungen mit passenden Evaluierungsbereichen dargestellt 

und analysiert. Mit Tabelle 4.10 werden die Ergebnisse einer zweiten Aufnahme (UF2, 

vgl. Tab. 4.8) zum Vergleich gestellt. Obwohl sich die einzelnen Werte gegenüber den


entsprechenden Zahlen in Tabelle 4.9 unterscheiden, führen sie doch zu der gleichen 

Aussage und machen den Fortschritt durch die automatische Maskierung deutlich. Der 

vergleichsweise niedrige Kontrast in der ungefilterten Version von UF2 führt zu einer 

niedrigen Standardabweichung σ0 im Nenner von Gleichung (3.30) und damit zu ei- 

nem relativ niedrigen Wert QS für die Glattheit. Die Maximalwerte für die spektralen 

Maskierungen mit Sternmaske (F3,F4) liegen dicht an den entsprechenden Ergebnis- 

sen der Maskierungen mit Kreismaske, weil die zugrunde liegenden Aufnahmen mit 

dem Endoskop E4 (vgl. Tab. 4.1) abgebildet wurden. Dieses arbeitet mit einem Bild- 

leiter aus Quarzfasern, dessen Spektrum eine nahezu radialsymmetrische Verteilung 

zeigt und deshalb erwartungsgemäß auch ausreichend gut mit der Kreismaske bearbei- 

tet werden kann. 

4.3.4 Subjektive Bewertung 

Mit einer repräsentativen Stichprobe aus zwölf Szenen (vgl. Abb. 4.6), darunter kon- 

trastreiche Linien-, Punkt- und Kalibriermuster, aber auch zwei Innenansichten eines 

zylinderförmigen Hohlraums, wird die subjektive Wahrnehmung von Testpersonen be- 

züglich der Filteransätze aus Tabelle 4.7 untersucht. 

Jedes der zwölf Bilder wurde zum einen mit den entwickelten Verfahren zur au- 

tomatischen spektralen Maskierung mit optimierter Filtermaske für Quarz- und für 

Glasfaser aufbereitet (vgl. Tab. 4.7, Filtergruppe 1). Zum anderen werden die drei fest 

parametrisierten herkömmlichen Vergleichfilter der Filtergruppe 2 und 3 angewendet 

und die Ergebnisse sieben Testpersonen zur Beurteilung vorgelegt. Für jede der zwölf 

Abbildungen standen zusammen mit der originalen Aufnahme jeweils acht aufberei- 

tete Versionen zur Auswahl. Abbildung 4.7 zeigt beispielhaft für das Linienmuster 

(i) aus Abbildung 4.6 die Resultate der Aufbereitung, die zur Beurteilung allerdings 

auf einem Monitor begutachtet werden müssen. Die Personen wurden nach ihrer sub- 

jektiven Einschätzung bezüglich typischer Kriterien wie Kontrast und Detailerhaltung 

befragt und sollten das Resultat mit dem besten Kompromiss zwischen Wabenredukti- 

on und Detailerhaltung angeben. Wurden zwei Ergebnisse gleich gut eingeschätzt war 

eine Mehrfachnennung möglich. Die Auswahl erfolgte unter einheitlichen Licht- und 

Raumbedingungen und die Abbildungen wurden in Originalgröße auf einem Flach- 

bildschirm dargestellt. 

Tabelle 4.11 zeigt die Ergebnisse des visuellen Vergleichstests, nach den Testper- 

sonen gruppiert. Die oberste Zeile gibt den Mittelwert der Entscheidungen wieder. 

Die Filtergruppe 1 besteht aus den verschiedenen Typen der vorgeschlagenen spektra-


(a) (b) (c) (d) (e) (f) 

(g) (h) (i) (j) (k) (l) 

Abbildung 4.6: Repräsentative Stichprobe aus zwölf Szenen, zur Evaluierung der subjektiven 

Wahrnehmung hinsichtlich verschiedener 

len Maskierung mit automatischer Maskengenerierung (Filter F1 bis F4 in Tab. 4.7). 

Filtergruppe 2 setzt sich zusammen aus den herkömmlichen Filtern Median (F5) und 

Gauss mit σ = 1.0 (F6). Der Gaussfilter F7 mit σ = 2.0 wird separat als Filtergruppe 3 

angegeben, weil seine Parametrisierung in einigen Fällen zu ähnlich guten Ergebnissen 

führt, wie ein bestimmter Typ der spektralen Maskierung (s. Abschn. 4.3.3). Aufgrund 

der Ähnlichkeit der Filterergebnisse von F7 zu Resultaten aus der Filtergruppe 1 könn- 

ten die Entscheidungen für diesen Filter auch zur Filtergruppe 1 gerechnet werden. Der 

Unterschied zwischen den beiden Methoden liegt in der Unsicherheit der Wahl von Pa- 

rametern, die im Fall der vorgeschlagenen Ansätze automatisch berechnet werden, im 

herkömmlichen Fall jedoch manuell gewählt werden. Aber auch bei Unterscheidung 

aller Filtergruppen zeigt die Studie im Mittel eine Präferenz für die Filtergruppe 1 mit 

79% aller Entscheidungen. Nach Meinung der Testpersonen liefern damit die Varianten 

der vorgeschlagenen spektralen Filterung die besten Resultate. 

Eine detailiertere Betrachtung der Entscheidungen in Filtergruppe 1 (im Rahmen 

von diesem Abschnitt nicht weiter ausgeführt) liefert eine weitere interessante Erkennt- 

nis, durch welche die Theorie des Paragraphen Weicher Übergang der Grenzfrequenz 

in Abschnitt 3.2.1.2 bestätigt wird. Demnach wird für Aufnahmen mit Glasfaserbün- 

deln die Filterung mit geglätteter Sternmaske einer Bearbeitung mit hartem Grenz- 

frequenzübergang vorgezogen. Die Ausführungen im genannten Abschnitt über die 

Verknüpfung von Gauss-, Rechtecks- und Sinc-Funktionen zwischen Frequenz- und 

Ortsraum erklären diesen Sachverhalt.


(a) Original (b) F1 (c) F2 (d) F3 

(e) F4 (f) F5 (g) F6 (h) F7 

Abbildung 4.7: Filterresultate (F1 bis F7, vgl. Tab. 4.7) für den visuellen Vergleichstest am 

Beispiel des Linienmusters (i) aus Abbildung 4.6. 

Tabelle 4.11: Ergebnisse des Vergleichstests zur visuellen Wahrnehmung der Restaurierungs- 

güte verschiedener Filteransätze und -dimensionierungen (vgl. Tab. 4.7). 

Fazit: Zusammenfassend kann festgestellt werden, dass die automatische Filterung, 

wie sie in den entsprechenden Abschnitten des Kapitel 3 für die Faserendoskopie vor- 

gestellt werden, mit überwiegender Mehrheit die besten Ergebnisse liefert. Das gilt 

sowohl für die Resultate der subjektiven Wahrnehmung der befragten Testpersonen, 

als auch für die quantitativen Ergebnisse der Evaluierung anhand des eingeführten Gü- 

teindikators zur Wabenreduktion und Detailerhaltung im USAF-Testbild.

4.4. MODELLBASIERTER VERGLEICH VON FILTERUNG VS. INTERPOLATION 145 

4.4 Modellbasierter Vergleich von Filterung vs. Inter- 

polation 

Dieser Abschnitt vergleicht den Ansatz der Filterung und der Interpolation hinsicht- 

lich der Restaurierungsqualität bei unterschiedlicher Bildfrequenz und Faserdichte. 

Zur Evaluierung kommen datengetriebene Gütekriterien in Form von Differenz- und 

Ähnlichkeitsmaßen (vgl. Abschn. 3.6) zum Einsatz. Zu Beginn erhält der Leser einen 

Überblick über die gewählten Bilddaten für die Evaluierung. 


Zur Untersuchung der Abbildungseigenschaften des Faserbündels und der Qualität 

verschiedener Restaurierungsansätze werden Bilder generiert, deren Intensitäten einen 

sinusartigen Verlauf um einen konstanten Mittelwert zeigen. Statt einer unübersichtli- 

chen Menge an Bildausschnitten mit unterschiedlichen Texturbeschaffenheiten kann so 

ein universelles Punktmuster mit variablem periodischen Intensitätsverlauf verwendet 

werden, um die Wirkung der Doppelabtastung durch Faserbündel und Kamerasensor 

gezielt auf bestimmte Grenzfrequenzen hin zu untersuchen. In der Nachrichtentechnik 

werden zu diesem Zweck sog. Wobblergeneratoren eingesetzt, also Frequenzgenerato- 

ren mit periodisch veränderlicher Signalfrequenz. Für die zweidimensionale Darstel- 

lung werden die Bilder sinusförmig in vertikaler und horizontaler Richtung moduliert. 

Gegenüber einem Linienmuster zeigt das so modulierte Punktmuster weniger Alias 

durch Vorzugsrichtungen im Zusammenspiel mit der hexagonalen Anordnung des Fa- 

serbündels. 

f definiere die Ortsfrequenz der Sinusfunktion in Linienpaare pro 1.000 Bildpunkte 

(LP/kPx), W bzw. H die Breite bzw. Höhe des Bilds und Amin bzw. Amax den minimalen 

bzw. maximalen Intensitätswert im Bild. Das Sinusbild SNS wird definiert als 

SNSf (x, y) = Amax 

 

− Amin 2 π f 2 π f 

· sin · x sin · y + 

2 

1000 1000 Amax + Amin 

2 

für 0 ≤ x ≤ W, 0 ≤ y ≤ H . 

Tabelle 4.12 zeigt beispielhaft zwei Sinusbilder der Größe 512 × 512 mit einer 

Ortsfrequenz von f = 30 LP/kPx bzw. f = 120 LP/kPx. Die Amplitude wird auf den 

Bereich von Amin = 20 bis Amax = 220 Graustufen (von möglichen 256 Graustufen) 

begrenzt, um bei der weiteren Bearbeitung Sättigungseffekte zu umgehen. Anschlie- 

ßend wird die Übertragung durch ein Bildbündel mit variabler Faserdichte simuliert.

146 4.4. MODELLBASIERTER VERGLEICH VON FILTERUNG VS. INTERPOLATION 

Tabelle 4.12: Sinusbilder für die Evaluierung der Restaurierungseigenschaften. Die linke Spal- 

te der Beispielbilder zeigt den Verlauf bei einer Frequenz von 30 LP/kPx, die rechte Spalte bei 

einer Frequenz von 120 LP/kPx. Die Zeilen unterscheiden sich hinsichtlich der Faserdichte 

im eingesetzten Bildbündel. In der Bezeichnung SNS [NF] 

f 

LP/kPx) und NF für die Faseranzahl (in Tausend). 

SNS30, SNS120 

SNS [3] 

30, SNS [3] 

120 

SNS [6] 

30, SNS [6] 

120 

SNS [12] 

30 , SNS [12] 

120 

Sinusförmiger Intensitäts- 

verlauf in vertikaler und 

horizontaler Richtung mit 

30 bzw. 120 LP/kPx. 

Abtastung von SNS30 bzw. 

SNS120 mit 3.000 Fasern. 





steht f für die Bildortsfrequenz (in 

30 LP/kPx 120 LP/kPx 

Die drei unteren Zeilen in Tabelle 4.12 zeigen das Ergebnis dieses Schritts für 3.000, 

6.000 und 12.000 Fasern bei einem Aperturradius von 240 Pixel und einer Vorzugsrichtung 

der Faseranordnung von 30 ◦ . Die Indizes f bzw. NF in der Bezeichnung SNS [NF] 

f 

stehen für Bildortsfrequenz f in LP/kPx bzw. für die Faseranzahl NF (in Tausend). 

4.4.2 Vergleichsmöglichkeit von Filterung und Interpolation 

Die Differenzmaße mittlere Betragsdifferenz (MAD) bzw. das verwandte Spitzensig- 

nal-zu-Rausch-Verhältnis (PSNR), sowie die Ähnlichkeitsmaße mittlere strukturelle 

Ähnlichkeit (MSSIM) bzw. die Transinformation (TI) zwischen originalen und aufbe- 

reiteten Bildern bieten einen direkten pixelweisen oder statistischen Vergleich in Be- 

zug auf die Restaurierungsgüte. Die Ansätze werden hinsichtlich der Variablen Bild- 

frequenz (vgl. Abschn. 4.4.3) und Faseranzahl (vgl. Abschn. 4.4.4) untersucht.


Beim Vergleich der beiden Ansätze Filterung und Interpolation mit Differenz- und 

Ähnlichkeitsmaßen tritt eine gravierende Schwierigkeit auf. Über die genaue Position 

der Faserzentren gelingt es mit der Interpolation, unabhängig vom Wabenhintergrund 

die tatsächlichen Spitzenwerte der Helligkeit im Bild zu bestimmen. Der Aufbau des 

restaurierten Bilds erfolgt auf Basis dieser Information. Bei der Filterung hingegen 

werden die dunklen Strukturen des Wabenmusters mit den überwiegend helleren Bild- 

punkten verwaschen. Das Resultat ist eine grundsätzliche Minderung der Helligkeit im 

Bild, was einen intensitätsbasierten Differenzvergleich stark beeinflusst. Für die Evalu- 

ierung mit Differenzmaßen wird daher im Voraus die Bildhelligkeit l und der Kontrast 

c der gefilterten und interpolierten Bilder im Sinne des mittleren quadratischen Fehlers 

bestmöglich an die vorgegebene Szene S angeglichen. So kann gewährleistet werden, 

dass der pixelweise Vergleich der Bildunterschiede unabhängig von globalen Unter- 

schieden in Helligkeit und Kontrast erfolgt. Das Bild I, das zum Vergleich herangezo- 

gen wird, wird dementsprechend durch Addition von ˆl (Helligkeit) und Multiplikation 

mit ĉ (Kontrast) in Bezug auf die Originalszene korrigiert: 

 

ˆl, ĉ = argmin 

l,c 

 

(x,y)∈R 

|I(x, y) · c + l − S(x, y)| . 

4.4.3 Differenzgüte und Ähnlichkeit in Abhänigkeit der Bildfre- 

quenz 

Abbildung 4.8 vergleicht die Restaurierungsqualität bei einer konstanten Faserdich- 

te von 12.000 Fasern auf einer Apertur von 240 Pixel. Die Bildfrequenz variiert von 

20 bis 150 LP/kPx in Schritten von je fünf LP/kPx. Als Gütekriterien sind hier die 

mittlere Betragsdifferenz (MAD) und das Spitzen-Signal-zu-Rausch-Verhältnis (PS- 

NR) aufgetragen. Wie zu erwarten, steigt die MAD und sinkt das PSNR mit steigender 

Bildfrequenz, da bei konstanter Abtastung höhere Frequenzen zu steigenden Fehlern 

im restaurierten Ergebnis führen. Alle drei Ansätze der Aufbereitung starten bei ei- 

ner Bildfrequenz von 20 LP/kPx mit einer Abweichung von ungefähr 2, 5 Grauwer- 

ten bzw. einem PSNR von etwa 38, 3 dB. Auffällig stark springt die Abweichung bei 

der Filterung zwischen 95 und 100 LP/kPx von 15, 6 auf 25, 5 Grauwerte (im Weite- 

ren Qualitätssprung genannt; nähere Betrachtung folgt im nächsten Abschn.), bevor 

sie zwischen 25 und 26 Grauwerte in die Sättigung geht. Die Interpolation hingegen 

verhält sich kontinuierlicher, vor dem Sprung bei der Filterung zwar mit deutlich hö- 

herem Fehler, dafür ohne auffälligem Sprung bei etwa 100 LP/kPx und vergleichs- 

weise besseren Werten nach dem Einbruch der Filterung. Die Beobachtung lässt sich 

mit dem Theorem der Abtastung erklären, das für eine bestimmte Abtastfrequenz ei-


ne Grenzfrequenz für die zu übertragenden Bildinhalte definiert. Gleichung (3.4) gibt 

den mittleren Faserabstand bei 12.000 Fasern innerhalb einer Apertur mit Radius 240 

Pixel mit 4, 2 Pixel an (vgl. Kurvenschar in Abb. 3.4). Die Periodenlänge zwischen 

zwei exakt abgetasteten hellen bzw. dunklen Punkten entspricht damit in guter Nähe- 

rung der beobachteten Grenzfrequenz. Die Analyse wird in Abbildung 4.9 durch zwei 

weitere Vergleichsmaße, der strukturellen Ähnlichkeit (MSSIM) und der statistischen 

Transinformation (TI) bestätigt. Am Verlauf der MSSIM lässt sich der dritte Ansatz, 

nämlich die kombinierte Anwendung von Interpolation und Filterung, wie sie in Ab- 

schnitt 3.2.3 vorgeschlagen wird, gut beurteilen. Sowohl vor dem Qualitätssprung, als 

auch nach diesem folgt die gestrichelte Kurve jeweils dem Ergebnis des schlechteren 

Ansatzes. Sinkt sie bereits zu Beginn von 100% mit der Kurve der Interpolation konti- 

nuierlich ab, so fällt sie am Qualitätssprung mit der Filterung auf das Sättigungsniveau 

zwischen 46% und 47% und bescheinigt damit diesem kombinierten Ansatz ein durch- 

weg schlechtes Ergebnis, verglichen mit den beiden einzelnen Verfahren. 

4.4.4 Differenzgüte und Ähnlichkeit in Abhängigkeit der Faseran- 

zahl 

Eine wichtige Fragestellung betrifft das Restaurierungsverhalten bestimmter Bildfre- 

quenzen unter variierender Faserdichte im Querschnitt des abtastenden Bildbündels. 

So kann in Abhängigkeit der Faseranzahl die Güte der Restaurierung untersucht wer- 

den. Für zwei Bildfrequenzen, nämlich 80 und 100 LP/kPx ist in den Abbildungen 

4.11, 4.12 und 4.13 die Differenz bzw. Ähnlichkeit für verschiedene Faseranzahlen von 

3.000 bis 18.000 Fasern aufgetragen. Der Kurvenverlauf in Abbildung 4.11 zeigt den 

Qualitätssprung und damit die Schwelle der strukturerhaltenden Restaurierung zwi- 

schen 8.000 und 9.000 Fasern. Zum Vergleich: Handelsübliche Endoskope verwenden 

meist Bildbündel mit mindestens 12.000 Fasern. 

Abbildung 4.10 veranschaulicht die Bedeutung und Auswirkung des Qualitäts- 

sprungs. Dazu sind für eine konstante Bildfrequenz von 80 LP/kPx die Bilddaten im 

kritischen Bereich zwischen 7.000 und 10.000 Fasern nebeneinander aufgereiht und 

mit einem vergrößerten Ausschnitt gekennzeichnet. (a) zeigt das originale Muster. (b) 

bis (e) zeigen die Originaldaten nach Abtastung durch das Bildbündel mit der entspre- 

chenden Faseranzahl: (b) 7.000, (c) 8.000, (d) 9.000 und (e) 10.000. (f) bis (i) sind 

die entsprechenden Resultate nach Filterung und (j) bis (m) die Ergebnisse nach In- 

terpolation. Bis zur Schwelle von 8.000 Fasern ist das Ergebnis der Filterung noch 

gravierend durch Aliaseffekte bestimmt (vgl. (b,c) Abb. 4.10). Erst ab 9.000 Fasern 

bleibt die Struktur des Punktmusters nach Filterung der Abtastung erhalten (vgl. (d,e)


Abbildung 4.8: Vergleich der Restaurierungsqualität bei variabler Bildfrequenz. Die Filterung, 

die Interpolation und die hintereinander geschaltete Kombination aus beiden werden mit den 

Differenzmaßen MAD und PSNR (vgl. Abschn. 3.6.2) evaluiert. Als Bildmaterial wird ein uni- 

verselles Punktmuster verwendet, das für verschiedene Bildfrequenzen von 20 bis 150 LP/kPx 

generiert und mit konstanter Faserdichte (12.000 Fasern in 240 Pixel Aperturradius) abgebil- 

det wird. 

Abbildung 4.9: Vergleich der Restaurierungsqualität bei variabler Bildfrequenz. Die Filterung, 

die Interpolation und die hintereinander geschaltete Kombination aus beiden werden mit den 

Differenzmaßen MSSIM und TI (vgl. Abschn. 3.6.3) evaluiert. Als Bildmaterial wird ein uni- 

verselles Punktmuster verwendet, das für verschiedene Bildfrequenzen von 20 bis 150 LP/kPx 

generiert und mit konstanter Faserdichte (12.000 Fasern in 240 Pixel Aperturradius) abgebil- 

det wird.


Abb. 4.10), was sich nach den betrachteten Differenz- und Ähnlichkeitsmaßen durch 

einen sprunghaften Anstieg der Restaurierungsqualität (Qualitätssprung) bemerkbar 

macht. Bei der Interpolation hingegen sind über den gesamten dargestellten Bereich 

Strukturartefakte zu erkennen. Dadurch dass einzelne Stützstellen jedoch in Bezug auf 

die Helligkeit korrekt detektiert werden, ergibt sich für die gewählten Gütemaße im 

Mittel ein Wert, der vor dem Qualitätssprung etwas über und danach deutlich unter 

dem der Filterung liegt. 

Bei der Betrachtung von höheren Strukturfrequenzen im Ausgangsbild steigt er- 

wartungsgemäß auch die Schwelle der Faseranzahl, ab der eine strukturerhaltende 

Restaurierung möglich ist. Abbildung 4.13 zeigt diesen Verlauf für ein universelles 

Punktmuster mit 100 LP/kPx. Bei der Schwelle zwischen 12.000 und 13.000 Fasern 

verbessert sich demnach die Qualität der Restaurierung für die Filterung gemessen an 

der MAD um über 25% und das PSNR steigt um über drei dB an. Wie bei der Variati- 

on der Bildfrequenzen, so tritt auch hier der Qualitätssprung nur bei der Filterung und 

dem kombinierten Ansatz auf. Für niedrige Faseranzahlen ist die Qualität der Interpo- 

lation besser als die der Filterung. Das liegt an dem stützstellenbasierten Prinzip der 

Interpolation, mit dem sie zwar zuverlässige Signalwerte an vorhandenen Faserzen- 

tren definieren kann, jedoch auf nicht optimale Weise, z.B. mit nicht differenzierbaren 

Verläufen zwischen diesen Stützstellen interpoliert. 

4.4.5 Fazit 

Beim direkten Vergleich von restaurierten Bildern mit ihrem Original muss der Ein- 

fluss durch die Schwelle der Strukturerhaltung beachtet werden. Sie gibt an, ab wel- 

cher Grenze die gemessenen Qualitätsunterschiede durch Aliaseffekte maßgeblich be- 

einflusst werden. Generell tritt diese Schwelle bei der Filterung dort am deutlichsten 

auf, wo das Abtasttheorem eine Grenzfrequenz für die Rekonstruktion eines Signals 

mit bestimmter Frequenz definiert. Bei der Interpolation nimmt die Qualität mit stei- 

gender Faserdichte bzw. sinkender Signalfrequenz kontinuierlicher zu, kommt global 

jedoch nicht an die Spitzenqualität der Filterung heran. 

Die Kombination der beiden Ansätze hat ihre Stärken in der lokalen Retuschierung 

von Faserdefekten und der Aufbereitung zur visuellen Darstellung von Aufnahmen 

mit preisgünstigen Bildleitern (vgl. Abschn. 3.2.3), zeigt jedoch im quantitativen Dif- 

ferenzvergleich die Schwächen beider Einzelverfahren und schneidet auf Basis aller 

Differenz- und Ähnlichkeitsmaße stets schlechter als die Filterung bzw. die Interpola- 

tion ab.


(a) SNSorig 

(b) SNS7,80 (c) SNS8,80 (d) SNS9,80 (e) SNS10,80 

(f) SNS7,80, gefiltert (g) SNS8,80, gefiltert (h) SNS9,80, gefiltert (i) SNS10,80, gefiltert 

(j) SNS7,80, interpoliert 

(k) SNS8,80, interpoliert 

(l) SNS9,80, interpoliert 

(m) SNS10,80, interpoliert 

Abbildung 4.10: Visualisierung des Qualitätssprungs bei der Restaurierung durch Filterung. 

(a) zeigt das originale Muster mit vergrößertem Ausschnitt. (b) bis (e) zeigen die Originaldaten 

nach Abtastung durch verschieden dichte Faserbündel ((b): 7.000, (c): 8.000, (d): 9.000 und 

(e): 10.000). (f) bis (i) sind die entsprechenden Resultate nach Filterung und (j) bis (m) die 

Ergebnisse nach Interpolation.


Abbildung 4.11: Vergleich der Restaurierungsqualität bei variabler Faseranzahl. Die Filte- 

rung, die Interpolation und die hintereinander geschaltete Kombination aus beiden werden mit 

den Differenzmaßen MAD und PSNR (vgl. Abschn. 3.6.2) evaluiert. Als Bildmaterial wird ein 

universelles Punktmuster mit 80 LP/kPx verwendet, das mit variabler Anzahl von 3.000 bis 

18.000 Fasern abgetastet ist. 



den Differenzmaßen MSSIM und TI (vgl. Abschn. 3.6.3) evaluiert. Als Bildmaterial wird ein 


18.000 Fasern abgetastet ist.

4.5. EVALUIERUNG DER FARBBILDRESTAURIERUNG 153 



den Differenzmaßen MAD und PSNR (vgl. Abschn. 3.6.2) evaluiert. Als Bildmaterial wird ein 


18.000 Fasern abgetastet ist. 

4.5 Evaluierung der Farbbildrestaurierung 

Die Erweiterung der Restaurierungsansätze auf Farbinformation berücksichtigt spe- 

ziell die Verteilung des Farbfiltermosaiks (z. B. Bayer-Pattern) auf dem Kamerasen- 

sor. Die darauf beruhende Rohdateninterpolation entfernt einerseits die Wabenstruk- 

tur aus den faseroptisch abgetasteten Aufnahmen. Andererseits können durch die in 

Abschnitt 3.3 beschriebene Technik das störende Farbmoiré und die Strukturartefakte 

umgangen werden, denen ein Ungleichgewicht in der Ausleuchtung des Kamerasen- 

sors aufgrund der faseroptischen Übertragung zugrunde liegt. Um die Auswirkungen 

des vorgestellten Verfahrens auf die Bildqualität an einem anwendungsnahen Beispiel 

zu verdeutlichen, wird in Abbildung 4.14(A1) ein Ausschnitt der menschlichen Haut 

gezeigt. Da faseroptische Endoskope vielfältig in medizinischen Untersuchungen von 

menschlichen Gewebe zum Einsatz kommen, ist die Haut ein typischer Vertreter sol- 

cher Oberflächen. Die Aufnahme erfolgte mit dem Endoskop E6 (vgl. Tab. 4.1) und 

der Kamera K4 (vgl. Tab. 4.2). 

In diesem Beispiel tasten die knapp 10.000 hexagonal angeordneten Fasern die 

texturierte Oberfläche im mittleren Abstand von df = 5, 2 Pixel (bei einer Standard- 

abweichung von 0, 65 Pixel) ab. Der für das Farbmoiré entscheidende Effekt hängt ab 

von der Dichte des Faserbündels, dem Abbildungsverhältnis des Faserbündels auf den 

Kamerasensor und der Größe eines einzelnen Sensorelements. Dieser mittlere Faser-

154 4.5. EVALUIERUNG DER FARBBILDRESTAURIERUNG 

abstand df liegt im typischen Bereich, wie er in Abschnitt 3.2.2 für die subpixelgenaue 

Restaurierung vorausgesetzt wird. Der Effekt konnte aber auch mit verschiedenen an- 

deren Konstellationen nachgewiesen und bearbeitet werden. 

Abbildung 4.14(a) zeigt die Sensordaten der faserendoskopischen Aufnahme ei- 

nes Hautbereichs mit der Auflösung 800 × 600 Bildpunkte in einer Bildapertur mit 

Durchmesser rA = 500 Bildpunkten. Für die Farbdarstellung wurden die Rohdaten der 

Kamera durch Demosaicing in drei mal acht Bit konvertiert, liegen jedoch dem Algor- 

tihmus auch in originaler Form (zwölf Bit Intensität) vor. Der markierte vergrößerte 

Ausschnitt (vgl. Abb. 4.14(b)) zeigt die hexagonale Wabenstruktur, die zur initialen 

Lokalisierung der Faserzellen für den Algorithmus möglichst scharf abgebildet wer- 

den muss. Durch die Farbinterpretation der einzelnen Sensorelemente (Bayer-Pattern) 

entsteht eine mosaikartige Verteilung der Farbinformation. Um die Präsenz und den 

Einfluss der unterschiedlichen Strukturierung in den vergrößerten Ausschnitten zu ver- 

deutlichen, die sowohl von den Hautrillen, als auch von der Wabenstruktur und dem 

Bayer-Pattern verursacht ist, wird mit dem Canny-Filter 3 [Can86] ein Gradientenbild 

vom Rotkanal erzeugt. Für eine vergleichbare Gegenüberstellung werden die Parame- 

ter des Filters für alle Strukturbilder konstant gehalten: σ = 1.0, δmin = 0, 047 und 

δmax = 0, 106 (Parameterbezeichnung s. [Can86]). Wie zu erwarten zeigt das entspre- 

chende Strukturbild der unbearbeiteten Aufnahme (vgl. Abb. 4.14(c)) feine homogene 

Gradienten, die hauptsächlich auf das periodische Wabenmuster des Faserbündels zu- 

rückgehen. Der Bildinhalt wird in diesem Ausschnitt nicht deutlich. Die Reihe von Ab- 

bildung 4.14(d) bis Abbildung 4.14(f) zeigt die gleichen Aufnahmen, nachdem sie mit 

der vorgestellten Filtermethode zur automatischen spektralen Maskierung aufbereitet 

und anschließend durch Weißabgleich, Kontrastanpassung und Tonwertanpassung op- 

timiert wurden. Aufgrund der Fehlinformation durch die Farbinterpretation auf dem 

Farbfiltermosaik kann die Farbzusammensetzung lokaler Bildbereiche nicht fehlerfrei 

rekonstruiert werden. Der Ausschnitt in Abbildung 4.14(e) zeigt diesen Effekt durch 

ein von links oben nach rechts unten verlaufendes Farbmuster, was durch die Überla- 

gerung der Gradienten von Hautstruktur und Farbmoiré in Abbildung 4.14(f) bestätigt 

wird. Die unterste Reihe in Abbildung 4.14 vermittelt den visuellen Fortschritt nach 

Aufbereitung mit der vorgestellten Rohdateninterpolation. Der vergrößerte Ausschnitt 

in Abbildung 4.14(h) zeigt nach wie vor sämtliche Strukturen der Hautoberfläche, aber 

die Überlagerung von Farbstreifen ist vollständig bereinigt, wie auch das Gradienten- 

bild (vgl. Abb. 4.14(i)) bestätigt. Ohne Artefaktstruktur sind wichtige Details in den 

Aufnahmen, z. B. die Rillen der Haut im Bereich von 400µm optisch zuverlässiger 

wahrnehmbar. 

3 Canny-Filter: Algorithmus zur Kantendetektion in Bildern

4.5. EVALUIERUNG DER FARBBILDRESTAURIERUNG 155 

(a) (b) (c) 

(d) (e) (f) 

(g) (h) (i) 

Abbildung 4.14: Sensordaten der faserendoskopischen Aufnahme eines Hautbereichs (a) mit 

markiertem vergrößertem Ausschnitt (b) und dem Strukturbild als Ergebnis einer Canny- 

Filterung des roten Farbkanals (c). Die Reihe (d-f) zeigt die gleichen Aufnahmen, nachdem 

sie mit den aktuellen Filtermethoden aufbereitet wurden. Die Reihe (g-i) vermittelt den visuel- 

len Fortschritt nach Aufbereitung mit der vorgestellten Rohdateninterpolation.

156 4.6. AUFLÖSUNGSSTEIGERUNG DURCH SUPERPOSITION 

Weiterer Vorteil bei dem vorgestellten Ansatz zur Farbinterpolation ist u.a. der im- 

plizite Weiß- und Schattenabgleich, d.h. eine manuelle Parametrisierung und weitere 

Vorverarbeitungsschritte entfallen und die Ergebnisse bleiben reproduzierbar. Statt ei- 

ner Tiefpassfilterung zur Mittelung der Farbbeiträge, was zu dem beobachteten Farb- 

moiré führt, nutzt der Ansatz die Kenntnis über die Position und Verteilung der Fasern 

und der Farbfilter, um subpixelgenau die Intensität und Farbzusammensetzung des Ori- 

ginalbilds zu restaurieren. 

4.6 Auflösungssteigerung durch Superposition 

Das in Abschnitt 3.5 ausgeführte Verfahren zur Steigerung der Auflösung von Bildse- 

quenzen wird in erster Linie durch zwei Einflussgrößen gesteuert. Das ist zum einen die 

Anzahl NI von benachbarten Bildern, die für die Erweiterung mit registrierten Merk- 

malen herangezogen werden und zum anderen die maximale Anzahl NM an Merkma- 

len, die jeweils aus den NI benachbarten Bildern in das Basisbild integriert werden. Ein 

Super Resolution Bild HR I erhält zur Kennzeichnung dieser Einflussgrößen das Super- 

skript (NI, NM), also HR I (NI,NM) . Abschnitt 4.6.2 untersucht die Superposition visuell, 

d.h. subjektiv durch einen Betrachter. Dies kann einerseits durch einen Vergleich der 

Ergebnisbilder mit dem herkömmlich aufgelösten Basisbild LR Îˆn erfolgen (ˆn indiziert 

das Basisbild), oder im Verhältnis zu anderen hoch aufgelösten Ergebnissen HR I (N′ I ,N′ M ) 

mit N ′ I = NI oder N ′ M = NM ausgewertet werden. Abschnitt 4.6.3 diskutiert die Ergeb- 

nisse aus quantitativen Vergleichen auf der Basis von Differenz- und Ähnlichkeitsma- 

ßen. Soweit nicht anders angegeben, erfolgt in allen Analysen die Registrierung von 

Bildmerkmalen zur Verbesserung des Basisbilds datengetrieben, d.h. ohne Einbringen 

von Zusatzwissen über die Richtung und Schrittweite der Bewegung. Abschnitt 4.6.4 

vergleicht abschließend das Ergebnis der Superposition mit dem von Interpolation und 

Filterung. Hier werden an einem ausgewählten Beispiel die Herausforderungen und 

Grenzen der Superposition anschaulich verdeutlicht. 


Die unterschiedlichen Bildinhalte und deren Strukturen im Bild spielen eine wichti- 

ge Rolle sowohl bei der Berechnung von Bewegungsvektorfeldern und damit die al- 

gorithmische Stabilität der Superposition, als auch für das subjektive Empfinden der 

resultierenden Bilder. Für den Vergleich werden deshalb vier Konstellationen mit un- 

terschiedlichen Oberflächen und Reflexionseigenschaften gewählt (vgl. Tab. 4.13). Die

4.6. AUFLÖSUNGSSTEIGERUNG DURCH SUPERPOSITION 157 

Konstellationen BST, LNA und ALU stellen künstliche Aufnahmen dar, d.h. sie wur- 

den zunächst von einer Kamera (ohne Endoskop) aufgezeichnet und daraufhin vom 

faseroptischen Abbildungsmodell derart mit einem Wabenmuster überlagert, dass die 

generierte Bildfolge einer meanderförmigen Bewegung des Faserendoskops entspricht. 

Die Größe beträgt jeweils 640×640 Pixel und die Apertur mit Radius 265 Pixel enthält 

8359 Faserzentren. Die Bildsequenz ZYL wurde entlang der Symmetrieachse eines zy- 

linderförmigen Hohlraums mit dem Endoskop E6 (vgl. Tab. 4.1) aufgenommen. Die 

matte Oberfläche des Zylinders zeigt zur Verdeutlichung des Effekts Schriftzeichen 

mit kontrastreichen Kanten. Die Bilddimension beträgt 700 × 700 Pixel, der Aper- 

turradius umfasst 268 Pixel und vom Algorithmus werden 9569 Faserzentren detek- 

tiert. Die Sequenz SPF zeigt eine Spielfigur (Schlumpf), um die das Faserendoskop E6 

frei herumgeführt wurde. Aufgrund seiner reflektierenden Oberfläche zeigt das Objekt 

mehrere Glanzstellen. Die Bilder werden mit einer Größe von 640 × 640 Pixel, einem 

Aperturradius von 367 Pixel und 8514 Fasern im sichtbaren Bildbereich bearbeitet. Im 

Folgenden werden die eingeführten Mnemoniks 4 BST, LNA, ALU, ZYL und SPF zur 

Beschreibung der Bildsequenzen und gleichermaßen für die Bezeichnung einzelner 

Bilder dieser Sequenzen verwendet. 

Der Vollständigkeit halber werden hier noch zwei interne Parameter des Tracking- 

Algorithmus genannt. Aufgrund der starken Unterabtastung durch die Kombination 

zwischen Faseroptik und Kamera wird für den blockweisen Vergleich der Bildaus- 

schnitte eine Fensterbreite von 25 gewählt und das Bildmaterial zusätzlich durch ein 

Gaussfilter mit der Varianz 2.0 geglättet. 

4.6.2 Visuelle Beurteilung 

Am Beispiel der Bildsequenzen BST, LNA und ALU soll die Kombination von meh- 

reren Einzelbildern zu einem detailreicheren Super Resolution Bild demonstriert wer- 

den. Den drei Szenen ist gemeinsam, dass sie aus rein translatorischen Verschiebungen 

durch Modellierung mit dem faseroptischen Abbildungsmodell generiert wurden. 

BST (vgl. Abb. 4.15) zeigt eine Szene mit einem Bleistift und einer Büroklammer 

vor homogenem Hintergrund (a,b). Die reine Interpolation (c) macht den Stufeneffekt 

durch die hexagonale Abtastung deutlich. Durch Überlagerung von mehreren zusätz- 

lichen Merkmalen aus benachbarten Bildern wird dieser Effekt sichtbar geringer. Der 

Ausschnitt (d) zeigt diese Verbesserung, wobei hier bis zu 5 6400 Merkmale aus sechs 

4 Mnemonik: Einprägsames Kurzzeichen eines Ausdrucks 

5 Die Formulierung bis zu wird in den visuellen Ergebnissen der Sequenz SPF näher erläutert.


BST 

LNA 

ALU 

ZYL 

SPF 

VKT 

Tabelle 4.13: Szenenkonstellationen für die Evaluierung von Super Resolution 

Modellierte Abbildung mit dem Motiv Bleistift: 

Kontrastreiche Übergänge und große homogene 

Flächen. 

Modellierte Abbildung mit dem Motiv Lena: Stark 

strukturierte Grauschattierungen. 

Modellierte Abbildung einer gewölbten 

Aluminiumfolie mit Aufdruck 

Matte Oberfläche eines zylindrischen Hohlraums 

mit Schriftzeichen. Das Endoskop bewegt sich ent- 

lang der Symmetrieachse in den Hohlraum hinein. 

Reflektierende Oberfläche einer Spielfigur mit 

Glanzstellen. Das Faserendoskop wird frei um das 

Objekt herumbewegt. 

Abbildung einer Visitenkarte: Schriftzeichen mit 

hohem Kontrast. Viele homogene Flächen. 

benachbarten Bildern verwendet wurden. Die homogenen Bereiche und die kleinen 

dunklen Strukturen z. B. der Schriftränder erschweren die Registrierung von Punkt- 

merkmalen zwischen zwei Bildern, wie insbesondere der mittlere und obere Bereich 

des Ausschnitts (d) hinter der Büroklammer zeigt. Im unteren Bereich des aufbereite- 

ten Ausschnitts (d) kann die Degradierung durch die faseroptische Abtastung gegen- 

über der Originalaufnahme (e) weitgehend kompensiert werden. 

Die Aufbereitung des Fotomotivs in LNA (vgl. Abb. 4.16) wirkt auf den Betrachter 

in vielen Bereichen noch erfolgreicher, als dies bei BST der Fall ist. Das liegt an den 

stark strukturierten Grauschattierungen im linken Bereich des Ausschnitts, die dem Al- 

gorithmus eine präzise Bewegungsschätzung ermöglichen. (c) zeigt das Zwischener- 

gebnis nach Interpolation des Ausschnitts (b). Die starke Abstufung in den Haarsträh-


(a) (b) (c) N = 0 (d) N=6,F=6400 (e) Orig 

Abbildung 4.15: Visuelles Ergebnis der Auflösungssteigerung für die Sequenz BST (vgl. 

Tab. 4.13). (b) zeigt den Ausschnitt aus (a), der durch faseroptische Abtastung aus der ori- 

ginalen Szene (e) modelliert wird. (c) zeigt das Ergebnis reiner Interpolation (NI = 0), wo- 

hingegen (d) aus der Kombination von max. 6400 Merkmalen aus sechs angrenzenden Bildern 

entstanden ist. 

(a) (b) (c) N = 0 (d) N = 8, F = 6400 

Abbildung 4.16: Visuelles Ergebnis der Auflösungssteigerung für die Sequenz LNA (vgl. 

Tab. 4.13). (b) zeigt einen Ausschnitt der faseroptisch modellierten Szene aus (a). (c) zeigt 

das Ergebnis reiner Interpolation (NI = 0). (d) ist das Resultat der Superposition mit max. 

6400 Merkmalen aus 8 angrenzenden Bildern der Sequenz. 

nen, den Wimpern und der Mundpartie sind auf den typischen Stufeneffekt zurück- 

zuführen. Für das hoch aufgelöste Ergebnis (d) wurden aus 8 benachbarten Aufnah- 

men maximal 6400 Merkmale kombiniert. Die genannten Bildbereiche sind sichtbar 

schärfer und der Verlauf der Konturen glatter, was dem Original verhältnismäßig nahe 

kommt. 

Die Auflösungssteigerung für die Sequenz ALU ist in Abbildung 4.17 veranschau- 

licht. Die Szene (a) stellt eine bedruckte Aluminiumfolie dar, aus der ein Ausschnitt (b) 

gewählt ist, der einen hellen Bereich mit wellenfömiger Schattierung (oben), das um- 

kreiste R mit relativ feinen Linienstrukturen (rechts) und einen Teil des großen Schrift- 

zugs ÜBERRASCHUNG zeigt. Die erste Zeile der Abbildung (a-d) ist analog zur Dar- 

stellung in Abbildung 4.16 aufgebaut, wobei hier der hochauflösende Ausschnitt (d) 

aus 10 Bildern kombiniert ist. An den Parametern dieses Ausschnitts (NI = 10, NM =


6400) soll die Wahl und Registrierung der Merkmale genauer erläutert werden. Ent- 

sprechend der sequentiellen Bearbeitung der benachbarten Bilder (vgl. Abb. 3.40 in 

Abschn. 3.5.6) werden im Basisbild bis zu 6400 Merkmale gewählt, die daraufhin in 

beiden Richtungen der Bildsequenz verfolgt werden. Aufgrund von mangelndem Kon- 

trast kann selbst initial nicht immer die geforderte Maximalzahl an Merkmalen gefun- 

den werden. Weiterhin scheitert die Registrierung bei einigen Merkmalen im Verlauf 

der Bearbeitung der benachbarten Bilder, weil sie nicht wieder gefunden werden kön- 

nen. Deshalb nimmt die Anzahl der Merkmale, die aus den benachbarten Bildern in 

das Basisbild eingefügt werden können, mit zunehmender Entfernung zum Basisbild 

ab. Im konkreten Fall werden 5919 valide Merkmale im Basisbild gewählt, die darauf- 

hin für jeweils fünf Bilder in jeder Richtung weiterverfolgt werden. Mit jedem Schritt 

verringern sich die validen Merkmale, wie die folgenden beiden Zeilen für die zurück- 

liegenden bzw. die vorausliegenden Bilder (vgl. Abb. 3.40(b)) zeigen: 

Zurückliegende Bilder vom Index [ˆn − 5] bis zum Basisbild [ˆn]: 

[ˆn−5] [ˆn−4] [ˆn−3] [ˆn−2] [ˆn−1] [ˆn] 

5733 

−10 

−34 

−100 

−25 

−17 

← 5743 ← 5777 ← 5877 ← 5902 ← 5919 

Vorausliegende Bilder vom Basisbild [ˆn] bis zum Index [ˆn + 5]: 

Basisbild 

5919 

−43 

−41 

→ 5876 → 5835 

Basisbild 

−85 

−21 

−11 

→ 5750 → 5729 → 5708 

[ˆn] [ˆn+1] [ˆn+2] [ˆn+3] [ˆn+4] [ˆn+5] 

Wird einer der beiden Parameter NI bzw. NM konstant gehalten und der zweite va- 

riiert, so können zwei interessante Beobachtungen gemacht werden. Die Ausschnitte 

(e) bis (h) sind bei konstanter Anzahl NI = 6 für verschiedene maximale Anzahlen an 

Merkmalen NM ∈ {200; 800; 3200; 6400} bearbeitet. Für den Betrachter ist die Verbes- 

serung im Verlauf der Aufbereitung von (e) bis (h) erkennbar. Die Kanten der dicken 

Linien im linken unteren Bereich werden erst bei NM = 6400 dem Original entspre- 

chend glatt dargestellt. Wird hingegen die Anzahl der Merkmale konstant gehalten 

(NM = 3200, vgl. Ausschnitte (i) bis (l)), so scheint die Detailsteigerung über NI = 8 

(Ausschn. (k)) keinen Fortschritt mehr zu erzielen. 

Im Rahmen einer subjektiven Umfrage wurde der visuelle Eindruck einer Sättigung 

im Prozess der Detailanreicherung für zehn verschiedene Bildreihen protokolliert, die 

sukzessive mit max. NM = 1200 Merkmalen aus jeweils 0, 5, 10, 15, 20 bzw. 25 be- 

nachbarten Bildern pro Basisbild generiert wurden. Weiterhin wurden von den neun 

Testpersonen aus dem Bereich der Bildverarbeitung unsortierte Aufnahmen hinsicht- 

lich ihrer Detailtreue in eine aufsteigende Reihenfolge gebracht. Das Ergebnis dieser


Studie bestätigt die deutliche Zunahme von Details (lesbare Schrift, Kanten) bei Kom- 

bination von fünf bis zehn fiberskopischen Einzelaufnahmen, wobei das Resultat stark 

vom Motiv und der Struktur in der Abbildung abhängt. Weiterer Aufwand zur Stei- 

gerung der Auflösung wird nur noch von deutlich weniger als 50% der Befragten als 

bemerkbar eingestuft. Dieser Effekt wird im nächsten Abschnitt auch noch durch quan- 

titative Analysen belegt. 

Die beschriebenen Experimente und Ergebnisse (BST, LNA, ALU) beruhen auf der 

Bearbeitung von künstlich faseroptisch modellierten Abbildungen, was unter anderem 

zu einer rein translatorischen Bewegung führt. Die Bildsequenz ZYL hingegen wurde 

mit einem Faserendoskop entlang der Symmetrieachse eines zylindrischen Hohlraums 

aufgezeichnet. Der vergrößerte Ausschnitt (a) in Abbildung 4.18 zeigt einen Teil des 

Schriftzugs der weitwinkelig verzerrten Ansicht der Hohlraumwandung (vgl. ZYL in 

Tab. 4.13). (b) stellt das Zwischenergebnis der Bildrestaurierung nach Interpolation 

dar (NI = 0) und damit die Grundlage für die Auflösungssteigerung, die durch Kom- 

bination von zehn benachbarten Aufnahmen (NI = 10) zum Resultat in Ausschnitt 

(c) gelangt. Dass die Konturen des Schriftzugs präziser erscheinen, ist eine Bestäti- 

gung, dass das umgesetzte Verfahren zur Superposition durch die lokale Ergänzung 

von Bilddetails prinzipiell auch für den endoskopischen Einsatz in zylinderförmigen 

Hohlräumen mit Vorschub in Blickrichtung geeignet ist. Eine größere Studie für diesen 

Einsatzbereich wurde bislang allerdings noch nicht durchgeführt und ausgewertet. 

In der industriellen Bildverarbeitung stellen sog. Glanzlichter eine große Heraus- 

forderung dar, weil sie beobachtungsvariant sind und Information verdecken. Mit der 

Sequenz SPF (vgl. Abb. 4.19) soll beispielhaft gezeigt werden, dass die Merkmals- 

findung und -registrierung selbst bei einer frei geführten Endoskopbewegung um ein 

reflektierendes Objekt brauchbare Ergebnisse liefert, um die Qualität von Einzelbil- 

dern durch Superposition zu steigern. Der Ausschnitt (c) zeigt das interpolierte Zwi- 

schenergebnis der Augenpartie der Spielfigur. Besonders am linken Auge (rechts un- 

ten im Ausschnitt) ist hier eine starke Störung des Kantenverlaufs zu erkennen, die auf 

Interpolationsartefakte zurückzuführen ist. Durch die Superposition von zusätzlichen 

Details aus sechs benachbarten Aufnahmen wird dieser Bereich sichtbar verbessert. 

Weiterhin werden der Kontrast und die Qualität der Darstellung von Reflexionsstel- 

len um Auge und Nase erhöht. An der Innenseite des rechten Auges sind hingegen 

kleine Störungen zu erkennen, die auf Ungenauigkeiten in der Merkmalsregistrierung 

zurückzuführen sind.


(a) (b) Orig. (c) NI = 0 (d) NI = 10, NM = 6400 

(e) NI = 6, NM = 200 (f) NI = 6, NM = 800 (g) NI = 6, NM = 3200 (h) NI = 6, NM = 6400 

(i) NI = 2, NM = 3200 (j) NI = 4, NM = 3200 (k) NI = 8, NM = 3200 (l) NI = 10, NM = 3200 

Abbildung 4.17: Visuelles Ergebnis der Auflösungssteigerung für die Sequenz ALU (vgl. 

Tab. 4.13). (b) zeigt einen vergrößerten Ausschnitt aus (a). (c) Ergebnis der reinen Interpolation 

(N = 0), nachdem der Ausschnitt faseroptisch modelliert wurde. (d) Resultat der Superposition 

mit max. 6400 Merkmalen aus 8 angrenzenden Bildern der Sequenz. In der zweiten Reihe (e-h) 

wird bei konstanter Bildanzahl NI = 6 die Menge der Merkmale variiert, wohingegen in der 

dritten Reihe (i-k) die Anzahl der Merkmale konstant bei 3200 gehalten wird und die Anzahl 

der kombinierten Bilder variiert wird. 

(a) (b) NI = 0 (c) NI = 10 

Abbildung 4.18: Vergrößerter Ausschnitt einer faserendoskopischen Aufnahme beim Blick in 

einen zylinderförmigem Hohlraum mit Schriftzeichen (a). Zwischenergebnis der Bildrestau- 

rierung nach Interpolation (b). Superposition von zehn benachbarten Aufnahmen mit einer 

Verschiebung der Endoskopoptik entlang der Symmetrieachse des Hohlraums (c).


(a) (b) (c) N = 0 (d) N = 6, F = 3200 

Abbildung 4.19: Visuelles Ergebnis der Auflösungssteigerung für die Sequenz SPF (vgl. 

Tab. 4.13). (b) zeigt einen Ausschnitt der realen faseroptischen Sequenz aus (a). (c) Ergebnis 

der reinen Interpolation (NI = 0). (d) Resultat der Superposition mit max. 3200 Merkmalen 

aus sechs angrenzenden Bildern der Sequenz. 

4.6.3 Direkter Differenzvergleich 

Aus der theoretischen Betrachtung des Flächenabtastverhaltens in Abschnitt 3.5.2 ist 

ein Grenzwert zu erwarten, den eine Bildverbesserung nicht überschreiten kann. Mit 

einem direkten Differenzvergleich mit dem Abstandsmaß MAD (vgl. Abschn. 3.6.2) 

wird dieser Effekt in diesem Abschnitt quantitativ beobachtet. 

Durch die modellbasierte Abtastung des Szenenbilds (Grundwahrheit) sind die Be- 

wegungen zwischen den Einzelaufnahmen zwar deterministisch vorgegeben, aber die 

Detektion und Registrierung von Merkmalen geschieht ohne dieses Vorwissen, um 

die Versuchsreihe möglichst realitätsnah zu halten. Für die Parameter NI = 6 und 

NM = 3200 veranschaulicht Abbildung 4.20 beispielhaft die Ortsvektoren der Ver- 

schiebungen für die registrierten Merkmale aus den sechs berücksichtigten Nachbar- 

bildern. Jeder Ortsvektor ist durch ein Kreuz an seinem Endpunkt repräsentiert. Der 

angegebene Index gibt die Position relativ zum Basisbild an. Negative Werte beziehen 

sich auf zeitlich zurückliegende Bilder, positive bezeichnen vorausliegende Bilder. Die 

Anzahl der Merkmale nimmt wie durch Überlegungen in Abschnitt 4.6.2 erwartet, mit 

steigendem Betrag des Index ab. Einzelne verstreute Kreuze stammen von Ausreißern, 

die demzufolge zu Fehlern in der Superposition führen. Je größer der Betrag von Be- 

wegungsvektoren ist, desto größer ist auch die Unschärfe in der Bewegungsschätzung. 

Eine theoretische Abschätzung dieser Beobachtung und Überlegungen zur Trennung 

der vielfältigen Einflüsse bleibt jedoch weiterführenden Arbeiten überlassen.


Abbildung 4.20: Ortsvektoren der registrierten Bewegungen in den berücksichtigten Bildern 

für die Superposition der Sequenz ALU mit NI = 6 und NM = 3200 (vgl. Ausschnitt (g) in 

Abb. 4.17). Jeder Kreuzungspunkt steht für ermittelten Bewegungsvektor eines Merkmals. Für 

die Menge aller Vektoren eines Bildpaars gibt jeweils die Bezeichnung im Rechteck den Index 

des Bilds in der Sequenz (z. B. k-2 bezeichnet das zweite Bild vor dem definierten Basisbild) 

und den Umfang an Merkmalen an, die in diesem Bild registriert wurden. 

Um den relevanten Bereich der Parameter NI und NM zu untersuchen, wurde die 

Anzahl der Bilder zwischen 0 und 20 und die Menge der Merkmale in exponentiellen 

Schritten zwischen 200 und 6400 variiert: 

N = {0; 2; 4; 6; 8; 10; 12; 14; 16; 18; 20} 

F = {200; 400; 800; 1600; 3200; 6400} . 

Abbildung 4.21 zeigt die mittlere Betragssdifferenz (MAD) zwischen den superpo- 

sitionierten Bildern und der Grundwahrheit. Jede Kurve stellt die Ergebnisse für eine 

konstante Anzahl von benachbarten Bildern dar. Erwartungsgemäß sinkt die Differenz 

vom ursprünglich einheitlichen Wert MAD (NI,0) = MAD (0,NM) = 8, 67 desto schnel- 

ler, je mehr Bilder für die Kombination zur Verfügung stehen. Dies ist gleichbedeutend 

mit einer Artefaktreduktion oder einem Zuwachs an Detailinformation im Bild. Bei ge- 

nauer Betrachtung ist zu erkennen, dass die Kurven für NI ≥ 6 keinen großen Abstand 

untereinander mehr aufweisen. Da sich diese Tendenz auch für NI > 12 fortsetzt, sind 

in dieser Darstellung die entsprechenden Kurven der Übersichtlichkeit wegen nicht 

aufgeführt.


MAD [Grauwerte] 

9 

8.5 

8 

7.5 

7 

6.5 

0 Bilder 

2 Bilder 

4 Bilder 

6 Bilder 

8 Bilder 

10 Bilder 

12 Bilder 

6 

0 1000 2000 3000 4000 5000 6000 7000 

Anzahl der Merkmale 

Abbildung 4.21: Mittlere Betragsdifferenz (MAD) der durch Superposition aufbereiteten ALU- 

Bilder (vgl. Abb. 4.17) zum Original. Jede Kurve stellt die Ergebnisse für eine konstante Anzahl 

von benachbarten Bildern dar. 

MAD [Grauwerte] 

9 

8.5 

8 

7.5 

7 

6.5 

6 

100 Merkmale 

200 Merkmale 

400 Merkmale 

800 Merkmale 

1600 Merkmale 

3200 Merkmale 

6400 Merkmale 

5.5 

0 2 4 6 8 10 12 14 16 18 20 

Anzahl berücksichtigter Bilder 

Abbildung 4.22: Mittlere Betragsdifferenz (MAD) der durch Superposition aufbereiteten ALU- 

Bilder (vgl. Abb. 4.17) zum Original. Jede Kurve stellt die Ergebnisse für eine konstante Anzahl 

an Merkmalen dar.


Deutlicher wird der angedeutete Effekt der Sättigung bei der alternativen Darstel- 

lung der Abweichung zwischen Original und Rekonstruktion gemäß Abbildung 4.22. 

Hier steht jede Kurve für eine definierte Anzahl an Merkmalen. Bei allen Kurven ist 

eine deutliche Abnahme der Abweichung bis NI = 6 zu erkennen. Bis zu dieser An- 

zahl an zusätzlich berücksichtigten Bildern liegt die relative Abnahme der Abweichung 

MAD (NI,NM) bei mindestens 5%. Eine weitere Erhöhung von NI hat keinen relevanten 

Einfluss mehr auf die Steigerung der Bildqualität. Diese Beobachtung bestätigt den 

visuellen Eindruck der Sättigung bei der Verbesserung der Ausschnitte (i) bis (l) in 

Abbildung 4.17. 

Der beobachtete Effekt der Sättigung steht nicht im Widerspruch zur theoretischen 

Betrachtung des Flächenabtastverhaltens eines Glasfaserbündels (vgl. Abschn. 3.5). 

Allerdings können die konkreten Werte nicht alleine auf die effektive Abtastfläche zu- 

rückgeführt und damit quantitativ erklärt werden. Zu viele Einflussfaktoren treffen hier 

zusammen bzw. können nicht ausreichend voneinander getrennt werden. So nimmt 

beispielsweise die Anzahl an validen Merkmalen von Bild zu Bild ab, der Faserab- 

stand fließt in die Definition der zu interpolierenden Zwischenfläche ein und die Be- 

wegungsschätzung kann nicht ohne größeren Aufwand präzise evaluiert werden. Au- 

ßerdem müssen die unterschiedliche Auflösung und Anordnung zwischen Faserbündel 

und Kamerasensor sowie die gegebene Auflösungsgrenze durch die Ausgangsbildgrö- 

ße berücksichtigt werden. Für eine Absicherung und Verallgemeinerung dieser Aus- 

sagen sind weitere Untersuchungen notwendig, die jedoch den Rahmen dieser Arbeit 

überschreiten. 

4.6.4 Vergleich registrierter Aufnahmen zwischen starrem und fle- 

xiblem Endoskop 

Die Einführung in Abschnitt 3.1 schildert die Schwierigkeiten beim Versuch, eine Sze- 

ne gleichartig mit einem faseroptischen und einem linsenstarren Endoskop zu erfassen, 

um die Grundwahrheit für eine quantitative Auswertung zur Verfügung zu stellen. Um 

die Ansätze zur Filterung, der Interpolation und der Superposition trotzdem zumindest 

visuell mit der qualitativ hochwertigeren Aufnahme durch ein starres Endoskop ver- 

gleichen zu können, wird ein alternativer Weg gewählt. Dazu werden die Aufnahmen 

mit den verschiedenen Geräten so ähnlich wie möglich durchgeführt und anschließend 

eine Registrierung 6 durchgeführt. 

6 Registrierung: Hier: Geometrische Transformation von zwei oder mehreren Bildern einer Szene, 

um sie bestmöglichst in Übereinstimmung miteinander zu bringen


(a) Original (Starr) (b) Registriert (Starr) (c) Original (Faser) 

(d) Filterung (e) Interpolation (f) Superposition 

Abbildung 4.23: Linsenstarre endoskopische Aufnahme (Motiv VKT, vgl. Tab. 4.13) mit starrem 

Endoskop (a), registrierter Ausschnitt (b) zu den Aufnahmen mit flexiblem Endoskop und ver- 

schiedene Aufbereitungen von vergleichbaren faseroptischen Abbildungen, die für den quanti- 

tativen Vergleich polynomial zueinander in Übereinstimmung gebracht sind: Originales Faser- 

bild (c), sowie das gefilterte (d), das interpolierte (e) und das superpositionierte (f) Ergebnis. 

Als Szene wird für die Aufnahme bewusst ein Motiv (VKT, vgl. Tab. 4.13) ge- 

wählt, bei dem die Superposition offensichtlich nicht in allen Bereichen zum Erfolg 

führt. So können an verschiedenen Bildbereichen die Auswirkungen der präzisen bzw. 

fehlerhaften Bewegungsschätzung in vergrößerten Ausschnitten gezeigt werden. 

Messungen haben gezeigt, dass die Anwendung von Abstands- und Ähnlichkeits- 

maßen auf Basis einer alternativen Aufnahme der Szene (hier mit einem zweiten En- 

doskop) keine zuverlässigen Aussagen über die Gesamtgüte erlauben. Das liegt einer- 

seits an den abweichenden Helligkeits- und Kontrastverteilungen, die durch die un- 

terschiedlichen optischen Beschaffenheiten der Aufnahmesysteme zustande kommen. 

Andererseits verursacht bereits ein kleiner Fehler in der Feinregistrierung einen relativ 

großen kummulativen Fehler in der Differenzbildung, wenn beispielsweise im Bereich 

von Hell-Dunkel-Übergängen die Grenzen verschoben überlagert werden. 

In Abbildung 4.23 sind die Aufnahmen und Resultate der Bildaufbereitung für das 

gewählte Motiv VKT visualisiert. (a) zeigt die Aufnahme mit dem starren Endoskop


(a) A in Abb. 4.23(b) (b) A in Abb. 4.23(d) (c) A in Abb. 4.23(f) 

(d) B in Abb. 4.23(b) (e) B in Abb. 4.23(d) (f) B in Abb. 4.23(f) 

Abbildung 4.24: Vergrößerte Ausschnitte aus den Restaurierungsergebnissen (vgl. Abb. 4.23). 

(a) und (d) zeigen die Ausschnitte in der Aufnahme des starren Endoskops. Eine vergleichsweise 

präzise Bewegungsschätzung in Ausschnitt A führt zu einer Verbesserung der Darstellung durch 

Superposition (c) gegenüber der Filterung (b). Bei fehlerhafter Bewegungsschätzung sind im 

Ergebnis der Superposition (f) deutliche Bildstörungen zu erkennen. 

ohne Fasern und (c) gibt die faserendoskopische Aufnahme wieder. Trotz ähnlicher 

optischer Parameter der beiden Endoskopsysteme ist eine geometrische Abweichung 

der Bildinhalte (Verzerrung) in den Aufnahmen zu erkennen. Der Ausschnitt (a) wird 

deshalb erst zu den faseroptischen Aufnahmen registriert (b). (d) zeigt das Resultat 

nach Filterung, (e) gibt das Ergebnis der Interpolation wieder und (f) bezieht sich auf 

die Superposition von sechs benachbarten Bildern mit max. 1.800 Merkmalen. 

Eine Ursache für die Unzuverlässigkeit von Aussagen aus quantitativen Verglei- 

chen und die Unterschiede in der Aufbereitung werden besonders deutlich, wenn an 

zwei typischen Ausschnitten A und B (vgl. Abb. 4.23) die Bewegungsvektoren der 

korrespondierenden Merkmale unter die Lupe genommen werden und damit die ent- 

sprechenden vergrößerten Ausschnitte aus den aufbereiteten Bildern in Abbildung 4.24 

interpretiert werden. Abbildung 4.25 visualisiert diese Bewegungsvektoren von Merk- 

malen als Pfeile im Resultat der Filterung (vgl. Abb. 4.23(d)). Dabei bedeutet der Start- 

punkt jedes Pfeils die Position eines Merkmals im Basisbild und der Endpunkt gibt die 

geschätzte Position dieses Merkmals im benachbarten Bild an, das hier des Umfangs 

wegen nicht abgebildet ist. Mit dieser qualitativen Darstellung in Pfeilform kann das 

Ergebnis der Bewegungsschätzung in einer lokalen Umgebung interpretiert werden.


(a) (b) Ausschnitt A (c) Ausschnitt B 

Abbildung 4.25: Korrespondenzen von Merkmalen, die als Pfeile im Resultat der Filterung 

(vgl. Abb. 4.23(d)) und zwei vergrößerten Ausschnitten A und B dargestellt sind. 

Die Richtung der Pfeile in Ausschnitt A (vgl. Abbildung 4.25(b)) ist unter Berück- 

sichtigung einer tolerierten Abweichung durch die radiale Verzerrung (Weitwinkelop- 

tik) relativ homogen. Entsprechend positiv wirkt sich die Überlagerung dieser Merk- 

male im Ergebnis der Superposition aus (vgl. Abb. 4.24(c)). Im Bereich A, also bei 

präziser Bewegungsschätzung, ist die Superposition der Filterung überlegen, die zwar 

das Signal glättet, jedoch keine Zwischenabtastwerte zur Präzisierung des Signals er- 

laubt. 

Bei den Richtungen der Pfeile in Ausschnitt B (vgl. Abbildung 4.25(c) ist unter- 

einander eine größere Abweichung zu beobachten. Der zugrundeliegende Algorithmus 

zeigt offensichtlich bei der Bewegungsschätzung Schwierigkeiten, die sich hier auch 

gravierend im visuellen Resultat niederschlagen (Abb. 4.24(f)). Die Filterung zeigt 

zwar ebenfalls in der Vergrößerung (Abb. 4.24(e)) Defizite, beispielsweise bei der Dar- 

stellung der geraden Geometrie des „l“, allerdings sind keine expliziten Störstellen zu 

beobachten, wie bei den falsch zugeordneten Bewegungsvektoren für die Superpositi- 

on im Bereich B (vgl. Abb. 4.25(c)). 

Fazit Es ist schwierig, für eine quantitative Aussage eine alternative reale Aufnahme 

als Grundwahrheit zu verwenden. Fehlerquellen liegen u.a. in der notwendigen geo- 

metrischen Transformation zur Registrierung und der Unsicherheit über die Gleicheit 

optischer Parameter. In Verbindung mit einer visuellen Interpretation erscheinen die 

Resultate jedoch plausibel. Die Präzision in den Ergebnissen der Bewegungsschätzung 

erklärt die Unter- oder Überlegenheit der Superposition gegenüber der Filterung und 

unterstreicht damit die Bedeutung dieser Einflussgröße.

170 4.7. ECHTZEIT-FÄHIGKEIT DER ANSÄTZE 

4.7 Echtzeit-Fähigkeit der Ansätze 

Der Begriff Echtzeit wird im Kontext dieser Arbeit für eine flüssige Darstellung aus 

Sicht eines menschlichen Betrachters verwendet, also mit einer Bildrate von etwa 20 

bis 30 Bildern pro Sekunde. 

Nicht alle in Kapitel 3 vorgestellten Komponenten erfordern eine Ausführung in 

Echtzeit: Die Fasermodellierung (vgl. Abschn. 3.1.1) dient lediglich quantitativen Un- 

tersuchungen und der initiale Kalibrierschritt für die Restaurierungsansätze muss im 

Vorfeld nur einmal durchgeführt werden (vgl. Abschn. 3.2.1.2 und Abschn. 3.2.2.1). 

Zeitkritisch sind hingegen die für jedes Bild notwendigen Operationen der Filterung 

(vgl. Abschn. 3.2.1.1), der Interpolation (vgl. Abschn. 3.2.2.2), der Farbkorrektur (vgl. 

Abschn. 3.3), der Überlagerung für Superposition (vgl. Abschn. 3.5.6) und evtl. einer 

Nachkalibrierung (vgl. Abschn. 3.4). 

Die eingangs geforderte Bildrate für Echtzeit wird von den derzeitigen Imple- 

mentierungen auf aktuellen Rechnern 7 bislang nicht erreicht. Die tatsächliche Bildrate 

hängt bei der Interpolation maßgeblich von der Anzahl der Bildpunkte im Ausgangs- 

bild ab, die aus den zur Verfügung stehenden Faserstützstellen interpoliert werden 

müssen. Für ein Auflösungsverhältnis von 800 × 600 Bildpunkten aus 12.000 Fasern 

erreicht der Algorithmus auf dem PC eine Bildrate zwischen drei und vier Bilder pro 

Sekunde. Das Überlagern von mehreren Bildern verlangsamt den Algorithmus über- 

proportional, da zusätzlich die Bewegungsschätzung durchgeführt werden muss und 

die sonst einmalig kalibrierte Gitterstruktur durch weitere Stützstellen sukzessive er- 

weitert werden muss. Die Qualitätssteigerung eines Bilds aus einer Sequenz von zehn 

Bildern erfordert für das genannte Auflösungsverhältnis derzeit eine Berechnungszeit 

von 15 bis 30 Sekunden, je nach Anzahl der Korrespondenzen, die zwischen den Bil- 

dern berücksichtigt werden. 

Um trotzdem eine Echtzeit-Bildrate zu erreichen, wird die zusätzliche Verwendung 

geeigneter Hardware-Komponenten vorgeschlagen. Am Beispiel der Interpolation mit 

Nachkalibrierung konnte eine Beschleunigung um den Faktor Zehn auf etwa 30 Bilder 

pro Sekunde erreicht werden [Hir07], indem die zeitkritischen Berechnungen von der 

Grafikkarte (GPU) unterstützt werden. Diese Hardware-Erweiterung ist fast in jedem 

handelsüblichen Arbeitsplatzrechner zu finden oder kostengünstig (200 − 400 Euro) 

nachzurüsten und kann mittlerweile durch eine effiziente Programmierschnittstelle für 

nahezu beliebige Operationen genutzt werden. Wird die Interpolation von der GPU 

7 Intel Core 2 Duo 1,86GHz, 1GB Arbeitsspeicher

4.7. ECHTZEIT-FÄHIGKEIT DER ANSÄTZE 171 

ausgeführt, bleibt für die Recheneinheit im Arbeitsplatzrechner (CPU) ausreichend 

Zeit, um im Abstand einiger Bilder jeweils die Nachkalibrierung durchzuführen. 

Eine weitere Möglichkeit zur Beschleunigung der Verfahren und Entlastung der 

CPU besteht in der Integration der Algorithmen auf einer sog. intelligenten Kame- 

ra, deren Hardware bereits programmierbare Bausteine enthält, die oft für grafische 

Rechenoperationen optimiert sind. Die SmartCam, eine Entwicklung des Fraunhofer 

IIS, bietet die Möglichkeit, Algorithmen zur Bildbearbeitung völlig autark von einem 

PC-basierten Rechensystem direkt in der Kamera durchzuführen.

5 

5.1 Zusammenfassung 

173 

Zusammenfassung und 

Ausblick 

Die Recherche von Anwendunggebieten in Medizin und Technik (vgl. Abschn. 2.2) 

zeigt die aktuelle Bedeutung der faseroptischen Endoskopie trotz Konkurrenz durch 

die qualitativ hochwertigere Videoendoskopie (vgl. Abschn. 1.2.1). Für die Analyse 

von Oberflächen in schwer zugänglichen Hohlräumen technischer und menschlicher 

Natur spielt die präzise Wiedergabe von Strukturen und Farbinformation eine große 

Rolle. Zur Darstellung auf einem Monitor oder für die Digitalisierung der Aufnahmen 

wird an das Okular eines Endoskops eine Farbkamera montiert (vgl. Abschn. 2.3.1). 

Speziell für Fiberskope wird zunächst das Abtastverhalten eines Bildleiters auf Ba- 

sis von Glasfasern untersucht und mit einem physikalisch motivierten Abbildungsmo- 

dell beschrieben (vgl. Abschn. 3.1.1). Die physikalischen Eigenschaften der Lichtüber- 

tragung einer einzelnen Glasfaser führen näherungsweise zu einer Gauss-förmigen In- 

tensitätsverteilung auf dem Kamerasensor (vgl. Abschn. 2.3.1). Aufgrund der hexago- 

nalen Bündelung vieler dieser Fasern erhält eine Abbildung nach Übertragung durch 

einen Bildleiter ein charakteristisches Wabenmuster. Als Folge wird die Homogeni- 

tät im Bild gestört und die ungleichmäßige Aktivierung von Bildelementen auf dem 

Farbmosaik des Sensors führt zu falschen Farbwerten (vgl. Abschn. 2.3.3). Das beein- 

trächtigt sowohl die menschliche visuelle Wahrnehmung, als auch die digitale Weiter- 

verarbeitung durch eine Maschine. 

Die Arbeit beschäftigt sich mit verschiedenen Verfahren, die es erlauben, faser- 

optisch gewonnene Aufnahmen automatisiert von der Wabenstruktur zu befreien sowie 

darüber hinaus ihre Bildqualität zu verbessern und partiell ihren Informationsgehalt zu 

steigern. Die Grundlage dazu bilden zwei Verfahren zur Restaurierung, und zwar die 

Filterung (vgl. Abschn. 3.2.1) und die Interpolation (vgl. Abschn. 3.2.2). Die Filterung

174 5.1. ZUSAMMENFASSUNG 

nutzt angepasste Frequenzmasken, um hochfrequente Signalanteile der Wabenstruktur 

vom Bildsignal zu trennen. Untersuchungen zeigen einen geringen, jedoch messba- 

ren Unterschied bei der Nutzung der rotationsvarianten und der -invarianten Form der 

Maske (vgl. Abschn. 4.3). Die Interpolation restauriert ein wabenfreies Bild aus subpi- 

xelgenau bestimmten Stützstellen, die jeweils eine Faserintensität repräsentieren. Für 

einen Vergleich dieser beiden Restaurierungsverfahren mit Hilfe von Differenz- und 

Ähnlichkeitsmaßen wird das eingangs beschriebene Modell der Faserbildübertragung 

genutzt, um die zugrunde liegende Szene als Grundwahrheit zur Verfügung zu stellen 

(vgl. Abschn. 3.1.1). 

Eine Stärke der Filterung liegt in der Möglichkeit, präzise Grenzfrequenzen für die 

Ermittlung der exakten Masken im Sinne einer optimalen Signalverarbeitung zu wäh- 

len. Die Bildrestaurierung kann mit einer rotationsvarianten Maske robust gegenüber 

Verschiebungen zwischen Endoskop und Kamera durchgeführt werden. Die resultie- 

renden Bilder zeigen im Vergleich mit interpolierten Aufnahmen kaum Strukturarte- 

fakte, da nach der Theorie der Filterung der bandbegrenzte Signalverlauf durch über- 

lagerte sinc-Funktionen rekonstruiert wird. Quantitative Auswertungen zeigen, dass 

gefilterte Bilder für solche Anwendungen prädestiniert sind, die auf Grauwertbildern 

basieren, wie z. B. eine Raumrekonstruktion aus monokularen Bildsequenzen. Vergli- 

chen mit der Interpolation berücksichtigt die Filterung jedoch nicht die Position und 

Helligkeit einzelner Faserzentren. Deshalb resultieren durch die Filterung Bilder mit 

geringerer Intensitätsdynamik und Moiré-artigen Farbartefakten. 

Die Interpolation ist dagegen in der Lage, diese Falschfarben zu korrigieren. Da- 

zu werden in einem Kalibrierschritt die Positionen der Faserzentren subpixelgenau 

bestimmt. Unter Berücksichtigung ihrer Abbildungseigenschaft kann damit für jede 

Faser der betroffene Bereich auf dem Farbmosaik des Kamerasensors analysiert und 

ein Korrekturfaktor berechnet werden. Mit diesem Korrekturfaktor kann dann einma- 

lig eine Wertetabelle angelegt werden und damit beliebige weitere Bilder hinsichtlich 

Farbe und globaler Schattierung korrigiert werden. Allerdings ist die Interpolation an- 

fällig auf Verschiebungen zwischen Endoskop und Kamera. Einen Ausweg stellt die 

sog. dynamische Nachkalibrierung dar, mit der die Positionen der Faserzentren bei 

Verschiebung nachgeführt werden können (vgl. Abschn. 3.4). 

Die durch die Interpolation eingebrachten Strukturartefakte können durch Zwi- 

schenabtastung reduziert werden. Dazu eignet sich ein adaptierter Ansatz zur Super- 

position (vgl. Abschn. 3.5), der nichtredundante Information aus zeitlich benachbarten 

Bildern zusammenführt. Theoretische Überlegungen zur Flächenabtastung einer Faser 

auf der Basis des verwendeten Abbildungsmodells zeigen die prinzipiellen Voraus- 

setzungen und Grenzen dieses Vorgehens (vgl. Abschn. 3.5.2). Dazu wird ein Mess-

5.2. AUSBLICK 175 

verfahren vorgeschlagen, um die entscheidende Größe, die sog. effektive Fläche ab- 

zuschätzen (vgl. Abschn. 3.5.3). Bei der Abbildung durch ein handelsübliches Glas- 

faserendoskop mit 12.000 Einzelfasern auf einen Sensor mit 640 × 480 Bildpunkten 

(VGA-Auflösung) beträgt der mittlere Faserabstand etwa vier Bildpunkte. Interpolierte 

Bildbereiche, die zwischen den Faserzentren liegen, können durch versetzte Abtastun- 

gen präzisiert werden. Darüber hinaus beträgt die mögliche Erhöhung der informati- 

onstragenden Bildpunkte, z.B. in Form einer dichteren oder größeren Darstellung des 

Bilds nach Gleichung (3.21) etwa 40%. 

Da die Superposition für faseroptisch erfasste Aufnahmen auf der vorhin beschrie- 

benen Interpolation basiert, vereint sie deren Vorteile der Farbkorrektur und faserge- 

nauen Intensitätsbestimmung mit der Möglichkeit, Strukturartefakte und Verdeckun- 

gen im Faserbild durch Kombination mehrerer Aufnahmen zu kompensieren. Mehrere 

Beispiele in Abschnitt 4.6 belegen den Fortschritt durch die Superposition, zeigen je- 

doch auch deren Grenzen (vgl. Abschn. 4.6.4), die in erster Linie von der Präzision 

der Bewegungsschätzung abhängen, die wiederum eine hohe Strukturdichte im Bild 

erfordert. 

5.2 Ausblick 

Die erzielten Ergebnisse aus der Verbesserung und Erweiterung von Ansätzen zur au- 

tomatischen Restaurierung und Auflösungssteigerung von faseroptischen Aufnahmen 

werfen eine ganze Reihe von interessanten Fragen und weiterführenden Ideen auf. Der 

folgende Ausblick motiviert Anknüpfungspunkte zu den erarbeiteten Aspekten und 

schildert abschließend die Herausforderungen und Einsatzmöglichkeiten der Verfah- 

ren in zwei zukünftigen Projekten. 

Kalibrierung Alle vorgestellten und erweiterten Verfahren, die auf der Interpola- 

tion von faseroptischen Bilddaten basieren, erfordern eine initiale Kalibrierung (vgl. 

Abschn. 3.2.2.1). Damit der Anwender, z. B. ein Arzt im Operationssaal,diesen Schritt 

unkompliziert und schnell durchführen kann, muss ein Kalibrierkörper geschaffen wer- 

den, der die Spitze des flexiblen Endoskops definiert aufnimmt und eine diffuse Be- 

leuchtungsatmosphäre schafft. Damit kann die Unsicherheit der manuellen Ausrich- 

tung und Belichtung der Endoskopoptik umgangen werden. Durch die homogene Be- 

leuchtung der Fasern im Querschnitt des Bildbündels kann die Qualität der interpolier- 

ten Bilder optimiert werden.

176 5.2. AUSBLICK 

Kameratechnik für medizinische Anwendungen Abschnitt 3.3 zeigt die Ursache 

und eine wirklungsvolle Maßnahme zur Reduzierung der Farbartefakte bei der Nut- 

zung von Farbkameras mit Farbfiltermosaik auf. In der Kameratechnik werden typi- 

scherweise die Verteilungen Rot-Grün-Grün-Blau oder Cyan-Gelb-Magenta-Grün ge- 

nutzt, weil sie der Sensibilität des menschlichen Auges am nähesten kommen. Für viele 

medizinische Anwendungen ist jedoch eine höhere Abtastung durch rote Farbelemen- 

te wünschenswert, also z. B. Rot-Grün-Blau-Rot. Diese Betonung der Wellenlänge des 

roten Lichts hätte eine bessere Farbdarstellung von Blut und körperinneren Gewebe- 

texturen zur Folge und würde sich damit positiv auf die Farbdarstellung von medizi- 

nisch relevanten Merkmalen auswirken. Allerdings darf der technische Aufwand nicht 

unterschätzt werden, der den Einsatz solcher Farbfilterfelder aufgrund einer geringen 

Stückzahl bei der Fertigung und dem Einsatz zunächst unwirtschaftlich macht. 

Lichtempfindlichkeit Bei der Inspektion von engen Hohlräumen bewegt sich die 

Spitze des Endoskops oft relativ stark in Richtung der Objektwand. Da die Beleuchtung 

an der Spitze des Endoskops mitgeführt wird, verhält sich die Intensität des reflektier- 

ten Lichts auf dem Kamerasensor in erster Näherung quadratisch zum Arbeitsabstand. 

Durch diese relativ großen Schwankungen in der Helligkeit erscheinen Aufnahmen oft 

unterbelichtet oder durch eine Überempfindlichkeit des Sensors überstrahlt. Für die au- 

tomatische Anwendung der Bildrestaurierung ist deshalb eine Rückkopplung notwen- 

dig, die eine Verstärkung oder Dämpfung in der Elektronik der Kamera automatisch 

reguliert (Moderne, teure Lichtquellen unterstützen eine entsprechende Rückkopplung 

sogar für die Lichtleistung). Bei der Filterung kann dies beispielsweise eine Schwelle 

bezüglich des bildweiten Mittelwerts sein, bei der Interpolation stehen dafür die Spit- 

zenwerte der registrierten Faserintensitäten zur Verfügung. 

Evaluierung Die beschriebenen Methoden und Kriterien zur Evaluierung decken ei- 

ne Reihe von Möglichkeiten zur Beurteilung der Qualität und Leistungsfähigkeit der 

Bildrestaurierung ab. Bei der anwendungsbezogenen Auswertung der 3D-Rekonstruk- 

tion wird eine einfache geometrische Struktur verwendet, um die resultierenden Ob- 

jektpunkte ins Verhältnis zur originalen räumlichen Struktur setzen zu können. Un- 

abhängig von der Objektstruktur könnte die Güte der Rekonstruktion auch über die 

Konstanz eines äquidistant geführten Kamerapfads bemessen werden. Hierfür muss 

sichergestellt werden, dass das Endoskop z. B. mit einem Roboter in konstanten Ab- 

ständen durch die Szene bewegt wird. Der rekonstruierte Kamerapfad kann folglich 

am Verlauf einer Geraden gemessen werden.


Verbesserung der Interpolation Die Ansätze zur Interpolation (vgl. Abschn. 3.2.2) 

sowie deren Erweiterungen zur farbartefaktfreien Restaurierung (vgl. Abschn. 3.3) und 

Auflösungssteigerung (vgl. Abschn. 3.5) nutzen eine baryzentrische Gewichtung, um 

die möglicherweise ungleichverteilten Faserpunkte in eine kartesische Bildmatrix um- 

zurechnen. Bei dieser Interpolation entstehen gegenüber der Filterung Strukturartefak- 

te, da dem bandbegrenzten Signal stetige, jedoch undifferenzierbare Verläufe hinzuge- 

fügt werden. In Analogie zur Restaurierung eines eindimensionalen Signals mit sinc- 

Funktionen ist ein kombiniertes Verfahren vorstellbar, das die ermittelten Stützstellen 

durch geeignete 2d-Funktionen restauriert. Problematisch dabei scheint die ungleich- 

mäßige Abtastung und die Interferenz, die beim Überlagern von 2d-Sinc-Glocken ent- 

steht. Außerdem berücksichtigt die baryzentrische Gewichtung keinerlei Struktur der 

Bildinhalte außerhalb der unmittelbar angrenzenden Nachbarstützstellen. Ein Ansatz 

zur Kantenerhaltung könnte einen Beitrag zur schärferen Repräsentation von kontrast- 

reichen Verläufen innerhalb der Apertur liefern. Hierfür kann die Information von lo- 

kalen Gradienten zwischen den registrierten Stützstellen genutzt werden, die eine Aus- 

sage über die Vorzugsrichtung in der betrachteten Umgebung macht. 

Bislang wird jeder Bildpunkt mit einer Quantisierung von 8 Bit repräsentiert. Für die 

Faserregistrierung, die keinen zeitkritischen Vorgang in der Kette der Interpolation dar- 

stellt, wäre eine Berechnung auf Basis der qualitativ hochwertigsten, vom Sensor zur 

Verfügung gestellten Auflösung (z. B. 12 oder 14 Bit) denkbar. Es ist zu erwarten, dass 

dies das Signal-Rausch-Verhältnis erhöht und für die Fasercharakterisierung zu präzi- 

seren Parametern bezüglich Postition und Varianz der eingepassten Gauß-Verteilungen 

führt. Eine erste Untersuchung hat jedoch keine sichtbare Verbesserung in den restau- 

rierten Bildern ergeben, weshalb die Bestrebung in diese Richtung in dieser Arbeit 

nicht weiter verfolgt wurde. 

Abtastung und Messverfahren zur effektiven Abtastfläche Über die Theorie zur 

Flächenabtastung werden die Grenzen einer möglichen Auflösungsteigerung abge- 

schätzt. Eine entsprechende Betrachtung der Abtasttheorie für die hexagonale Arith- 

metik könnte Erkenntnisse zur Optimierung der Interpolation bringen. Es stellt sich die 

Frage, inwiefern sich die Theorie zur Rekonstruktion eines bandbegrenzt abgetasteten 

Signals auf die zweidimensionale Arithmetik mit hexagonaler Orientierung übertragen 

lässt. Dazu muss die Überlagerung zweidimensionaler sinc-Funktionen betrachtet und 

analysiert werden. 

Bei der Aufnahme von Messkurven zur Analyse des Flächenabtastverhaltens einer Fa- 

ser fällt der unterschiedliche Verlauf von abfallenden gegenüber ansteigenden Flanken 

auf. Diese Diskrepanz wird bislang auf das Streulicht zurückgeführt, das der helle auf

178 5.2. AUSBLICK 

den dunklen Bereich des Schwarz-Weiß-Übergangs wirft. Um die Simulation damit zu 

erweitern, muss diesem Effekt noch weiter nachgegangen werden. 

Beschleunigung In Abschnitt 3.4 wurde beschrieben, wie sich der Einsatz von han- 

delsüblicher Grafik-Hardware eignet, um die Bildrestaurierung zu beschleunigen. Auf- 

grund der hohen Parallelisierbarkeit der Algorithmen liegt ein großes Potenzial in der 

Nutzung dedizierter Hardware, wie z. B. einer Kombination aus FPGA und DSP oder 

eines eingebetteten Rechensystems. Durch eine solche Unterstützung wäre es auch 

denkbar, die Ausführungsgeschwindigkeit der Superposition in eine Größenordnung 

zu bringen, dass sich eine geringe Detailsteigerung bereits in Echtzeit erreichen lässt. 

Der derzeitige Algorithmus dient dem Nachweis der Machbarkeit und eignet sich in 

dieser Implementierung lediglich zur nachträglichen Aufbereitung von archivierten 

Bildsequenzen, die z. B. mobil im Feld aufgezeichnet wurden. 

Einsatz in Grenzflächen- und Bioverfahrenstechnik In der Medizintechnik und 

zunehmend auch in der Pharmazie spielen Membranen eine bedeutende Rolle. Unter 

anderen beschäftigt sich das Fraunhofer IGB mit sog. Hohlfasermembranen, die sich 

wegen des sehr günstigen Verhältnisses von Oberfläche zu Membranvolumen zuneh- 

mend durchsetzen. Seit Beginn dieser Entwicklung besteht ein starkes Interesse, den 

Zustand der Hohlfasern optisch zu überprüfen und die darin stattfindenden Prozesse 

während des Vorgangs zu beobachten und zu kontrollieren (vgl. Abb. 5.1). Ein minia- 

turisiertes faserbasiertes Endoskopsystem ist in der Lage, Messtechniken zu unterstüt- 

zen, die nicht nur eine fotografische oder mikroskopische Aufnahme der Innenober- 

flächen ermöglichen, sondern auch weitere Informationen über deren Beschaffenheit 

sammeln, z. B. über Temperaturmessungen, Materialspektroskopie oder Konzentrati- 

onsmessungen. Grundlage hierfür ist eine ausreichende Bildqualität der Mikroendo- 

skope mit vergleichsweise niedriger Faseranzahl, für die die vorgestellte Bildrestaurie- 

rung einen wichtigen Beitrag leisten kann. Neben den Anwendungen in der Medizin- 

technik und der Membrantechnik ist auch ein Einsatz in der Prozesskontrolle beim sog. 

Downstream Processing 1 innerhalb der Pharmaindustrie und Katalyseanwendungen in 

der Biochemie denkbar. 

Anwendung mit Bewegungsschätzung Die Minimal Invasive Chirurgie (MIC) gilt 

wegen des schonenden operativen Zugangs und verkürzten Aufenthaltszeiten der Pa- 

tienten zu den wichtigsten Methoden der modernen Chirurgie. Allerdings beeinträch- 

1 Downstream Processing: Verfahren zur Abtrennung eines Produktes aus der Produktlösung


(a) (b) 

Abbildung 5.1: Querschnitt einer Hohlfasermembran, die zur Trennung von Wasserdampfmo- 

lekülen aus der Luft eingesetzt wird (Abb. mit freundlicher Genehmigung vom Fraunhofer IGB). 

Ein dünnes flexibles Endoskop mit einem Arbeitsdurchmesser von einem Millimeter ist zur 

Hälfte in eine poröse Hohlraummembran eingeführt (b). Durch das semitransparente Material 

der Röhre dringt das Licht der integrierten Beleuchtung nach außen. 

tigt der minimale Zugang die Wahrnehmungs- und Handlungsfähigkeit des Chirurgen 

und macht das Anwendungsspektrum der MIC von technischen Hilfsmitteln abhängig. 

Aktuell lassen sich aus medizinischer Sicht wesentlich mehr MIC-Eingriffe vorstel- 

len, als mit den vorhandenen technischen Hilfsmitteln praktisch ausführbar sind. Ein 

Beispiel sind sog. NOTES Eingriffe (Natural Orifice Trans-Endoscopic Surgery). Mit 

dem Forschungsprojekt Whole-O-Hand der Fraunhofer Gesellschaft sollen verschie- 

dene Technologien in ein MIC-Gesamtsystem integriert werden, das die bildbasierte 

Computer Assistierte Diagnose (CAD) mit den Funktionen intelligenter, miniaturisier- 

ter Assistenzsysteme verbindet. Die Navigation des Endoskops im Bauch des Patienten 

spielt beim Entwurf und der Umsetzung der Robotertechnik eine entscheidende Rolle. 

Mit den gewonnenen Erkenntnissen zur Bewegungsschätzung in faserendoskopischen 

Bildsequenzen können einerseits die Grenzen und Möglichkeiten der endoskopbasier- 

ten Navigation abgewogen werden. Andererseits eignet sich das Projekt, um an konkre- 

ten medizinischen Aufgabenstellungen und Gewebestrukturen an Oberflächen innerer 

Organe die Stabilität und Robustheit von Algorithmen zur lokalen Bewegungsschät- 

zung weiter zu evaluieren, was im Rahmen dieser Arbeit noch nicht möglich war.

Abbildungsverzeichnis 

181 

1.1 Flexible Endoskope . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 

1.2 Flexibles Endoskop zur Inspektion technischer Hohlräume . . . . . . 2 

1.3 Flexible Endoskopie im Patienten . . . . . . . . . . . . . . . . . . . 3 

1.4 Abbildung eines Kalibriertargets durch ein flexibles Endoskop . . . . 7 

2.1 Faseroptische Lesehilfe . . . . . . . . . . . . . . . . . . . . . . . . . 12 

2.2 Schematischer Aufbau eines flexiblen Endoskops . . . . . . . . . . . 18 

2.3 Schematischer Schnitt durch eine optische Faser . . . . . . . . . . . . 19 

2.4 Wabenstruktur beim Bildbündel mit Quarzfasern . . . . . . . . . . . 21 

2.5 Farbfilter für Einchip-Kameras . . . . . . . . . . . . . . . . . . . . . 22 

2.6 Faserabbildung auf Farbfiltermosaik . . . . . . . . . . . . . . . . . . 26 

2.8 Entzerrung von endoskopischen Abbildungen . . . . . . . . . . . . . 29 

2.9 Kalibrierung inkohärenter Bildbündel . . . . . . . . . . . . . . . . . 33 

2.10 Filtermaske nach Dickens et al. . . . . . . . . . . . . . . . . . . . . . 35 

2.11 Primitive Farbbildverarbeitung . . . . . . . . . . . . . . . . . . . . . 36 

2.12 Nächste-Nachbarn-Interpolation . . . . . . . . . . . . . . . . . . . . 44 

3.1 Ablauf der Modellierung einer faseroptischen Abbildung . . . . . . . 49 

3.2 Intensitätsverteilung im Querschnitt einer Glasfaser . . . . . . . . . . 51 

3.3 Apertur, ROI und Anordnung der Faserzentren . . . . . . . . . . . . . 52

182 ABBILDUNGSVERZEICHNIS 

3.4 Faserabstand bei bestimmter Faseranzahl in definiertem Aperturkreis . 53 

3.5 Faseroptische Modellierungen eines USAF-Testbilds . . . . . . . . . 54 

3.7 Konische Verzerrung in der Rekonstruktion . . . . . . . . . . . . . . 58 

3.8 Optimierung des Verzerrungsfaktors . . . . . . . . . . . . . . . . . . 59 

3.9 Fiberskopisch erfasste Referenzbilder mit Frequenzspektren . . . . . 63 

3.10 Spektrale Filterung (Quarzfaser-Bildbündel) . . . . . . . . . . . . . . 67 

3.11 Spektrale Filterung (Glasfaser-Bildbündel) . . . . . . . . . . . . . . . 68 

3.12 Maskentypen zur Filterung von endoskopisch erfassten Aufnahmen . 69 

3.13 Auswirkung der Glättung von Filtermasken . . . . . . . . . . . . . . 70 

3.14 Ablaufdiagramm der physikalisch motivierten Interpolation . . . . . . 72 

3.15 Ablaufdiagramm der Faserregistrierung . . . . . . . . . . . . . . . . 72 

3.16 Größe und Varianz des Maximumfilters . . . . . . . . . . . . . . . . 73 

3.17 Kandidatenpixel zur Reduktion des Berechnungsaufwands . . . . . . 75 

3.18 Visualisierung der Kandidatenpixel . . . . . . . . . . . . . . . . . . . 77 

3.19 Vierer-Nachbarschaft eines Faserzentrums . . . . . . . . . . . . . . . 79 

3.20 Beispiel zur physikalisch motivierten Interpolation . . . . . . . . . . 80 

3.21 Kompensation von singulären Faserdefekten . . . . . . . . . . . . . . 81 

3.22 Ablauf der erweiterten Farbinterpolation . . . . . . . . . . . . . . . . 83 

3.23 Zuweisung von Sensorelementen zur Nachbarschaft einer Faser . . . 84 

3.24 Sequenz von rekonstruierten Bildern . . . . . . . . . . . . . . . . . . 86 

3.25 Visualisierung der Nachkalibrierung . . . . . . . . . . . . . . . . . . 87 

3.26 Informationsfluss und -rückgewinnung . . . . . . . . . . . . . . . . . 89 

3.27 Effektive Fläche . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91 

3.28 Abtastung mit Gesamtfläche . . . . . . . . . . . . . . . . . . . . . . 91

ABBILDUNGSVERZEICHNIS 183 

3.29 Zwischenabtastung mit Gesamtfläche . . . . . . . . . . . . . . . . . 92 

3.30 Funktion der Abtastwerte bei Gesamtfläche . . . . . . . . . . . . . . 92 

3.31 Abtastung mit effektiver Fläche . . . . . . . . . . . . . . . . . . . . . 93 

3.32 Zwischenabtastung mit effektiver Fläche . . . . . . . . . . . . . . . . 93 

3.33 Funktion der Abtastwerte bei effektiver Fläche . . . . . . . . . . . . . 94 

3.34 Effektive Abtastfläche eines Faserbündels . . . . . . . . . . . . . . . 95 

3.35 Experiment zur Faserabtastung . . . . . . . . . . . . . . . . . . . . . 96 

3.36 Ideales Intensitätsprofil der Abtastung eines Balkens . . . . . . . . . 97 

3.37 Referenzmuster für Faserabtastprofil . . . . . . . . . . . . . . . . . . 99 

3.38 Ideales Intensitätsprofil der Abtastung eines Balkens . . . . . . . . . 100 

3.39 Ablauf der Auflösungssteigerung . . . . . . . . . . . . . . . . . . . . 104 

3.40 Modi der Korrespondenzfindung . . . . . . . . . . . . . . . . . . . . 106 

3.41 Super Resolution in faseroptischen Aufnahmen . . . . . . . . . . . . 107 

3.42 Testbild mit Abtastlinie für die Qualitätsmessung . . . . . . . . . . . 111 

3.43 Vorgehensweise zur objektiven Evaluierung mit Differenzmaß . . . . 113 

3.44 Merkmalskorrespondenzen und 3D-Punktwolke einer Bohrung . . . . 118 

3.45 Projektion einer zylindrischen 3D-Punktwolke . . . . . . . . . . . . . 120 

4.1 Visueller Vergleich der Abbildungsgüte . . . . . . . . . . . . . . . . 126 

4.2 Visualisierung der Statistik der Merkmalskorrespondenzen . . . . . . 132 

4.3 Visualisierung des Rückprojektionsfehler . . . . . . . . . . . . . . . 134 

4.4 Visualisierung der Streuungsstatistik . . . . . . . . . . . . . . . . . . 136 

4.5 Evaluierungsbereiche der untersuchten USAF-Abbildungen . . . . . . 139 

4.6 Stichprobe zur Bewertung subjektiver Wahrnehmung . . . . . . . . . 143 

4.7 Filterresultate für den visuellen Vergleichstest . . . . . . . . . . . . . 144

184 ABBILDUNGSVERZEICHNIS 

4.8 Vergleich der Restaurierung bei variabler Bildfrequenz 1 . . . . . . . 149 

4.9 Vergleich der Restaurierung bei variabler Bildfrequenz 2 . . . . . . . 149 

4.10 Visualisierung des Qualitätssprungs bei der Filterung . . . . . . . . . 151 

4.11 Vergleich der Restaurierung bei variabler Faseranzahl 1 . . . . . . . . 152 



4.14 Farbartefaktreduktion am Beispiel menschlicher Haut . . . . . . . . . 155 

4.15 Visuelles Ergebnis zur Sequenz BST . . . . . . . . . . . . . . . . . . 159 

4.16 Visuelles Ergebnis zur Sequenz LNA . . . . . . . . . . . . . . . . . . 159 

4.17 Visuelles Ergebnis zur Sequenz ALU . . . . . . . . . . . . . . . . . . 162 

4.18 Superposition für Bildsequenz in zylinderförmigem Hohlraum . . . . 162 

4.19 Visuelles Ergebnis zur Sequenz SPF . . . . . . . . . . . . . . . . . . 163 

4.20 Ortsvektoren von registrierten Bewegungen . . . . . . . . . . . . . . 164 

4.21 Superresolution mit konstanter Anzahl an Bildern . . . . . . . . . . . 165 

4.22 Superresolution mit konstanter Anzahl an Merkmalen . . . . . . . . . 165 

4.23 Superposition mit registrierter Endoskopaufnahme . . . . . . . . . . 167 

4.24 Vergrößerte Ausschnitte der Restaurierungsergebnisse . . . . . . . . . 168 

4.25 Merkmalskorrespondenzen für die Superposition . . . . . . . . . . . 169 

5.1 Einsatz der Mikroendoskopie in der Membrantechnik . . . . . . . . . 179

Tabellenverzeichnis 

185 

3.1 Vor- und Nachteile der Restaurierungsansätze . . . . . . . . . . . . . 62 

4.1 Hersteller und techn. Spezifikationen der verwendeten Endoskope . . 125 

4.2 Hersteller und techn. Spezifikationen der verwendeten Kameras . . . 127 

4.3 Texturen und endoskopische Abbildungen von Hohlzylindern . . . . . 130 

4.4 Anzahl von Korrespondenzen in verschiedenen Bildsequenzen . . . . 131 

4.5 Rückprojektionsfehler für verschiedene Bildsequenzen . . . . . . . . 133 

4.6 Streuung in der 3D-Rekonstruktion verschiedener Bildsequenzen . . . 135 

4.7 Filtertypen und -einstellungen für die Evaluierung der Linientrennung 138 

4.8 USAF-Linienmuster zur Evaluierung der Filterung . . . . . . . . . . 139 

4.9 Gütemessung zur Detailerhaltung und Glattheit für UF1 . . . . . . . . 140 

4.10 Gütemessung zur Detailerhaltung und Glattheit für UF2 . . . . . . . . 141 

4.11 Ergebnisse des visuellen Vergleichstests . . . . . . . . . . . . . . . . 144 

4.12 Sinusbilder für die Evaluierung der Restaurierungseigenschaften . . . 146 

4.13 Szenenkonstellationen für die Evaluierung von Super Resolution . . . 158

Glossar 

Alias oder Alias-Effekt Fehler, die durch Verletzung des Abtasttheorems beim digi- 

talen Abtasten von Signalen auftreten, Seite 31 

Apertur Kreisförmiger Ausschnitt, den ein Betrachter durch das Okular eines Endo- 

skops wahrnimmt, Seite 50 

Autoklavieren Verfahren zum Erreichen von Sterilität für Objekte (z. B. Instrumen- 

187 

te oder Nährmedien), die dazu unter Überdruck Wasserdampf oder speziellen 

Gasen ausgesetzt werden, Seite 13 

Bronchoskopie Spiegelung der Atemwege und des Lungenraums, Seite 16 

Canny-Filter Algorithmus zur Kantendetektion in Bildern, Seite 154 

DC-Nikkore Defocus Image Control, Nikkore mit gezielter Defokussierung, Seite 32 

Demosaicing Interpolation eines Farbbilds aus den einkanaligen farbkodierten Inten- 

sitätsdaten des Sensorfelds., Seite 23 

Downstream Processing Verfahren zur Abtrennung eines Produktes aus der Produkt- 

lösung, Seite 178 

Galaktographie Röntgenuntersuchung der Milchgänge, Seite 16 

Gastroenterologie Die Gastroenterologie befasst sich mit der Diagnostik, nichtopera- 

tiven Therapien (z. B. medikamentöse Therapien) und Prävention von Erkran- 

kungen des Magen-Darm-Trakts, Seite 2 

Grundwahrheit (engl. ground truth) Ursprüngliche, unverfälschte Datenbasis, hier 

zum Vergleich nach Bildverarbeitungsschritten, Seite 48 

Intraduktal Innerhalb des Milchgangs, Seite 16 

Least-Square Problem Näherung eines Gleichungssystems nach der Methode der 

kleinsten Quadrate, Seite 76

188 

Lochkameramodell Abbildungsmodell, das von der verzerrungsfreien perspektivi- 

schen Projektion von Punkten einer Szene durch das optische Zentrum einer 

Kamera auf die Bildebene ausgeht., Seite 29 

Lookup-Tabelle Vorgehen zur schnellen Bereithaltung von Zwischenergebnissen, in- 

dem Funktionswerte vorab ermittelt und im Speicher als Tabelle abgelegt wer- 

den., Seite 29 

Läsion Gewebeauffälligkeit, Seite 16 

MAD (Mean absolute difference) Mittel der Summe aus den Beträgen der Differen- 

zen, Seite 113 

Mammasonographie Ultraschalluntersuchung der Brust, Seite 16 

Mammographie Radiologische Untersuchung der Brust zur Früherkennung von Brust- 

krebs, Seite 16 

MAP (Maximum-a-posteriori) Ein Schätzverfahren, das Vorwissen mit einbezieht, 

Seite 45 

Markerlos Ohne künstliche Kennzeichnung, z. B. durch Klebemarken, Seite 28 

Metrologie Lehre von den Maßen, den Gewichten und den Maßsystemen., Seite 28 

Mnemonik Einprägsames Kurzzeichen eines Ausdrucks, Seite 157 

Modalitäten In der bildgebenden Medizin bezeichnen Modalitäten verschiedene Sig- 

nalarten (Licht, Ultraschall, Röntgenstrahlung, usw.), mit denen man Bilder 

vom menschlichen Körper gewinnt., Seite 5 

Monokular (lat. für einäugig) Hier: Mit einer einzigen Blickrichtung, Seite 14 

Mosaicing Abtastung von Bilddaten durch ein Farbfiltermosaik, Seite 55 

MSSIM (Mean structural similarity) Mittlere strukturelle Ähnlichkeit, Seite 114 

PSNR (Peak signal to noise ratio) Spitzensignal-zu-Rausch-Verhältnis, Seite 114 

QSR (Quality regarding smoothness and Rayleigh based criterion) Güteindikator, der 

über die Glättung (Smoothing) und eine Rayleigh basierte Detailerhaltung im 

USAF-Testbild definiert ist, Seite 110 

Registrierung Hier: Geometrische Transformation von zwei oder mehreren Bildern 

einer Szene, um sie bestmöglichst in Übereinstimmung miteinander zu bringen, 

Seite 166

Rektum (lat. rectum) Mastdarm, Seite 11 

Relevanzfaktor Charakteristischer Wert für die Ähnlichkeit eines Bildausschnitts zu 

einer definierten Vergleichsgröße, hier einer Gauß-Funktion, Seite 75 

RMSE Root mean square error (Wurzel der mittleren quadratischen Abweichung), 

Seite 113 

Rohdaten Farbsensoren mit Farbfiltermosaik berechnen die Farbwerte des resultie- 

renden Bilds aus farbkodierten Intensitätswerten, den sog. Rohdaten, Seite 22 

ROI (Region of interest) Berücksichtigter Bereich für Bildoperationen, Seite 51 

Sensorelement Einzelne lichtempfindliche Zelle aus der fotosensitiven Fläche (Ma- 

trix) eines Kamerasensors, Seite 21 

sinc-Funktion (engl. sinus cardinalis) Die sincFunktion ist als sin(x)/x definiert und 

spielt in der Signalverarbeitung eine wichtige Rolle , Seite 69 

Spekulum (lat. Speculum) Spiegel, Seite 11 

STFT (Short time Fourier transform) Kurzzeit- oder auch gefensterte Fourier-Trans- 

formation, Seite 43 

subpixelgenau Der Begriff wird hier für Berechnungen verwendet, die eine höhere 

Präzision als das Pixelraster verwenden., Seite 32 

Super Resolution Verfahren zur Erhöhung der Auflösung in bewegten Bildsequen- 

zen, Seite 37 

Superposition Verfahren zur Auflösungsteigerung im Ortsbereich durch Überlage- 

rung minimal versetzter Bildinhalte, Seite 46 

189 

Template Intensitätsmatrix, hier zum blockweisen Vergleich der Ähnlichkeit von Bild- 

ausschnitten, Seite 75 

TI (Transinformation) Statistisches Maß für den Zusammenhang von Zufallsgrö- 

ßen, Seite 116 

USAF-Testbild (engl. US Air Force Resolution Test Chart) Testmuster zur Bestim- 

mung der Auflösungsfähigkeit eines optischen Systems. Das Muster enthält 

Gruppen von je drei Linien in unterschiedlichen Auflösungsstufen., Seite 54 

Weißabgleich Verfahren zur Korrektur der Gewichtung von Farbkanälen eines Kame- 

rasensors bezüglich der Farbtemperatur des Lichtes am Aufnahmeort, Seite 57

190 

Zystoskop Gerät zur Spiegelung der Blase, Seite 11

Formelzeichen und Symbole 

Matrizen, Bilder, Gitternetze 

M(MQ / MG) Filtermaske im Spektralraum (für Quarzfaser / für Glasfaser) 

I Bildmatrix 

Î Faserendoskopisch erfasstes Szenenbild 

ˆR Rohdaten von Î 

Îref 

ˆRref 

Weißbild zur Kalibrierung 

Rohdaten des Weißbilds 

LR Î Niedrig aufgelöstes Eingangsbild 

HR I Hoch aufgelöstes Ausgangsbild 

S Diskretisierte Bildszene 

T Template zum Blockvergleich 

R Berücksichtigter Bereich für Bildoperationen 

N Pixelmenge eines lokalen Bildausschnitts 

D Delaunay Gitternetz 

ΩS 

ΩR 

Operatoren 

Evaluierungsbereich für Glattheit 

Evaluierungsbereich für Detailerhaltung 

⊙ Elementweise Multiplikation von Matrizen 

F Transformation in einen Frequenzraum 

I Interpolation basierend auf einer Menge an Stützstellen 

FFT Schnelle Fouriertransformation 

M Operator zur Erstellung von Filtermasken 

⌊x⌋ Abgerundeter Wert von x 

⌈x⌉ Aufgerundeter Wert von x 

x2 L2-Norm von x 

{a; b} Diskrete Wertemenge von a bis b 

[a; b] Kontinuierlicher Wertebereich von a bis b 

191

192 

Formelzeichen und Symbole 

mdist 

Grauwertschwelle des Maximumfilters 

ϑ Relevanzfaktor im Sinne der Güte einer Faserabbildung 

df 

˜df 

f0 

Faserabstand 

Geschätzter Faserabstand 

Grenzfrequenz 

NA Numerische Apertur 

ρ / τ Verzerrungsparameter (radial / tangential) 

γ Abmessungsverhältnis eines Sensorelements 

(x, y) T /(˜x, ˜y) T Un-/Verzerrte Koordinaten 

NI 

NM 

NF 

ND 

NN 

rkern 

Anzahl der Bilder 

Anzahl der Merkmale 

Anzahl der Fasern 

Anzahl der Dreiecke im Delaunay-Gitter 

Anzahl definierter Nachbarn einer Faser 

Kernradius einer Faser 

λ Wellenlänge 

V Normierte Frequenz 

ˆV Normierte Grenzfrequenz 

rmod 

rA 

αs 

Modenfeldradius 

Aperturradius 

W, H Breite, Höhe 

αtotal 

Grundorientierung der Faseranordnung 

Akzeptanzwinkel für die Totalreflexion in Glasfasern 

a Intensitätsamplitude 

pkand 

Pkand 

Wk 

σk 

pI 

pf ,i 

Kandidatenbildpunkt 

Menge von Kandidatenbildpunkten 

Größe der Impulsantwortmatrix zur Glättung 

Standardabweichung der Impulsantwortmatrix zur Glättung 

Bildpunkt 

Faserzentrum i 

SE Sensorelement 

b Barizentrische Koordinate

Verzeichnis der Fremdliteratur 

[AGF05] AYMERIC, PERCHANT, LE GOUALHER GEORGES und BERIER FREDERIC: 

193 

Method for processing an image acquired through a guide consisting of a plura- 

lity of optical fibers. Patent US2005207668, 2005. 

[AKH + 99] ASLAN, PETER, RAMSAY L. KUO, KIRS HAZEL, RICHARD K. BABYAN und 

GLENN M. PREMINGER: Advances in Digital Imaging during Endoscopic Sur- 

gery. Journal of Endourology, 13(4):251–255, Mai 1999. 

[Alm06] ALMIKRO GMBH: Entwicklung, Produktion und Vertrieb innovativer Produkte 

aus dem Bereich der Endoskopie für die Humanmedizin sowie für industrielle 

Anwendungen. http://www.almikro.de, Sep. 2006. 

[And05] ANDERSSON TECHNOLOGIES LLC: SynthEyes Lens Distortion Algorithm. 

http://www.ssontech.com/content/lensalg.htm, 2005. 

[And07] ANDERSSON TECHNOLOGIES LLC: SynthEyes 2007: 3-D Camera Tracking. 

http://www.ssontech.com/, 2007. 

[Arn06] ARNOLD, CORNELIA: Experimentelle Untersuchung unterschiedlicher Be- 

leuchtungstechniken für die automatische Bohrungsinspektion. Diplomarbeit, 

FH Jena und Fraunhofer IIS, 2006. 

[BCR + 01] BARONTI, S., A. CAPANNI, A. ROMOLI, L. SANTURRI und R. VITULLI: De- 

tector shape in hexagonal sampling grids. In: FUJISADA, H., J. B. LURIE 

und K. WEBER (Herausgeber): Proceedings SPIE, Sensors, Systems, and Next- 

Generation Satellites V, Hiroyuki Fujisada; Joan B. Lurie; Konradin Weber; 

Eds., Band 4540, Seiten 354–365, Dez. 2001. 

[BEZN05] BEN-EZRA, M., A. ZOMET und S.K. NAYAR: Video super-resolution using 

controlled subpixel detector shifts. In: IEEE Transactions on Pattern Analysis 

and Machine Intelligence, Band 27, Seiten 977 – 987, Juni 2005. 

[BIG03] BEN-ISRAEL, ADI und THOMAS N.E. GREVILLE: Generalized Inverses. 

Springer-Verlag, 2 Auflage, 2003.

194 VERZEICHNIS DER FREMDLITERATUR 

[Bro00] BROECHER, BENNO: Faseroptische Sensoren zur Prozessüberwachung in der 

Mikrosystemtechnik. Berichte aus der Produktionstechnik. Shaker, Aachen, 1. 

Auflage, 2000. 

[BS98] BORMAN, SEAN und ROBERT STEVENSON: Spatial Resolution Enhancement 

of Low-Resolution Image Sequences - A Comprehensive Review with Directi- 

ons for Future Research. Technischer Bericht, Laboratory for Image and Signal 

Analysis, 1998. 

[Can86] CANNY, J.: A computational approach to edge detection. IEEE Transaction on 

Pattern Analysis and Machine Intelligence, 8(6):679–698, Nov. 1986. 

[CCSS03] CHAN, RAYMOND H., TONY F. CHAN, LIXIN SHEN und ZUOWEI SHEN: Wa- 

velet Algorithms for High-Resolution Image Reconstruction. SIAM Journal on 

Scientific Computing, 24(4):1408–1432, 2003. 

[CM05] CHAUDHURI, SUBHASIS und JOSHI MANJUNATH: Motion-Free Super- 

Resolution. Springer-Verlag New York, Inc., Secaucus, 1. Auflage, 2005. 

[CV00] CHEN, HUA-MEI und PRAMOD K. VARSHNEY: A Pyramid Approach For Mul- 

timodality Image Registration Based On Mutual Information. Proceedings of the 

Third International Conf. on Information Fusion (FUSION), 1:9–15, Juli 2000. 

[Das07] DAS MOVIE-COLLEGE: Weichzeichner. http://www.movie-college. 

de/filmschule/kamera/weichzeichner.htm, Juli 2007. 

[DBM98] DICKENS, M.M., D.J. BORNHOP und S. MITRA: Removal of optical fiber in- 

terference in color micro-endoscopic images. In: Proceedings of 11th IEEE Sym- 

posium on Computer-Based Medical Systems, Seiten 246–251, Juni 1998. 

[DHMB97] DICKENS, MOLLY M., MICHAEL P. HOULNE, SUNANDA MITRA und DAR- 

RYL J. BORNHOP: Soft computing method for the removal of pixelation in micro- 

endoscopic images. In: BOSACCHI, BRUNO, JAMES C. BEZDEK und DAVID B. 

FOGEL (Herausgeber): Proceedings SPIE, Applications of Soft Computing, Band 

3165, Seiten 186–194, Okt. 1997. 

[DHMB99] DICKENS, MOLLY M., MICHAEL P. HOULNE, SUNANDA MITRA und DAR- 

RYL J. BORNHOP: Method for depixelating micro-endoscopic images. Optical 

Engineering, 38:1836–42, Nov. 1999. 

[Dum98] DUMAS, JEAN: Device to enhance imaging resolution. Patent US5712685, 1998. 

[EHO01] ELAD, MICHAEL und Y. HEL-OR: A Fast Super-Resolution Reconstruction Al- 

gorithm for Pure Translational Motion and Common Space-Invariant Blur. IEEE 

Transactions on Image Processing, 10(8):1187–1193, Aug. 2001.

VERZEICHNIS DER FREMDLITERATUR 195 

[Ehr93] EHRHARDT, J.C.: Hexagonal fast Fourier transform with rectangular output. 

IEEE Transactions on Signal Processing, 41(3):1469–1472, März 1993. 

[EKP93] EIKELMANN, E., S. KELLER und T. PFEIFER: Verfahren zur Darstellung eines 

in ein Lichtleiterbündel eingekoppelten Bildes. Patent DE4345278, 1993. 

[Eve07] EVEREST VIT GMBH: Homepage. http://www.everestvit.de, Juli 

2007. 

[Far04] FARSIU, SINA: Resolution Enhancement Software. http://www.cse. 

ucsc.edu/~milanfar/SR-Software.htm, 2004. 

[FBPD06] FELDMANN, TOBIAS, SAHLA BOUATTOUR, DIETRICH PAULUS und FRANK 

DEINZER: Kombination verschiedener Ähnlichkeitsmaße für die 2D/3D- 

Registrierung von Röntgenbildern mittels Demokratischer Integration. In: Bild- 

verarbeitung für die Medizin (BVM), Seiten 226–230. Springer Verlag, 2006. 

[FEM06] FARSIU, S., M. ELAD und P. MILANFAR: Multiframe demosaicing and super- 

resolution of color images. IEEE Transactions on Image Processing, 15(1):141– 

159, Jan. 2006. 

[Fib01] FIBER OPTICS SCHOTT AG: Fiber Characteristics. http: 

//www.schott.com/fiberoptics/english/download/25. 

01.01FiberChar.pdf, 2001. 

[Fib04] FIBER OPTICS SCHOTT AG: Industrial fiber optic components. 

http://www.schott.com/fiberoptics/english/download/ 

industrial_fiber_optic_components_e_0904.pdf, 2004. 

[FREM04a] FARSIU, S., D. ROBINSON, M. ELAD und P. MILANFAR: Advances and Chal- 

lenges in Super-Resolution. International Journal of Imaging Systems and Tech- 

nology, 14(2):47–57, 2004. 

[FREM04b] FARSIU, SINA, DIRK ROBINSON, MICHAEL ELAD und PEYMAN MILANFAR: 

Fast and Robust Multi-Frame Super-Resolution. In: IEEE Transactions on Image 

Processing, Band 13, Seiten 1327–1344, Okt. 2004. 

[Fur01] FURTNER, UWE: Farbverarbeitung mit Bayer-Mosaic Sensoren. Technischer 

Bericht, MATRIX Vision GmbH, Aug. 2001. 

[FVLS04] FISCHER, BENEDICT, B. VAESSEN, THOMAS M. LEHMANN und KLAUS SPIT- 

ZER: Bildverbesserung endoskopischer Videosequenzen in Echtzeit. In: Bildver- 

arbeitung für die Medizin (BVM), Seiten 386 – 389, Heidelberg, 2004. Springer 

Verlag.


[GOE + 05] GRUNWALD, S., R. OHLINGER, U. EULER, M. KIECHLE, B. PLATTNER, 

T. FISCHER, M.WARM, M. HAHN, V. R. JACOBS und S. PAEPKE: Minimalin- 

vasive Diagnostik sezernierender Brusterkrankungen durch Milchgangsendosko- 

pie. In: Endoskopie heute, Band 18, Seiten 186–189, 2005. 

[GPG + 04] GOUALHER, G. LE, A. PERCHANT, M. GENET, C. CAVÉ, B. VIELLEROBE, 

F. BÉRIER, B. ABRAT und N. AYACHE: Towards optical biopsies with an inte- 

grated fibered confocal fluorescence microscope. In: Medical Image Computing 

and Computer-Assisted Intervention (MICCAI), Band 2 der Reihe Lecture Notes 

in Computer Science, Seiten 761–68. Springer, 2004. 

[GRS97] GIROD, B., R. RABENSTEIN und A. STENGER: Einführung in die Systemtheo- 

rie. Teubner, Stuttgart, 1. Auflage, 1997. 

[Han07a] HANDELSBLATT: Gefahr durch Röntgenstrahlen unterschätzt. http://www. 

handelsblatt.com, Mai 2007. 

[Han07b] HANSELMANN, MICHAEL: High Resolution Microscopy. Diplomarbeit, Uni- 

versität Ulm und Fraunhofer IIS, 2007. 

[HBA97] HARDIE, R.C., K.J. BARNARD und E.E. ARMSTRONG: Joint MAP registration 

and high-resolution image estimation using a sequence of undersampled images. 

In: IEEE Transactions on Image Processing, Band 6, Seiten 1621–1633, Dez. 

1997. 

[HGN03] HOWELL, PAUL, WENDY R. GARBER und LUONG NGUYEN: Resolution- 

enhancement method for digital imaging. Patent US6570613, 2003. 

[Hir07] HIRSCHBECK, FRANZ: Beschleunigte Bildverbesserung für faseroptische Endo- 

skope mittels Grafikhardware. Diplomarbeit, Universität Erlangen und Fraunho- 

fer IIS, 2007. 

[HPP04] HONG, VINH, HENRYK PALUS und DIETRICH PAULUS: Edge Preserving Fil- 

ters on Color Images. In: International Conference on Computational Science, 

Seiten 34–40, 2004. 

[HS96] HEIKKILA, J. und O. SILVEN: Calibration procedure for short focal length off- 

the-shelf CCD cameras. In: Proceedings of the 13th International Conference 

on Pattern Recognition, Band 1, Seiten 166–170, Aug. 1996. 

[HTB + 97] HARDIE, RUSSELL C., TIMOTHY R. TUINSTRA, JOHN BOGNAR, KENNETH J. 

BARNARD und ERNEST ARMSTRONG: High Resolution Image Reconstruction 

from Digital Video with Global and Non-Global Scene Motion. International 

Conference on Image Processing, 1:153–156, Okt. 1997.


[HZMH01] HELFERTY, J.P., C. ZHANG, G. MCLENNON und W.E. HIGGINS: Videoendos- 

copic distortion correction and its application to virtual guidance of endoscopy. 

IEEE Transactions on Medical Imaging, 20(7):605–17, 2001. 

[Int01] INTEL: Open Source Computer Vision Library. Reference Manual, 2001. 

[IP91] IRANI, M. und S. PELEG: Improving Resolution by Image Registration. Graphi- 

cal Models and Image Processing, 53(3):231–239, 1991. 

[Jai89] JAIN, ANIL K.: Fundamentals of digital image processing. Prentice-Hall, Inc., 

Upper Saddle River, NJ, USA, 1989. 

[Jan00] JANSSEN, CHRISTIAN: Ein miniaturisiertes Endoskop-Stereomesssystem zur 

Strömungsvisualisierung in Kiesbetten. Diplomarbeit, Universität Heidelberg, 

2000. 

[Kar04] KARL STORZ GMBH: Rückblick Industriemesse Hannover vom 19.- 

24.04.2004. http://www.karlstorz.de/cps/rde/xchg/ 

SID-0A010A01-6F236960/karlstorz/hs.xsl/239.htm, 2004. 

[Kar07] KARL STORZ GMBH: Homepage. http://www.karlstorz.de, Juli 

2007. 

[KBV90] KIM, S. P., N. K. BOSE und H. M. VALENZUELA: Recursive Reconstruction of 

High Resolution Image From Noisy Undersampled Multiframes. IEEE Transac- 

tions on Acoustics, Speech, and Signal Processing (TASSP), 38(6):1013–1027, 

Juni 1990. 

[KBV93] KIM, S. P., N. K. BOSE und H. M. VALENZUELA: Recursive Implementati- 

on of Total Least Squares Algorithm for Image Reconstruction from Noisy Un- 

dersampled Multiframes. IEEE Transactions on Acoustics, Speech, and Signal 

Processing (TASSP), 5:269–272, 1993. 

[KH96] KALTENBACHER, E. und R.C. HARDIE: High resolution infrared image recon- 

struction using multiple, lowresolution, aliased frames. Proceedings of National 

Aerospace and Electronics Conference (NAECON), 2:702–709, 1996. 

[Kon07] KONICA MINOLTA GMBH: Homepage. http://www.konicaminolta. 

de, Juli 2007. 

[KPS89] KAMGAR-PARSI, B. und III SANDER, W.A.: Quantization error in spatial 

sampling: comparison between square and hexagonal pixels. In: Proceedings of 

Conference on Computer Vision and Pattern Recognition (CVPR), Seiten 604– 

611. IEEE Computer Society, Juni 1989.


[KVH + 04] KRÜGER, SOPHIE, FLORIAN VOGT, WERNER HOHENBERGER, DIETRICH 

PAULUS, HEINRICH NIEMANN und CHRISTOPH SCHICK: Evaluation of 

Computer-assisted Image Enhancement in Minimal Invasive Endoscopic Surge- 

ry. Methods Inf Med, 43(4):362–6, 2004. 

[KWL05] KOPPEL, DAN, YUAN-FANG WANG und HUA LEE: Robust and Real-Time 

Image Stabilization and Rectification. In: Seventh IEEE Workshops on Appli- 

cation of Computer Vision (WACV), Band 1, Seiten 350–355, Jan. 2005. 

[LB02] LERTRATTANAPANICH, S. und N.K. BOSE: High Resolution Image Formation 

From Low Resolution Frames Using Delaunay Triangulation. IEEE Transactions 

on Image Processing, 11(12):1427 – 1441, Dez. 2002. 

[LK81] LUCAS, BRUCE D. und TAKEO KANADE: An Iterative Image Registration Tech- 

nique with an Application to Stereo Vision. In: Proceedings of 7th International 

Joint Conference on Artificial Intelligence, Seiten 674–679, 1981. 

[Mit05] MITSCHKE, F.: Glasfasern: Physik und Technologie. Spektrum Akademischer 

Verlag, 1. Auflage, 2005. 

[MKT + 07] MORAL, A.I., M. E. KUNKEL, K. TINGELHOFF, M. RILK, I. WAGNER, 

K. W.G. EICHHORN, F. BOOTZ und F. M. WAHL: 3D Endoscopic Approach 

for Endonasal Sinus Surgery. In: 29th Annual International Conference of the 

IEEE Engineering in Medicine and Biology Society, Seiten 4683–6, Aug. 2007. 

[MNMW03] MÜNZENMAYER, CHRISTIAN, FREDERIC NAUJOKAT, STEFFEN MÜHLDOR- 

FER und THOMAS WITTENBERG: Enhanced Texture Analysis by Color Shading 

Correction. In: Proceedings des Workshops für Farbbildverarbeitung, Seiten 

35–42, 2003. 

[MPW06] MÜNZENMAYER, CHRISTIAN, DIETRICH PAULUS und THOMAS WITTEN- 

BERG: A Spectral Color Correction Framework for Medical Applications. IEEE 

Transactions for Biomedical Engineering, 53(2):254–265, Feb. 2006. 

[Nel89] NEL, A.L.: Hexagonal image processing. In: Proceedings of Conference on 

Communications and Signal Processing (COMSIG), Seiten 109–113, Juni 1989. 

[Nik07] NIKON GMBH: Homepage. http://www.nikon.de, Juli 2007. 

[NM00] NGUYEN, NHAT und PEYMAN MILANFAR: A wavelet-based interpolation- 

restoration method for superresolution (wavelet superresolution). Circuits, Sys- 

tems, and Signal Processing, 19(4):321–38, 2000. 

[NMG01] NGUYEN, NHAT, PEYMAN MILANFAR und GENE GOLUB: A Computationally 

Efficient Superresolution Image Reconstruction Algorithm. IEEE Transactions 

on Image Processing, 10(4):573–583, Apr. 2001.


[Oly07] OLYMPUS GMBH: Homepage. http://www.olympus-europa.com/ 

endoscopy, Juli 2007. 

[OPJ + 06] OHLINGER, R., S. PAEPKE, V. R. JACOBS, M. HAHN und S. GRUNWALD: Stel- 

lenwert der Duktoskopie in der Mammadiagnostik. Der Gynäkologe, 39(7):538– 

544, Juli 2006. 

[Ort03] ORTMAIER, TOBIAS JOHANNES: Motion Compensation in Minimally Invasive 

Robotic Surgery. Diplomarbeit, Universität München, 2003. 

[PCN98] PAULUS, DIETRICH, LASZLO CSINK und HEINRICH NIEMANN: Color Cluster 

Rotation. In: International Conference on Image Processing, Seiten 161–165, 

1998. 

[PLS85] PELLI, D. G., G. E. LEGGE und M. M. SCHLESKE: Psychophysics of reading 

(III): A fiberscope low-vision reading aid. Investigative Ophthalmology and Vi- 

sual Science, 26(5):751–763, Mai 1985. 

[Pol07] POLYDIAGNOST GMBH: Homepage. http://www.polydiagnost.com, 

Juli 2007. 

[PPK03] PARK, SUNG CHEOL, MIN KYU PARK und MOON GI KANG: Super-Resolution 

Image Reconstruction: A Technical Overview. IEEE Magazine on Signal Proces- 

sing, 20:21–36, Mai 2003. 

[PWSH06] POPP, ANTONIA, FRANK WOLFSGRUBER, INGO SCHOLZ und GERD HÄUS- 

LER: Endoskopische 3D-Rekonstruktion mit kohärenztheoretisch optimierter Be- 

leuchtung. In: Proceedings der Deutschen Gesellschaft für angewandte Optik 

e.V., 2006. 

[Ric07] RICHARD WOLF GMBH: Homepage. http://www.richard-wolf.com, 

Juli 2007. 

[Rod07] RODENSTOCK GMBH: Homepage. http://www.rodenstock.com, Juli 

2007. 

[RSBS02] RAMANATH, RAJEEV, WESLEY E. SNYDER, GRIFF L. BILBRO und WIL- 

LIAM A. SANDER: Demosaicking methods for Bayer color arrays. Journal of 

Electronic Imaging, 11:306–315, Juli 2002. 

[Ärz00] ÄRZTE ZEITUNG: Färben, sehen, schneiden - die chromoendoskopische 

Therapie. http://www.aerztezeitung.de/docs/2000/11/09/ 

201a1002.asp, Nov. 2000. 

[SCG + 01] SANDERSON, S.L., A.Y. CHEER, J.S. GOODRICH, J.D. GRAZIANO und W.T. 

CALLAN: Crossbow filtration in suspension-feeding fishes. Nature, 412:439–40, 

2001.


[Sch07a] SCHILINSKI, HELENA: Modellierung der faseroptischen Farbbildgebung mit 

Bayer Pattern zur Evaluierung von Verbesserungen an Algorithmen zur Bild- 

aufbereitung. Diplomarbeit, Universität Ulm und Fraunhofer IIS, 2007. 

[Sch07b] SCHÖLLY FIBEROPTIC GMBH: Homepage. http://www.schoelly.de, 

Juli 2007. 

[Sei03] SEITZ, K.: About Quality of Diagnostic Ultrasound - an Enduring Problem Be- 

tween Reality and Satire. Ultraschall in der Medizin, 24:375–376, 2003. 

[SLZZ04] SHEN, HUANFENG, PINGXIANG LI, LIANGPEI ZHANG und YINDI ZHAO: A 

MAP Algorithm to Super-Resolution Image Reconstruction. In: Proceedings of 

the Third International Conference on Image and Graphics (ICIG), Seiten 544– 

547, Washington, DC, USA, Dez. 2004. IEEE Computer Society. 

[SS96] SCHULTZ, RICHARD R. und ROBERT L. STEVENSON: Extraction of High- 

Resolution Frames from Video Sequences. IEEE Transaction on Image Proces- 

sing, 5(6):996–1011, Juni 1996. 

[SS07] SCHOLLMEYER, TH. und M. SCHOLLMEYER: Geschichte der Laparoskopie, 

2007. http://www.agendoskopie.de. 

[ST94] SHI, JIANBO und CARLO TOMASI: Good Features to Track. In: IEEE Con- 

ference on Computer, Vision and Pattern Recognition (CVPR), Seiten 593–600, 

Juni 1994. 

[Ste07] STEENKAMP, CHRISTINE: Konzept und Durchführung einer Evaluierung von 

Algorithmen zur Bildaufbereitung für faseroptische Systeme. Diplomarbeit, FH 

Remagen und Fraunhofer IIS, 2007. 

[SVM92] SMITH, W.E., N. VAKIL und S.A. MAISLIN: Correction of distortion in endos- 

cope images. IEEE Transactions on Medical Imaging, 11(3):117 – 122, 1992. 

[TBM02] THORMÄHLEN, T., H. BROSZIO und P.N. MEIER: Automatische 3D- 

Rekonstruktion aus endoskopischen Bildfolgen. In: Bildverarbeitung für die Me- 

dizin (BVM), Seiten 207–210. Springer-Verlag Heidelberg, 2002. 

[TH84] TSAI, ROBERT Y. und THOMAS S. HUANG: Multiframe Image Restoration and 

Registration. Advances in Computer Vision and Image Processing, Jai Press, 

1:317–339, 1984. 

[The07] THE TIFFEN COMPANY: Tiffen Camera Filters. http://www.tiffen.com, 

Juli 2007. 

[TK91] TOMASI, CARLO und TAKEO KANADE: Detection and Tracking of Point Fea- 

tures. Technischer Bericht CMU-CS-91-132, Carnegie Mellon University, Apr. 

1991.


[TOS92] TEKALP, A. M., M. K. OZKAN und M. I. SEZAN: High-resolution Infra- 

red Image Reconstruction from Lower-resolution Image Sequences and Space- 

varying Image Restoration. IEEE International Conference on Acoustics, 

Speech, and Signal Processing (ICASSP), 3:169–172, 1992. 

[Tsa86] TSAI, ROGER Y.: An Efficient and Accurate Camera Calibration Technique for 

3D Machine Vision. In: Proceedings of IEEE Conference on Computer Vision 

and Pattern Recognition, Seiten 364–374, 1986. 

[Tsa87] TSAI, R.: A versatile camera calibration technique for high-accuracy 3D ma- 

chine vision metrology using off-the-shelf TV cameras and lenses. IEEE Journal 

of Robotics and Automation, 3(4):323–344, Aug. 1987. 

[TV98] TRUCCO, EMANUELE und ALESSANDRO VERRI: Introductory Techniques for 

3-D Computer Vision. Prentice Hall PTR, Upper Saddle River, NJ, USA, 1998. 

[Uni07] UNIVERSITÄTSKLINIKUM GIESSEN UND MARBURG GMBH: Chirurgi- 

sche Endoskopie. http://www.uniklinikum-giessen.de/ach/ 

endoskopie.html, 2007. 

[VKNS03] VOGT, FLORIAN, SOPHIE KRÜGER, HEINRICH NIEMANN und CHRISTOPH 

SCHICK: A System for Real-Time Endosopic Image Enhancement. In: Medical 

Image Computing and Computer-Assisted Intervention (MICCAI), Lecture Notes 

in Computer Science, Seiten 356–363. Springer, 2003. 

[Vog06] VOGT, FLORIAN: Augmented Light Field Visualization and Real-Time Image 

Enhancement for Computer Assisted Endoscopic Surgery. Doktorarbeit, Techni- 

sche Fakultät der Universität Erlangen-Nürnberg, 2006. 

[VPS01] VOGT, FLORIAN, DIETRICH PAULUS und CHRISTOPH H. SCHICK: Fast Im- 

plmentation of Temporal Color Image Filtering. In: PAULUS, DIETRICH und 

JOACHIM DENZLER (Herausgeber): Proceedings des Workshops für Farbbild- 

verarbeitung, Seiten 89–98, 2001. 

[WBSS04] WANG, Z., A.C BOVIK, H.R. SKEIKH und E.P. SIMONCELLI: Image quality 

assessment: from error visibility to structural similarity. IEEE Transactions on 

Image Processings, 13(4):600–612, 2004. 

[Wei05] WEISENSEL, SANDRA: Auflösungssteigerung von endoskopischen Aufnahmen 

durch Nutzung der Bewegung in Bildsequenzen. Diplomarbeit, FH Schweinfurt 

und Fraunhofer IIS, Aug. 2005. 

[WJNZ03] WILLETT, R., I. H. JERMYN, R. NOWAK und J. ZERUBIA: Wavelet-Based 

Superresolution in Astronomy. In: Proceedings Astronomical Data Analysis Soft- 

ware and Systems, Okt. 2003.


[You00] YOUNG, MATT: Optics and Lasers. Springer Verlag, 5. Auflage, 2000. 

[Zha00] ZHANG, ZHENGYOU: A Flexible New Technique for Camera Calibration. IEEE 

Transactions on Pattern Analysis and Machine Intelligence, 22(11):1330–1334, 

2000.

Literatur des Autors 

[*ERW06] ELTER, MATTHIAS, STEPHAN RUPP und CHRISTIAN WINTER: Physically 

203 

Motivated Reconstruction of Fiberscopic Images. In: Proceedings of the 18th 

International Conference on Pattern Recognition (ICPR), Band 3, Seiten 599– 

602, Washington, DC, USA, Aug. 2006. IEEE Computer Society. 

[*EWR + 06] ELTER, MATTHIAS, CHRISTIAN WINTER, STEPHAN RUPP, VOLKER DAUM, 

KLAUS SPINNLER und ROBERT COURONNE: Verfahren und Vorrich- 

tung zum Erzeugen einer strukturfreien fiberskopischen Aufnahme. Patent 

DE102006011707A1, 03 2006. 

[*MEW + 06] MÜNZENMAYER, CHRISTIAN, MATTHIAS ELTER, CHRISTIAN WINTER, 

STEPHAN RUPP und KLAUS SPINNLER: Rekonstruktion faseroptischer Bilder 

für die automatische Sichtprüfung. Fraunhofer Machine Vision Excellence, Juli 

2006. 

[*RWE06a] RUPP, STEPHAN, CHRISTIAN WINTER und MATTHIAS ELTER: Geometrische 

Kalibrierung von Faser-Endoskopen. In: 51. Jahrestagung der Deutschen Ge- 

sellschaft für Medizinische Informatik, Biometrie und Epidemologie (GMDS), 

Band 51, Seiten 315–316. Jütte-Messedruck Leipzig GmbH, Sep. 2006. 

[*RWE06b] RUPP, STEPHAN, CHRISTIAN WINTER und MATTHIAS ELTER: Untersuchun- 

gen zur Kalibrierung flexibler Endoskope durch Modellierung ihres faser- 

optischen Übertragungskanals. In: Biomedizinische Technik: Tagungsband Ge- 

meinsame Jahrestagung der Deutschen, Österreichischen und Schweizerischen 

Gesellschaften für Biomedizinische Technik, Seite 58. Walter de Gruyter GmbH 

& Co. KG, Berlin, Sep. 2006. 

[*RWE07] RUPP, STEPHAN, CHRISTIAN WINTER und MATTHIAS ELTER: Robust Esti- 

mation of Camera Parameters using Combinatorial Optimization. In: IASTED 

International Conference on Computer Graphics and Imaging (CGIM), Seiten 

185–190. ACTA Press, Anaheim/Calgary/Zurich, 2007. 

[*RWW06] RUPP, STEPHAN, CHRISTIAN WINTER und THOMAS WITTENBERG: Came- 

ra Calibration from Fiberscopic Views with Accuracy Evaluation. In: Bild-

204 LITERATUR DES AUTORS 

verarbeitung für die Medizin (BVM), Seiten 424–428, Heidelberg, März 2006. 

Springer, Berlin. 

[*SKW06] SPINNLER, KLAUS, ANDREAS KULESCHOW und CHRISTIAN WINTER: Au- 

tomatische Sichtprüfung von Innenflächen. Technischer Bericht, Fraunhofer 

Allianz Vision, Juni 2006. 

[*WERW06] WINTER, CHRISTIAN, MATTHIAS ELTER, STEPHAN RUPP und THOMAS 

WITTENBERG: Dynamic resolution enhancement for fiber optics. In: IASTED 

International Conference on Signal and Image Processing (SIP), 2006. 

[*WR07] WINTER, CHRISTIAN und STEPHAN RUPP: Impact of Undistortion and In- 

terpolation on Fiber Optic Tracking. In: IASTED International Conference 

on Signal Processing, Pattern Recognition, and Applications (SPPRA). ACTA 

Press, Anaheim/Calgary/Zurich, 2007. 

[*WRE + 06] WINTER, CHRISTIAN, STEPHAN RUPP, MATTHIAS ELTER, CHRISTIAN 

MÜNZENMAYER, HEINZ GERHÄUSER und THOMAS WITTENBERG: Automa- 

tic adaptive enhancement for images obtained with fiberscopic endoscopes. IE- 

EE Transactions on Biomedical Engineering, 53:2035–2046, Okt. 2006. 

[*WRM + 05] WINTER, CHRISTIAN, STEPHAN RUPP, CHRISTIAN MÜNZENMAYER, 

KLAUS SPINNLER, HEINZ GERHÄUSER und THOMAS WITTENBERG: Adap- 

tive Rasterreduktion durch spektrale Ausblendung in Aufnahmen von flexiblen 

Endoskopen. In: Bildverarbeitung für die Medizin (BVM), Seiten 45–49. Sprin- 

ger, Berlin, März 2005. 

[*WRW06] WINTER, CHRISTIAN, STEPHAN RUPP und THOMAS WITTENBERG: Super- 

position for Resolution Enhancement in Image Sequences Acquired by Fibers- 

copes. In: Biomedizinische Technik: Tagungsband Gemeinsame Jahrestagung 

der Deutschen, Österreichischen und Schweizerischen Gesellschaften für Bio- 

medizinische Technik. Walter de Gruyter GmbH & Co. KG, Berlin, 2006. 

[*WRWS05] WINTER, CHRISTIAN, STEPHAN RUPP, THOMAS WITTENBERG und KLAUS 

SPINNLER: Automatic adaptive removal of fiberscopic comb-structure by spec- 

tral masking. Computer Assisted Radiology and Surgery (CARS), 1(2):1283, 

Juni 2005. 

[*WSRW05] WINTER, CHRISTIAN, INGO SCHOLZ, STEPHAN RUPP und THOMAS WIT- 

TENBERG: Reconstruction of tubes from monocular fiberscopic images App- 

lication and first results. In: GREINER, GÜNTHER, JOACHIM HORNEGGER, 

HEINRICH NIEMANN und MARC STAMMINGER (Herausgeber): Vision, Mo- 

deling And Visualization 2005, Seiten 57–64, Berlin, Nov. 2005. Akademische 

Verlagsgesellschaft Aka GmbH.

LITERATUR DES AUTORS 205 

[*WSW04] WINTER, CHRISTIAN, KLAUS SPINNLER und THOMAS WITTENBERG: 3-D- 

Akquisition komplexer Hohlräume mit flexiblen Endoskopen. In: GERHÄU- 

SER, HEINZ (Herausgeber): 5 Jahre Lehrstuhl für Informationstechnik mit dem 

Schwerpunkt Kommunikationselektronik, Seiten 111–120, 2004. 

[*WSZ07] WINTER, CHRISTIAN, HELENA SCHILINSKI und THORSTEN ZERFASS: Mo- 

dellierung eines CCD-Bildsensors zur Evaluierung von Algorithmen zur Bild- 

aufbereitung in der Farbendoskopie. In: Workshop Farbbildverarbeitung, Sei- 

ten 43–53. Der Andere Verlag, Tönning, 2007. 

[*WWRW06] WINTER, CHRISTIAN, SANDRA WEISENSEL, STEPHAN RUPP und THOMAS 

WITTENBERG: Auflösungssteigerung von fiberskopischen Bildsequenzen im 

Ortsraum. In: Bildverarbeitung für die Medizin (BVM), Seiten 428–433, Hei- 

delberg, März 2006. Springer, Berlin. 

[*WWS + 06] WITTENBERG, THOMAS, CHRISTIAN WINTER, INGO SCHOLZ, STEPHAN 

RUPP, MARC STAMMINGER, KLAUS BUMM und CHRISTOPHER NIMSKY: 

3-D Reconstruction of the Sphenoid Sinus from Monocular Endoscopic Views: 

First results. In: Biomedizinische Technik: Tagungsband Gemeinsame Jahres- 

tagung der Deutschen, Österreichischen und Schweizerischen Gesellschaften 

für Biomedizinische Technik. Walter de Gruyter GmbH & Co. KG, Berlin, Sep. 

2006. 

[*WWWR06] WINTER, CHRISTIAN, SANDRA WEISENSEL, THOMAS WITTENBERG und 

STEPHAN RUPP: Verfahren und Vorrichtung zur Erzeugung eines hoch aufge- 

lösten Bildes für faseroptische Systeme. Patent DE102006004006B3, 01 2006. 

[*WZ07] WINTER, CHRISTIAN und THORSTEN ZERFASS: Korrektur der Farb- 

verschiebung in faseroptischen Abbildungssystemen. Patentanmeldung 

102007026595.8, Feb. 2007.

Lebenslauf 

Christian Winter, geboren 1978 in Regensburg, besuchte das Arnold-Gymnasium in 

Neustadt bei Coburg. Nach seinem Abitur (1997) und dem Grundwehrdienst begann er 

207 

1998 das Studium der Elektrotechnik an der Friedrich-Alexander-Universität Erlangen- 

Nürnberg. Ein achtmonatiger Aufenthalt in Princenton, USA, gewährte ihm Einblicke 

in die Forschung bei Siemens Cooperate Research. Er erhielt das Diplom in Elektro- 

technik im März 2004 und arbeitete anschließend als wissenschaftlicher Mitarbeiter 

am Lehrstuhl für Informationstechnik (LIKE). Ab Mai 2008 ist Christian Winter am 

Fraunhofer Institut für Integrierte Schaltungen (IIS) in Erlangen tätig.

Danksagung 

Die vorliegende Arbeit entstand während meiner Tätigkeit als wissenschaftlicher Mit- 

arbeiter am Lehrstuhl für Informationstechnik (LIKE) in Kooperation mit dem Fraun- 

hofer Institut für Integrierte Schaltungen (IIS) in Erlangen. Gefördert wurde sie im 

Rahmen des Sonderforschungsbereichs (SFB) 603 der Deutschen Forschungsgemein- 

209 

schaft (DFG) als Teilprojekt A7, das die faserendoskopische Rekonstruktion von schwer 

zugänglichen Hohlräumen zum Thema hatte. Für ihre Unterstützung möchte ich allen 

Kolleginnen und Kollegen des SFB 603, der Abteilung BMT und des Lehrstuhls für 

Informationstechnik danken, die in der zurückliegenden interessanten und lehrreichen 

Zeit zum Gelingen dieser Arbeit beigetragen haben. 

Besonderer Dank gilt 

• Prof. Dr.-Ing. Heinz Gerhäuser für die Betreuung der Arbeit als Doktorvater und 

für alle positive Kritik, die den Inhalt der Arbeit sehr bereichert haben, 

• Prof. Dr.-Ing. Dietrich Paulus für die inhaltlichen Beiträge im Rahmen seiner 

Funktion als Zweitgutachter, 

• Dr.-Ing. Thomas Wittenberg für sein Engagement als Mentor am Fraunhofer IIS, 

• Stephan Rupp, Thorsten Zerfaß und Matthias Elter für alle konstruktiven Dis- 

kussionen und Anregungen, sowie unser kollegiales Miteinander, 

• Sandra Weisensel, Andreas Siemon, Christine Steenkamp, Helena Schilinski und 

Franz Hirschbeck für ihre inhaltlichen Beiträge im Rahmen ihrer Mitarbeit, 

• Nives Berner und Michaela Beasly für ihre herzliche Art und organisatorische 

Unterstützung am Lehrstuhl für Informationstechnik, 

• meiner Familie sowie Annemarie Dieter, Johannes Simon und Sonja Bröning 

für alle hilfreichen Korrekturen an der Arbeit und die emotionale Unterstützung 

während der heißen Phase, 

• meinem Herrn und Gott für die Begabung und die Gesundheit für meine Arbeit.

Dokument 1.pdf - Opus

Sie wollen auch ein ePaper? Erhöhen Sie die Reichweite Ihrer Titel.

Template löschen?

Als Template speichern?