Überblick (4,1M) - ITE

ite.kit.edu

Überblick (4,1M) - ITE

Bildauswertungsprinzipien der Navigation und

Objektverfolgung

Aus Videodaten

Information gewinnen.

Prof. Dr. Norbert Link


Inhalt

• Information in Bildern

• Anwendungen maschinellen

Sehens

• Informationsgewinnung aus Bildaten


Information in Bildern

Gegenüberstellung von Videodaten mit anderen

Sensordaten (Wahrnehmungen)

Test

Akustische Daten

Bilddaten (Videodaten)

„Elefant“

Afrikanischer Elefant, Bulle,

ca. 50m entfernt, Drohgebärde,

sich schnell nähernd


Information in Bildern

Gegenüberstellung von Videodaten mit anderen

Sensordaten (Wahrnehmungen)

Akustisch

(Ohr)

Haptisch

(Tastsinn)

Olefaktorisch

(Nase)

Optisch

(Auge)

Detektion/

Erkennung

Verfolgung

Lokalisierung

Vermessung/

Analyse

Abstand

+/- +/- + - 0 ... O(km)

- ++ + +/- 0

+ -- -- -- 0 ... O(m)

++ ++ ++ ++ 0 ...

Durchm.

Universum


Information in Bildern

Fazit:

Sehsinn hat höchste Wahrnehmungsleistung

Sehsinn liefert eine Fülle an Information für eine

Situationsbeurteilung

- auf Distanz (berührungslos)

- Detektion/Erkennung

- Lokalisierung

- Verfolgung

- Analyse

Wunsch:

Ausstattung von Maschinen mit Sehsinn


Information in Bildern

Afrikanischer

Elefant,

Bulle,

ca. 50m entfernt,

Drohgebärde,

sich schnell

nähernd

Stufen der Informationsgewinnung

1. Detektion (Auffälligkeit)

2. Objektinformation

• Erkennung

• Lokalisation

• Zustand

• Vermessung

• Bewegung

3. Situation

Auswertung der

Menge aller Objektinformation

Informationsgewinnung aus

digtalisierten Bilddaten:

Bildauswertung


Entstehung digitaler Bilddaten

Information in Bildern

Von einem Weltpunkt

rückgestreute

Lichtenergie

Auf einen Bildpunkt

auftreffende Lichtenergie

• Objektiv lenkt Lichtenergiestrom

von einem Weltpunkt auf einen

Bildpunkt der Sensorfläche.

• Sensor wandelt

Lichtenergiestrom

in elektrisches Signal.


Entstehung digitaler Bilddaten

Information in Bildern

Objekt

Kamera

CCD-

Kamera-Chip

Sensorfläche

Ausleselogik

Objektiv

Bildsensor

Ausschnitt

Sensorelemente

(Pixel),

ca. 5 µm

Abmessung


Entstehung digitaler Bilddaten

Information in Bildern

j=5

i=6

Pixel mit Grauwert g(i=6,j=5) = 34

g: radiometr. Info, i und j: räuml. Info


Entstehung digitaler Bilddaten Information in Bildern

Videokamera liefert Strom von Einzelbilddaten

Im Bildstapel ergeben

Statische Objektpunkte

senkrechte Geraden

Sich bewegende Bildpunkte

gleichförmige Bewegung:

geneigte Geraden

beschleunigte Bewegung:

gekrümmte Kurven


Information in Bildern

Bilder enthalten Information über

Lichtstrom-Dichteverteilung auf Objektoberflächen (Textur)

Räumliche Beziehungen von Objektpunkten

Bildströme (Sequenzen) enthalten Information über

Änderungen der Lichtstrom-Dichteverteilung

Änderungen der räumliche Beziehungen von Objektpunkten


Information in Bildern

Zielsetzung der Informationsgewinnung: Situationserfassung

T = 1999-09-04.13:08:24:387

{

Infrastr.-Obj.-# ID Typ Anz.Spuren Spurbreite Krümmung

1 Fahrb. BAB1 3 3.5 0.0

Präsentation im Computer

Signal-Obj.-# ID Typ

-

Verk.-Teiln.-# Typ Fahrspur Ablage Gierwinkel v // v ┴ Lat.Abst.

0 Ego 1 - 0.2 -0.12 107 - 0.2 0

1 Van 1 +0.4 *** 102 +0.1 42

2 Pkw 2 +0.3 *** 115 - 0.4 49

}


Überblick

Anwendungen des maschinellen Sehens

Medizin

Digitale Mammographie

Krebszellendetektion

Produktion

Rumpfschalen

Werkerunterstützung (Getriebe)

Überwachung

Verkehr

Flughafen

Security

Aufklärung

Einzelhandel

Fahrzeugführung

Mensch-Maschine-Interaktion

Gesichtsdetektion/-tracking

Mimikerkennung

Gesichtserkennung

Gestenerkennung


Medizin

Anwendungen des maschinellen Sehens

Digitale Mammographie

Detektierte

Mikro-Kalzifikationen


Medizin

Anwendungen des maschinellen Sehens

Krebszellendetektion

Lösung:

Schritt 1 Farbraumtransformation

Schritt 2 Klassifikation

Schritt 3 Entfernung zu kleiner Strukturen,

Auftrennung von Clustern

Schritt 4 Zählung

Krebs Gesund

(weiß)(schwarz)

Eingangsbild

(Mikroskopbild RGB)

Assoziator, der die Farben

eines Pixels und seiner

Nachbarn betrachtet

Ergebnisbild


Medizin

Anwendungen des maschinellen Sehens

Herzuntersuchungen mit Computertomographie

Detektion von

Kalzifikationen

Plaques

Stenosen


Produktion

Anwendungen des maschinellen Sehens

Rumpfschalen-Qualitätsprüfung

•Vollständigkeit

•Richtigkeit

•Maßhaltigkeit

Anbauteile- Mustervergleich

Flugzeug-Rumpfschalen-Produktion


Produktion

Anwendungen des maschinellen Sehens

Werkerunterstützung in der Montage


Verkehr

Anwendungen des maschinellen Sehens

Verkehrsstrommessung

Verkehrssituationsanalyse


Überwachung

Anwendungen des maschinellen Sehens

Landungsüberwachung

Übersichtskamera

Segmentkamera

Nachgeführte Detailkamera


Überwachung

Anwendungen des maschinellen Sehens

Security: Freigelände-und Gebäudeüberwachung

Statische Kamera

Schwenk-Neige-Kamera

Master-Slave-Kamera


Überwachung

Anwendungen des maschinellen Sehens

Aufklärung mittels Luft- und Satellitenbildauswertung

• Landnutzung

• Umweltüberwachung

• Städtewachstum

• Aufklärung

Abrüstungskontrolle


Einzelhandel

Anwendungen des maschinellen Sehens

Kundenstrom-Messung


Fahrzeugführung

Anwendungen des maschinellen Sehens

Flugzeug-Andockleitsysteme

Passagierbrücke

Einrollleitlinie

B 737-300

Rollfeld

Stopposition

Videokamera

Display


Andockleitsystem für Flugzeuge

Anwendungsbeispiele

Beispielprojekt

Information in Bildern


Andockleitsystem für Flugzeuge

Anwendungsbeispiele

Beispielprojekt

Information in Bildern


Fahrzeugführung

Anwendungen des maschinellen Sehens

Fahrspurverfolgung, Detektion und Verfolgung anderer Verkehrsteilnehmer

aus Bildfolgen

für

Fahrerassistenzsysteme

• Spurhalteassistent

• Automatische Cruise Control

• Kollissionswarner

• ...

256 Farben

Quelle: FhG-IITB


Fahrzeugführung

Anwendungen des maschinellen Sehens

Keine Fahrspuren =>

Modellerzeugung der Landmarken

Innenortsbereiche

• Tele ATLAS

• Gerichtete Graphen

– Jpoints

• Lon, lat

– Edges

• Name

• Class

• Permissions


Fahrzeugführung

Anwendungen des maschinellen Sehens

Modellerzeugung der Landmarken

Ergebnis


Fahrzeugführung

Anwendungen des maschinellen Sehens

Landmarken-Navigation anhand Fahrspurbegrenzung

Quelle: FhG-IITB


Fahrzeugführung

Anwendungen des maschinellen Sehens

Erkennung von Verkehrszeichen

Quelle: Aglaia GmbH


Mensch-Maschine-Interaktion Anwendungen des maschinellen Sehens

Gesichtsdetektion

Quelle: Carnegie-Mellon University


Mensch-Maschine-Interaktion Anwendungen des maschinellen Sehens

Gesichtsdetektion

Gesichtserkennung

Blickrichtungsschätzung

Quelle: Uni Karlsruhe / Videmo


Mensch-Maschine-Interaktion Anwendungen des maschinellen Sehens

Gesichtsmimikinterpretation

Grundlage Merkmale:

Geometrische Deformation

der Konstellation markanter

Gesichtspunkte

Merkmale:

Projektionen auf Hauptkomponenten

derDeformationen

Quelle: Stanford University


Mensch-Maschine-Interaktion Anwendungen des maschinellen Sehens

Gesichtsmimikinterpretation

Daten (Werte der Merkmale) Lernbilder

Daten (Werte der Merkmale) akt. Bild

Training

Klassifikator

Klassifikator

Ergebnis

Neutral

Klassifikator Lächeln


Schmerz

Neutral

Klassifikator

Quelle: Stanford University

Lächeln


Schmerz


Aufgabe

Informationsgewinnung

Zuhörer-Test:

Was sehen Sie?

Elefant

Dendritische Zelle und

T-Zelle

Schwan-Nebel in M17


Aufgabe

Informationsgewinnung

Datenstrom Bildfolge:

Zustandekommen und Informationsgehalt

“kleine”

Datenmenge

Sensorbewegung

Unendliche

Mannigfaltigkeit

Objektbewegungen

Objekte

Abbildung (innere und äußere

Sensororientierung)

Szene

Szenendynamik

Ziel des Computer-Sehens:

Gewinnung des Informationsgehalts

aus dem Datenstrom (Video: 34MB/s)


Aufgabe

Informationsgewinnung

Ziel des Computer-Sehens:

Gewinnung des Informationsgehalts

aus dem Datenstrom (Video: 34MB/s)

Videodaten

Videodatenauswertung

im Computer

Situationsbeschreibung


Vorgehen

Informationsgewinnung

Interpretationszyklus für Einzelbilder

Zuordnung von Modellausprägungen zu Bilddaten

Generische räumliche Beschreibung

(parametrisierte Modelle für Szene,Objekte, Beleuchtung, Abbildung)

Modellelemente

Merkmale,

Primitive

Bestimmt

Art

Bestimmt

Art

Parameterschätzung,

Klassifikation

Signalverarbeitung

Bildauswertung

Modellausprägungen

(Parametersätze)

Synthese

Modifiziert

Modellwelt

Projektion

Modellwelt-Bild

Verfahren

extrahieren

Digitalisiertes

Bild

Synthetisches Bild,

Szenenskizze

Bildsensor

Display


Vorgehen

Informationsgewinnung

Interpretationszyklus für Bildfolgen

Zeitlicher Zusammenhang zwischen

räumlichen Beschreibungen

Generische räumliche Beschreibung

Generische räumliche Beschreibung

Bildauswertung

Modellwelt

Generische räumliche Beschreibung

Bildauswertung

Modellwelt

Signalverarbeitung

Bildauswertung

Modellwelt

Signalverarbeitung

Digitalisiertes

Bild

Signalverarbeitung

Digitalisiertes

Bild

Bildsensor

t 0 + n*d

Digitalisiertes

Bild

Bildsensor

t 0 +d

Bildsensor

t 0


Anwendung

Informationsgewinnung

Prädiktionskante

Situationsknoten

1

.

.

.

Handlungsschema

N

.

.

.

2

Handlungsschema

Zustandsschema

Situationsgraph nach Krüger

1

Zustandsschema

Generische räumliche

Beschreibung

Generische räumliche

Beschreibung Bildauswertung

Generische räumliche

Beschreibung

Modellwelt

Bildauswertung

Signalverarbeitung

Modellwelt

Ausprägung

Bildauswertung

Modellwelt

Signalverarbeitung

Digitalisiertes

Bild

Signalverarbeitung

Digitalisiertes

Bild

Digitalisiertes

Bild

Bildsensor

t 0 +d

Bildsensor

t 0 + n*d

Bildsensor

t 0


Modelle

Informationsgewinnung

Automatische Informationsgewinnung aus Bildern und Bildfolgen

durch Messung der Bildinhalte (mittels Merkmalen) anhand von Modellen

• Modelle beschreiben den Kontext und das Ziel der erforderlichen

Informationsgewinnung.

• Merkmale sind aus den Bilddaten gewonnene Elemente, die wesentliche

Eigenschaften der Modellelemente enthalten.

• Die Messung gibt Aufschluss über das Maß an Übereinstimmung von

Bildelementen mit dem Modell.

– Modellparameterschätzung: Maximierung des

Übereinstimmungsmaßes bezüglich Modellparameter

– Klassifikation: Schwellwerte bezüglich des Übereinstimmungsmaßes

entscheiden über die Zuordnung zur Modellklasse.


Modelle

Informationsgewinnung

Auswertungsaufgabe repräsentiert durch

abstraktes Modell

1. Erzeugung eines synthetischen Abbildes

aus dem Modell

2. Vergleich mit Abbildung der Realität

Einfachster Fall: Modell vollständig vorhanden

Z.B. Vollständigkeitsprüfung Leiterplatte

Modell

Prüfling

Differenz


Modelle

Informationsgewinnung

Häufig genügen wenige Konturen, um ein abgebildetes Objekt

zu erkennen.


Modelle

Informationsgewinnung

Auswertungsaufgabe

repräsentiert durch

abstraktes Modell

(Kamera, Szene, Objekte)

1. Erzeugung eines

synthetischen Abbildes

aus dem Modell

2. Vergleich mit Abbildung

der Realität

Kameramodell

CAD-Objektmodell

Rendern

Synth. Abbild

Konturen

Vergleich


Modelle

Informationsgewinnung

Modell-basierte Objektdetektion und Lageschätzung

Matching von Bildkonturen mit synthetischen Konturbildern aus Modellen

Modellwelt 1 (Objektlage 1) Synthetisches Konturbild 1

Einrollleitlinie

Passagierbrücke

Rollfeld

Modellwelt 2 (Objektlage 2)

Einrollleitlinie

Kameramodell,

Objektmodell

Synthetisches Konturbild 2

Rollfeld

Frage an das Kamerabild, welche Modellwelt in der Realität ausgeprägt ist.


Modelle

Informationsgewinnung

Modell-basierte Objektdetektion und Lageschätzung

Matching von Bildkonturen mit synthetischen Konturbildern aus Modellen

Synthetisches Konturbild 1

Modellähnlichkeit:

Synthetisches Konturbild 2

Überlagerung

mit

Bildkonturen

83% der Modellkonturpixel

stimmen mit Bildkonturen

überein.

9% der Modellkonturpixel

stimmen mit Bildkonturen

überein.

Übereinstimmungsmaß zeigtan, dass ein Flugzeug des modellierten Typs an Position 1 ist.


Modelle

Informationsgewinnung

Modell-basierte Objektdetektion und Lageschätzung

Matching von Bildkonturen mit synthetischen Konturbildern aus Modellen

Vollständige Suche mit allen möglichen

Freiheitsgradwerten (FGW) des Objekts:


Finde die maximale Modellähnlichkeit S m .

S m < Schwellwert => Kein Modellobjekt im Bild

S m >= Schwellwert => Modellobjekt im Bild,

mit FGW, für die

S m gefunden wurde.


Modelle

Informationsgewinnung

Modell-basierte Objektdetektion und Lageschätzung

Automobil-Verfolgung mit generischen Modellen

Projizierte Modellkanten

entsprechend der aktuellen

Lageschätzung (orange), diesen

zugeordnete Geradensegmente

(rot) und nicht-zugeordnete (blau)

Motris Project: Model-Based Tracking in Image Sequences,

Prof. Dr. H.-H. Nagel, University of Karlsruhe


Modelle

Informationsgewinnung

Modell-basierte Objektdetektion und Lageschätzung

Verbesserung durch flexible Objektmodelle

(Erkennung und Lageschätzung)


Modelle

Informationsgewinnung

Modell-basierte Objektdetektion und Lageschätzung

Schätzung der Kamerapose: Navigation durch Landmarken.



























1

0

0

0

0

1

v 0

1

0

1

v

c

u

c

u

y

x




































1

1

0

0

0

0

1

0

0

0

0

1

0

0

0

0

1

33

32

31

23

22

21

13

12

11

O

O

O

z

y

x

Z

Y

X

t

R

R

R

t

R

R

R

t

R

R

R

Parameterschätzung

Kamerapose


Modelle

Parameterwerte

Informationsgewinnung

Modell-basierte Informationsgewinnung aus Bilddaten

Aufgabe,

Randbedingungen

Modell

für Szene, Objekte,

Beleuchtung, Kamera

und deren Änderungen

Digitalisierte Bilder

Extraktion von Bildmerkmalen,

welche mit Modellelementen

korrespondieren

Modellausprägung

Modellelemente,

die sich im Bild

darstellen,

z.B. Konturen,

Texturen,

Verschiebungsvektoren

Übereinstimmungsmaß

zwischen Bildmerkmalen

und Modellelementen

Parameterschätzung:

Suche des Maximums des

Übereinstimmungsmaßes

im Raum der Modellparameter

Parameterwerte:

Beobachtete Ausprägung der

Modellwelt


Modelle

Informationsgewinnung

Aufgaben der Bildauswertung

1. Ableitung aufgabenrelevanter, generischer Welt-Modelle

2. Spezifikation von korrespondierenden Modellelementen und

Bildmerkmalen

3. Verfahren zur Erzeugung der Modellelemente

4. Verfahren zur Extraktion der Bildmerkmale

5. Spezifikation eines zielführenden Übereinstimmungsmaßes

6. Verfahren zur Berechnung des Übereinstimmungsmaßes

7. Verwendung eines robusten Parameter-Schätzverfahrens

8. Auswertung der Parameterwerte


Bildmerkmale

Informationsgewinnung

Objektdetektion mittels Bildmerkmalen

Bildmerkmale:

• Grauwert- und Farbtexturmaße

Charakterisieren die räumliche Verteilung von Grauwert oder Farbe

• Geometrische Merkmale (Primitive)

Konturpunkte, Kanten und Linien

• Objektform, -größe und -position

Kombination der Merkmale in einen Merkmalsvektor:

Analyse mit Mustererkennungsmethoden.


Merkmale

Informationsgewinnung

Bildmerkmale: Konturen, Geradensegmente

Konturpunkte

Geradenextraktion:

Lokal: Gruppierung

benachbarter Pixel mit

ähnlicher Gradientenrichtung

und -betrag in ein

Geradensegment.

Global: Hough Transformation

Lokale Methode

Hough Transformation


Merkmale

Informationsgewinnung

Formmerkmale: Kreise und beliebige Formen

Basis: Konturpunkte

Methode: Hough Transformation

Zeichne für jedes Konturpixel eine Gerade in Gradientenrichtung. Geraden

von Konturpunkten eines Kreises schneiden sich im Kreismittelpunkt.

Zähle in jeder Kumulatorzelle, wieviele Geraden hindurchgehen.

Ein hoher Kumulatorwert zeigt einen Kreismittelpunkt an.

Für andere Form:

Verallgemeinerte Hough Transformation mit gleicher Grundidee.


Merkmale

Informationsgewinnung

Zeitliche Veränderung: Objektbewegung aus Bildsequenzen

statische Kamera und bewegte Kamera

Zeit

Zeit

Aufgaben im statischen Fall:

• Detektion sich bewegender Objekte

• Verfolgung sich bewegender Objekte

• Objekt Klassifikation durch Bewegungsmuster

Aufgaben im bewegten Fall:

• Bestimmung der Eigenbewegung

• Kompensation der Eigenbewegung

• Dann wie im statischen Fall


Merkmale

Informationsgewinnung

Statische Kamera: Bewegungseffekte bei statischem Hintergrund

Im Bildstapel:

Bildpunkte statischer Objekte

bilden Geraden senkrecht zur

Bildebene.

time

Bildpunkte sich bewegender

Objekte bilden

Geneigte Geraden bei

gleichförmiger Bewegung

Gekrümmte Linien im Fall

beschleunigter Bewegung (im

Bild)


Merkmale

Gray value

Informationsgewinnung

Statische Kamera: Bewegungseffekte bei statischem Hintergrund

Differenz zwischen Frames

zu unterschiedlichen Zeiten

Dynamisches Verhalten von Einzelpixeln

difference overlay

difference

Differenzbild im Fall statischen

Hintergrunds mit sich bewegenden

Fahrzeugen

time

rel. freq.

Sich bewegende Fahrzeuge liefern

Grauwertdifferenzen (vom statischen

Hintergrund)


Merkmale

Informationsgewinnung

Bewegungsdetektion durch Hintergrundschätzung

Berechnung eines binären „Bewegungsbildes“:

Für jedes Pixel

1. Berechne Histogramm über die letzten M Frames

2. Modellierung des Histograms als Summe von Gauss-Funktionen

3. Übereinstimmung des aktuellen Grauwerts mit dem Modell?

Ja: Weise dem Pixel den Wert 0 für Hintergrund vor, Update des Modells

Nein: Weise dem Pixel den Wert 1 für Vordergrund vor, Update des Modells

letzte M Frames

...

aktueller Frame

entspricht

Modell

entspricht

Modell

„Bewegungsbild“

H(g)

H(g)

...

g

Histogramm für jedes Pixel

g


Merkmale

Informationsgewinnung

Bewegungsdetektion durch Hintergrundschätzung

Beispiel Vitracom SiteView Eco motion analysis:

„Bewegungsbild“ aus

Hintergrundschätzung

Clustering „Bewegungspixel“: Objekte

Konvexe Hülle: Objekt Beschreibung

Tracking der konvexen Hüllen

Track Analyse


Merkmale

Informationsgewinnung

Bewegungsdetektion und –schätzung mittels „Optischem Fluss“

Bild F(x,y,t)

Bild F(x,y,t+t)

Vektorfeld [x(x,y), y(x,y)]T

Allgemeine Annahme: Bildänderungen nur durch Pixelverschiebung

x, y,

t t

Fx

x(

x,

y),

y y(

x,

y t

F ),

Optischer Fluss: Vektorfeld [x(x,y), y(x,y)] T , welches obige Gleichung löst.


Merkmale

Informationsgewinnung

Bewegungsdetektion und –schätzung mittels „Optischem Fluss“

Beispiel:Vitracom SiteView EP motion analysis:

1. OF Bewegungsbild (Richtung)

2. Clustering on Bewegungspixeln anhand

Richtung und Betrag: Bewegtobjekte

3. Konvexe Hülle: Objektbeschreibung

4. Tracking der konvexen Hüllen

5. Track Analyse

oder

Richtungshistogramm und Richtungsalarm

oder

Kompensation der Kamerabewegung

oder

Model-basierte Flussfeldanalyse

Weitere Magazine dieses Users
Ähnliche Magazine