Folien, pdf - Institut fÃ¼r Informatik - Martin-Luther-UniversitÃ¤t Halle ...

Tracking 

• Einführung 

• Allgemeiner Systemaufbau 

• Objektlokalisation: Template-Matching 

• Prädiktionsfilter: Kalman 

Birgit Möller & Denis Williams 

AG Bioinformatik & Mustererkennung 

Institut für Informatik 

Martin-Luther-Universität Halle-Wittenberg 

❂ ⇐ ⇐ ▲ ▼ ⇒ ⇒

Einführung 

Tracking von Objekten 

Zielsetzung: 

Verfolgung der Bewegung eines Objektes mit Hilfe einer Kamera 

durch Auswertung von Bildfolgen 

Anwendungen: 

• Beobachtung des Straßenverkehrs 

(stationäre, statische Kamera und bewegte Objekte) 

• Sicherheitsanlagen (stationäre, nicht-statische Kamera und bewegte Objekte) 

• autonome Fahrzeuge (nicht-stationäre Kamera und bewegte Objekte) 

• mobile Roboter (nicht-stationäre Kameras in beliebigen Umgebungen) 

• · · · 

Angewandte Bildverarbeitung, WS 2003-2004 ❂ ⇐ ⇐ ▲ ▼ ⇒ ⇒ 1

Systemaufbau 

Allgemeiner Systemaufbau: 

• suche Zielobjekt gemäß Modell 

• schätze Objektposition im 

nächsten Bild: 

– Prädiktionsfilter 

– Condensation-Algorithmus 

– · · · 

• lokalisiere Objekt im aktuellen Bild: 

– Templates 

– Active Contours 

– · · · 

• positioniere Kamera neu 


Bemerkungen 

• Probabilistische / nicht-probabilistische Modelle: 

eine absolute Position pro Zeitschritt vs. mehrere potenzielle Positionen 

• Single- und Multi-Objektverfolgung: 

Tracking eines Objektes vs. paralleles Tracking mehrerer Objekte 

• Objektlokalisation anhand geeigneter Merkmale: 

Farbe, Form, Struktur, · · · 

• Prädiktion durch zeitliche Modellierung der Bewegung 

• Nachführung der Kamera bei großen Bewegungsradien der Objekte: 

”Halte Objekt möglichst im Zentrum des Bildausschnitts.” 


Objektlokalisation: Template-Matching 

• einfachster Ansatz zur Lokalisation 

• Grundidee: 

”Gegeben ein Beispielmuster (Template S) des gesuchten Signals, suche 

in unbekanntem Muster f einen Ausschnitt, der zum Template passt!” 

• Signal f in der Regel direkt durch Bild- oder Audiosignal 

bzw. geeigneten Merkmalsvektor gegeben 

• Template S entspricht einem Signalausschnitt gleicher Dimension 

Problem: 

Template-Matching erfordert möglichst punktgenaue Übereinstimmung!!! 

(geeignet bei definierten Lichtverhältnissen und Objektkonstanz) 


Template-Matching auf Bildern 

Gegeben: 

• M x × M y -dimensionales Bildsignal f 

• M sx × M sy -dimensionales Template S 

• im Allgemeinen gilt: 

M x > M sx 

und M y > M sy 

• Matching: suche Position (j, k) im Bild f 

mit der größten Übereinstimmung 

(Faltungsoperation!) 

Gesucht: geeignetes Abstandsmaß, das zu minimieren ist! 


Abstandsmaße 

• City-Block: 

• Quadratischer Abstand: 

Msx 

ɛ 1 j,k = ∑ 

m=1 

Msx 

ɛ 2 j,k = ∑ 

m=1 

Msy 

∑ 

n=1 

Msy 

|f (j+m,k+n) − S m,n | (minimieren) 

∑ 

(f (j+m,k+n) − S m,n ) 2 (minimieren) 

n=1 

• Kreuzkorrelation: 

R j,k = 

Msx ∑ 

Msy 

∑ 

f (j+m,k+n) · S m,n 

(maximieren) 

m=1 

n=1 

• normalisierte Kreuzkorrelation: 

R ′ j,k = 

R j,k 

√ √ ∑M 

sx 

∑Msy 

m=1 n=1 f ∑M 2 sx 

∑Msy 

(j+m,k+n) m=1 n=1 S2 m,n 

(maximieren) 


Normalisierung 

Alternative Normalisierung: 

• Energie von Bild und Template: 

M S x ∑ 

x=j 

M S y 

∑ 

y=k 

M S x 

f(x,y) 2 = 1 bzw. ∑ 

x=1 

M S y 

∑ 

y=1 

S 2 (x,y) = 1 

Weitere Probleme: 

• Templates sind i.A. weder rotations- noch skalierungsinvariant 

(vorherige Transformationen, Normalisierungen, etc. notwendig) 

• bei partiellen Verdeckungen Zerlegung des Templates in Sub-Templates 

⇒ Match bei Übereinstimmung in k ≥ θ k Sub-Templates 


Aufwandsreduktion 

Ansätze zur Aufwandsreduktion: 

• Template-Matching entspricht einer Faltung 

⇒ Transformation in den Frequenzraum (FFT): Faltung → Multiplikation 

• Auflösungspyramiden: 

– Subsampling von Bild und Template 

– Suche nach Matches auf unterster Ebene 

– Beschränkung des Matchings auf der nächsten Ebene auf die n besten 

Positionen aus vorherigem Schritt 

• Prädiktionsfilter: 

Beschränkung des Suchbereichs durch Schätzung der neuen Objektposition 


Prädiktionsfilter - Kalman 

Allgemeine Grundidee: 

rekursive Modellierung eines mit einem Zufallsprozeß überlagerten 

linearen Systems, um aus dem Verhalten bis zum aktuellen Zeitpunkt 

Aussagen über das zukünftige Verhalten machen zu können 

”Features”: 

• Interpretation von verrauschten Meßdaten in Realzeit 

• Implizite Modellierung von Zufallskomponenten für sichere Vorhersagen 

• ermöglicht Aussagen über Vorhersagefehler 

Ansatz: 

”Gegeben ein Modell für die Bewegung und die Meßdaten über den Zustand des 

Systems bis zum Zeitpunkt k, sowie ferner Annahmen über zufällige Störeinflüsse, 

mache eine Vorhersage für den Systemzustand zum Zeitpunkt k + 1!” 


Modellierung 

Modellierung des linearen Systems: 

⃗x k+1 = Φ k · ⃗x k + ⃗ω k 

⃗z k = H k · ⃗x k + ⃗ν k 

⃗x k := Systemzustand zum Zeitpunkt k (n × 1-dimensional) 

Φ k := Zustandsübergangsmatrix ⃗x k → ⃗x k+1 (n × n-dimensional) 

⃗ω k := statistischer Systemanteil, weißes, unkorreliertes Rauschen bekannter Kovarianz 

E{⃗ω i ⃗ω k } = δ ik · Q k 

⃗z k := Meßdaten des Zeitpunktes k (m × 1-dimensional) 

H k := spezifiziert Zusammenhang zwischen ⃗x k und ⃗z k (m × n-dimensional) 

⃗ν k := Meßfehler (n × 1-dimensionaler Zufallsvektor) 

E{⃗ν i ⃗ν k } = δ ik · R k 

E{ ⃗ω k ⃗ν i } = 0 , ∀k, i 


Beispiel: 1D-Bewegung eines PKW 

Modellierung - Beispiel 

• Systemgleichungen: lineare Bewegungsgleichungen der Physik 

• Messung: Abstand per Radar 

• Zufallsprozeß: Luftwiderstand 

• Messfehler: Störsignale, Zeitmessung 

Also: 

⃗x k = [y k , ·y k , ·· 

y k ] T 

y k+1 = y k + ∆t · ·y k + ∆t2 

2 · ·· 

· 

y k+1 = ·y k + ∆t · y ·· 

k 

⇒ Φ k = 

⎛ 

⎝ 1 ∆t ∆t 2 

2 

0 1 ∆t 

0 0 1 

⎞ 

⎠ 

y k 


Modellierung - Beispiel 

• Zufallsprozess: Wind 

Q = 

⎛ 

⎝ 1 0 0 

0 1 0 

0 0 1 

⎞ 

⎠ 

• messbarer Zustand ⃗z k : 

Position y k des PKW über Radar, also H k = (1 0 0) 

• Messfehler: 

N(0, 1) · yk 

10 

Frage jetzt: Wie arbeitet der Kalman-Filter? 


Arbeitsweise Kalmanfilter 

Grundprinzip: 

Vorhersage für ⃗x k 

✲ 

Korrektur der 

Schätzung ˆx − k 

✲ 

verbesserte 

Schätzung ˆx k 

✲ 

Vorhersage ˆx − k+1 

✻ 

Meßwert ⃗z k 

Notation: 

⃗x k := tatsächlicher Systemzustand (nicht bekannt!) 

ˆx − k 

:= geschätzter Zustand vor Analyse (a-priori Schätzung) 

ˆx k := geschätzter Zustand nach der Korrektur (a-posteriori Schätzung) 



Herleitung der Filtergleichungen 

• gegeben a-priori Schätzfehler zum Zeitpunkt k 

e − k = (⃗x k − ˆx − k ) 

mit Kovarianzmatrix 

P − k = E{e− k e− T 

k } = E{(⃗xk − ˆx − k )(⃗x k − ˆx − k )T } 

• Ziel: korrigiere Zustandsschätzung und Kovarianz anhand des Messfehlers 

ˆx k = ˆx − k + K k · (⃗z k − H · ˆx − k ) (1) 

• der Korrekturfaktor K k heisst auch Kalmanfaktor 



Ziel: finde optimales K k für eine neue Zustandsschätzung ˆx k 

⇒ Minimierung des mittleren quadratischen Schätzfehlers P k = E{e k e T k } 

Ansatz: 

Es gilt: 

argmin 

K k 

P k = argmin 

K k 

E{(⃗x k − ˆx k )(⃗x k − ˆx k ) T } 

⃗z k = H k · ⃗x k + ⃗ν k 

Aus Einsetzung in Gleichung (1) folgt dann 

ˆx k = ˆx − k + K k · (H k ⃗x k + ⃗ν k − H kˆx − k ) 

Damit gilt schließlich: 

P k = E{(⃗x k − ˆx − k −K k ·(H k ⃗x k +⃗ν k −H kˆx − k ))·(⃗x k − ˆx − k −K k ·(H k ⃗x k +⃗ν k −H kˆx − k ))T } 



• Umformung liefert nach diversen ”Rumrechnereien”... :-) 

P k = (I − K k H k ) · P − k · (I − K kH k ) T + K k RK T k (2) 

• Minimierung von P k durch Ableiten und Nullsetzen ergibt 

K k = 

P − k 

· HT k 

H k P − k HT k + R k 

• Einsetzen des Kalmanfaktors in Gleichung (2) liefert 

als korrigierte Fehlerkovarianz 

P k = (I − K k H k ) · P − k 

• analog dazu folgt aus Gleichung (1) eine korrigierte Zustandsschätzung ˆx k 



• Vorhersage des Systemzustandes für den Zeitpunkt t + 1: 

ˆx − k+1 

= Φ k · ˆx k + ⃗ω k 

P − k+1 

= E{(⃗x k+1 − ˆx − k+1 )(⃗x k+1 − ˆx − k+1 )T } 

= E{(Φ k ⃗x k + ⃗ω k − Φ kˆx k − ⃗ω k ) 2 } 

= E{Φ k e k + ⃗ω k} 

2 

= Φ k · E{e 2 k}Φ T k + E{⃗ω k} 

2 

= Φ k · P k Φ T k + Q k 

• ⃗ω k ist mittelwertfrei und unkorreliert und kann daher entfallen 


Überblick 

Fehlerabschätzung 

✲ 

P − k+1 = Φ kP k Φ T k + Q k 

Initialisierung ⃗x 0 

✲ Berechnung der 

Vorhersage-Schätzung ˆx − k+1 

✲ aus den Modellgleichungen 

verbesserter 

geschätzte 

Schätzwert 

Vorhersage 

ˆx ˆx − k 

k 

Berechnung eines verbesserten 

✛ 

Schätzwertes ˆx k über 

Messwert ⃗z Minimierung des mittleren 

k 

✲ 

quadratischen Schätzfehlers 

• je mehr Zustände beobachtet werden, desto sicherer ist die Vorhersage 

• Filter erfordert passendes Modell (fehlerhaftes Modell wird nicht ausgeglichen!) 

• numerische Probleme bei langer Laufzeit möglich 

• beschränkt auf lineare Systeme → Extended Kalman

Folien, pdf - Institut fÃ¼r Informatik - Martin-Luther-UniversitÃ¤t Halle ...

Erfolgreiche ePaper selbst erstellen

Template löschen?

Als Template speichern?