3D-Objektverfolgung mit Stereokameras zur ... - tinytall studios

2.5 Tracking und Stereo-Matching mittels eines Lucas-Kanade-Trackers 17
Statt nun, wie in anderen Ansätzen üblich, korrespondierende Punkte in den Stereobildern
anhand rektifizierter Bilder zu suchen, wird im neuen Ansatz ein Lucas-Kanade-Tracker [LK81]
auf den ungefilterten, also nicht entzerrten und nicht rektifizierten, Bilddaten angewendet.
Um die Genauigkeit der Berechnungen zu gewährleisten, werden lediglich die erkannten Feature-
Punkte entzerrt und mit Hilfe der Rektifizierungsmatrix aus der Kamerakalibrierung in ihre
rektifizierte Position transformiert.
Abbildung 2.7 zeigt die entwickelte Verarbeitungs-Pipeline der Bilder. In Schritt 1 (siehe
grüner Kreis) werden im linken Kamerabild markante Bildpunkte detektiert und in Schritt 2
mittels eines Lucas-Kanade-Trackers die korrespondierenden Bildpunkte im rechten Kamerabild
gesucht.
Entzerrt man nun zwei korrespondierende Punkte im linken und rechten Bild und rektifiziert
sie durch Multiplikation mit der jeweiligen Rektifizierungsmatrix, besteht zwischen beiden
Bildpunkten lediglich eine horizontale Disparität, siehe Schritt 3. Diese Disparitäten dienen
nun dazu, die Tiefenkoordinate des Bildpunktes bezüglich des Kamerakoordinatensystems der
linken Kamera zu bestimmen und somit den Raumpunkt zu rekonstruieren. Die so berechnete
Menge von Raumpunkten kann nun im Schritt 4 in eine so genannte TrackedObjectsList
gespeichert werden, welche dann weiterverwendet werden kann.
Zusätzlich zum Bestimmen der 3D-Punkte während eines Zeitschritts werden in Schritt 5 die
detektierten markanten Punkte über einen Lucas-Kanade-Tracker im linken Bild des Zeitschritts
t 1 wiedergefunden. Zusätzlich ist eine Validierung dieses Trackings möglich, indem man auch
in den rechten Bilddaten im zeitlichen Verlauf die korrespondierenden Punkte verfolgt und die
Ergebnisse vergleicht, um Außenseiter eliminieren zu können.
Dieses Vorgehen wird dann in jedem Zeitschritt t n wiederholt. Durch die zeitliche Featureverfolgung
aus Schritt 5 wird gewährleistet, dass die bestimmten Raumpunkte immer zum gleichen
Objekt gehören. Ist ein verfolgtes Feature bereits als TrackedObject in der Liste gespeichert,
wird dieses lediglich aktualisiert, sodass die aktuelle und die vorherige Raumposition gespeichert
wird. Da auch die Raumkoordinaten aus dem vorherigen Zeitschritt bekannt sind, verfügt man
ab dem zweiten Zeitschritt für ein verfolgtes Feature nicht nur über dessen räumliche Position,
sondern auch über die relative Bewegung innerhalb des letzten Zeitschritts.