Bildverarbeitung 8 – Matching und Segmentierung - IGP - ETH Zürich

Bildverarbeitung8 – Matching und SegmentierungFrühjahrssemester 2013 | ETH ZürichJan Dirk Wegner, Stefan Walk, Michal Havlena und Konrad SchindlerETH Zürich, Institut für Geodäsie und Photogrammetrie

Themen heute§ Matchingo Messen von Ähnlichkeit und Least Squares Matchingo Matching von Punktwolken (Grundzüge)o Globale Ähnlichkeit: GIST-Merkmal§ Segmentierungo Region growing, Watershed, Split-and-Mergeo k-means clusteringo mean-shiftMatching & Segmentierung 2

Template matchingWo ist Waldo?[©Kristen Grauman]KorrelationMatching & Segmentierung3

Template matchingWo ist Waldo?Template[©Kristen Grauman]KorrelationMatching & Segmentierung4

ZuordnungSuche nach homologen Merkmalen§Verknüpfungspunkte für dieautomatische Aerotriangulation§homologe Kanten für dieLinienauswertung§Dense matching: Generierung vonTiefenkarten z.B. zur Erstellung vonHöhenmodellen è für jedes Pixel imersten Bild wird das korrespondierendePixel im zweiten Bild gesucht§Suche nach bekannten Merkmalen(z.B. signalisierte Punkte) (siehe auchletzte Vorlesung zum Thema templatematching für Punktextration)Matching & Segmentierung 5

ZuordnungAufgabe: Merkmal mit grösster Ähnlichkeit zu einem Referenzmerkmal findenEinzelner Grauwert reicht nicht aus, Beschreibung eines Merkmals immer durcheine (M x N) Nachbarschaft è innerhalb eines Fensters, das über das Bild geschoben wirdMatching & Segmentierung 6

ZuordnungAufgabe: Merkmal mit grösster Ähnlichkeit zu einem Referenzmerkmal findenEinzelner Grauwert reicht nicht aus, Beschreibung eines Merkmals immer durcheine (M x N) Nachbarschaft è innerhalb eines Fensters, das über das Bild geschoben wirdIm Luftbildfall: genäherterNormalfall, geringeProjektionsverzerrung zwischenbenachbarten BildernMatching & Segmentierung 7

Themen heute§ Matchingo Messen von Ähnlichkeit und Least Squares Matchingo Matching von Punktwolken (Grundzüge)o Globale Ähnlichkeit: GIST-Merkmal§ Segmentierungo Region growing, Watershed, Split-and-Mergeo k-means clusteringo mean-shiftMatching & Segmentierung 2

Summe der quadratischen Differenzen (SSD)SSD (sum of squared differences) zwischen Grauwerten einer NachbarschaftxxSSDyIJ( I(x,y)J ( x,y))= ∑∑ −x yI2yWertebereich [0..∞](0 → Bildregionen sind identisch)JMatching & Segmentierung 9

Summe der quadratischen Differenzen (SSD)SSD (sum of squared differences) zwischen Grauwerten einer NachbarschaftxxSSDyIJ( I(x,y)J ( x,y))= ∑∑ −x yI2yWertebereich [0..∞](0 → Bildregionen sind identisch)JVoraussetzungen:Bilder unterscheiden sich radiometrisch nicht undgeometrisch nur durch eine TranslationMatching & Segmentierung 10

KreuzkorrelationKorrelationskoeffizient (normalized cross-correlation, NCC) zwischen (geordneten,zentrierten) Intensitätswerten (vgl. Vorlesung zu Bildstatistik)xxyIyJWertebereich [-1..1](1/-1→ linear abhängig,0 → unkorreliert)Matching & Segmentierung 11

KreuzkorrelationKorrelationskoeffizient (normalized cross-correlation, NCC) zwischen (geordneten,zentrierten) Intensitätswerten (vgl. Vorlesung zu Bildstatistik)xxyIyJWertebereich [-1..1](1/-1→ linear abhängig,0 → unkorreliert)Voraussetzungen:Bilder unterscheiden sich geometrisch durch eine Translation und radiometrischdurch eine konstante Helligkeitsänderung und eine lineare KontrastskalierungMatching & Segmentierung 12

Kreuzkorrelation: Beispiele1.0Matching & Segmentierung 13

Kreuzkorrelation: Beispiele1.0 0.7Matching & Segmentierung 14

Brendan Allen 15Monika’s group beats us back to the lodge by a long shot, and they’ve already assembleda line for tuna sandwiches, crackers, and fresh slices of mango. There’s not many slices left, so Igrab the pit and use my teeth to scrape off some of the bits of fruit and pulp still attached,dripping juices around my mouth and into my beard. I keep gnawing. I’ve already learned not tolet good Costa Rican fruit go to waste here – their sweetness intoxicates in a way I’ve neverexperienced at home.After lunch, the entire group hikes to set up one last FIT, this time only a short walk fromthe lodge. While Andrew, Devin, Luke and Michael work on tying the strings, the rest of us staybusy by collecting leaf litter from the ground – bits of dirt and vegetation crawling with insects.Unlike last time, this one goes off without a hitch. We return to the lodge with our bags of leaflitter, which we use for another kind of trap called a “Berlese funnel”. Again, like the light trapand the FIT, the Berlese funnel’s ingenuity works hand in hand with its simplicity: First, youdump the leaf litter (filled with all kinds of crawling insects) into cloth funnels hanging from asuspended cord. The leaf litter rests on top of a wide metal screen, underneath which the funnelcontinues into an attached baggie of alcohol. You then complete the trap by sealing a light bulbin the top of the funnel, creating something that looks a bit like a Chinese paper lantern – onethat happens to be filled with bugs and dirt. As the light heats and dries the leaf litter, the insectscrawl lower and lower into what little moist soil remains, eventually dropping through the screenand into the alcohol baggie. That’s it – after a day or two, a thick mass of preserved insectsdangles, waiting for collection.* * *Over the next few days, we fall into a regular routine: breakfast, a morning session ofchecking and replacing traps, lunch, an afternoon session of hand-collecting insects with nets and

Kreuzkorrelation: Beispiele1.0 0.7 0.1 -1.0Matching & Segmentierung 16

Least-Squares-MatchingSuche nach der besten Zuordnung über z.B. SSD oder NCC:§ Ausprobieren aller Möglichkeiten in einer Nachbarschaft§ Genauigkeit ≈1 pixelMatching & Segmentierung 17

Least-Squares-MatchingSuche nach der besten Zuordnung über z.B. SSD oder NCC:§ Ausprobieren aller Möglichkeiten in einer Nachbarschaft§ Genauigkeit ≈1 pixel§ Nur Translation berücksichtigtGenauigkeitssteigerung§ Annahme: Pixelwerte sind verrauschte Samples desselbenkontinuierlichen Signals§ Gesucht: Transformation für die die Summe derFehlerquadrate minimal wird§ Verschiedene Transformationsmodelle möglichProfile des zu matchendenTemplates verschiedenerIterationenGrauwertprofil im BildMatching & Segmentierung 18

Subpixelgenaue VerschiebungModell: Bild J = Bild I mit Verschiebung + Rauschenu,v klein (Grobregistrierung bereits erfolgt) – Taylor-Entwicklung möglichElimination der Rauscheinflüsse und robuste Bestimmung der Parameter u,v durch lineareAusgleichsrechnungBestimmung von u,v durch Lösen der NormalengleichungMatching & Segmentierung 19

Subpixelgenaue VerschiebungGegebenenfalls ist es sinnvoll, die Pixel zu gewichten durch (diagonale) Gewichtsmatrix PMatching & Segmentierung 20

Subpixelgenaue VerschiebungGegebenenfalls ist es sinnvoll, die Pixel zu gewichten durch (diagonale) Gewichtsmatrix PMatching & Segmentierung 21

Subpixelgenaue VerschiebungGegebenenfalls ist es sinnvoll, die Pixel zu gewichten durch (diagonale) Gewichtsmatrix PWahl der Elemente w(i,j) der Gewichtsmatrix P:1 im Fenster, 0 ausserhalbGauss-GewichteMatching & Segmentierung 22

Least-Squares-MatchingAnnahme bisher:Grauwertstruktur ist bis auf Translation gleichè In Wirklicheit: unterschiedliche Projektionsverzerrung und RadiometrieGeneralisierung§ allgemeinere Transformation zwischen den beiden Bildern§ Auch hier: Bestimmung der Transformationsparameter nach der Methode derkleinsten QuadrateMatching & Segmentierung 23

Least-Squares-Matching“Zuordnung nach kleinsten Quadraten”§ prinzipiell mit jeder parametrischen Transformation vonGeometrie und Bildintensität möglichMatching & Segmentierung 24

Least-Squares-Matching“Zuordnung nach kleinsten Quadraten”§ prinzipiell mit jeder parametrischen Transformation vonGeometrie und Bildintensität möglichHäufigstes Modell§ Geometrie: (eingeschränkte) Affintransformation als lokaleNäherung für die projektive Abbildung§Radiometrie: lineare Transformation (wie NCC)Matching & Segmentierung 25

Least-squares MatchingGeometrie:TranslationRotation, Skalierung und ScherungMatching & Segmentierung 26

Least-squares MatchingGeometrie:TranslationRotation, Skalierung und ScherungRadiometrie:Offsetlineare SkalierungMatching & Segmentierung 27

Least-squares MatchingGeometrie:TranslationRotation, Skalierung und ScherungRadiometrie:Offsetlineare SkalierungM x N Beobachtungsgleichungen:Näherungswerte:Matching & Segmentierung 28

LSQ-Matching: BeispielAusgangstemplate1. IterationReferenzbild2. Iteration 3. IterationMatching & Segmentierung 29

LSQ-Matching: Eigenschaften§ Die zwei radiometrischen Korrekturen der patch-Grauwerte werden nach jederIteration angebracht§ In jeder Iteration werden die patch-Grauwerte nach der Affin-Transformation durchbilineare Interpolation neu bestimmtMatching & Segmentierung 30

LSQ-Matching: Eigenschaften§ Die zwei radiometrischen Korrekturen der patch-Grauwerte werden nach jederIteration angebracht§ In jeder Iteration werden die patch-Grauwerte nach der Affin-Transformation durchbilineare Interpolation neu bestimmt§ Iterative Ausgleichung wird gestoppt, wenn die Änderungen der zu schätzendenParameter unterhalb zuvor definierter Schwellwerte liegen oder eine maximaleAnzahl an Iterationen erreicht istMatching & Segmentierung 31

LSQ-Matching: Eigenschaften§ Die zwei radiometrischen Korrekturen der patch-Grauwerte werden nach jederIteration angebracht§ In jeder Iteration werden die patch-Grauwerte nach der Affin-Transformation durchbilineare Interpolation neu bestimmt§ Iterative Ausgleichung wird gestoppt, wenn die Änderungen der zu schätzendenParameter unterhalb zuvor definierter Schwellwerte liegen oder eine maximaleAnzahl an Iterationen erreicht ist§ Standardabweichungen aller Parameter werden (häufig zu optimistisch)mitgeschätzt:Residuen (Differenz zwischen transformiertem Bild u. Template)§ Genauigkeiten: 0,01 - 0,3 Pixel für signalisierte Punkte0.5 - 1.5 Pixel für natürliche OberflächenpunkteMatching & Segmentierung 32

LSQ-MatchingNachteile LSQ-matching:§ gute Näherungswerte für zu schätzende Parameter notwendig§ Probleme bei abrupten Höhenänderungen, z.B. an Gebäuderändernè LSQ-matching kann zu ungewollter Kantenglättung führenè für hoch aufgelöste Oberflächenmodelle in urbanen Gebieten kaum geeignetMatching & Segmentierung 33

LSQ-MatchingNachteile LSQ-matching:§ gute Näherungswerte für zu schätzende Parameter notwendig§ Probleme bei abrupten Höhenänderungen, z.B. an Gebäuderändernè LSQ-matching kann zu ungewollter Kantenglättung führenè für hoch aufgelöste Oberflächenmodelle in urbanen Gebieten kaum geeignetFür komplexe Szenen z.B. Semi-global matching (SGM) und Markov Random FieldsWichtiges Thema aktueller Forschung! mehr Details in Photogrammetric Computer Vision bei Konrad SchindlerMatching & Segmentierung 34

Themen heute§ Matchingo Messen von Ähnlichkeit und Least Squares Matchingo Matching von Punktwolken (Grundzüge)o Globale Ähnlichkeit: GIST-Merkmal§ Segmentierungo Region growing, Watershed, Split-and-Mergeo k-means clusteringo mean-shiftMatching & Segmentierung 2

Matching von PunktwolkenÜbergang von 2D-matching von Bildern zu 3D-matching von Punktwolken z.B.von Laserscannern (terrestrisch oder luftgestützt), aus dense matching vonBildern, aus range cameras etc.Matching & Segmentierung36

Matching von PunktwolkenÜbergang von 2D-matching von Bildern zu 3D-matching von Punktwolken z.B.von Laserscannern (terrestrisch oder luftgestützt), aus dense matching vonBildern, aus range cameras etc.Schwierigkeiten:§ Mit der Entfernung abnehmende Punktdichte bei Laserscannern aufgrunddes polaren Messprinzips matching korrespondierender Bereicheaufgenommen mit unterschiedlicher Punktdichte sehr schwierig§ Sequentielle Abtastung von Scanprofilen führt bei sich bewegendenObjekten zu Verschiebungseffekten§ Sehr grosse Datenmenge etc.è Aktueller Forschungsaspekt am IGP, hier nur ein kurzer EinblickMatching & Segmentierung37

Matching von Punktwolken: NahbereichsphotogrammetrieMatching von Punktwolkenaufgenommen mit SLRKameraNikon D80[David Novak]Matching & Segmentierung38

Matching von Punktwolken: Laserscanning[Pascal Theiler]Grobregistrierung mittelskorrespondierenderEbenenschnittpunkteFeinregistrierung mit Iterative Closest Point (ICP) MethodeMatching & Segmentierung39

Matching von Punktwolken: Range images[Tobias Kohoutek]GrobregistrierungFeinregistrierungMESA SR4000Time-of-flight range KameraMatching & Segmentierung40

Themen heute§ Matchingo Messen von Ähnlichkeit und Least Squares Matchingo Matching von Punktwolken (Grundzüge)o Globale Ähnlichkeit: GIST-Merkmal§ Segmentierungo Region growing, Watershed, Split-and-Mergeo k-means clusteringo mean-shiftMatching & Segmentierung 2

Globale Ähnlichkeit von BildernStatistische Methoden wie SSD, NCC oder Parameter von Verteilungsfunktionen derGrauwerte geben nicht die räumliche Anordnung wieder.GIST-Merkmal [Antonio Torralba & Aude Oliva, 2001] zur Beschreibung ganzer Szenen[©Torralba & Oliva]Matching & Segmentierung42

Globale Ähnlichkeit von BildernStatistische Methoden wie SSD, NCC oder Parameter von Verteilungsfunktionen derGrauwerte geben nicht die räumliche Anordnung wieder.GIST-Merkmal [Antonio Torralba & Aude Oliva, 2001] zur Beschreibung ganzer SzenenIdee des spatial envelope:[©Torralba & Oliva]3D-Grauwertoberflächen unterschiedlicher Szenen haben verschiedene dominante räumlicheStrukturen è Erfassung im Frequenzraum + Information über räumliche AnordnungMatching & Segmentierung43

Globale Ähnlichkeit von Bildern: GISTGlobale Fourier-Spektren verschiedener Bilder natürlicher Szenen[©Torralba & Oliva]Matching & Segmentierung44

Globale Ähnlichkeit von Bildern: GISTGlobale Fourier-Spektren verschiedener Bilder natürlicher Szenen[©Torralba & Oliva]Fourier-Spektren (mit windowed Fourier transform) von 16 Bildregionen verschiedener BilderMatching & Segmentierung45

Globale Ähnlichkeit von Bildern: GISTGlobale Fourier-Spektren verschiedener Bilder natürlicher Szenen[©Torralba & Oliva]Fourier-Spektren (mit windowed Fourier transform) von 16 Bildregionen verschiedener BilderGIST: Berechnung der Fourier-Spektren (global und lokal), dann Bestimmung der unkorreliertenInformation und Reduktion im Merkmalsraum mittels Principal Component Analysisè Bestimmung repräsentativer Merkmale mit Regression basierend auf TrainingsdatenMatching & Segmentierung46

Themen heute§ Matchingo Messen von Ähnlichkeit und Least Squares Matchingo Matching von Punktwolken (Grundzüge)o Globale Ähnlichkeit: GIST-Merkmal§ Segmentierungo Region growing, Watershed, Split-and-Mergeo k-means clusteringo mean-shiftMatching & Segmentierung 2

Wozu Segmentierung von Regionen?Optical scene flow è Bewegungsdetektion und 3D-Szenenanalyse[©Christoph Vogel]Matching & Segmentierung48

Wozu Segmentierung von Regionen?Optical scene flow è Bewegungsdetektion und 3D-Szenenanalyse[©Christoph Vogel]Semantic segmentation è Automatische Kartierung und Objektdetektion [©J. Montoya & J.D.Wegner]Matching & Segmentierung49

SegmentierungSegmentierung bezeichnet allgemein die Extraktion von Primitiven im Bildbzw. die Zusammenfassung von Pixeln aufgrund bestimmterZusammengehörigkeitskriterien. Primitive sind in der Regel Punkte, Linienoder Regionen. Hier: Betrachtung von RegionenMatching & Segmentierung50

SegmentierungSegmentierung bezeichnet allgemein die Extraktion von Primitiven im Bildbzw. die Zusammenfassung von Pixeln aufgrund bestimmterZusammengehörigkeitskriterien. Primitive sind in der Regel Punkte, Linienoder Regionen. Hier: Betrachtung von Regionenguthomogene Texturmit shape prior KonturschlechtEigenschaften von Regionen:§ Einheitlichkeit (Homogenität der Grauwerte, Farbe, Textur,...)§§Nachbarschaft (Verbundenheit)Regionen sind von gemeinsamer Kontur begrenzt[©Bodo Rosenhahn]Die Kriterien für eine „gute“ Segmentierung hängen immer von der Anwendung ab!Matching & Segmentierung51

Global Thresholding (Schwellwertverfahren)Segmentierung basierend auf Bildhistogramm des ganzen BildesUnterteilung in Klassen mittels verschiedener Schwellwerte (thresholds)Zuordnung der Pixel zu Klasse, wenn Wert innerhalb des zugeordneten BereichsSchwellwertHistogramm Glättungsfilter sinnvoll als Vorverarbeitungsschritt, um Rauschen zu minimieren!

Adaptive ThresholdingEingangsbild Globales Histogramm Globaler Schwellwert

Adaptive ThresholdingEingangsbild Globales Histogramm Globaler SchwellwertLokale AnpassungLokale Histogramme pro Bildregion Adaptive Thresholding

Thresholding-MethodenVorteile:einfache (sehr schnelle) Berechnung und gute Segmentierungsergebnisse beihomogenen Objektenè z.B. gut geeignet bei simpler Vordergrund-/Hintergrundtrennung

Thresholding-MethodenVorteile:einfache (sehr schnelle) Berechnung und gute Segmentierungsergebnisse beihomogenen Objektenè z.B. gut geeignet bei simpler Vordergrund-/HintergrundtrennungNachteile:Ø Erfordert evtl. Anpassung der Schwellwerte für neue BilderØ Wahl der Thresholds und KlassenanzahlØ Unvollständige Segmentierung: Löcher in den RegionenØ Sehr unterschiedliche Größen und Formen von Regionen

Themen heute§ Matchingo Messen von Ähnlichkeit und Least Squares Matchingo Matching von Punktwolken (Grundzüge)o Globale Ähnlichkeit: GIST-Merkmal§ Segmentierungo Region growing, Watershed, Split-and-Mergeo k-means clusteringo mean-shiftMatching & Segmentierung 2

Watershed-SegmentierungAnnahme:Regionen getrenntdurch hohe Gradienten1. Gradientenbetrag 2. „Grauwertgebirge“Matching & Segmentierung58

Watershed-SegmentierungAnnahme:Regionen getrenntdurch hohe Gradienten1. Gradientenbetrag 2. „Grauwertgebirge“3. Fluten der Oberflächebeginnend bei den MinimaMatching & Segmentierung59

Watershed-SegmentierungAnnahme:Regionen getrenntdurch hohe Gradienten1. Gradientenbetrag 2. „Grauwertgebirge“3. Fluten der Oberflächebeginnend bei den Minima4. Unterbinden der Verschmelzung des Wassers, das ausunterschiedlichen Quellen stammtMatching & Segmentierung60

Watershed-SegmentierungAnnahme:Regionen getrenntdurch hohe Gradienten1. Gradientenbetrag 2. „Grauwertgebirge“3. Fluten der Oberflächebeginnend bei den Minima5. Segmentierung è„Wasserscheiden“ (rot) sindKonturen der Regionen4. Unterbinden der Verschmelzung des Wassers, das ausunterschiedlichen Quellen stammtMatching & Segmentierung61

Flutungsalgorithmus§Jedes neu überflutete Pixel ist in Isolation:Es ist nicht zu anderen überfluteten Pixeln der Höhen h

Flutungsalgorithmus§Jedes neu überflutete Pixel ist in Isolation:Es ist nicht zu anderen überfluteten Pixeln der Höhen h

Flutungsalgorithmus§Jedes neu überflutete Pixel ist in Isolation:Es ist nicht zu anderen überfluteten Pixeln der Höhen h

Region GrowingAblauf:1. Selektion der Seed Points (z.B. zufällig, in Raster etc.)2. Festlegung des Homogenitätskriteriums (Farbe, Textur, ...)3. Wachstum (Growing) è Analyse benachbarter Pixel und Integration, wenn Distanzentsprechend Homogenitätskriterium kleiner als Schwellwert ist4. Prozedur beendet, wenn keine weiteren Pixel zu Regionen mehr hinzugefügt werden könnenMatching & Segmentierung65

Region GrowingNachteile:§Seed Points müssen festgelegt werden§Je nach Wahl des Schwellwerts und derVerteilung der Seed Points können Löcherentstehen (Pixel die zu keiner Regiongehören)§Ineinander Laufen benachbarter Regionen§Regionen sehr unterschiedlicher Größe und FormMatching & Segmentierung66

Split & MergeEingangsbild1. Split per Quadtree (vgl.Kompression)Festlegung einesHomogenitätskriteriums èAufteilen jedes Quadranten, fallsnicht homogen2. MergeVergleich benachbarterRegionen und Verschmelzung,falls homogenSplitMergeErgebnisMatching & Segmentierung68

Split & MergeEingangsbild1. Split per Quadtree (vgl.Kompression)Festlegung einesHomogenitätskriteriums èAufteilen jedes Quadranten, fallsnicht homogen2. MergeSplitMergeErgebnisVergleich benachbarterRegionen und Verschmelzung,falls homogenVorteil gegenüber Region Growing: keine LöcherNachteil: Ergebnis abhängig von Merge-ReihenfolgeMatching & Segmentierung69

Themen heute§ Matchingo Messen von Ähnlichkeit und Least Squares Matchingo Matching von Punktwolken (Grundzüge)o Globale Ähnlichkeit: GIST-Merkmal§ Segmentierungo Region growing, Watershed, Split-and-Mergeo k-means clusteringo mean-shiftMatching & Segmentierung 2

K-Mean ClusteringK-Means ist eine unüberwachte Klassifizierungmethode und sucht nach KClusterzentren im Merkmalsraum.Ablauf (für normalverteilte Daten):1. Initialisiere die K Clusterzentren z.B. auf Basis des Zufallsprinzips oderregelmäßig entlang der Hauptdiagonale im Merkmalsraum2. Ordne jeden Datenpunkt dem nächsten Cluster zu3. Bestimme µ n und Σ k für jedes Cluster4. Wiederhole 2-3 bis eine stabile Situation eintritt und sich dieClusterzentren nicht mehr ändernMatching & Segmentierung71

K-Mean ClusteringK-Means ist eine unüberwachte Klassifizierungmethode und sucht nach KClusterzentren im Merkmalsraum.Ablauf (für normalverteilte Daten):1. Initialisiere die K Clusterzentren z.B. auf Basis des Zufallsprinzips oderregelmäßig entlang der Hauptdiagonale im Merkmalsraum2. Ordne jeden Datenpunkt dem nächsten Cluster zu3. Bestimme µ n und Σ k für jedes Cluster4. Wiederhole 2-3 bis eine stabile Situation eintritt und sich dieClusterzentren nicht mehr ändernVorteile: schnelle Berechnung, keine Löcher, auf beliebige Merkmale anwendbarNachteile: Anzahl K der Clusterzentren muss vorgegeben werden, sehr unterschiedlicheGrößen und Formen der Regionen, Pixel eines Clusters im Merkmalsraum müssen imräumlich nicht zwingend benachbart sein è „Ausfransen“ von RegionenMatching & Segmentierung72

K-means Clustering[©Bishop, 2006]Matching & Segmentierung73

Themen heute§ Matchingo Messen von Ähnlichkeit und Least Squares Matchingo Matching von Punktwolken (Grundzüge)o Globale Ähnlichkeit: GIST-Merkmal§ Segmentierungo Region growing, Watershed, Split-and-Mergeo k-means clusteringo mean-shiftMatching & Segmentierung 2

Mean shiftMean shift ist eine Methode zur Bestimmung von Clustern im Merkmalsraum basierendauf der Merkmalsdichte [Comaniciu & Meer, 2002]Pixel werden dafür mit Merkmalen beschrieben (z.B. Farbe, Textur in Nachbarschaft des Pixels,Räumliche Position im Bild), die dann im Merkmalsraum abgebildet werdenè eine Koordinatenachse pro MerkmalMatching & Segmentierung75

Mean shiftMean shift schätzt lokale Dichten der Merkmale im Merkmalsraumè Beginnend bei zufällig ausgewählten lokalen Startpunkten werden entlang von Suchpfaden(schwarz) lokale Dichtemaxima innerhalb einer Nachbarschaft (kernel width) gesuchtIm gleichen Punkt (rot) endende Suchpfade werden dem gleichen Cluster zugeordnetVorteil: schnelles Verfahren und die Anzahl der Cluster muss nicht vorgegeben werdenAber: Anzahl der Cluster bzw. Segmente im Bild hängt ab von der kernel widthMatching & Segmentierung76

Segmentierung komplexer SzenenGezeigte Verfahren oft nicht erfolgreich bei Bildern mit komplexer Szenenstrukturè Typischer Ansatz: erst Übersegmentierung in kleine aber regelmäßige Regionen unddann Kombination mit Klassifizierungsverfahren z.B. Maximum likelihood, NeuronaleNetze, Random Forests, Boosting, Support Vector Machines für SemantischeSegmentierung

Segmentierung komplexer SzenenGezeigte Verfahren oft nicht erfolgreich bei Bildern mit komplexer Szenenstrukturè Typischer Ansatz: erst Übersegmentierung in kleine aber regelmäßige Regionen unddann Kombination mit Klassifizierungsverfahren z.B. Maximum likelihood, NeuronaleNetze, Random Forests, Boosting, Support Vector Machines für SemantischeSegmentierung§Hilfreich bei komplexen Szenen:Lokale Nachbarschaften und globale Zusammenhänge berücksichtigen wie z.B. „Himmelist über dem Haus“, „Autos sind auf der Strasse“, „Türen befinden sich im unteren Teilvon Häuserfassaden“ è z.B. mit graph-basierten Methoden wie Conditional RandomFields (Erforschung in der Gruppe „Photogrammetrie & Fernerkundung“)è in Vorlesung Image Interpretation bei Konrad Schindler