Labo verslag

Verslag
aan Mr. Ledda
van Jasper Janssens & Mikhaël Regni
datum 21-05-2013
pagina’s 13
Beeldverwerking 4
Munt detectie

De probleemstelling 3
De literatuurstudie 4
Comparing Images Using Joint Histograms 4
Korte Inhoud 4
Features 4
Test 4
Bijdrage tot ons onderzoek 5
Comparing Images Using Color Coherence Vectors 6
Korte Inhoud 6
Color Coherence Vectors 6
Test 7
Bijdrage tot ons onderzoek 7
De voorgestelde oplossingen 8
Munt detectie 8
Vergelijkingsmethodes 8
Kleur histogrammen 8
Euclidische afstand 10
Joint Histogram 11
Muntvergelijking 12
Gebruik 13
Besluit 13
Literatuurlijst 13
© artesis – Beeldverwerking 4 p 2 / 13

De probleemstelling
Hoe kan men het land van oorsprong van een euro munt bepalen doormiddel van de tools in
matlab?
© artesis – Beeldverwerking 4 p 3 / 13

De literatuurstudie
Comparing Images Using Joint Histograms
Korte Inhoud
Kleur histogrammen worden veel gebruikt voor het ophalen van op inhoud gebaseerde beelden in
een database vanwege hun efficientie en robuustheid. Echter, een kleuren histogram registreert
alleen algemene kleur compositie van een afbeelding, zodat beelden met zeer verschillende inhoud
soortgelijke kleur histogrammen kunnen hebben. Dit probleem is vooral van belang bij grote
beeldbanken, waar veel afbeeldingen dezelfde kleur histogram hebben. In deze paper stellen ze
een alternatief, voor kleur histogrammen voor, dit heet een joint histogram. Een joint historgram
gebruikt aanvullende informatie, zonder opoffering van de robuustheid van kleur histogrammen. Ze
creëren een gezamenlijke histogram door een reeks van lokale pixel features te selecteren en het
bouwen van een multidimensionale histogram. Elk item in een joint histogram bevat het aantal
pixels in het beeld die worden beschreven door een bepaalde combinatie van feature waarden. Ze
beschrijven een aantal joint histogrammen en evalueert hun prestaties voor het ophalen van
images in een database met meer dan 210.000 foto's.
Features
De functies die ze hebben gebruikt werden empirisch geselecteerd. Ze kunnen efficient worden
geïmplementeerd in lineaire tijd, en lenen zich voor parallel programmering.
Kleur
Rand dichtheid
Textuur
Gradiëntgrootte
Rank
Bij het testen zijn er verschillende joint histogrammen gebruikt, deze hebben verschillende features.
JH1: Kleur, Rand dichtheid
JH2: Kleur, Rand dichtheid, Textuur
JH3: Kleur, Rand dichtheid, Textuur, Gradiëntgrootte
JH4: Kleur, Rand dichtheid, Textuur, Gradiëntgrootte, Rank
Test
De gebruikte beeldbank bestaat uit meer dan 210.000 afbeeldingen. De beelden werden gemaakt
uit een verscheidenheid van bronnen en met verschillende resolutie en kwaliteit. Er wordt gestreefd
naar een onafhankelijke maatstaf voor het ophalen van afbeeldingen. Typisch is een gebruiker
bereid om door een bepaald aantal van de opgehaalde resultaten te bladeren met de hand,
vergelijkbaar met text-based zoeken op het web. Dit aantal zal waarschijnlijk niet veranderen als de
database veranderd in grote, omdat het in feite een maat van menselijke geduld is. Men noemt dit
aantal de scope van de user. Een goede prestatie maatstaf moet oordelen over de methode voor
het ophalen binnen een bepaalde scope.
Men heeft 52 paren van beelden, die verschillende zichten van de zelfde scene bevatten
geselecteerd. 1 afbeelding is geselecteerd als de query, en de andere is “juiste” antwoord. Voor de
52 queries, vragen we hoeveel procent van de 52 antwoorden werden gevonden binnen een
bepaald bereik. Het percentage juiste antwoorden wordt recall genoemd in de information retrieval
literatuur . Deze resultaten zijn weergegeven in onderstaande figuur.
© artesis – Beeldverwerking 4 p 4 / 13

Onderstaande figuur bevat de gegevens voor scopes van 1 en 100. Merk op dat de meeste van de
joint histogrammen een hogere recall niveau hebben in een scope van 1 dan kleur histogrammen
hebben in een scope van 100.
Bijdrage tot ons onderzoek
Bij het vergelijken van de eurostukken wordt er alleen naar de grijswaarde histogrammen gekeken.
Deze manier van vergelijken geeft echter een te grote error rate. Bij het proberen te onderscheiden
van 6 verschillende euro stukken is er al 1 fout. Dit is een fout die veel te groot is. Deze fout gaan
we er met alleen gebruik te maken van een kleur histogram niet uit krijgen. Volgens het onderzoek
gedaan in deze paper kan de error rate drastisch verlaagt worden door gebruik te maken van joint
histogrammen. Hier hebben we dan ook gebruik van gemaakt.
© artesis – Beeldverwerking 4 p 5 / 13

Comparing Images Using Color Coherence Vectors
Korte Inhoud
Color histogrammen worden gebruikt om beelden in vele toepassingen vergelijken. Hun voordelen
zijn efficientie, en ongevoeligheid voor kleine veranderingen in het standpunt van de camera.
Echter, kleur histogrammen hebben een gebrek ruimtelijke informatie, en dit kan leiden tot beelden
met zeer verschillend uitzien vergelijkbare histogrammen hebben. Men beschrijft een histogram-
gebaseerde methode voor beelden die ruimtelijke informatie bevat te vergelijken. Terwijl een
kleurhistogram het aantal pixels met een bepaalde kleur telt, meet de coherentie vector (CCV) de
ruimtelijke samenhang van de pixels met een bepaalde kleur. Als de rode pixels in een afbeelding
lid zijn van grote rode gebieden, zal deze kleur hoge samenhang hebben, terwijl als de rode pixels
op grote schaal worden verspreid zal het lage samenhang hebben. Een databank met 15.000
beelden kunnen worden opgevraagd voor de beelden met de meest vergelijkbare CCV's in minder
dan 2 seconden. Men demonstreert dat CCV kan worden gebruikt om objecten waarvan de kleur
histogrammen gelijk zijn toch onderscheiden kan worden. We laten zien dat CCV's superieure
resultaten kan geven aan kleur histogrammen voor het ophalen van afbeeldingen.
Color Coherence Vectors
Intuïtief definieren we samenhang van een kleur als de mate waarin pixels van deze kleur uitmaken
van grote, met dezelfde kleur, gebieden. Men verwijst naar deze significante regios als
samenhangend regios, en zien dat ze van significant belang bij het karakteriseren van beelden.
Bijvoorbeeld, de onderstaande afbeeldingen hebben dezelfde kleur histogrammen, ondanks hun
nogal verschillende inhoud. De kleur rood wordt in beide beelden in ongeveer dezelfde
hoeveelheden weergegeven. In de linker afbeelding zijn rode pixels (in de bloemen) op grote
schaal verspreid, terwijl in de rechtse afbeelding de rode pixels (uit overhemd van de golfer) een
samenhangend gebied vormen.
De coherentiemaat classificeert pixels als ofwel coherent of incoherent. Coherent pixels zijn een
deel van een aanzienlijke aaneengesloten gebied, terwijl incoherent pixels niet. Een kleur
coherentie vector vertegenwoordigt dit classificatie voor elke kleur in het beeld. Deze notie van
coherentie stelt ons in staat om onderscheidingen, die niet kunnen worden gemaakt met
eenvoudige kleur histogrammen, te maken.
© artesis – Beeldverwerking 4 p 6 / 13

Test
Bovenstaande figuur toont een voorbeeld van een query waarin kleur histogrammen en CCV zeer
verschillende resultaten geven. Figuur a toont de query image. De meest gelijkende afbeelding in
onze database, volgens kleur histograms, wordt weergegeven in figuur b. Het beeld met de meest
vergelijkbare CCV wordt weergegeven in figuur c. Merk op dat terwijl dit beeld hetzelfde object als
de query image toont, de camerapositie ingrijpend is veranderd. De weergegeven image in figuur c
is candidaat 141 volgens de kleur histogrammen. Alle drie van deze beelden hebben dezelfde kleur
composities, ze zijn meestal bruin, met wat blauw en wat zilver.
Bijdrage tot ons onderzoek
CCV is ook manier om afbeeldingen te vergelijken. Echter gaat deze manier niet de oplossing
bieden voor ons probleem, er wordt rekening gehouden met de samenhang van kleurwaarden,
deze verschillen zijn bij euro munten echter heel klein. Er zijn bijna alleen maar grijswaarden,
hierdoor gaat er bijna geen onderscheid gemaakt kunnen worden volgens de CCV manier.
© artesis – Beeldverwerking 4 p 7 / 13

De voorgestelde oplossingen
Munt detectie
Eerst en vooral moeten we de verschillende munten kunnen detecteren in een afbeelding. Hiervoor
hebben we de houghcircles() methode gebruikt. Deze methode detecteerd cirkels in afbeelding en
slaat deze cirkels op in een array lijst.
Gedetecteerde munten
Deze afbeeldingen worden dan uitgeknipt en van achtergrond ontdaan.
Uitgeknipte munt zonder achtergrond
Bij de vergelijkingsmethode met euclidische afstand en joint histogram wordt de afbeelding ook nog
omgezet in een grijsafbeelding.
Vergelijkingsmethodes
Om de munten te vergelijken hebben we drie methodes getest. Vergelijking met kleur
histogrammen, euclidische afstand en Joint histogram.
Kleur histogrammen
Als eerste hebben we de euromunten vergeleken op basis van kleur histogrammen. Een
afbeelding, standaard in Matlab ingeladen, bestaat uit een 3D array. Elke laag van de array is één
van de 3 hoofdkleuren RGB (Rood, Groen, Blauw).
Afbeelding voorgesteld als 3D array
© artesis – Beeldverwerking 4 p 8 / 13

Van elk van de lagen gaan we een historgram opstellen. Zo krijgen we een 3D array die de kleur
histrogrammen van de afbeelding bevat.
RGB histogrammen van Koning Albert 2
RGB histogrammen van paus Johannes Paulus 2
Hierbij merken we direct dat deze histogrammen vrij dicht bij elkaar liggen. De verschuiving van de
histogrammen kunnen we wijten aan de belichting van de muntstukken.
Als we deze histogrammen in matlab vergelijken komen we er achter dat dit niet de beste manier is
om muntstukken te vergelijken. Kleur histogrammen registreren namelijk alleen de algemene kleur
compositie van een afbeelding, zodat beelden met zeer verschillende inhoud soortgelijke kleur
histogrammen kunnen hebben.
© artesis – Beeldverwerking 4 p 9 / 13

Euclidische afstand
Bij euclidische afstand laden we opnieuw de afbeeldingen in een 3D array. Echter gaan we deze
keer niet werken met de 3 kleur histogrammen maar met grijsafbeeldingen en hebben we maar één
histogram van elke afbeelding.
Grijswaarde afbeelding koning Albert 2
Grijswaarde afbeelding paus Johannes Paulus 2
Door in matlab de afbeeldingen met elkaar te vergelijken met de grijswaarde histogrammen
volgends euclidische afstand kunnen er al redelijk wat euro’s met elkaar vergeleken worden. Echter
is het probleem bij euro stukken dat alle grijswaarden veel te dicht bij elkaar liggen. Het verschil niet
groot genoeg is.
© artesis – Beeldverwerking 4 p 10 / 13

Joint Histogram
Bij deze methode laden we de afbeeldingen opnieuw in 3D arrays en zetten we deze om naar
grijswaarde afbeeldingen. Deze afbeeldingen gaan we niet vergelijken volgens de euclidische
afstand maar met een joint histogram met één feature, de grijswaardes van de afbeelding. Bij het
opstellen van dit histogram gaan we met de feature werken naar een eenheidsmatrix.
Hoe meer waardes er op deze eenheidsmatrix liggen, hoe groter de kans is dat de vergeleken
afbeeldingen van de zelfde munt zijn.
Joint histogram zelfde afbeelding
Als men een afbeelding van een euromunt vergelijkt met zichtzelf zien we dat de joint matrix een
perfecte eenheidsmatrix is.
Joint histogram gelijkaardige afbeelding
Als we dezelfde euromunt vergelijken met een gelijkaardige afbeelding van dezelfde munt zien we
dat de joint histogram geen eenheidsmatrix is maar dat de waarde wel een lijn vormen die er naar
neigt.
© artesis – Beeldverwerking 4 p 11 / 13

Joint histogram verschillende afbeelding
Als we dezelfde euromunt vergelijken met een andere afbeelding zien we dat de joint histogram
geen eenheidsmatrix is en hier ook niet naartoe neigt. Er is dus geen enkel verband met de twee
afbeeldingen. Het verschil is duidelijk groot genoeg om te kunnen bepalen welke afbeelding welk
muntstuk is.
Muntvergelijking
Als alle munten vergeleken zijn, met de joint histogram methode, worden de gevonden munten
onder de afbeelding weergegeven. Hierbij staat ook onder welke hoek de munt in de afbeelding is
gedetecteerd.
Gevonden munten met draaiingshoek
De munten die gevonden zijn, zijn niet gekopieerd uit de afbeelding maar worden appart ingeladen.
© artesis – Beeldverwerking 4 p 12 / 13

Gebruik
Om het programma te starten moet met de project.m file openen in Matlab. Deze file moet
vervolgens gerund worden. Hierdoor start de GUI op. Links boven moet men de afbeelding die men
wilt controleren inladen. Er is keuze uit 7 verschillende afbeeldingen met verschillende munten op.
Als deze afbeelding is ingeladen moet men op de controleren-knop duwen. Hierdoor begint het
programma de munten te detecteren en herkennen. Men kan de verschillende stappen van het
programma volgen in de status balk. Als het programma klaar is zullen de gedetecteerde munten
onder de originele afbeelding verschijnen.
Het programma is getest op Matlab, versie 2012a.
Besluit
Er zijn drie methodes getest om te afbeeldingen van euromunten met elkaar te vergelijken. Het is
duidelijk dat alleen het vergelijken van histogrammen (zowel kleur als grijswaarde) niet volstaat.
Door met een joint histogram en één feature te werken is de error rate drastisch gedaald. Deze
error rate kan nog harder dalen als men gebruik maakt van meerdere features. Deze manier maakt
gebruik van afbeeldingen in grijswaarde, hierdoor is dus het ook mogelijk om munten van andere
waarden te detecteren. De munten moeten wel minstens een diameter van 45 pixels en maximum
60 pixels hebben.
Het is dus perfect mogelijk om met Matlab en zijn tools het verschil in euro munten te detecteren.
Literatuurlijst
Amir Pasha Mahmoudzadeh. Joint Histogram. The MathWorks, Inc.
Beschikbaar op http://www.mathworks.com [21/05/2013].
Greg Pass, Ramin Zabih, Justin Miller, Comparing Images Using Color Coherence Vectors.
MULTIMEDIA '96, 65-73, 1996.
Greg Pass, Ramin Zabih. Comparing Images Using Joint Histograms. Multimedia Systems, 3:234 –
240, Mei 1999.
Nicolae Cindea. Drawing an ellipse into a matrix image. The MathWorks, Inc.
Beschikbaar op http://www.mathworks.com [21/05/2013].
Yuan-Liang Tang. Detects multiple disks (coins) in an image using Hough Transform. The
MathWorks, Inc. Beschikbaar op http://www.mathworks.com [21/05/2013].
© artesis – Beeldverwerking 4 p 13 / 13