I Sistemi Biometrici: riconoscimento dell'orecchio - DMI

I Sistemi Biometrici:
riconoscimento dell’orecchio
A cura di:
Daniel Riccio
http://www.dmi.unisa.it/people/riccio
http://www.dmi.unisa.it/people/nappi
05/06/2007 Riconoscimento dell’orecchio 1

Indice
• La biometria dell’orecchio (panoramica)
• L’estrazione dell’orecchio
• Metodi esistenti in letteratura
• La combinazione di volto e orecchio
05/06/2007 Riconoscimento dell’orecchio 2

L’orecchio come biometria
• Esistono diversi aggettivi per descrivere un volto e le sue
componenti, pochissimi per caratterizzare un orecchio:
– Forma: : ovale, rotondo, …
– Aspetto: : delicato, paffuto, …
– Caratteristiche Facciali: : colore degli occhi, forma degli zigomi,
forma del naso e del mento, spessore delle labbra, …
• Le persone sono abituate a riconoscere una persona dal
volto, ma non da un orecchio.
• Questi fattori hanno alimentato lo scetticismo nei confronti
di questa biometria.
05/06/2007 Riconoscimento dell’orecchio 3

Anatomia dell’orecchio
• L’orecchio non ha una struttura
completamente casuale; è
costituito di caratteristiche
standard proprio come il volto :
– il bordo esterno (helix(
helix);
– la sporgenza (anti(
anti-helix) ) che corre
internamente e parallelamente al
bordo esterno;
– il lobo (lobe(
lobe);
– l’incavo a forma di “U” conosciuto
come tacca intertragica (intertragic(
notch) ) tra il buco dell’orecchio
(meatus)) ed il lobo
05/06/2007 Riconoscimento dell’orecchio 4

Aspetti positivi
• L’orecchio è una biometria statica e
passiva
• Poiché è uno dei 5 sensi solitamente è
scoperto per favorire l’udito
• Nel caso fosse poco visibile è possibile
interagire con l’utente
05/06/2007 Riconoscimento dell’orecchio 5

Aspetti positivi
• L’orecchio è stato valutato in relazione ad altre
biometrie, prima fra tutte il volto. Ne sono emersi
diversi vantaggi:
– una minore risoluzione;
– una distribuzione di colori più uniforme;
– una minore sensibilità a variazioni di espressione
• Tuttavia l’utilizzo concreto di questa biometria è
ancora relativamente limitato ad alcuni casi di
indagini sulla scena del crimine.
05/06/2007 Riconoscimento dell’orecchio 6

L’orecchio come nuova biometria
• Una persona è (non è) chi dice di essere (non essere)?
• Nel 1989, Alfred Iannarelli conduce due studi. . Il primo su
10000 casi di un campione casuale selezionato in
california, , i cui risultati affermano:
– L’orecchio umano ha una variabilità sufficiente a distinguere due
soggetti diversi;
– L’orecchio umano rispetta le proprietà fondamentali della
biometria (universale, unica, permanente, collezionabile).
05/06/2007 Riconoscimento dell’orecchio 7

L’orecchio come nuova biometria
• Il secondo su fratelli e gemelli identici,
per verificare che avessero
caratteristiche differenti.
• Altro aspetto verificato da Iannarelli è
la variazione nel tempo:
– La crescita dell’orecchio è
proporzionale dalla nascita ai primi 4
mesi;
– Fra i 4 mesi e gli 8 anni, il lobo subisce
un allungamento verticale maggiore
dovuto alla forza di gravità;
– La crescita del lobo per via della gravità
rimane costante fra gli 8 e i 70 anni,
dopo i quali subisce un ulteriore
incremento.
05/06/2007 Riconoscimento dell’orecchio 8

L’orecchio come nuova biometria
• Esistono altri lavori di portata
minore che attestano la bontà
dell’orecchio come possibile
biometria:
– Imhofer, , nel 1906, osserva che su
un insieme di 500 orecchie sono
sufficienti solo 4 caratteristiche per
poterle distinguere tutte;
– La Bromba Gmbh, , una compagnia
che si occupa di sistemi biometrici,
ha confrontato diverse biometrie
sulla base della permanenza nel
tempo.
05/06/2007 Riconoscimento dell’orecchio 9

Estrazione dell’orecchio
• L’orecchio ha una minore
dimensione e complessità rispetto
al volto, ciò rende l’operazione di
estrazione più complessa.
• Esistono diverse tecniche di
estrazione dell’orecchio, tra le
quali:
– Localizzazione di punti di
interesse;
– Metodi generici di object
detection;
– Metodi geometrici per il 3D
05/06/2007 Riconoscimento dell’orecchio 10

Estrazione dell’orecchio
(localizzazione di punti)
• Il sistema utilizza delle reti neurali,
che devono essere addestrate
• Si acquisisce una grande quantità di
immagini
• Su ciascuna immagine si
selezionano i punti di interesse (in
giallo), che sono un sottoinsieme di
quelli individuati da Burger
(numerati in bianco)
05/06/2007 Riconoscimento dell’orecchio 11

Estrazione dell’orecchio
(localizzazione di punti)
• Poiché per il training le reti neurali
impiegano un tempo di elaborazione che è
proporzionale alla dimensione delle
immagini in input, ciascun immagine viene
ridimensionata ad una risoluzione minore.
• Il contrasto di ciascuna immagine viene
normalizzato al fine di migliorare i risultati.
• I punti in rosso rappresentano un esempio di
localizzazione.
05/06/2007 Riconoscimento dell’orecchio 12

Estrazione dell’orecchio
• I punti selezionati determinano
un sistema di riferimento
sull’immagine
• Tutti gli altri punti possono
essere considerati rispetto a
questi come su una specie di
mappa
• In questo modo è possibile
estrarre anche il rettangolo
contenente la regione
dell’orecchio
(localizzazione di punti)
05/06/2007 Riconoscimento dell’orecchio 13

Estrazione dell’orecchio
(Medoti
generici di Object Detection)
• Il termine Object Detection si riferisce alla
localizzazione di un oggetto in un’immagine,
ovvero ad un meccanismo che consente di
individuare la posizione dell’oggetto all’interno
della stessa
• Un approccio statistico per OD, effettua il
“training” di un classificatore per oggetti
complessi successivamente utilizzato per la loro
individuazione
05/06/2007 Riconoscimento dell’orecchio 14

Estrazione dell’orecchio
(Medoti
generici di Object Detection)
• Il training basato su tale modello usa:
‣ istanze multiple della classe dell’oggetto di interesse o
campioni positivi
‣ e diversi campioni negativi ovvero immagini che non
contengono oggetti di interesse
• L’unione dei campioni costituisce un training set. Durante il training
caratteristiche differenti vengono estratte dai campioni e vengono
selezionate quelle distintive per classificare l’oggetto.
• Se il classificatore allenato non trova alcun oggetto o erroneamente
ente
individua un oggetto che in realtà è assente, nuovi campioni
corrispondenti al training set vengono aggiunti.
05/06/2007 Riconoscimento dell’orecchio 15

Estrazione dell’orecchio
(Medoti
generici di Object Detection)
• Questo metodo è
implementato dalla libreria di
programmazione OpenCV
(C/C++)
• OpenCV è fondamentalmente
una libreria open-source
per
l’analisi delle immagini
sviluppata da Intel.
05/06/2007 Riconoscimento dell’orecchio 16

Estrazione dell’orecchio
• I modelli tridimensionali
permettono di sfruttare
anche la profondità come
informazione utile per la
localizzazione.
(Metodi geometrici per il 3D)
• I metodi di localizzazione
da modelli 3D utilizzano
profondità e curvatura
05/06/2007 Riconoscimento dell’orecchio 17

Estrazione dell’orecchio
(Metodi geometrici per il 3D)
• Il training viene effettuato off-line:
– A partire dal modello 3D del profilo
del volto, si individuano i punti di
massima curvatura.
– Si crea una immagine binaria (pixel 0-0
nero, 1-bianco). 1
– Si estrae manualmente la regione
corrispondente all’orecchio.
05/06/2007 Riconoscimento dell’orecchio 18

Estrazione dell’orecchio
(Metodi geometrici per il 3D)
• Le regioni estratte vengono
fuse insieme per creare un
modello di riferimento detto
template.
05/06/2007 Riconoscimento dell’orecchio 19

Estrazione dell’orecchio
(Metodi geometrici per il 3D)
• Il testing viene effettuato on-line:
– Per un nuovo modello si calcola
l’immagine binaria.
– Si individuano i punti di massima
curvatura.
– Si cercano le regioni che
corrispondono al template (in blu).
05/06/2007 Riconoscimento dell’orecchio 20

Metodi Esistenti
• Le tecniche esistenti per il riconoscimento
dell’orecchio possono essere raggruppate in
4 classi:
– Approccio globale
– Punti di interesse (marcatori)
– Termogramma
– Modelli 3D
05/06/2007 Riconoscimento dell’orecchio 21

Metodi Esistenti
(Approccio globale)
• Un approccio di questo tipo considera
l’orecchio nella sua interezza a partire da
una foto bidimensionale ed estraendo un
insieme di caratteristiche.
• Un esempio di questa tipologia di tecniche è
il sistema Iannarelli.
05/06/2007 Riconoscimento dell’orecchio 22

Metodi Esistenti
(Sistema Iannarelli)
• L’immagine dell’orecchio viene normalizzata rispetto
alla dimensione.
• Si individua il crus of helix e lo si fissa come centro del
sistema
• A partire da questo punto si effettuano 12 diverse
misurazioni (valori
interi).
• Il sesso, l’etnia e le 12 misurazioni rappresentano il
vettore di caratteristiche
• Il principale problema di questo metodo è la precisione
con cui è necessario fissare il centro del sistema.
• Se il centro è sfasato, tutte le misurazioni risultano
sbagliate.
05/06/2007 Riconoscimento dell’orecchio 23

Metodi Esistenti
(Diagrammi di Voronoi)
• Burge e Burger hanno sottolineato
questo problema, proponendo una nuova
soluzione, basata sui diagrammi di
Voronoi e sulla distanza tra grafi.
• Sebbene il metodo non sia stato
sperimentato, , la segmentazione
dell’orecchio è troppo sensibile a
variazioni di illuminazione e posa,
rendendo inefficace la rappresentazione
di Voronoi.
05/06/2007 Riconoscimento dell’orecchio 24

Metodi Esistenti
(Force Field/Campo di Forza)
• Ciascun pixel dell’orecchio è vista come
una particella carica (0 neutro, , 255
carica massima)
• Ciascun pixel esercita una forza di
attrazione sugli altri pixel in proporzione
alla distanza da essi:
• Per ciascun pixel si calcola la forza che
tutti gli altri pixel esercitano su di esso
(modulo, direzione e verso)
05/06/2007 Riconoscimento dell’orecchio 25

• Si fissano una serie di
punti su un’ellisse intorno
all’orecchio
• A partire da ciascun punto
si segue l’attrazione del
campo di forza.
• Se due percorsi si
uniscono, , non possono più
separarsi
• Le linee di campo
convergono in punti detti
pozzi
Metodi Esistenti
(Force Field/Campo di Forza)
05/06/2007 Riconoscimento dell’orecchio 26

• Questo metodo
presenta interessanti
proprietà di robustezza
rispetto a:
Metodi Esistenti
(Force Field/Campo di Forza)
– Punti di partenza;
– Risoluzione
dell’immagine;
– Presenza di rumore;
05/06/2007 Riconoscimento dell’orecchio 27

Metodi Esistenti
(Punti di interesse)
• L’orecchio viene poggiato ad una lastra di materiale
trasparente (ad esempio il vetro).
• Si segna un insieme di punti di riferimento detti marcatori.
• Questa tecnica è stata utilizzata in Inghilterra per
condannare 4 persone incriminate fra il 1996 e il 1998.
• Tuttavia la corte olandese non ha ritenuto questa biometria
sufficientemente accreditata per poter fondare un giudizio
unicamente su di essa.
05/06/2007 Riconoscimento dell’orecchio 28

Metodi Esistenti
(Termogramma)
• L’immagine dell’orecchio viene acquisita
mediante camera termica
• Tecniche di questo tipo hanno diversi
vantaggi:
– L’orecchio è facilmente localizzabile;
– Sono robuste alla occlusione da parte dei capelli;
– La presenza di colori differenti facilita la
segmentazione dell’orecchio
• Tuttavia hanno anche degli svantaggi:
– Sensibilità al movimento;
– Limitata risoluzione;
– Elevati costi;
05/06/2007 Riconoscimento dell’orecchio 29

Metodi Esistenti
(Modelli 3D)
• Si basano su una valutazione
della profondità e della curvatura
delle regioni dell’orecchio.
• In alcuni casi il confronto viene
effettuato fra regioni
corrispondenti di due modelli 3D
di orecchio appartenenti alla
stessa persona e dette patch.
05/06/2007 Riconoscimento dell’orecchio 30

Metodi Esistenti
(Sistemi Multi-Modali)
Modali)
• Diversi sistemi combinano caratteristiche 2D e 3D per
migliorare le prestazioni in termini di riconoscimento
• Un aspettto fondamentale di questi sistemi è la regola di
fusione dei risultati.
05/06/2007 Riconoscimento dell’orecchio 31

• Victor, Bowyer e Sarkar nel
2002 hanno realizzato uno
studio in cui volto e orecchio
venivano messi a confronto.
Volto e Orecchio
• La tecnica da loro usata si basa
sulla PCA (Principal
Component Analysis) e consta
di tre passi:
– Preprocessing;
– Normalizzazione;
– Identificazione;
05/06/2007 Riconoscimento dell’orecchio 32

Volto e Orecchio
• Il preprocessing consiste nel
ridimensionamento di ciascuna
immagine ad una risoluzione di
400×500 pixel.
• Per la normalizzazione vengono
forniti due punti di riferimento, sia per
il volto che per l’orecchio:
– Le immagini vengono ridimensionate a
130×150 150 pixel
– Si apportano correzioni geometriche,
fotometriche
– Le regioni non appartenenti all’orecchio
vengono mascherate.
05/06/2007 Riconoscimento dell’orecchio 33

Volto e Orecchio
• I test sono stati effettuati su un insieme di 294
persone, , per un totale di 808 immagini.
• Per ciascun soggetto erano presenti almeno
una immagine per il volto e l’altra per
l’orecchio.
• Le tipologie di esperimento sono tre:
– Gallery e probe dello stesso giorno;
– Gallery e probe in giorni diversi con stessa
espressione facciale;
– Gallery e probe in giorni diversi con differente
espressione facciale;
05/06/2007 Riconoscimento dell’orecchio 34

Volto e Orecchio
• Secondo questo studio il volto è superiore come
prestazioni rispetto all’orecchio in tutti gli
esperimenti.
05/06/2007 Riconoscimento dell’orecchio 35

Volto e Orecchio
• Chang, Bowyer e Sarkar ripetono uno studio analogo nel 2003.
• Le variazioni considerate sono tre:
– Immagini acquisite in giorni differenti;
– Variazioni di illuminazione;
– Variazioni di posa;
05/06/2007 Riconoscimento dell’orecchio 36

Volto e Orecchio
• Tuttavia i risultati
sono diversi:
05/06/2007 Riconoscimento dell’orecchio 37

Volto e Orecchio
• E’ inoltre possibile combinare insieme volto e orecchio,
seguendo schemi diversi:
– Volto ⊕ Orecchio;
– Volto Orecchio;
– Orecchio Volto;
05/06/2007 Riconoscimento dell’orecchio 38

Volto e Orecchio
• La sperimentazione
condotta su un
significativo campione
di persone ha
dimostrato che la
soluzione migliore
consiste nella
combinazione
parallela di volto e
orecchio.
05/06/2007 Riconoscimento dell’orecchio 39

Conclusioni
05/06/2007 Riconoscimento dell’orecchio 40