Reconocimiento Facial Basado en Puntos Característicos de ... - ATVS
Reconocimiento Facial Basado en Puntos Característicos de ... - ATVS
Reconocimiento Facial Basado en Puntos Característicos de ... - ATVS
You also want an ePaper? Increase the reach of your titles
YUMPU automatically turns print PDFs into web optimized ePapers that Google loves.
UNIVERSIDAD AUTONOMA DE MADRID<br />
ESCUELA POLITÉCNICA SUPERIOR<br />
PROYECTO FIN DE CARRERA<br />
<strong>Reconocimi<strong>en</strong>to</strong> <strong>Facial</strong> <strong>Basado</strong> <strong>en</strong> <strong>Puntos</strong><br />
<strong>Característicos</strong> <strong>de</strong> la Cara <strong>en</strong> <strong>en</strong>tornos no<br />
controlados<br />
Ing<strong>en</strong>iería <strong>de</strong> Telecomunicación<br />
Luis Blázquez Pérez<br />
Enero 2013
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
<strong>Reconocimi<strong>en</strong>to</strong> <strong>Facial</strong> <strong>Basado</strong> <strong>en</strong><br />
<strong>Puntos</strong> <strong>Característicos</strong> <strong>de</strong> la Cara <strong>en</strong><br />
<strong>en</strong>tornos no controlados<br />
AUTOR: Luis Blázquez Pérez<br />
TUTOR: Pedro Tomé González<br />
Área <strong>de</strong> Tratami<strong>en</strong>to <strong>de</strong> Voz y Señales (<strong>ATVS</strong>)<br />
Dpto. <strong>de</strong> Ing<strong>en</strong>iería Informática<br />
Escuela Politécnica Superior<br />
Universidad Autónoma <strong>de</strong> Madrid<br />
Enero <strong>de</strong> 2013<br />
LUIS BLÁZQUEZ PÉREZ<br />
I
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
LUIS BLÁZQUEZ PÉREZ<br />
II
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
Resum<strong>en</strong><br />
Resum<strong>en</strong><br />
En este proyecto se estudia, implem<strong>en</strong>ta y evalúa un sistema automático <strong>de</strong> <strong>de</strong>tección y<br />
corrección <strong>de</strong> puntos característicos faciales mal marcados, obt<strong>en</strong>idos mediante un sistema<br />
comercial automático. Como bases <strong>de</strong> datos para la experim<strong>en</strong>tación se emplean varias bases<br />
<strong>de</strong> datos, emulando <strong>en</strong>tornos controlados e incontrolados, <strong>de</strong> libre acceso a la comunidad<br />
ci<strong>en</strong>tífica. Se ha llevado a cabo un análisis antropométrico sobre el <strong>en</strong>torno controlado,<br />
probando su pot<strong>en</strong>cial; a<strong>de</strong>más <strong>de</strong> un análisis <strong>de</strong> cada uno <strong>de</strong> los rasgos faciales.<br />
Como punto <strong>de</strong> partida se ha realizado un estudio <strong>de</strong> las técnicas biométricas <strong>de</strong>sarrolladas <strong>en</strong><br />
el estado <strong>de</strong>l arte actual y una recopilación <strong>de</strong> aquellas con mayor interés. Debido a la<br />
exist<strong>en</strong>cia <strong>de</strong> ruido <strong>en</strong> las imág<strong>en</strong>es <strong>de</strong> ambas bases <strong>de</strong> datos, <strong>en</strong> este proyecto se ha<br />
<strong>de</strong>sarrollado un método <strong>de</strong> preprocesado <strong>de</strong> imág<strong>en</strong>es. En él también se ha llevado a cabo el<br />
alineami<strong>en</strong>to, normalización (estándar ISO) y escalado <strong>de</strong> cada una <strong>de</strong> las imág<strong>en</strong>es.<br />
Para la parte experim<strong>en</strong>tal se han llevado a cabo experim<strong>en</strong>tos difer<strong>en</strong>ciados <strong>de</strong> cada una <strong>de</strong><br />
las etapas <strong>de</strong>l sistema, <strong>de</strong> modo que se pueda evaluar el sistema <strong>de</strong>sarrollado <strong>de</strong> forma<br />
<strong>de</strong>tallada con sus puntos fuertes y débiles. Los experim<strong>en</strong>tos se han c<strong>en</strong>trado <strong>en</strong> observar el<br />
pot<strong>en</strong>cial <strong>de</strong>l <strong>de</strong>tector y <strong>de</strong>l corrector <strong>de</strong> puntos faciales <strong>de</strong>sarrollado <strong>en</strong> el proyecto, tanto <strong>en</strong><br />
<strong>en</strong>tornos controlados, como <strong>en</strong> <strong>en</strong>tornos no controlados.<br />
A<strong>de</strong>más, para la realización <strong>de</strong> un análisis más exhaustivo <strong>de</strong> la cara, se han <strong>de</strong>sarrollado dos<br />
segm<strong>en</strong>tadores (uno basado <strong>en</strong> las proporciones faciales, y otro basado <strong>en</strong> el punto medio <strong>de</strong><br />
cada rasgo facial), permiti<strong>en</strong>do así, la extracción <strong>de</strong> los rasgos faciales <strong>de</strong> manera individual,<br />
dando lugar a una mayor precisión <strong>en</strong> dicho análisis.<br />
Por último, se pres<strong>en</strong>tan las conclusiones, las observadas <strong>de</strong> cada uno <strong>de</strong> los experim<strong>en</strong>tos y<br />
las finales <strong>de</strong>l proyecto, y se propon<strong>en</strong> líneas <strong>de</strong> trabajo futuras.<br />
Palabras clave<br />
Sistema biométrico, reconocimi<strong>en</strong>to biométrico facial, marcado <strong>de</strong> puntos característicos <strong>de</strong> la<br />
cara, <strong>de</strong>tector <strong>de</strong> marcado incorrecto, corrector <strong>de</strong> puntos característicos, extractor <strong>de</strong> rasgos<br />
faciales.<br />
LUIS BLÁZQUEZ PÉREZ<br />
III
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
Abstract<br />
This project is about study, implem<strong>en</strong>tation and evaluation of an automatic <strong>de</strong>tection<br />
and correction system of misbran<strong>de</strong>d facial landmarks, which are obtained from a<br />
commercial automatic system. Several differ<strong>en</strong>t databases will be used for the<br />
experim<strong>en</strong>tation, emulating both controlled and uncontrolled <strong>en</strong>vironm<strong>en</strong>ts, which are<br />
free access for the sci<strong>en</strong>tific community. An anthropometric analysis about the controlled<br />
<strong>en</strong>vironm<strong>en</strong>t is performed, testing its pot<strong>en</strong>tial; in addition to an analysis about every facial<br />
feature.<br />
As starting point, a survey about the biometric techniques <strong>de</strong>veloped in the pres<strong>en</strong>t<br />
state of the art and a compilation of the most interesting ones are ma<strong>de</strong>. Due to the<br />
exist<strong>en</strong>ce of the noise in both databases images, an image preprocessing method is<br />
<strong>de</strong>veloped in this project. It also inclu<strong>de</strong>s alignm<strong>en</strong>t, normalization (ISO standard)<br />
and escala<strong>de</strong> of each image.<br />
In the experim<strong>en</strong>tal part differ<strong>en</strong>t experim<strong>en</strong>ts are performed in every phase of the system,<br />
so it is possible to evaluate the system in <strong>de</strong>tail, with its str<strong>en</strong>gths and weaknesses.<br />
The experim<strong>en</strong>ts are focused on observing the pot<strong>en</strong>tial of the <strong>de</strong>tector and the facial<br />
points reviser, both in controlled and uncontrolled <strong>en</strong>vironm<strong>en</strong>ts.<br />
Furthermore, in or<strong>de</strong>r to perform a more exhaustive facial analysis, two segm<strong>en</strong>tors have be<strong>en</strong><br />
<strong>de</strong>veloped (one of them based on facial proportions, and the another one based on the<br />
midpoint of each facial feature), thereby allowing the extraction of facial features individually,<br />
leading to a greater accuracy in this analysis.<br />
Finally, conclusions about each experim<strong>en</strong>t and about the <strong>en</strong>tire project are pres<strong>en</strong>ted,<br />
and future lines of work are suggested.<br />
Key words<br />
Biometric system, facial biometric recognition, facial landmarks marking, inaccurate<br />
marking <strong>de</strong>tector, landmarks reviser, facial features extractor.<br />
LUIS BLÁZQUEZ PÉREZ<br />
IV
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
Agra<strong>de</strong>cimi<strong>en</strong>tos<br />
Quiero agra<strong>de</strong>cer <strong>en</strong> primer lugar a mi pon<strong>en</strong>te, el Dr. Julián Fiérrez Aguilar, la oportunidad<br />
que me ha brindado <strong>de</strong> colaborar con el <strong>ATVS</strong> y su apoyo para realizar mi Proyecto Fin <strong>de</strong><br />
Carrera.<br />
Igualm<strong>en</strong>te estoy muy agra<strong>de</strong>cido al resto <strong>de</strong> miembros <strong>de</strong>l <strong>ATVS</strong>, por haberme permitido<br />
disfrutar realizando este proyecto, y brindarme la oportunidad <strong>de</strong> iniciarme <strong>en</strong> el mundo <strong>de</strong> la<br />
investigación e impulsarme a continuar y ampliar aún más mis metas.<br />
Especial agra<strong>de</strong>cimi<strong>en</strong>to por su <strong>de</strong>dicación a mi tutor Pedro Tomé González, que me ha guiado<br />
<strong>en</strong> la elaboración <strong>de</strong> este proyecto.<br />
No quiero olvidar a mis amig@s, que durante todo el tiempo que ha durado mi carrera<br />
universitaria, la han hecho más am<strong>en</strong>a y lleva<strong>de</strong>ra.<br />
También quiero agra<strong>de</strong>cer el incesante apoyo mostrado por mi familia a lo largo <strong>de</strong> mi vida. A<br />
mis hermanos agra<strong>de</strong>cerles los mom<strong>en</strong>tos <strong>de</strong> diversión y distracción, que me ayudaban a<br />
<strong>de</strong>sconectar cuando era necesario, <strong>de</strong>l ámbito <strong>de</strong> trabajo y estudio. Papá, gracias por todo lo<br />
que has trabajado para darme lo mejor y por hacerme ver que todo <strong>en</strong> esta vida cuesta trabajo<br />
y que lo importante es luchar y valorar lo que se ti<strong>en</strong>e. También te <strong>de</strong>bo agra<strong>de</strong>cer, a ti mamá,<br />
el haberme <strong>de</strong>mostrado día tras día lo importante que soy <strong>en</strong> tu vida, dándolo todo sin pedir<br />
nada a cambio e inculcándome que no hay que r<strong>en</strong>dirse <strong>en</strong> los malos mom<strong>en</strong>tos y que todo<br />
suce<strong>de</strong> por alguna razón. Por todo ello, por hacer que esta vida fuera mucho más fácil para mí,<br />
y sobre todo, porque yo no sería lo que soy sin vosotros, GRACIAS FAMILIA.<br />
Y <strong>en</strong> último lugar y no por ello m<strong>en</strong>os importante, quiero <strong>de</strong>dicar este proyecto a Patricia<br />
Dom<strong>en</strong>ech, que es capaz <strong>de</strong> iluminarme <strong>en</strong> cualquier día <strong>de</strong> oscuridad gracias a su <strong>en</strong>ergía,<br />
sonrisa y vitalidad.<br />
Gracias a todos por hacer <strong>de</strong> estos años una época memorable.<br />
Luis Blázquez Pérez<br />
Enero 2013<br />
LUIS BLÁZQUEZ PÉREZ<br />
V
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
LUIS BLÁZQUEZ PÉREZ<br />
VI
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
A mis padres, por ayudarme cada día a<br />
cruzar con firmeza el camino <strong>de</strong> la superación.<br />
El g<strong>en</strong>io comi<strong>en</strong>za las gran<strong>de</strong>s obras,<br />
pero solo el trabajo las acaba.<br />
Petrus Jacobus Joubert<br />
LUIS BLÁZQUEZ PÉREZ<br />
VII
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
Í ndice <strong>de</strong> cont<strong>en</strong>idos<br />
Resum<strong>en</strong> . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . III<br />
Palabras claves . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . III<br />
Abstract . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . IV<br />
Key words. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . IV<br />
Agra<strong>de</strong>cimi<strong>en</strong>tos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . V<br />
Índice <strong>de</strong> cont<strong>en</strong>idos. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . VII<br />
Índice <strong>de</strong> figuras . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . IX<br />
Índice <strong>de</strong> tablas. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . XI<br />
Glosario <strong>de</strong> términos. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . XII<br />
1. Introducción . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1<br />
1.1. Motivación. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1<br />
1.2. Objetivos <strong>de</strong>l PFC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3<br />
1.3. Metodología y plan <strong>de</strong> trabajo. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4<br />
1.4. Organización <strong>de</strong> la memoria . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5<br />
2. Estado <strong>de</strong>l arte <strong>en</strong> localización <strong>de</strong> puntos característicos <strong>de</strong> la cara. . . . . . . . . . . 6<br />
2.1. Introducción. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6<br />
2.2. Métodos <strong>de</strong> localización <strong>de</strong> puntos característicos <strong>en</strong> la cara. . . . . . . . . . . . . 6<br />
2.2.1. Correspond<strong>en</strong>cia <strong>en</strong>tre agrupaciones <strong>de</strong> grafos elásticos (Elastic<br />
Bunch Graph Matching, EBGM) . . . . . . . . . . . . . . . . . . . . . . . . .<br />
7<br />
2.2.2. Mo<strong>de</strong>lo <strong>de</strong> apari<strong>en</strong>cia activa (Active Appearance Mo<strong>de</strong>l, AAM). . . . . . . 8<br />
2.2.3. Mo<strong>de</strong>lo <strong>de</strong> forma activa (Active Shape Mo<strong>de</strong>l, ASM) . . . . . . . . . . . . . 10<br />
3. Bases <strong>de</strong> datos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13<br />
3.1. Introducción. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13<br />
3.2. BioID . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13<br />
3.3. For<strong>en</strong>sic <strong>ATVS</strong> . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14<br />
3.4. MORPH. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17<br />
3.5. SCFace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19<br />
4. Sistema, diseño y <strong>de</strong>sarrollo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23<br />
4.1. Introducción a los sistemas biométricos . . . . . . . . . . . . . . . . . . . . . . . . 23<br />
4.1.1. Modo id<strong>en</strong>tificación . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24<br />
4.1.2. Modo verificación . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25<br />
4.1.3. Otras consi<strong>de</strong>raciones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26<br />
4.2. Sistema automático comercial. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26<br />
4.3. Descripción <strong>de</strong>l sistema <strong>de</strong>sarrollado . . . . . . . . . . . . . . . . . . . . . . . . . . 27<br />
4.4. Pre-procesado y normalización . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28<br />
4.5. Detector <strong>de</strong> marcado incorrecto. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32<br />
4.5.1. Fase 1. No landmarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34<br />
4.5.2. Fase 2. Marcado incorrecto <strong>de</strong> ojos. . . . . . . . . . . . . . . . . . . . . . . 34<br />
4.5.3. Fase 3. Distancias. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37<br />
4.5.4. Fase 4. Ángulos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37<br />
4.5.5. Fase 5. Simetrías . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37<br />
4.5.6. Decisor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41<br />
4.6. Corrector <strong>de</strong> puntos característicos . . . . . . . . . . . . . . . . . . . . . . . . . . . 43<br />
4.6.1. Extractor <strong>de</strong> rasgos faciales por proporciones. . . . . . . . . . . . . . . . . 44<br />
4.6.2. Extractor <strong>de</strong> rasgos faciales por puntos . . . . . . . . . . . . . . . . . . . . 46<br />
4.6.3. Máscaras <strong>de</strong> ruido . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48<br />
4.6.4. Realce, ecualización y umbralización . . . . . . . . . . . . . . . . . . . . . . 49<br />
4.6.5. Barrido, localización y marcado <strong>de</strong> puntos. . . . . . . . . . . . . . . . . . . 51<br />
LUIS BLÁZQUEZ PÉREZ<br />
VIII
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
5. Experim<strong>en</strong>tos y resultados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56<br />
5.1. Evaluación <strong>de</strong>l r<strong>en</strong>dimi<strong>en</strong>to <strong>de</strong> sistemas biométricos . . . . . . . . . . . . . . . . . 56<br />
5.2. Análisis <strong>de</strong> características / puntos característicos. . . . . . . . . . . . . . . . . . . 57<br />
5.3. Experim<strong>en</strong>to 0: Marcado automático <strong>de</strong> puntos característicos <strong>en</strong> <strong>en</strong>tornos<br />
controlados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .<br />
62<br />
5.4. Experim<strong>en</strong>to 1: Importancia <strong>de</strong> la segm<strong>en</strong>tación . . . . . . . . . . . . . . . . . . . 66<br />
5.5. Experim<strong>en</strong>to 2: <strong>Reconocimi<strong>en</strong>to</strong> antropométrico . . . . . . . . . . . . . . . . . . . 67<br />
5.5.1. Protocolo experimetal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67<br />
5.5.2. Resultados y conclusiones. . . . . . . . . . . . . . . . . . . . . . . . . . . . 68<br />
5.6. Experim<strong>en</strong>to 3: Análisis <strong>de</strong> po<strong>de</strong>r discriminante <strong>de</strong> cada rasgo facial para ambos<br />
tipos <strong>de</strong> extractores. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .<br />
74<br />
5.6.1. Protocolo experim<strong>en</strong>tal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74<br />
5.6.2. Resultados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75<br />
5.6.3. Discusión . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79<br />
6. Conclusiones y trabajo futuro . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80<br />
6.1. Conclusiones. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80<br />
6.2. Trabajo futuro. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81<br />
7. Refer<strong>en</strong>cias bibliográficas. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83<br />
A. Presupuesto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85<br />
B. Pliego <strong>de</strong> condiciones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86<br />
C. Publicaciones. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90<br />
LUIS BLÁZQUEZ PÉREZ<br />
IX
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
Í ndice <strong>de</strong> figuras<br />
Figura 1. <strong>Facial</strong> landmarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3<br />
Figura 2. Correspond<strong>en</strong>cia <strong>en</strong>tre agrupaciones <strong>de</strong> grafos elásticos. . . . . . . . . . . . . . . 7<br />
Figura 3. Ejemplo <strong>de</strong> malla <strong>en</strong> AAM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9<br />
Figura 4. Búsqueda <strong>de</strong> una cara utilizando el Mo<strong>de</strong>lo <strong>de</strong> Forma Activa . . . . . . . . . . . . 11<br />
Figura 5. Cuatro usuarios, a modo <strong>de</strong> ejemplo, <strong>de</strong> la base <strong>de</strong> datos BioID. . . . . . . . . . . 13<br />
Figura 6. Marcado <strong>de</strong> puntos BioID . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14<br />
Figura 7. Distancias <strong>de</strong> captura <strong>en</strong> la base <strong>de</strong> datos <strong>ATVS</strong> . . . . . . . . . . . . . . . . . . . . 14<br />
Figura 8. Imág<strong>en</strong>es ejemplo <strong>de</strong> la base <strong>de</strong> datos <strong>ATVS</strong> a difer<strong>en</strong>tes distancias . . . . . . . . 15<br />
Figura 9. Conjunto <strong>de</strong> imág<strong>en</strong>es para un único usuario . . . . . . . . . . . . . . . . . . . . . 15<br />
Figura 10. <strong>Puntos</strong> faciales For<strong>en</strong>sic <strong>ATVS</strong> . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17<br />
Figura 11. Cuatro usuarios, a modo <strong>de</strong> ejemplo, <strong>de</strong> la base <strong>de</strong> datos MORPH. . . . . . . . . 18<br />
Figura 12. Imag<strong>en</strong> progresión edad hombre blanco (izq.) y mujer Afro-americana (dcha.). . 19<br />
Figura 13. Posición cámaras comerciales <strong>de</strong> calidad variable . . . . . . . . . . . . . . . . . . 20<br />
Figura 14. Imag<strong>en</strong> frontal (izquierda) e imag<strong>en</strong> camara1 (<strong>de</strong>recha) <strong>de</strong> dos usuarios <strong>de</strong><br />
SCface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .<br />
20<br />
Figura 15. Cámaras <strong>de</strong> vigilancia. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20<br />
Figura 16. Distancias <strong>de</strong> captura <strong>de</strong> las imág<strong>en</strong>es <strong>de</strong> vigilancia . . . . . . . . . . . . . . . . . 21<br />
Figura 17. Ejemplo <strong>de</strong>l conjunto <strong>de</strong> imág<strong>en</strong>es por usuario . . . . . . . . . . . . . . . . . . . 22<br />
Figura 18. Distribución <strong>de</strong> la edad <strong>de</strong> los sujetos <strong>de</strong> la base <strong>de</strong> datos . . . . . . . . . . . . . 22<br />
Figura 19. Módulo <strong>de</strong> inscripción . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23<br />
Figura 20. Diagrama <strong>de</strong> bloques <strong>de</strong> un sistema biométrico <strong>de</strong> reconocimi<strong>en</strong>to. . . . . . . . 24<br />
Figura 21. Esquema modo id<strong>en</strong>tificación . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24<br />
Figura 22. Esquema modo verificación . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25<br />
Figura 23. <strong>Puntos</strong> faciales obt<strong>en</strong>idos a través <strong>de</strong>l FaceSDK . . . . . . . . . . . . . . . . . . . 26<br />
Figura 24. Esquema g<strong>en</strong>eral para la <strong>de</strong>tección y corrección <strong>de</strong> puntos característicos <strong>de</strong> la<br />
cara. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .<br />
27<br />
Figura 25. Etapa <strong>de</strong> pre-procesado . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28<br />
Figura 26. Marcado <strong>de</strong> las pupilas original (izquierda) y <strong>de</strong>spués <strong>de</strong>l pre-procesado<br />
(<strong>de</strong>recha). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .<br />
29<br />
Figura 27. Formato geométrico (izquierda) y un ejemplo con W=240 píxeles (<strong>de</strong>recha). . . 30<br />
Figura 28. Imag<strong>en</strong> original (izquierda) e imag<strong>en</strong> normalizada y rotada (<strong>de</strong>recha) . . . . . . . 31<br />
Figura 29. Transformación Afín y recorte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32<br />
Figura 30. Bloque <strong>de</strong>tector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32<br />
Figura 31. Detector <strong>de</strong> puntos característicos . . . . . . . . . . . . . . . . . . . . . . . . . . . 33<br />
Figura 32. Elem<strong>en</strong>tos estructurantes planos . . . . . . . . . . . . . . . . . . . . . . . . . . . 34<br />
Figura 33. Repres<strong>en</strong>tación fase 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35<br />
Figura 34. Ejemplo imág<strong>en</strong>es con mal marcado <strong>de</strong> ojos (ojos <strong>en</strong> parte lisa <strong>de</strong> la cara) . . . . 35<br />
Figura 35. Restricciones <strong>de</strong> la etapa 2, fase 2. . . . . . . . . . . . . . . . . . . . . . . . . . . 36<br />
Figura 36. Ejemplo imag<strong>en</strong> marcada <strong>de</strong> forma correcta . . . . . . . . . . . . . . . . . . . . . 36<br />
Figura 37. Distancias calculadas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37<br />
Figura 38. Ángulos. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37<br />
Figura 39. Distancias a la vertical (izquierda) y distancias a la horizontal (<strong>de</strong>recha). . . . . . 39<br />
Figura 40. Histogramas resultado para ángulos α . . . . . . . . . . . . . . . . . . . . . . . . 40<br />
Figura 41. Ejemplo <strong>de</strong> imág<strong>en</strong>es que fallan <strong>en</strong> cada una <strong>de</strong> las fases <strong>de</strong>l <strong>de</strong>tector, para la<br />
base <strong>de</strong> datos MORPH . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .<br />
41<br />
Figura 42. Esquema <strong>de</strong>cisor. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41<br />
Figura 43. Imág<strong>en</strong>es mal marcadas <strong>de</strong> MORPH. . . . . . . . . . . . . . . . . . . . . . . . . . 42<br />
Figura 44. Bloque corrector <strong>de</strong> puntos faciales . . . . . . . . . . . . . . . . . . . . . . . . . 43<br />
LUIS BLÁZQUEZ PÉREZ<br />
X
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
Figura 45. Funcionami<strong>en</strong>to corrector puntos característicos . . . . . . . . . . . . . . . . . . 43<br />
Figura 46. Proporciones faciales utilizadas . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45<br />
Figura 47. Resultado <strong>de</strong>l segm<strong>en</strong>tador basado <strong>en</strong> proporciones faciales . . . . . . . . . . . 45<br />
Figura 48. Resultado segm<strong>en</strong>tador por puntos (<strong>ATVS</strong>). . . . . . . . . . . . . . . . . . . . . . 47<br />
Figura 49. Comparación resultado <strong>de</strong> ambos segm<strong>en</strong>tadores. . . . . . . . . . . . . . . . . . 47<br />
Figura 50. Máscaras elípticas. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48<br />
Figura 51. Máscaras triangulares . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48<br />
Figura 52. Máscaras dos p<strong>en</strong>di<strong>en</strong>tes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49<br />
Figura 53. Realce . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49<br />
Figura 54. Ecualización . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50<br />
Figura 55. Umbralización . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50<br />
Figura 56. Barrido vertical . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51<br />
Figura 57. Resultado algoritmo barrido vertical sobre ojo. . . . . . . . . . . . . . . . . . . . 51<br />
Figura 58. Resultado algoritmo barrido vertical + método especial para la boca . . . . . . . 53<br />
Figura 59. Comparativa puntos característicos <strong>de</strong> la boca. . . . . . . . . . . . . . . . . . . . 53<br />
Figura 60. Comparación punto característico <strong>de</strong> la barbilla . . . . . . . . . . . . . . . . . . . 54<br />
Figura 61. <strong>Puntos</strong> característicos sobre un usuario <strong>de</strong> la base <strong>de</strong> datos MORPH . . . . . . . 54<br />
Figura 62. Base <strong>de</strong> datos MORPH corregida. . . . . . . . . . . . . . . . . . . . . . . . . . . . 55<br />
Figura 63. Equal Error Rate. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56<br />
Figura 64. <strong>Puntos</strong> característicos utilizados por la DGGC . . . . . . . . . . . . . . . . . . . . 58<br />
Figura 65. Mediciones a tomar. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59<br />
Figura 66. <strong>Puntos</strong> característicos <strong>de</strong> la cara <strong>de</strong> interés <strong>en</strong> el proyecto . . . . . . . . . . . . . 60<br />
Figura 67. Resultados <strong>de</strong> marcado <strong>en</strong>tre los puntos proporcionados y el sistema<br />
63<br />
<strong>de</strong>sarrollado <strong>en</strong> la base <strong>de</strong> datos BioID. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .<br />
Figura 68. Error medio, <strong>de</strong> cada rasgo facial, por usuario . . . . . . . . . . . . . . . . . . . . 64<br />
Figura 69. Error medio <strong>de</strong> cada usuario . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65<br />
Figura 70. Usuarios con rasgos faciales ocluidos . . . . . . . . . . . . . . . . . . . . . . . . . 65<br />
Figura 71. Vectores <strong>de</strong> características. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68<br />
Figura 72. Distancias más discriminantes <strong>de</strong> la cara . . . . . . . . . . . . . . . . . . . . . . . 70<br />
Figura 73. Error <strong>de</strong> segm<strong>en</strong>tación <strong>ATVS</strong>. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71<br />
Figura 74. Vectores <strong>de</strong> características rasgos faciales . . . . . . . . . . . . . . . . . . . . . . 72<br />
Figura 75. Distancias más discriminantes <strong>de</strong> cada rasgo. . . . . . . . . . . . . . . . . . . . . 73<br />
Figura 76. Usuario <strong>de</strong> la base <strong>de</strong> datos <strong>ATVS</strong> . . . . . . . . . . . . . . . . . . . . . . . . . . . 75<br />
Figura 77. Rasgos faciales extraídos. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76<br />
Figura 78. Error medio por rasgos y distancia. . . . . . . . . . . . . . . . . . . . . . . . . . . 76<br />
Figura 79. EER rasgos faciales mediante texturas para ambos segm<strong>en</strong>tadores ord<strong>en</strong>ados<br />
<strong>de</strong> mejor a peor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .<br />
78<br />
LUIS BLÁZQUEZ PÉREZ<br />
XI
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
Í ndice <strong>de</strong> tablas<br />
Tabla 1. Descripción bases <strong>de</strong> datos. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13<br />
Tabla 2. Número <strong>de</strong> Imág<strong>en</strong>es por género y asc<strong>en</strong>d<strong>en</strong>cia (n=55134) . . . . . . . . . . . . . 18<br />
Tabla 3. Número <strong>de</strong> imág<strong>en</strong>es por usuario . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18<br />
Tabla 4. Número <strong>de</strong> Imág<strong>en</strong>es por género y edad (n=55134). . . . . . . . . . . . . . . . . . 18<br />
Tabla 5. Detalles <strong>de</strong> los metadatos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19<br />
Tabla 6. Especificaciones <strong>de</strong> las cámaras <strong>de</strong> vigilancia. . . . . . . . . . . . . . . . . . . . . . 21<br />
Tabla 7. Especificaciones cámara utilizada para imág<strong>en</strong>es frontales . . . . . . . . . . . . . . 21<br />
Tabla 8. Características geométricas <strong>de</strong> las imág<strong>en</strong>es . . . . . . . . . . . . . . . . . . . . . . 30<br />
Tabla 9. Tabla <strong>de</strong> proporciones (el color <strong>de</strong> la letra hace refer<strong>en</strong>cia al color <strong>de</strong> las líneas). . 44<br />
Tabla 10. Offsets para las imág<strong>en</strong>es normalizadas, <strong>en</strong> píxeles . . . . . . . . . . . . . . . . . 46<br />
Tabla 11. Grado <strong>de</strong> semejanza. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57<br />
Tabla 12. <strong>Puntos</strong> característicos utilizados por la DGGC. . . . . . . . . . . . . . . . . . . . . 58<br />
Tabla 13. <strong>Puntos</strong> <strong>de</strong> interés faciales. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60<br />
Tabla 14. Longitud vectores <strong>de</strong> características. . . . . . . . . . . . . . . . . . . . . . . . . . 61<br />
Tabla 15. Error sistema manual vs sistema automático . . . . . . . . . . . . . . . . . . . . . 64<br />
Tabla 16. Error medio <strong>de</strong> cada rasgo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66<br />
Tabla 17. Número <strong>de</strong> imág<strong>en</strong>es erróneas. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66<br />
Tabla 18. Error <strong>de</strong> segm<strong>en</strong>tación . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67<br />
Tabla 19. Comparación EER . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69<br />
Tabla 20. Distancias por rasgos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72<br />
Tabla 21. EERs clasificados por segm<strong>en</strong>tador y bases <strong>de</strong> datos. . . . . . . . . . . . . . . . . 79<br />
LUIS BLÁZQUEZ PÉREZ<br />
XII
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
Glosario <strong>de</strong> te rminos<br />
AAM: Active Appearance Mo<strong>de</strong>l (Mo<strong>de</strong>lo <strong>de</strong> apari<strong>en</strong>cia activa)<br />
ASM: Active Shape Mo<strong>de</strong>l (Mo<strong>de</strong>lo <strong>de</strong> forma activa)<br />
CCTV: Circuito Cerrado <strong>de</strong> Televisión<br />
DET: Detection Error Tra<strong>de</strong>-off (comp<strong>en</strong>sación por error <strong>de</strong> <strong>de</strong>tección)<br />
DGGC: Dirección G<strong>en</strong>eral <strong>de</strong> la Guardia Civil<br />
DNI: Docum<strong>en</strong>to Nacional <strong>de</strong> Id<strong>en</strong>tidad<br />
DPC: Data Protection Commission (Comisión <strong>de</strong> Protección <strong>de</strong> Datos)<br />
EBGM: Elastic Bunch Graph Matching (Correspond<strong>en</strong>cia <strong>en</strong>tre agrupaciones <strong>de</strong> grafos<br />
elásticos)<br />
EE: Elem<strong>en</strong>to Estructurante<br />
EER: Equal Error Rate (tasa <strong>de</strong> error igual)<br />
FA: Falsa Aceptación<br />
FAR: False Acceptance Rate (tasa <strong>de</strong> falsa aceptación)<br />
FR: Falso Rechazo.<br />
FRR: False Rejection Rate (tasa <strong>de</strong> falso rechazo)<br />
IPD: Interpupillary Pixel Distance (Distancia interpupilar)<br />
IR: Infrarrojos<br />
LDA: Linear discriminant analysis (Análisis discriminante lineal)<br />
PFC: Proyecto <strong>de</strong> Fin <strong>de</strong> Carrera<br />
PCA: Principal Compon<strong>en</strong>ts Analysis (Análisis <strong>de</strong> Compon<strong>en</strong>tes Principales)<br />
SFFS: Sequ<strong>en</strong>tial Forward Floating Selection (Selección secu<strong>en</strong>cial hacia <strong>de</strong>lante)<br />
SVM: Support Vector Machine (Máquina <strong>de</strong> Vectores <strong>de</strong> Soporte)<br />
LUIS BLÁZQUEZ PÉREZ<br />
XIII
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
LUIS BLÁZQUEZ PÉREZ<br />
XIV
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
1. Íntroduccio n<br />
1.1 Motivación<br />
La biometría se <strong>en</strong>carga <strong>de</strong>l reconocimi<strong>en</strong>to automático <strong>de</strong> personas mediante sus rasgos<br />
físicos (cara, retina, iris, voz, huellas dactilares, etc.) o rasgos <strong>de</strong> conducta (forma <strong>de</strong> andar, <strong>de</strong><br />
escribir, etc.).<br />
En principio, cualquier característica física o <strong>de</strong>terminados tipos <strong>de</strong> comportami<strong>en</strong>to pued<strong>en</strong><br />
ser utilizados como rasgos biométricos, siempre y cuando posean las sigui<strong>en</strong>tes propieda<strong>de</strong>s:<br />
a. Universalidad: toda persona <strong>de</strong>be poseer la característica biométrica utilizada.<br />
b. Capacidad <strong>de</strong> distinción: las características biométricas <strong>de</strong> dicho rasgo, <strong>de</strong>be permitir<br />
discriminar a dos personas distintas.<br />
c. Constancia: <strong>de</strong>be permanecer relativam<strong>en</strong>te invariante a lo largo <strong>de</strong>l tiempo.<br />
d. Capacidad <strong>de</strong> cuantificación: <strong>de</strong>be po<strong>de</strong>r ser medida.<br />
En la actualidad exist<strong>en</strong> tres métodos <strong>de</strong> reconocimi<strong>en</strong>to facial:<br />
<br />
<br />
<br />
De rasgos locales: reconoc<strong>en</strong> los ojos, la nariz, la boca, mid<strong>en</strong> las distancias y los<br />
ángulos <strong>de</strong> la cara.<br />
De rasgos globales: aportan información <strong>de</strong> toda la cara.<br />
Mixtos: combinación <strong>de</strong> los anteriores.<br />
El sistema <strong>de</strong> rasgos globales, ti<strong>en</strong>e un marg<strong>en</strong> <strong>de</strong> error más pequeño, aunque maneja un<br />
m<strong>en</strong>or nivel <strong>de</strong> <strong>de</strong>talle.<br />
Una <strong>de</strong> las principales v<strong>en</strong>tajas <strong>de</strong>l reconocimi<strong>en</strong>to facial, es que se trata <strong>de</strong> un método no<br />
intrusivo, es <strong>de</strong>cir, los datos pued<strong>en</strong> ser adquiridos incluso sin que el sujeto se percate <strong>de</strong> ello.<br />
A<strong>de</strong>más, el aspecto facial es el método más utilizado <strong>de</strong> manera natural por los seres humanos<br />
para reconocerse unos a otros.<br />
Sin embargo, a la hora <strong>de</strong> id<strong>en</strong>tificar a una persona a partir <strong>de</strong> su aspecto facial, exist<strong>en</strong> una<br />
serie <strong>de</strong> dificulta<strong>de</strong>s c<strong>en</strong>tradas, sobretodo, <strong>en</strong> el concepto <strong>de</strong> variabilidad. Se hace muy difícil el<br />
reconocimi<strong>en</strong>to facial cuando hay la variabilidad <strong>en</strong>tre individuos es muy pequeña (por<br />
ejemplo, es el caso <strong>de</strong> familiares o, especialm<strong>en</strong>te, es el caso <strong>de</strong> los gemelos), o cuando la<br />
variabilidad <strong>en</strong>tre distintas imág<strong>en</strong>es <strong>de</strong> un mismo individuo es muy amplia; esto pue<strong>de</strong> ser<br />
<strong>de</strong>bido a que dichas imág<strong>en</strong>es hayan sido adquiridas <strong>en</strong> difer<strong>en</strong>tes condiciones <strong>de</strong> posición o<br />
iluminación. Otra <strong>de</strong> los gran<strong>de</strong>s obstáculos <strong>en</strong> el reconocimi<strong>en</strong>to facial, es la base <strong>de</strong> datos,<br />
esto es, para po<strong>de</strong>r evaluar los métodos <strong>de</strong> reconocimi<strong>en</strong>to facial, la base <strong>de</strong> datos <strong>de</strong>be ser<br />
adquirida <strong>en</strong> condiciones equival<strong>en</strong>tes para todos los individuos y <strong>en</strong> número <strong>de</strong> personas<br />
sufici<strong>en</strong>tem<strong>en</strong>te repres<strong>en</strong>tativo, pero t<strong>en</strong>i<strong>en</strong>do <strong>en</strong> cu<strong>en</strong>ta que un aum<strong>en</strong>to <strong>en</strong> el número <strong>de</strong><br />
datos, aum<strong>en</strong>ta el gasto computacional.<br />
LUIS BLÁZQUEZ PÉREZ 1
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
En la actualidad, exist<strong>en</strong> diversas aplicaciones cuyo funcionami<strong>en</strong>to está basado <strong>en</strong> el<br />
reconocimi<strong>en</strong>to facial, dividiéndose <strong>en</strong> tres gran<strong>de</strong>s grupos.<br />
El grupo más conocido por la g<strong>en</strong>te, es el comercial, es <strong>de</strong>cir, aplicaciones para la introducción<br />
<strong>de</strong> un usuario <strong>en</strong> re<strong>de</strong>s <strong>de</strong> ord<strong>en</strong>adores, seguridad electrónica, acceso a internet, cajeros<br />
automáticos, controles <strong>de</strong> acceso, teléfonos móviles, etc. Entre las aplicaciones que ti<strong>en</strong><strong>en</strong><br />
cabida <strong>en</strong> este primer grupo, son remarcables los ejemplos <strong>de</strong> Google y Facebook.<br />
La última innovación <strong>de</strong> Google, ha sido un nuevo sistema facial que permite al usuario el<br />
acceso a la información <strong>de</strong> su Smartphone o tableta. Dicho reconocimi<strong>en</strong>to facial permite crear<br />
a la vez distintos perfiles <strong>en</strong> un mismo aparato. Solo hace falta que registre sus datos<br />
biométricos para que sus dispositivos los reconozca, <strong>de</strong>spués <strong>de</strong> configurar el acceso a sus<br />
datos y docum<strong>en</strong>tos personales para que solo el usuario t<strong>en</strong>ga acceso a ellos. La localización<br />
<strong>de</strong> los rasgos biométricos <strong>de</strong> cada persona se basaría <strong>en</strong> un análisis <strong>de</strong> la forma y el tamaño <strong>de</strong><br />
la nariz, la mandíbula y los pómulos. Google ha pat<strong>en</strong>tado este <strong>de</strong>sbloqueo <strong>de</strong> dispositivos con<br />
un simple reconocimi<strong>en</strong>to facial 1 .<br />
Por otra parte, Facebook ha creado una herrami<strong>en</strong>ta <strong>de</strong> reconocimi<strong>en</strong>to facial, que permite<br />
reconocer al usuario mediante una foto. Sin embargo, <strong>en</strong> este caso, han t<strong>en</strong>ido que <strong>de</strong>sactivar<br />
su tecnología <strong>de</strong> reconocimi<strong>en</strong>to facial y borrar los datos incluidos <strong>en</strong> los perfiles <strong>de</strong> sus<br />
usuarios, <strong>de</strong>bido a la Comisión <strong>de</strong> Protección <strong>de</strong> Datos (DPC), ya que exig<strong>en</strong> una mayor<br />
transpar<strong>en</strong>cia para los usuarios sobre la manera <strong>en</strong> que se tratan sus datos.<br />
El segundo gran grupo al que se hace refer<strong>en</strong>cia, es el gubernam<strong>en</strong>tal, cuyas aplicaciones son<br />
las vinculadas a docum<strong>en</strong>tos id<strong>en</strong>tificativos (DNI, pasaporte, permiso <strong>de</strong> conducir), Seguridad<br />
Social, control <strong>de</strong> fronteras, control <strong>de</strong> aeropuertos, etc. La aplicación más conocida y<br />
mo<strong>de</strong>rna, pert<strong>en</strong>eci<strong>en</strong>te a este segundo grupo es el ABC system, utilizado para el chequeo <strong>de</strong><br />
pasaportes (se pone un pasaporte y se comprueba que la foto coinci<strong>de</strong> con la <strong>de</strong>l mismo,<br />
registrada <strong>en</strong> la base <strong>de</strong> datos). Este sistema se ha implem<strong>en</strong>tado <strong>en</strong> el Aeropuerto <strong>de</strong> Barajas,<br />
como un nuevo método <strong>de</strong> reconocimi<strong>en</strong>to facial. A partir <strong>de</strong> la imag<strong>en</strong> <strong>de</strong> la cara, se<br />
<strong>de</strong>terminan unos cuantos números que repres<strong>en</strong>t<strong>en</strong> únicam<strong>en</strong>te a esa persona y se compara<br />
con los <strong>de</strong> una base <strong>de</strong> datos para conocer quién es ese individuo. Para obt<strong>en</strong>er la información<br />
a<strong>de</strong>cuada, lo mejor es que la imag<strong>en</strong> se capte lo más frontal posible. El método <strong>de</strong><br />
reconocimi<strong>en</strong>to facial implem<strong>en</strong>tado es el <strong>de</strong> rasgos globales, <strong>de</strong>bido a que se da más<br />
prioridad a la falta <strong>de</strong> errores que al nivel <strong>de</strong> <strong>de</strong>talle. En [1] y [2] se explican las directrices<br />
técnicas y operacionales, respectivam<strong>en</strong>te.<br />
En el tercer grupo, el for<strong>en</strong>se, ti<strong>en</strong><strong>en</strong> lugar investigaciones criminales, id<strong>en</strong>tificación <strong>de</strong><br />
cadáveres, terrorismo, id<strong>en</strong>tificación <strong>de</strong> personas <strong>de</strong>saparecidas, etc.<br />
1<br />
http://eldia.es/2012-09-07/sociedad/0-Google-<strong>de</strong>sarrolla-<strong>de</strong>sbloqueo-facial-varios-usuarios-mismotelefono.htm<br />
LUIS BLÁZQUEZ PÉREZ 2
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
En un sistema biométrico real, a<strong>de</strong>más <strong>de</strong>l porc<strong>en</strong>taje <strong>de</strong> aciertos o fallos, <strong>de</strong>b<strong>en</strong> existir otras<br />
cuestiones que han <strong>de</strong> ser consi<strong>de</strong>radas:<br />
a. Funcionami<strong>en</strong>to: el porc<strong>en</strong>taje <strong>de</strong> reconocimi<strong>en</strong>to <strong>de</strong>be superar un <strong>de</strong>terminado<br />
umbral y el tiempo <strong>de</strong> ejecución <strong>de</strong>be ser el m<strong>en</strong>or posible.<br />
b. Aceptabilidad: <strong>de</strong>be ser aceptado por las personas como un método <strong>de</strong><br />
reconocimi<strong>en</strong>to que puedan integrar <strong>en</strong> su vida diaria.<br />
c. Robustez: <strong>de</strong>be ser estable fr<strong>en</strong>te a ataques fraudul<strong>en</strong>tos.<br />
1.2 Objetivos <strong>de</strong>l PFC<br />
Los objetivos <strong>de</strong>l pres<strong>en</strong>te proyecto son la segm<strong>en</strong>tación <strong>de</strong> la cara y el análisis exhaustivo <strong>de</strong><br />
cada uno <strong>de</strong> los rasgos faciales extraídos.<br />
Con los bloques <strong>de</strong>sarrollados, para la cumplim<strong>en</strong>tación <strong>de</strong> dichos objetivos, <strong>de</strong>tector,<br />
corrector y extractor, se pret<strong>en</strong><strong>de</strong> realizar un sistema que comprueba la vali<strong>de</strong>z <strong>de</strong> sistemas<br />
comerciales basados <strong>en</strong> el marcado <strong>de</strong> puntos característicos <strong>de</strong> la cara (<strong>en</strong> el caso <strong>de</strong> este<br />
proyecto, el sistema comercial que se pondrá a prueba es el llamado FaceSDK), y que <strong>en</strong> caso<br />
<strong>de</strong> fallo, los corrija <strong>de</strong> forma fiable.<br />
La utilidad <strong>de</strong> estos bloques es muy alta, ya que la correcta estimación <strong>de</strong> los puntos faciales<br />
<strong>de</strong> interés (Figura 1) ti<strong>en</strong>e numerosas v<strong>en</strong>tajas, como la extracción <strong>de</strong> rasgos faciales <strong>de</strong><br />
manera más precisa y exacta o la realización <strong>de</strong> un análisis <strong>de</strong> morfología (permiti<strong>en</strong>do el<br />
estudio <strong>de</strong> texturas <strong>de</strong> los rasgos).<br />
1 = right mouth corner<br />
2 = left mouth corner<br />
3 = outer <strong>en</strong>d of right eye brow<br />
4 = inner <strong>en</strong>d of right eye brow<br />
5 = inner <strong>en</strong>d of left eye brow<br />
6 = outer <strong>en</strong>d of left eye brow<br />
7 = outer corner of right eye<br />
8 = inner corner of right eye<br />
9 = inner corner of left eye<br />
10 = outer corner of left eye<br />
11 = right nostril<br />
12 = left nostril<br />
13 = tip of chin<br />
Figura 1. <strong>Facial</strong> landmarks.<br />
Finalm<strong>en</strong>te, se estudiarán las principales distancias <strong>en</strong>tre puntos característicos, para el<br />
reconocimi<strong>en</strong>to, mediante los últimos dos bloques <strong>de</strong>sarrollados, utilizados para clasificar y<br />
comparar los vectores <strong>de</strong> características <strong>de</strong> las imág<strong>en</strong>es, a<strong>de</strong>más <strong>de</strong> analizar el po<strong>de</strong>r<br />
discriminante <strong>de</strong> cada rasgo, gracias a los extractores <strong>de</strong>sarrollados.<br />
LUIS BLÁZQUEZ PÉREZ 3
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
1.3 Metodología y plan <strong>de</strong> trabajo<br />
La metodología <strong>de</strong> trabajo se divi<strong>de</strong> <strong>en</strong> los sigui<strong>en</strong>tes pasos:<br />
Estudio <strong>de</strong> la literatura<br />
<br />
El primer paso será un estudio <strong>de</strong> los sistemas <strong>de</strong> reconocimi<strong>en</strong>to facial, <strong>en</strong> particular,<br />
los utilizados para el marcado <strong>de</strong> puntos característicos <strong>de</strong> la cara.<br />
Aquí se revisa el estado <strong>de</strong>l arte <strong>en</strong> dichos sistemas [3,4].<br />
<br />
Para completar la fase <strong>de</strong> estudio, las técnicas básicas <strong>de</strong> procesami<strong>en</strong>to <strong>de</strong> imag<strong>en</strong><br />
digital serán estudiadas a través <strong>de</strong> la compr<strong>en</strong>sión <strong>de</strong>l libro [5] y la realización <strong>de</strong><br />
algunos <strong>de</strong> sus ejemplos.<br />
Desarrollo <strong>de</strong> un sistema <strong>de</strong> <strong>de</strong>tección y marcado/corrección <strong>de</strong> puntos característicos<br />
faciales [6,7,8,9]. Este sistema se aplica tanto <strong>en</strong> <strong>en</strong>tornos controlados como no controlados.<br />
El <strong>de</strong>sarrollo incluye los sigui<strong>en</strong>tes pasos:<br />
<br />
<br />
Preprocesami<strong>en</strong>to <strong>de</strong> las imág<strong>en</strong>es.<br />
Detección <strong>de</strong> los rasgos biométricos (ojos, nariz, boca…) mal marcados.<br />
Extracción <strong>de</strong> dichos rasgos biométricos [10]<br />
<br />
Corrección <strong>de</strong> los puntos característicos.<br />
Desarrollo <strong>de</strong> un sistema <strong>de</strong> id<strong>en</strong>tificación biométrica. Este sistema utilizará las características<br />
extraídas <strong>de</strong> las imág<strong>en</strong>es g<strong>en</strong>eradas <strong>en</strong> la etapa anterior. El <strong>de</strong>sarrollo incluye los sigui<strong>en</strong>tes<br />
pasos.<br />
<br />
<br />
<br />
Extracción <strong>de</strong> características (distancias euclí<strong>de</strong>as <strong>en</strong>tre los puntos característicos, ya<br />
corregidos).<br />
Medida <strong>de</strong> similitud<br />
Toma <strong>de</strong> <strong>de</strong>cisiones.<br />
Experim<strong>en</strong>tos para la optimización <strong>de</strong>l sistema. Estos experim<strong>en</strong>tos se c<strong>en</strong>tran <strong>en</strong> la selección<br />
<strong>de</strong> características. Se llevan a cabo para obt<strong>en</strong>er un conjunto <strong>de</strong> características distintivas y<br />
repres<strong>en</strong>tante <strong>de</strong> cada usuario para aum<strong>en</strong>tar el r<strong>en</strong>dimi<strong>en</strong>to <strong>de</strong>l sistema.<br />
Evaluación <strong>de</strong>l sistema mediante la realización <strong>de</strong> difer<strong>en</strong>tes experim<strong>en</strong>tos.<br />
Evaluación <strong>de</strong> los resultados y las conclusiones extraídos.<br />
Docum<strong>en</strong>tación <strong>de</strong> los trabajos realizados.<br />
<br />
<br />
<br />
Descripción <strong>de</strong> los pasos seguidos.<br />
Análisis y evaluación <strong>de</strong> los resultados.<br />
Posible trabajo futuro.<br />
LUIS BLÁZQUEZ PÉREZ 4
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
1.4 Organización <strong>de</strong> la memoria<br />
El pres<strong>en</strong>te docum<strong>en</strong>to está estructurado <strong>en</strong> 6 capítulos:<br />
Capítulo 1: Introducción. Éste capítulo se pres<strong>en</strong>ta el tema <strong>de</strong> este proyecto, las principales<br />
razones que nos han animado a <strong>de</strong>sarrollar este trabajo, los objetivos a conseguir, la<br />
metodología seguida y la organización <strong>de</strong> la memoria.<br />
Capítulo 2: Estado <strong>de</strong>l arte <strong>en</strong> localización <strong>de</strong> puntos característicos <strong>de</strong> la cara. En este<br />
capítulo se examinan algunas <strong>de</strong> las actuales tecnologías <strong>de</strong> marcado <strong>de</strong> puntos característicos<br />
<strong>de</strong> la cara: 1) EBGM, 2) AAM, 3) ASM, así como sus aplicaciones biométricas.<br />
Capítulo 3: Bases <strong>de</strong> datos. En este capítulo se <strong>de</strong>scrib<strong>en</strong> cuatro bases <strong>de</strong> datos <strong>de</strong> imág<strong>en</strong>es:<br />
1) BioID [11], que es una base <strong>de</strong> datos g<strong>en</strong>erada <strong>en</strong> <strong>en</strong>tornos controlados, 2) For<strong>en</strong>sic <strong>ATVS</strong>,<br />
que es la base <strong>de</strong> datos g<strong>en</strong>erada durante el <strong>de</strong>sarrollo <strong>de</strong> este proyecto <strong>en</strong> condiciones<br />
controladas, 3) MORPH [12], que es una base <strong>de</strong> datos obt<strong>en</strong>ida <strong>en</strong> <strong>en</strong>tornos semi-controlados<br />
y 4) Scface [13], que es una base <strong>de</strong> datos g<strong>en</strong>erada <strong>en</strong> <strong>en</strong>tornos no controlados y con una<br />
calidad <strong>de</strong> imag<strong>en</strong> mala.<br />
Capítulo 4: Sistema, diseño y <strong>de</strong>sarrollo. En el cuarto capítulo, <strong>de</strong>spués <strong>de</strong> una breve<br />
introducción a los sistemas biométricos, se <strong>de</strong>tallan las difer<strong>en</strong>tes etapas <strong>de</strong>l diseño y<br />
<strong>de</strong>sarrollo <strong>de</strong>l sistema biométrico implem<strong>en</strong>tado: <strong>de</strong>s<strong>de</strong> el pre-procesami<strong>en</strong>to <strong>de</strong> las imág<strong>en</strong>es<br />
a la <strong>de</strong>cisión <strong>de</strong> la id<strong>en</strong>tidad.<br />
Capítulo 5: Experim<strong>en</strong>tos y resultados. En este capítulo, <strong>en</strong> primer lugar, se pres<strong>en</strong>ta un<br />
resum<strong>en</strong> <strong>de</strong> la evaluación <strong>de</strong>l <strong>de</strong>sempeño <strong>de</strong> los sistemas biométricos. Entonces, se <strong>de</strong>scrib<strong>en</strong><br />
los protocolos experim<strong>en</strong>tales y los clasificadores empleados <strong>en</strong> los experim<strong>en</strong>tos. Finalm<strong>en</strong>te,<br />
se pres<strong>en</strong>tan y analizan los resultados obt<strong>en</strong>idos <strong>en</strong> cada experim<strong>en</strong>to.<br />
Capítulo 6: Conclusiones y trabajo futuro. Las conclusiones, juntos con el posible trabajo<br />
futuro, son expuestas <strong>en</strong> la parte final <strong>de</strong>l proyecto.<br />
Por último, las secciones sigui<strong>en</strong>tes se <strong>en</strong>cu<strong>en</strong>tran al final <strong>de</strong> la disertación: la bibliografía, el<br />
presupuesto <strong>de</strong>l proyecto, el pliego <strong>de</strong> condiciones y el artículo publicado.<br />
LUIS BLÁZQUEZ PÉREZ 5
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
2. Estado <strong>de</strong>l arte <strong>en</strong> localizacio n <strong>de</strong><br />
puntos caracterí sticos <strong>de</strong> la cara<br />
2.1 Introducción<br />
El reconocimi<strong>en</strong>to facial automatizado es un concepto relativam<strong>en</strong>te nuevo, pues se introdujo<br />
<strong>en</strong> los años 60. Fue <strong>en</strong>tonces cuando se <strong>de</strong>sarrolló el primer sistema semiautomático para<br />
reconocimi<strong>en</strong>to facial, el cual requería la imag<strong>en</strong> <strong>de</strong> una persona para localizar los rasgos<br />
(como ojos, nariz y boca) <strong>en</strong> las fotografías antes <strong>de</strong> que este calculara distancias a puntos <strong>de</strong><br />
refer<strong>en</strong>cia <strong>en</strong> común, que posteriorm<strong>en</strong>te eran comparados con datos <strong>de</strong> refer<strong>en</strong>cia [14].<br />
En los años 70 Goldstein, Harmon & Lesk [15], utilizaron 21 marcadores subjetivos específicos<br />
tales como el color <strong>de</strong>l cabello y el grosor <strong>de</strong> labios para automatizar el reconocimi<strong>en</strong>to facial.<br />
El problema con estas soluciones previas era que se seguían requiri<strong>en</strong>do un proceso manual.<br />
En 1988 Kirby & Sirobich aplicaron análisis <strong>de</strong> compon<strong>en</strong>tes principales (PCA), una técnica<br />
estándar <strong>de</strong>l algebra lineal, al problema <strong>de</strong>l reconocimi<strong>en</strong>to facial, para aum<strong>en</strong>tar la exactitud<br />
<strong>de</strong> los resultados. Esto fue consi<strong>de</strong>rado un avance muy importante al mostrar que eran<br />
requeridos m<strong>en</strong>os <strong>de</strong> 100 valores para codificar acertadam<strong>en</strong>te la imag<strong>en</strong> <strong>de</strong> una cara<br />
conv<strong>en</strong>i<strong>en</strong>tem<strong>en</strong>te alineada y normalizada [16].<br />
En 1991 Turk & P<strong>en</strong>tland, utilizando las técnicas <strong>de</strong> Eig<strong>en</strong>faces, como se d<strong>en</strong>ominó al método<br />
<strong>de</strong> Kirby & Sirobich, <strong>de</strong>mostraron que el error residual podía ser utilizado para <strong>de</strong>tectar caras<br />
<strong>en</strong> las imág<strong>en</strong>es [17], un <strong>de</strong>scubrimi<strong>en</strong>to que permitió <strong>de</strong>sarrollar sistemas automatizados<br />
fiables <strong>de</strong> reconocimi<strong>en</strong>to facial <strong>en</strong> tiempo real. Si bi<strong>en</strong> la aproximación era un tanto forzada<br />
por factores ambi<strong>en</strong>tales, creó sin embargo un interés significativo <strong>en</strong> posteriores <strong>de</strong>sarrollos<br />
<strong>de</strong> éstos sistemas.<br />
2.2 Métodos<br />
Hay tres <strong>en</strong>foques predominantes <strong>en</strong> el problema <strong>de</strong> reconocimi<strong>en</strong>to facial: i) geométrico:<br />
basado <strong>en</strong> los rasgos, ii) fotométrico: basado <strong>en</strong> lo visual, y iii) la combinación <strong>de</strong> los dos<br />
<strong>en</strong>foques anteriores.<br />
Conforme a que el interés <strong>en</strong> reconocimi<strong>en</strong>to facial continuó, fueron <strong>de</strong>sarrollados muchos<br />
algoritmos difer<strong>en</strong>tes; se <strong>de</strong>b<strong>en</strong> <strong>de</strong>stacar tres <strong>de</strong> ellos, los cuales han sido bi<strong>en</strong> estudiados <strong>en</strong> la<br />
literatura <strong>de</strong>l reconocimi<strong>en</strong>to facial:<br />
<br />
<br />
<br />
Correspond<strong>en</strong>cia <strong>en</strong>tre agrupaciones <strong>de</strong> grafos elásticos (Elastic Bunch Graph<br />
Matching, EBGM),<br />
Mo<strong>de</strong>lo <strong>de</strong> apari<strong>en</strong>cia activa (Active Appearance Mo<strong>de</strong>l, AAM),<br />
Mo<strong>de</strong>lo <strong>de</strong> forma activa (Active Shape Mo<strong>de</strong>l, ASM).<br />
Los sistemas <strong>de</strong> reconocimi<strong>en</strong>to facial mo<strong>de</strong>rnos se basan <strong>en</strong> estos algoritmos.<br />
LUIS BLÁZQUEZ PÉREZ 6
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
2.2.1 Correspond<strong>en</strong>cia <strong>en</strong>tre agrupaciones <strong>de</strong> grafos elásticos<br />
(Elastic Bunch Graph Matching, EBGM)<br />
El algoritmo EBGM [18] fue diseñado para realizar tareas <strong>de</strong> reconocimi<strong>en</strong>to facial, utilizando<br />
solam<strong>en</strong>te algunos puntos <strong>de</strong> interés y no la cara <strong>en</strong> su totalidad. La técnica <strong>de</strong> EBGM se<br />
<strong>de</strong>sarrolla básicam<strong>en</strong>te <strong>en</strong> dos etapas: la primera consiste <strong>en</strong> ajustar un grafo <strong>de</strong> puntos<br />
principales a la cara <strong>de</strong>l individuo, utilizando para ello un mo<strong>de</strong>lo estadístico <strong>de</strong> dicho grafo; la<br />
segunda etapa extrae características locales <strong>en</strong> dichos puntos y halla la distancia <strong>en</strong>tre el grafo<br />
obt<strong>en</strong>ido y sus <strong>de</strong>scriptores al grafo almac<strong>en</strong>ado <strong>de</strong> la persona a id<strong>en</strong>tificar. Dep<strong>en</strong>di<strong>en</strong>do <strong>de</strong> la<br />
distancia <strong>en</strong>contrada, se ratifica o no la id<strong>en</strong>tidad <strong>de</strong>l individuo.<br />
El primer paso, antes <strong>de</strong> la utilización <strong>de</strong> este algoritmo, es la normalización <strong>de</strong> las imág<strong>en</strong>es.<br />
En este proceso se reduce el tamaño <strong>de</strong> las imág<strong>en</strong>es y se realizan transformaciones<br />
geométricas que ubican las coord<strong>en</strong>adas <strong>de</strong> los ojos <strong>de</strong>l individuo <strong>en</strong> posiciones<br />
pre<strong>de</strong>terminadas.<br />
Figura 2. Correspond<strong>en</strong>cia <strong>en</strong>tre agrupaciones <strong>de</strong> grafos elásticos<br />
La implem<strong>en</strong>tación <strong>de</strong>l algoritmo EBGM (Figura 2) requiere el uso <strong>de</strong> las wavelets Gabor (filtros<br />
espaciales paso-banda, que permit<strong>en</strong> alcanzar la resolución conjunta <strong>de</strong> información máxima<br />
<strong>en</strong> los espacios bidim<strong>en</strong>sionales espacial y frecu<strong>en</strong>cial), ya que estas brindan una <strong>de</strong>scripción<br />
<strong>de</strong> la información <strong>en</strong> frecu<strong>en</strong>cia, <strong>en</strong> una región específica <strong>de</strong> la imag<strong>en</strong>. Para ello es necesario<br />
realizar la operación <strong>de</strong> convolución <strong>de</strong> la región con una variedad <strong>de</strong> wavelets; estas wavelets<br />
son almac<strong>en</strong>adas como máscaras <strong>en</strong> arreglos bidim<strong>en</strong>sionales. Las máscaras se pued<strong>en</strong> <strong>de</strong>finir<br />
mediante la ecuación 1, don<strong>de</strong> las wavelets se separan <strong>en</strong> parte par y parte impar.<br />
( )<br />
( ) ( )<br />
( )<br />
(1)<br />
( )<br />
( ) ( )<br />
( )<br />
Con: x r =(x-x 0 )*cos(θ)+(y-y 0 )*sin(θ); don<strong>de</strong> <strong>de</strong>fine la longitud <strong>de</strong> onda, σ <strong>de</strong>fine el radio <strong>de</strong> la<br />
gaussiana, ϒ <strong>de</strong>fine la relación <strong>de</strong> aspecto <strong>de</strong> la gaussiana, θ repres<strong>en</strong>ta la ori<strong>en</strong>tación <strong>de</strong> la<br />
portadora y (x 0 , y 0 ) <strong>de</strong>terminan la ubicación <strong>de</strong>l valor pico <strong>de</strong> la función gaussiana.<br />
LUIS BLÁZQUEZ PÉREZ 7
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
A continuación se <strong>de</strong>scribe la parte <strong>de</strong>l algoritmo EBGM que se refiere a la localización <strong>de</strong><br />
puntos característicos.<br />
1. Se <strong>de</strong>fine una estructura <strong>de</strong> grafo sobre la cara, cuyos nodos son puntos <strong>de</strong> interés,<br />
que se puedan localizar fácilm<strong>en</strong>te y que posean la misma estructura <strong>en</strong> todos los<br />
rostros.<br />
2. Cada nodo <strong>de</strong>l grafo es caracterizado utilizando un banco <strong>de</strong> filtros <strong>de</strong> Gabor <strong>de</strong><br />
difer<strong>en</strong>tes frecu<strong>en</strong>cias y ori<strong>en</strong>taciones. En cada nodo, se calcula la respuesta <strong>de</strong> todos<br />
los filtros, d<strong>en</strong>ominado Jet. Por consigui<strong>en</strong>te, cada nodo queda etiquetado con sus<br />
coord<strong>en</strong>adas y su Jet asociado.<br />
3. Para una imag<strong>en</strong> nueva se busca <strong>en</strong> la base <strong>de</strong> datos el conjunto <strong>de</strong> Jets que sean más<br />
similares. Para realizar esto, se c<strong>en</strong>tra el grafo <strong>en</strong> los ojos <strong>de</strong> la nueva imag<strong>en</strong>, se<br />
calculan los jets <strong>de</strong> estos puntos y se comparan con los jets <strong>de</strong> los ojos <strong>de</strong> la base <strong>de</strong><br />
datos. Para la comparación <strong>de</strong> los jets se utiliza una función <strong>de</strong> similitud <strong>de</strong> fase, ésta<br />
es similar a una correlación, y está <strong>de</strong>finida como se <strong>de</strong>scribe <strong>en</strong> la ecuación 2.<br />
( )<br />
∑ ( )<br />
√∑ ∑<br />
( )<br />
don<strong>de</strong>: a’ es la magnitud <strong>de</strong>l jet <strong>de</strong> la base <strong>de</strong> datos, a la magnitud <strong>de</strong>l Jet <strong>de</strong> la imag<strong>en</strong><br />
nueva, la fase <strong>de</strong>l Jet <strong>de</strong> la base <strong>de</strong> datos, la fase <strong>de</strong>l Jet <strong>de</strong> la imag<strong>en</strong> nueva y n<br />
el número <strong>de</strong> coefici<strong>en</strong>tes <strong>de</strong>l Jet.<br />
Este algoritmo ti<strong>en</strong>e <strong>en</strong> cu<strong>en</strong>ta que las imág<strong>en</strong>es faciales reales ti<strong>en</strong><strong>en</strong> muchas características<br />
no lineales que no son tratadas <strong>en</strong> los métodos lineales <strong>de</strong> análisis (LDA, PCA), tales como<br />
variaciones <strong>en</strong> la iluminación (iluminación <strong>de</strong> exteriores vs interior fluoresc<strong>en</strong>te), postura<br />
(frontal vs inclinada) y expresión (sonrisa vs ceño fruncido). Sin embargo, la dificultada <strong>de</strong> este<br />
método es el requerimi<strong>en</strong>to <strong>de</strong> la precisa localización <strong>de</strong>l punto <strong>de</strong> refer<strong>en</strong>cia.<br />
AAM)<br />
2.2.2 Mo<strong>de</strong>lo <strong>de</strong> apari<strong>en</strong>cia activa (Active Appearance Mo<strong>de</strong>l,<br />
Los Mo<strong>de</strong>los <strong>de</strong> Apari<strong>en</strong>cia Activa (AAM) [19] permit<strong>en</strong> reproducir <strong>de</strong> forma sintética imág<strong>en</strong>es<br />
<strong>de</strong> superficies que incluy<strong>en</strong> <strong>de</strong>formaciones no rígidas y cambios <strong>de</strong> apari<strong>en</strong>cia. Están basados<br />
<strong>en</strong> la obt<strong>en</strong>ción, mediante una fase <strong>de</strong> <strong>en</strong>tr<strong>en</strong>ami<strong>en</strong>to, <strong>de</strong> un mo<strong>de</strong>lo estadístico <strong>de</strong> la forma y<br />
la apari<strong>en</strong>cia <strong>de</strong>l objeto <strong>de</strong> interés.<br />
En un AAM la forma es <strong>de</strong>scrita mediante un conjunto <strong>de</strong> N puntos característicos (los<br />
llamados Parámetros <strong>de</strong> forma), que <strong>de</strong>terminan una malla similar a la repres<strong>en</strong>tada <strong>en</strong> la<br />
Figura 3 y que es expresada por el sigui<strong>en</strong>te vector:<br />
don<strong>de</strong> u i , v i son las coord<strong>en</strong>adas <strong>de</strong>l vértice i.<br />
( ) ( )<br />
LUIS BLÁZQUEZ PÉREZ 8
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
Figura 3. Ejemplo <strong>de</strong> malla <strong>en</strong> AAM<br />
Mediante el análisis <strong>de</strong> compon<strong>en</strong>tes principales (PCA) sobre las mallas <strong>de</strong> <strong>en</strong>tr<strong>en</strong>ami<strong>en</strong>to se<br />
obti<strong>en</strong>e una malla s 0 y un subespacio B s =[s 1 ,…,s N ] formado por n compon<strong>en</strong>tes principales, con<br />
una dim<strong>en</strong>sionalidad m<strong>en</strong>or que la <strong>de</strong>l conjunto <strong>de</strong> <strong>en</strong>tr<strong>en</strong>ami<strong>en</strong>to.<br />
Cualquier instancia <strong>de</strong> la forma <strong>de</strong>l mo<strong>de</strong>lo se obti<strong>en</strong>e a partir <strong>de</strong> una combinación lineal <strong>de</strong> los<br />
vectores <strong>de</strong> la base <strong>de</strong> forma, B s mediante la sigui<strong>en</strong>te expresión:<br />
( ) ∑ ( )<br />
La inclusión <strong>de</strong> los parámetros <strong>de</strong> forma <strong>en</strong> el mo<strong>de</strong>lo se realiza mediante una transformación<br />
afín <strong>de</strong>finida a trozos d<strong>en</strong>ominada función warp W(x;p). Esta función se <strong>en</strong>carga <strong>de</strong><br />
transformar los puntos interiores <strong>de</strong> una malla concreta (normalm<strong>en</strong>te se elige s 0 ), <strong>en</strong> don<strong>de</strong><br />
se <strong>de</strong>fine la apari<strong>en</strong>cia, a cualquier malla s(p) g<strong>en</strong>erada a partir <strong>de</strong> (2). Es <strong>de</strong>cir:<br />
( ) ( )<br />
Don<strong>de</strong> x son puntos <strong>en</strong> el interior <strong>de</strong> s 0 y x’ está <strong>de</strong>finido <strong>en</strong> el interior <strong>de</strong> s(p).<br />
La apari<strong>en</strong>cia se <strong>de</strong>scribe a partir <strong>de</strong>l mapa <strong>de</strong> bits <strong>de</strong>finido <strong>en</strong> el interior <strong>de</strong> los diversos<br />
triángulos que forman los puntos <strong>de</strong> la malla s 0 , son los llamados Parámetros <strong>de</strong> apari<strong>en</strong>cia.<br />
Mediante (3) se transforman las imág<strong>en</strong>es <strong>de</strong> <strong>en</strong>tr<strong>en</strong>ami<strong>en</strong>to, con el fin <strong>de</strong> normalizarlas <strong>en</strong><br />
forma. De la misma manera que con los parámetros <strong>de</strong> forma, mediante PCA se obti<strong>en</strong><strong>en</strong> tanto<br />
la apari<strong>en</strong>cia media A 0 , como la base <strong>de</strong> un subespacio B A =[A 1 (x), A 2 (x),…,A m (x)], <strong>de</strong> dim<strong>en</strong>sión<br />
m<strong>en</strong>or al conjunto <strong>de</strong> <strong>en</strong>tr<strong>en</strong>ami<strong>en</strong>to, que está formada por las m compon<strong>en</strong>tes principales <strong>de</strong>l<br />
<strong>en</strong>tr<strong>en</strong>ami<strong>en</strong>to.<br />
A partir <strong>de</strong> estos elem<strong>en</strong>tos, se obti<strong>en</strong>e un mo<strong>de</strong>lo <strong>de</strong> apari<strong>en</strong>cia lineal, que es capaz <strong>de</strong><br />
g<strong>en</strong>erar una instancia <strong>de</strong> apari<strong>en</strong>cia a partir <strong>de</strong> una combinación lineal <strong>de</strong> la media y las<br />
compon<strong>en</strong>tes <strong>de</strong> la base, pon<strong>de</strong>radas por un conjunto <strong>de</strong> parámetros λ=(λ 1 ,λ 2 ,…,λ m ):<br />
( ) ( ) ∑ ( ) ( )<br />
LUIS BLÁZQUEZ PÉREZ 9
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
Una vez obt<strong>en</strong>ido el mo<strong>de</strong>lo <strong>de</strong> apari<strong>en</strong>cia lineal, se proce<strong>de</strong> con el ajuste <strong>de</strong>l mo<strong>de</strong>lo que trata<br />
<strong>de</strong>, a partir <strong>de</strong> una imag<strong>en</strong> <strong>de</strong> <strong>en</strong>trada I(x), <strong>en</strong>contrar el conjunto <strong>de</strong> parámetros p y λ que<br />
minimic<strong>en</strong> el error cuadrático <strong>en</strong>tre la instancia <strong>de</strong>l mo<strong>de</strong>lo g<strong>en</strong>erado a partir <strong>de</strong> esos<br />
parámetros y la imag<strong>en</strong> <strong>de</strong> <strong>en</strong>trada:<br />
∑ ( ) ∑ ( ) ( ( )) ( )<br />
Exist<strong>en</strong> diversos métodos para minimizar (5), <strong>en</strong>tre los que <strong>de</strong>stacan por su precisión el<br />
algoritmo <strong>de</strong> Lucas-Kana<strong>de</strong>, el cual, <strong>en</strong> líneas g<strong>en</strong>erales, es un método <strong>de</strong> minimización<br />
iterativo basado <strong>en</strong> el algoritmo <strong>de</strong> Gauss-Newton.<br />
El mo<strong>de</strong>lo AAM es un bu<strong>en</strong> método estadístico para ajustes <strong>de</strong> plantillas, el cual usa toda la<br />
información <strong>de</strong> la cara, es <strong>de</strong>cir, no solo los puntos <strong>de</strong> los bor<strong>de</strong>s, sino también los interiores.<br />
El gran problema <strong>de</strong> este mo<strong>de</strong>lo, es que son muy s<strong>en</strong>sibles al proceso <strong>de</strong> inicialización, esto<br />
es, cuando la inicialización está alejada <strong>de</strong>l objeto <strong>de</strong>stino, ellos pued<strong>en</strong> converger hacia<br />
mínimos locales.<br />
2.2.3 Mo<strong>de</strong>lo <strong>de</strong> forma activa (Active Shape Mo<strong>de</strong>l, ASM)<br />
El mo<strong>de</strong>lo estructural que <strong>de</strong>fine ASM [20] está compuesto por tres elem<strong>en</strong>tos: i) un mo<strong>de</strong>lo<br />
<strong>de</strong> contorno, ii) un mo<strong>de</strong>lo <strong>de</strong> apari<strong>en</strong>cia y iii) un algoritmo <strong>de</strong> búsqueda para ajustar el<br />
mo<strong>de</strong>lo mediante la minimización <strong>de</strong> una función <strong>de</strong> coste.<br />
i. Mo<strong>de</strong>lo <strong>de</strong> contorno<br />
El objetivo <strong>de</strong>l mo<strong>de</strong>lo <strong>de</strong> contorno es asegurar que la segm<strong>en</strong>tación produce contornos<br />
válidos para la región facial. El mo<strong>de</strong>lo <strong>de</strong> contorno vi<strong>en</strong>e dado por los compon<strong>en</strong>tes<br />
principales <strong>de</strong> los vectores <strong>de</strong>finidos por las marcas <strong>de</strong> refer<strong>en</strong>cia. Una región facial queda<br />
<strong>de</strong>finida mediante n marcas (x 1 ,y 1 ),…,(x n ,y n ) que se pued<strong>en</strong> agrupar para formar vectores <strong>de</strong><br />
contorno <strong>de</strong> la forma:<br />
( ) ( )<br />
Así, un contorno se pue<strong>de</strong> aproximar mediante la sigui<strong>en</strong>te expresión:<br />
En la expresión anterior, x m <strong>de</strong>fine el contorno medio, es la matriz <strong>de</strong> t autovectores<br />
obt<strong>en</strong>ida como solución al problema <strong>de</strong> autovectores sobre la matriz <strong>de</strong> covarianzas <strong>de</strong> los<br />
contornos y b es un vector <strong>de</strong> t elem<strong>en</strong>tos que conti<strong>en</strong>e los parámetros <strong>de</strong>l mo<strong>de</strong>lo tal que:<br />
( )<br />
( ) ( )<br />
Cuando se ajusta el mo<strong>de</strong>lo, los valores <strong>de</strong> b se limitan <strong>de</strong> la sigui<strong>en</strong>te forma:<br />
| | √ ( )<br />
LUIS BLÁZQUEZ PÉREZ 10
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
De manera g<strong>en</strong>eral, los valores <strong>de</strong> m oscilan <strong>en</strong>tre dos y tres. Por su parte, el número <strong>de</strong><br />
autovalores que se emplean, se elig<strong>en</strong> <strong>de</strong> tal forma que el mo<strong>de</strong>lo ajuste una cierta proporción<br />
f v <strong>de</strong> la varianza <strong>de</strong> los contornos <strong>de</strong> <strong>en</strong>tr<strong>en</strong>ami<strong>en</strong>to.<br />
ii.<br />
Mo<strong>de</strong>lo <strong>de</strong> Apari<strong>en</strong>cia<br />
El mo<strong>de</strong>lo <strong>de</strong> apari<strong>en</strong>cia se limita al bor<strong>de</strong> <strong>de</strong> la región facial sobre la imag<strong>en</strong> <strong>en</strong> escala <strong>de</strong><br />
grises y es la <strong>de</strong>rivada normalizada <strong>en</strong> la dirección perp<strong>en</strong>dicular al contorno <strong>de</strong> la misma. Su<br />
objetivo es asegurar que la segm<strong>en</strong>tación localiza el rostro <strong>en</strong> una posición don<strong>de</strong> la estructura<br />
<strong>de</strong> la imag<strong>en</strong> a los lados (o d<strong>en</strong>tro) <strong>de</strong>l contorno es similar a la estructura <strong>de</strong> las imág<strong>en</strong>es <strong>de</strong><br />
<strong>en</strong>tr<strong>en</strong>ami<strong>en</strong>to. El mo<strong>de</strong>lo <strong>de</strong> apari<strong>en</strong>cia que <strong>de</strong>fine la estructura <strong>de</strong> la imag<strong>en</strong> alre<strong>de</strong>dor <strong>de</strong><br />
cada marca se obti<strong>en</strong>e a partir <strong>de</strong> un perfil <strong>de</strong> píxeles muestreados <strong>en</strong> las direcciones<br />
perp<strong>en</strong>diculares al contorno. La dirección perp<strong>en</strong>dicular a la marca (x n , y n ) se obti<strong>en</strong>e rotando<br />
90º el vector formado por las marcas (x n-1 , y n-1 ) y (x n+1 , y n+1 ).<br />
Una vez se han calculado las direcciones perp<strong>en</strong>diculares, se muestrean k píxeles a cada lado<br />
<strong>de</strong>l contorno <strong>en</strong> cada una <strong>de</strong> las marcas para g<strong>en</strong>erar perfiles <strong>de</strong> longitud 2*k+1. El mo<strong>de</strong>lo <strong>de</strong><br />
apari<strong>en</strong>cia se construye al obt<strong>en</strong>er la primera <strong>de</strong>rivada <strong>de</strong> cada uno <strong>de</strong> los perfiles, calculada<br />
como la difer<strong>en</strong>cia <strong>en</strong>tre los puntos j-1 y j+1. Posteriorm<strong>en</strong>te, se normalizan los elem<strong>en</strong>tos <strong>de</strong>l<br />
perfil <strong>de</strong> tal forma que la suma <strong>de</strong> sus valores absolutos sea 1.<br />
A partir <strong>de</strong> N imág<strong>en</strong>es <strong>de</strong> <strong>en</strong>tr<strong>en</strong>ami<strong>en</strong>to se obti<strong>en</strong>e una serie <strong>de</strong> perfiles normalizados g 1 ,…,g s<br />
para cada una <strong>de</strong> las marcas. Así, si se calculan el perfil medio g m y la matriz <strong>de</strong> covarianzas S g ,<br />
es posible calcular la distancia <strong>de</strong> Mahalanobis <strong>en</strong>tre un nuevo perfil y el mo<strong>de</strong>lo como:<br />
( ) ( ) ( ) ( )<br />
iii.<br />
Algoritmo <strong>de</strong> Búsqueda<br />
El contorno <strong>de</strong> la región facial se ajusta mediante un proceso iterativo que comi<strong>en</strong>za <strong>en</strong> el<br />
contorno medio. En cada iteración, cada marca se mueve n s posiciones <strong>en</strong> la dirección<br />
perp<strong>en</strong>dicular al contorno y se coloca <strong>en</strong> la posición que ofrece la m<strong>en</strong>or distancia <strong>de</strong><br />
Mahalanobis. Tras la actualización <strong>de</strong> las marcas, el mo<strong>de</strong>lo se <strong>de</strong>splaza a las nuevas<br />
posiciones.<br />
A continuación, <strong>en</strong> la Figura 4, se muestra un ejemplo <strong>de</strong> la búsqueda <strong>de</strong> una cara utilizando el<br />
mo<strong>de</strong>lo explicado (Mo<strong>de</strong>lo <strong>de</strong> Forma Activa).<br />
Figura 4. Búsqueda <strong>de</strong> una cara utilizando el Mo<strong>de</strong>lo <strong>de</strong> Forma Activa.<br />
LUIS BLÁZQUEZ PÉREZ 11
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
El mo<strong>de</strong>lo ASM es un bu<strong>en</strong> método estadístico basado <strong>en</strong> la forma <strong>de</strong>l objeto. Para ajusta un<br />
objeto <strong>de</strong>terminado <strong>en</strong> una nueva imag<strong>en</strong>, se realizan <strong>de</strong>formaciones <strong>de</strong> forma iterativa. Las<br />
formas están restringidas por un mo<strong>de</strong>lo estadístico <strong>de</strong> forma, para variar sólo <strong>en</strong> las formas<br />
precisadas por un mo<strong>de</strong>lo <strong>de</strong> <strong>en</strong>tr<strong>en</strong>ami<strong>en</strong>to. Los puntos <strong>de</strong> refer<strong>en</strong>cia están localizados,<br />
g<strong>en</strong>eralm<strong>en</strong>te, <strong>en</strong> los contornos. El gran problema <strong>de</strong> este mo<strong>de</strong>lo, es que son muy s<strong>en</strong>sibles al<br />
proceso <strong>de</strong> inicialización, esto es, cuando la inicialización está alejada <strong>de</strong>l objeto <strong>de</strong>stino, ellos<br />
pued<strong>en</strong> converger hacia mínimos locales.<br />
LUIS BLÁZQUEZ PÉREZ 12
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
3. Bases <strong>de</strong> datos<br />
3.1 Introducción<br />
Durante la exposición <strong>de</strong> los experim<strong>en</strong>tos <strong>de</strong>sarrollados a los largo <strong>de</strong>l PFC, se han utilizado<br />
las sigui<strong>en</strong>tes bases <strong>de</strong> datos (Tabla 1):<br />
Bases <strong>de</strong> datos Marcado manual Tipo <strong>de</strong> esc<strong>en</strong>ario Número <strong>de</strong> sujetos<br />
BioID 20 puntos Controlado 23<br />
For<strong>en</strong>sic <strong>ATVS</strong> 21 puntos Controlado 50<br />
MORPH 0 puntos Semicontrolado 200 (seleccionados)<br />
SCFace 21 puntos No controlado 130<br />
Tabla 1. Descripción bases <strong>de</strong> datos.<br />
Las bases <strong>de</strong> datos MORPH y SCFace, empleadas <strong>en</strong> los experim<strong>en</strong>tos 2 y 3, han sido marcadas,<br />
a<strong>de</strong>más, <strong>de</strong> forma automática.<br />
3.2 BioID<br />
La base <strong>de</strong> datos BioID, se pue<strong>de</strong> obt<strong>en</strong>er <strong>de</strong> forma gratuita <strong>en</strong> internet, ha sido creada y<br />
publicada para dar la posibilidad a todos los investigadores que trabajan <strong>en</strong> el área <strong>de</strong>l<br />
reconocimi<strong>en</strong>to facial, <strong>de</strong> comparar la calidad <strong>de</strong> sus algoritmos <strong>de</strong> <strong>de</strong>tección <strong>de</strong> cara y puntos<br />
característicos faciales, con otros.<br />
Incluye 1521 imág<strong>en</strong>es <strong>en</strong> escala <strong>de</strong> grises, todas ellas <strong>de</strong> un tamaño <strong>de</strong> 384x286 píxeles. Esta<br />
base <strong>de</strong> datos conti<strong>en</strong>e imág<strong>en</strong>es <strong>de</strong> caras <strong>de</strong> 23 sujetos distintos, con una gran variedad <strong>de</strong><br />
condiciones <strong>de</strong> iluminación, tamaños <strong>de</strong> cara, expresiones y fondos complejos. La Figura 5<br />
muestra algunos ejemplos <strong>de</strong> dicha base <strong>de</strong> datos.<br />
Figura 5. Cuatro usuarios, a modo <strong>de</strong> ejemplo, <strong>de</strong> la base <strong>de</strong> datos BioID<br />
La base <strong>de</strong> datos BioID, ha sido marcada por David Cristinacce y Kola Babalola, estudiantes <strong>de</strong><br />
Doctorado <strong>en</strong> el <strong>de</strong>partam<strong>en</strong>to <strong>de</strong> Imaging Sci<strong>en</strong>ce and Biomedical Engineering (ISBE), <strong>en</strong> la<br />
Universidad <strong>de</strong> Manchester, <strong>de</strong> forma manual.<br />
Se seleccionaron estos puntos <strong>de</strong> características faciales (Figura 6), <strong>de</strong>bido a que son útiles<br />
para el análisis facial y reconocimi<strong>en</strong>to <strong>de</strong> gestos.<br />
LUIS BLÁZQUEZ PÉREZ 13
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
0 = right eye pupil<br />
1 = left eye pupil<br />
2 = right mouth corner<br />
3 = left mouth corner<br />
4 = outer <strong>en</strong>d of right eye brow<br />
5 = inner <strong>en</strong>d of right eye brow<br />
6 = inner <strong>en</strong>d of left eye brow<br />
7 = outer <strong>en</strong>d of left eye brow<br />
8 = right temple<br />
9 = outer corner of right eye<br />
10 = inner corner of right eye<br />
11 = inner corner of left eye<br />
12 = outer corner of left eye<br />
13 = left temple<br />
14 = tip of nose<br />
15 = right nostril<br />
16 = left nostril<br />
17 = c<strong>en</strong>tre point on outer edge of<br />
upper lip<br />
18 = c<strong>en</strong>tre point on outer edge of<br />
lower lip<br />
19 = tip of chin<br />
Figura 6. Marcado <strong>de</strong> puntos BioID<br />
3.3 For<strong>en</strong>sic <strong>ATVS</strong><br />
Otra base <strong>de</strong> datos utilizada <strong>en</strong> el proyecto, que ha sido proporcionada por el laboratorio<br />
<strong>ATVS</strong>, es la llamada For<strong>en</strong>sic <strong>ATVS</strong>, compuesta por imág<strong>en</strong>es adquiridas mediante una cámara<br />
fotográfica digital <strong>de</strong> gran calidad.<br />
Las imág<strong>en</strong>es han sido tomadas <strong>en</strong> un periodo <strong>de</strong> tiempo <strong>de</strong> 1 año (2013), con 2 sesiones por<br />
cada usuario (<strong>en</strong>tre las cuales pasaron, <strong>de</strong> media, 3 meses <strong>en</strong>tre la primera sesión y la<br />
segunda) y 4 secu<strong>en</strong>cias por sesión. A<strong>de</strong>más, los usuarios fueron colocados d<strong>en</strong>tro <strong>de</strong> una<br />
habitación con una iluminación estándar y un flash a<strong>de</strong>cuado (condiciones estándar <strong>de</strong> las<br />
imág<strong>en</strong>es <strong>de</strong> pasaportes u otros docum<strong>en</strong>tos <strong>de</strong> id<strong>en</strong>tificación personal (por ejemplo, DNI)), <strong>en</strong><br />
tres puntos distintos, seleccionados con anterioridad, a distintas distancias (1 metro, 2 metros<br />
y 3 metros). La figura sigui<strong>en</strong>te, Figura 7, muestra la colocación <strong>de</strong> los usuarios:<br />
Figura 7. Distancias <strong>de</strong> captura <strong>en</strong> la base <strong>de</strong> datos <strong>ATVS</strong>.<br />
LUIS BLÁZQUEZ PÉREZ 14
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
La finalidad <strong>de</strong> sacar fotografías a tres distancias distintas, es la <strong>de</strong> ver el pot<strong>en</strong>cial <strong>de</strong> los<br />
algoritmos <strong>de</strong> reconocimi<strong>en</strong>to facial para distintas calida<strong>de</strong>s <strong>de</strong> imág<strong>en</strong>es. El cambio <strong>de</strong> calidad<br />
<strong>de</strong> las imág<strong>en</strong>es se pue<strong>de</strong> observar <strong>en</strong> la Figura 8.<br />
Imag<strong>en</strong> a 1 metro Imag<strong>en</strong> a 2 metros Imag<strong>en</strong> a 3 metros<br />
Figura 8. Imág<strong>en</strong>es ejemplo <strong>de</strong> la base <strong>de</strong> datos <strong>ATVS</strong> a difer<strong>en</strong>tes distancias.<br />
Los participantes <strong>de</strong> la base <strong>de</strong> datos, fueron estudiantes, profesores o empleados <strong>de</strong> la<br />
Universidad Autónoma <strong>de</strong> Madrid. Del total <strong>de</strong> los 50 voluntarios, 32 eran hombres y 18<br />
mujeres. Todos los participantes fueron caucásicos, con un rango <strong>de</strong> edad <strong>de</strong> <strong>en</strong>tre 21 y 65<br />
años.<br />
A continuación (Figura 9), se muestra el conjunto <strong>de</strong> imág<strong>en</strong>es, para un único usuario,<br />
disponibles <strong>en</strong> esta base <strong>de</strong> datos.<br />
Sesión 1<br />
Secu<strong>en</strong>cia 1 distancia 3m. Secu<strong>en</strong>cia 1 distancia 2m. Secu<strong>en</strong>cia 1 distancia 1m.<br />
Secu<strong>en</strong>cia 2 distancia 3m. Secu<strong>en</strong>cia 2 distancia 2m. Secu<strong>en</strong>cia 2 distancia 1m.<br />
LUIS BLÁZQUEZ PÉREZ 15
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
Secu<strong>en</strong>cia 3 distancia 3m. Secu<strong>en</strong>cia 3 distancia 2m. Secu<strong>en</strong>cia 3 distancia 1m.<br />
Secu<strong>en</strong>cia 4 distancia 3m. Secu<strong>en</strong>cia 4 distancia 2m. Secu<strong>en</strong>cia 4 distancia 1m.<br />
Sesión 2<br />
Secu<strong>en</strong>cia 1 distancia 3m. Secu<strong>en</strong>cia 1 distancia 2m. Secu<strong>en</strong>cia 1 distancia 1m.<br />
Secu<strong>en</strong>cia 2 distancia 3m. Secu<strong>en</strong>cia 2 distancia 2m. Secu<strong>en</strong>cia 2 distancia 1m.<br />
LUIS BLÁZQUEZ PÉREZ 16
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
Secu<strong>en</strong>cia 3 distancia 3m. Secu<strong>en</strong>cia 3 distancia 2m. Secu<strong>en</strong>cia 3 distancia 1m.<br />
Secu<strong>en</strong>cia 4 distancia 3m. Secu<strong>en</strong>cia 4 distancia 2m. Secu<strong>en</strong>cia 4 distancia 1m.<br />
Figura 9. Conjunto <strong>de</strong> imág<strong>en</strong>es para un único usuario.<br />
En esta base <strong>de</strong> datos, se proporcionan 23 puntos faciales (Figura 10), marcados <strong>de</strong> forma<br />
manual por una persona no experta.<br />
Figura 10. <strong>Puntos</strong> faciales For<strong>en</strong>sic <strong>ATVS</strong>.<br />
3.4 MORPH<br />
La base <strong>de</strong> datos MORPH, versión no comercial, se recogió <strong>en</strong> un periodo <strong>de</strong> tiempo <strong>de</strong> 5 años<br />
(<strong>de</strong>s<strong>de</strong> el año 2003 al 2007), con numerosas imág<strong>en</strong>es (concretam<strong>en</strong>te, 55134 imág<strong>en</strong>es). Está<br />
LUIS BLÁZQUEZ PÉREZ 17
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
formada por más <strong>de</strong> 13000 individuos, con un rango <strong>de</strong> edad que se <strong>en</strong>cu<strong>en</strong>tra <strong>en</strong>tre los 16 y<br />
los 77 años, con una edad media <strong>de</strong> 33 años.<br />
El número <strong>de</strong> imág<strong>en</strong>es por individuo es variable, si<strong>en</strong>do el número medio <strong>de</strong> imág<strong>en</strong>es <strong>de</strong> 4.<br />
Esta base <strong>de</strong> datos, se trata <strong>de</strong> una colección adquirida <strong>en</strong> condiciones no controladas, es<br />
<strong>de</strong>cir, fue recogida <strong>en</strong> condiciones <strong>de</strong>l mundo real (<strong>en</strong>torno semi-controlado). Algunas <strong>de</strong> las<br />
imág<strong>en</strong>es <strong>de</strong> dicha base <strong>de</strong> datos se muestran <strong>en</strong> la Figura 11.<br />
Figura 11. Cuatro usuarios, a modo <strong>de</strong> ejemplo, <strong>de</strong> la base <strong>de</strong> datos MORPH<br />
La Tabla 2 muestra la distribución <strong>de</strong> imág<strong>en</strong>es por género y asc<strong>en</strong>d<strong>en</strong>cia.<br />
African European Asian Hispanic “Other” Total<br />
Male 36832 7961 141 1667 44 46645<br />
Female 5757 2598 13 102 19 8489<br />
Total 42589 10559 154 1769 63 55134<br />
Tabla 2. Número <strong>de</strong> Imág<strong>en</strong>es por género y asc<strong>en</strong>d<strong>en</strong>cia (n=55134).<br />
Cabe m<strong>en</strong>cionar, que para el <strong>de</strong>sarrollo <strong>de</strong>l proyecto, solo se han utilizado las imág<strong>en</strong>es<br />
pert<strong>en</strong>eci<strong>en</strong>tes a la raza <strong>de</strong> Europeos.<br />
La Tabla 3 muestra el número <strong>de</strong> imág<strong>en</strong>es adicionales que exist<strong>en</strong> por usuario.<br />
1 2 3 4 5+ Total<br />
Male 373 2350 3606 1975 3155 11459<br />
Female 85 478 712 352 532 2159<br />
Total 458 2828 4318 1308 3687 13618<br />
Tabla 3. Número <strong>de</strong> imág<strong>en</strong>es por usuario.<br />
La Tabla 4 muestra el número <strong>de</strong> imág<strong>en</strong>es faciales con respecto a la década <strong>de</strong> vida <strong>en</strong> que se<br />
hicieron las fotos.<br />
< 20 20 - 29 30 – 39 40 – 49 50+ Total<br />
Male 6638 14016 12447 10062 3482 46645<br />
Female 831 2309 2910 1988 451 8489<br />
Total 7469 16325 15357 12050 3933 55134<br />
Tabla 4. Número <strong>de</strong> Imág<strong>en</strong>es por género y edad (n=55134)<br />
LUIS BLÁZQUEZ PÉREZ 18
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
El conjunto <strong>de</strong> datos conti<strong>en</strong>e metadatos <strong>en</strong> forma <strong>de</strong> edad, género, raza, altura, peso y los<br />
ojos (Tabla 5).<br />
Tabla 5. Detalles <strong>de</strong> los metadatos.<br />
En las Figura 12, se pres<strong>en</strong>ta un conjunto <strong>de</strong> imág<strong>en</strong>es que <strong>de</strong>muestran la progresión <strong>de</strong> edad<br />
<strong>en</strong>contrada <strong>en</strong> este proyecto.<br />
Figura 12. Imag<strong>en</strong> progresión edad hombre blanco (izq.) y mujer Afro-americana (dcha.)<br />
En la base <strong>de</strong> datos MORPH, únicam<strong>en</strong>te se proporcionan las coord<strong>en</strong>adas <strong>de</strong> los c<strong>en</strong>tro <strong>de</strong> los<br />
ojos.<br />
3.5 SCFace<br />
La base <strong>de</strong> datos SCface (surveillance cameras face database) fue diseñada principalm<strong>en</strong>te<br />
como un medio para probar algoritmos <strong>de</strong> reconocimi<strong>en</strong>to facial <strong>en</strong> condiciones <strong>de</strong>l mundo<br />
real. En tal configuración, es fácil imaginar un esc<strong>en</strong>ario don<strong>de</strong> un individuo <strong>de</strong>bería ser<br />
reconocido comparando una imag<strong>en</strong> frontal <strong>de</strong> la ficha policial con una obt<strong>en</strong>ida <strong>de</strong> cámaras<br />
<strong>de</strong> vigilancia <strong>de</strong> calidad fija. Con el fin <strong>de</strong> lograr una configuración realista, se <strong>de</strong>cidió utilizar<br />
cámaras <strong>de</strong> vigilancia comercialm<strong>en</strong>te disponibles <strong>de</strong> calidad variable. La difer<strong>en</strong>cia <strong>de</strong> esta<br />
base <strong>de</strong> datos con otras, es que las imág<strong>en</strong>es disponibles <strong>en</strong> las otras bases <strong>de</strong> datos, suel<strong>en</strong><br />
ser obt<strong>en</strong>idas por la misma cámara y no se toman usando equipos <strong>de</strong> vigilancia comerciales.<br />
SCface incluye imág<strong>en</strong>es que fueron tomadas <strong>en</strong> <strong>en</strong>tornos interiores no controlados, usando<br />
cinco cámaras <strong>de</strong> vigilancia <strong>de</strong> calidad variable (Figura 13). Esta base <strong>de</strong> datos conti<strong>en</strong>e 4160<br />
imág<strong>en</strong>es (tanto <strong>en</strong> espectro visible, como <strong>de</strong> visión nocturna mediante infrarrojos (IR), ya que<br />
dos <strong>de</strong> las cámaras disponibles (cam1 y cam5) eran <strong>de</strong> visión nocturna) <strong>de</strong> 130 sujetos.<br />
LUIS BLÁZQUEZ PÉREZ 19
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
Figura 13. Posición cámaras comerciales <strong>de</strong> calidad variable.<br />
La captura <strong>de</strong> las imág<strong>en</strong>es tuvo lugar <strong>en</strong> “Vi<strong>de</strong>o Communications Laboratory at the Faculty of<br />
Electrical Engineering and Computing”, Universidad <strong>de</strong> Zagreb, Croatia [21]. El equipami<strong>en</strong>to<br />
utilzado fue: 6 cámaras <strong>de</strong> vigilancia <strong>de</strong> calidad variable (utilizadas para la adquisición <strong>de</strong> las<br />
imág<strong>en</strong>es no frontales), un ord<strong>en</strong>ador (don<strong>de</strong> se almac<strong>en</strong>anaron los vi<strong>de</strong>os e imág<strong>en</strong>es) y una<br />
cámara <strong>de</strong> fotos profesional <strong>de</strong> alta calidad (usada para la obt<strong>en</strong>ción <strong>de</strong> las imág<strong>en</strong>es<br />
frontales).<br />
En la Figura 14, se observa el cambio <strong>de</strong> calidad tan ost<strong>en</strong>toso que hay <strong>en</strong>tre las distintas<br />
cámaras.<br />
Figura 14. Imag<strong>en</strong> frontal (izquierda) e imag<strong>en</strong> camara1 (<strong>de</strong>recha) <strong>de</strong> dos usuarios <strong>de</strong> SCface.<br />
Las 5 cámaras <strong>de</strong> vigilancia fueron instaladas <strong>en</strong> una habitación (cuya única fu<strong>en</strong>te <strong>de</strong> luz era la<br />
luz exterior que <strong>en</strong>traba a través <strong>de</strong> la v<strong>en</strong>tana situada <strong>en</strong> un lateral <strong>de</strong> la habitación, es <strong>de</strong>cir,<br />
iluminación interior no controlada) <strong>de</strong> altura 2.25 metros y posicionadas como se muestra <strong>en</strong><br />
la Figura 15.<br />
Figura 15. Cámaras <strong>de</strong> vigilancia.<br />
LUIS BLÁZQUEZ PÉREZ 20
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
Las características <strong>de</strong> las cámaras <strong>de</strong> vigilancia se recog<strong>en</strong> <strong>en</strong> la Tabla 6.<br />
Tabla 6. Especificaciones <strong>de</strong> las cámaras <strong>de</strong> vigilancia.<br />
Para la adquisición <strong>de</strong> las imág<strong>en</strong>es <strong>de</strong> vigilancia, los usuarios t<strong>en</strong>ían que pasear <strong>en</strong> fr<strong>en</strong>te <strong>de</strong><br />
las cámaras e ir parándose <strong>en</strong> <strong>de</strong>terminados puntos (Figura 16), previam<strong>en</strong>te marcados, a<br />
distintas distancias (1 metro, 2.60 metros y 4.20 metros).<br />
Figura 16. Distancias <strong>de</strong> captura <strong>de</strong> las imág<strong>en</strong>es <strong>de</strong> vigilancia.<br />
En contraposición, las imág<strong>en</strong>es frontales, obt<strong>en</strong>idas mediante una cámara <strong>de</strong> gran calidad<br />
(especificaciones <strong>en</strong> Tabla 7), fueron hechas <strong>en</strong> una habitación separada, con una iluminación<br />
estándar y un flash a<strong>de</strong>cuado (condiciones estándar <strong>de</strong> las imág<strong>en</strong>es <strong>de</strong> pasaportes u otros<br />
docum<strong>en</strong>tos <strong>de</strong> id<strong>en</strong>tificación personal (por ejemplo, DNI)).<br />
Tabla 7. Especificaciones cámara utilizada para imág<strong>en</strong>es frontales.<br />
LUIS BLÁZQUEZ PÉREZ 21
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
La captura <strong>de</strong> todas las imág<strong>en</strong>es, fue realizada <strong>en</strong> un periodo <strong>de</strong> tiempo <strong>de</strong> 5 días. A<br />
continuación (Figura 17), se muestra el conjunto <strong>de</strong> imág<strong>en</strong>es, para un único usuario,<br />
disponibles <strong>en</strong> esta base <strong>de</strong> datos.<br />
Figura 17. Ejemplo <strong>de</strong>l conjunto <strong>de</strong> imág<strong>en</strong>es por usuario.<br />
Los participantes <strong>de</strong> la base <strong>de</strong> datos, fueron estudiantes, profesores o empleados <strong>de</strong> la<br />
Universidad, m<strong>en</strong>cionada anteriorm<strong>en</strong>te. Del total <strong>de</strong> los 130 voluntarios, 114 eran hombres y<br />
16 mujeres. Todos los participantes fueron caucásicos, con un rango <strong>de</strong> edad <strong>de</strong> <strong>en</strong>tre 20 y 75<br />
años. La distribución <strong>de</strong> edad se muestra <strong>en</strong> la Figura 18.<br />
Figura 18. Distribución <strong>de</strong> la edad <strong>de</strong> los sujetos <strong>de</strong> la base <strong>de</strong> datos.<br />
En la base <strong>de</strong> datos Scface, no se proporcionan ningún punto.<br />
LUIS BLÁZQUEZ PÉREZ 22
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
4. Sistema, dis<strong>en</strong> o y <strong>de</strong>sarrollo<br />
4.1 Introducción a los sistemas biométricos<br />
En la Figura 20 se muestra el diagrama <strong>de</strong> bloques g<strong>en</strong>eral <strong>de</strong> un sistema <strong>de</strong> reconocimi<strong>en</strong>to<br />
biométrico. En él pued<strong>en</strong> apreciarse tres módulos básicos: una base <strong>de</strong> datos, un módulo <strong>de</strong><br />
inscripción y un módulo <strong>de</strong> reconocimi<strong>en</strong>to. El conjunto <strong>de</strong> estos módulos realiza las funciones<br />
necesarias para reconocer a un individuo que acce<strong>de</strong> al sistema.<br />
<br />
Módulo <strong>de</strong> inscripción (Figura 19). Este módulo está formado por un sistema <strong>de</strong><br />
adquisición <strong>en</strong>cargado <strong>de</strong> proporcionar la señal biométrica que caracteriza al<br />
individuo. Tras la adquisición <strong>de</strong> la señal biométrica se proce<strong>de</strong> a la extracción <strong>de</strong> las<br />
características <strong>de</strong>l rasgo biométrico <strong>de</strong>l individuo. Dichas características expresan <strong>de</strong><br />
una forma unívoca y compacta <strong>de</strong>l individuo y constituy<strong>en</strong> su llamado patrón<br />
biométrico. El vector <strong>de</strong> características así formado, pres<strong>en</strong>ta m<strong>en</strong>or dim<strong>en</strong>sión que la<br />
señal previam<strong>en</strong>te adquirida. De esta forma se realiza la codificación óptima <strong>de</strong> la<br />
señal <strong>en</strong> la que toda información irrelevante, que no contribuye al reconocimi<strong>en</strong>to, es<br />
eliminada.<br />
Figura 19. Módulo <strong>de</strong> inscripción.<br />
<br />
<br />
Base <strong>de</strong> datos. El patrón biométrico extraído por el módulo <strong>de</strong> inscripción es<br />
almac<strong>en</strong>ado <strong>en</strong> la base <strong>de</strong> datos <strong>de</strong>l sistema <strong>de</strong> reconocimi<strong>en</strong>to. La base <strong>de</strong> datos<br />
cont<strong>en</strong>drá, por tanto, todos los patrones biométricos <strong>de</strong> los individuos que sean<br />
usuarios legítimos <strong>de</strong>l sistema.<br />
Módulo <strong>de</strong> reconocimi<strong>en</strong>to. Este módulo se <strong>en</strong>carga <strong>de</strong> establecer la id<strong>en</strong>tidad <strong>de</strong>l<br />
individuo que acce<strong>de</strong> al sistema. Para ello, tras la adquisición <strong>de</strong>l rasgo biométrico <strong>de</strong>l<br />
individuo, se extra<strong>en</strong> las características y se obti<strong>en</strong>e el patrón biométrico, que,<br />
posteriorm<strong>en</strong>te, es comparado con los patrones almac<strong>en</strong>ados <strong>en</strong> la base <strong>de</strong> datos. Los<br />
resultados <strong>de</strong> dichas comparaciones son cuantificados y valorados, permiti<strong>en</strong>do así la<br />
toma <strong>de</strong> <strong>de</strong>cisiones respecto a la id<strong>en</strong>tidad <strong>de</strong>l individuo <strong>en</strong> función <strong>de</strong> similitud<br />
obt<strong>en</strong>ido.<br />
LUIS BLÁZQUEZ PÉREZ 23
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
Figura 20. Diagrama <strong>de</strong> bloques <strong>de</strong> un sistema biométrico <strong>de</strong> reconocimi<strong>en</strong>to.<br />
Des<strong>de</strong> el punto <strong>de</strong> vista <strong>de</strong>l funcionami<strong>en</strong>to <strong>de</strong> los sistemas automáticos <strong>de</strong> reconocimi<strong>en</strong>to <strong>de</strong><br />
personas mediante rasgos biométricos, se hace necesario clasificar las dos perspectivas<br />
fundam<strong>en</strong>tales <strong>de</strong> trabajo <strong>de</strong> los mismos:<br />
- Sistemas <strong>de</strong> reconocimi<strong>en</strong>to <strong>en</strong> modo id<strong>en</strong>tificación.<br />
- Sistemas <strong>de</strong> reconocimi<strong>en</strong>to <strong>en</strong> modo verificación.<br />
4.1.1 Modo id<strong>en</strong>tificación<br />
El objetivo es el <strong>de</strong> clasificar una realización <strong>de</strong>terminada <strong>de</strong> un rasgo biométrico <strong>de</strong> id<strong>en</strong>tidad<br />
<strong>de</strong>sconocida como pert<strong>en</strong>eci<strong>en</strong>te a uno <strong>de</strong> <strong>en</strong>tre un conjunto <strong>de</strong> N posibles individuos. El<br />
esquema es el repres<strong>en</strong>tado <strong>en</strong> la Figura 21.<br />
Figura 21. Esquema modo id<strong>en</strong>tificación.<br />
Los errores que el sistema pue<strong>de</strong> cometer durante el funcionami<strong>en</strong>to <strong>en</strong> modo <strong>de</strong><br />
id<strong>en</strong>tificación son:<br />
- El sistema se <strong>de</strong>ci<strong>de</strong> por el id<strong>en</strong>tificador <strong>de</strong> un patrón erróneo <strong>de</strong> la base <strong>de</strong> datos. Por<br />
tanto, el usuario no aparece como primer candidato <strong>de</strong> la lista.<br />
- El usuario que <strong>de</strong>manda ser id<strong>en</strong>tificado, a pesar <strong>de</strong> aparecer como primer candidato<br />
<strong>en</strong> la lista, no obti<strong>en</strong>e el grado <strong>de</strong> semejanza sufici<strong>en</strong>te como para ser reconocido<br />
como tal, y <strong>en</strong> consecu<strong>en</strong>cia, el sistema consi<strong>de</strong>ra que no pert<strong>en</strong>ece a la base <strong>de</strong> datos.<br />
LUIS BLÁZQUEZ PÉREZ 24
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
D<strong>en</strong>tro <strong>de</strong> estos sistemas, <strong>de</strong>bemos difer<strong>en</strong>ciar dos posibles casos:<br />
- Id<strong>en</strong>tificación <strong>en</strong> conjunto cerrado: <strong>en</strong> este caso, el resultado <strong>de</strong>l proceso es una<br />
asignación <strong>de</strong> id<strong>en</strong>tidad a uno <strong>de</strong> los individuos mo<strong>de</strong>lados por el sistema, y conocidos<br />
como usuarios. Exist<strong>en</strong>, por tanto, N probables <strong>de</strong>cisiones <strong>de</strong> salida posibles.<br />
- Id<strong>en</strong>tificación <strong>en</strong> conjunto abierto: aquí <strong>de</strong>bemos consi<strong>de</strong>rar una posibilidad adicional<br />
a las N <strong>de</strong>l caso anterior: que el individuo que pret<strong>en</strong><strong>de</strong> ser id<strong>en</strong>tificado no pert<strong>en</strong>ezca<br />
al grupo <strong>de</strong> usuarios, con lo que el sistema <strong>de</strong> id<strong>en</strong>tificación <strong>de</strong>bería contemplar la<br />
posibilidad <strong>de</strong> no clasificar la realización <strong>de</strong> <strong>en</strong>trada como pert<strong>en</strong>eci<strong>en</strong>te a las N<br />
posibilida<strong>de</strong>s.<br />
4.1.2 Modo verificación<br />
Los sistemas <strong>de</strong> verificación <strong>de</strong> individuos, por el contrario, toman dos <strong>en</strong>tradas:<br />
<br />
<br />
una realización <strong>de</strong>l rasgo biométrico a verificar,<br />
una solicitud <strong>de</strong> id<strong>en</strong>tidad, que pue<strong>de</strong> ser realizada <strong>de</strong> diversas formas (lectura <strong>de</strong><br />
tarjeta magnética individual, introducción mediante teclado o mediante voz <strong>de</strong> un<br />
código <strong>de</strong> locutor, etc.).<br />
De este modo, las dos únicas salidas o <strong>de</strong>cisiones <strong>de</strong>l sistema son la aceptación o rechazo <strong>de</strong>l<br />
individuo como aquél que pret<strong>en</strong><strong>de</strong> ser. De esta forma, el locutor solicitante será catalogado<br />
como usuario auténtico o bi<strong>en</strong> como impostor, respectivam<strong>en</strong>te.<br />
La <strong>de</strong>cisión <strong>de</strong> aceptar o rechazar la locución <strong>de</strong> <strong>en</strong>trada como correspondi<strong>en</strong>te al locutor<br />
solicitado <strong>de</strong>p<strong>en</strong><strong>de</strong>rá <strong>de</strong> si el valor <strong>de</strong> parecido o probabilidad obt<strong>en</strong>ido supera o no un<br />
<strong>de</strong>terminado umbral <strong>de</strong> <strong>de</strong>cisión.<br />
La figura sigui<strong>en</strong>te (Figura 22) muestra <strong>de</strong> forma g<strong>en</strong>érica la estructura típica <strong>de</strong> un sistema <strong>de</strong><br />
verificación:<br />
Figura 22. Esquema modo verificación.<br />
En este caso, los errores que el sistema pue<strong>de</strong> cometer durante el funcionami<strong>en</strong>to <strong>en</strong> modo<br />
verificación son:<br />
- Error <strong>de</strong> Falsa Aceptación (FA): el sistema <strong>de</strong>ci<strong>de</strong> que el patrón almac<strong>en</strong>ado<br />
correspon<strong>de</strong> a la id<strong>en</strong>tidad <strong>de</strong>clarada por el patrón <strong>de</strong> <strong>en</strong>trada, cuando <strong>en</strong> realidad no<br />
lo es, aceptando a un individuo impostor.<br />
- Error <strong>de</strong> Falso Rechazo (FR): <strong>en</strong> este caso, el sistema <strong>de</strong>ci<strong>de</strong> que el patrón almac<strong>en</strong>ado<br />
no correspon<strong>de</strong> a la id<strong>en</strong>tidad <strong>de</strong>clarada por el patrón <strong>de</strong> <strong>en</strong>trada, cuando <strong>en</strong> realidad<br />
sí lo es, rechazando al usuario legítimo.<br />
LUIS BLÁZQUEZ PÉREZ 25
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
4.1.3 Otras consi<strong>de</strong>raciones<br />
Los sistemas <strong>de</strong> verificación pued<strong>en</strong> ser vistos como un caso particular <strong>de</strong> id<strong>en</strong>tificación <strong>en</strong><br />
conjunto abierto, <strong>en</strong> el que N=1.<br />
Por otro lado, el proceso <strong>de</strong> id<strong>en</strong>tificación <strong>en</strong> conjunto abierto po<strong>de</strong>r ser observado como un<br />
esquema <strong>en</strong> dos etapas:<br />
<br />
<br />
En la primera, se realizará un proceso <strong>de</strong> id<strong>en</strong>tificación <strong>en</strong> conjunto cerrado sobre los<br />
individuos conocidos, <strong>de</strong> forma que la realización incógnita sería asignada a uno <strong>de</strong> los<br />
usuarios <strong>de</strong>l sistema con máxima probabilidad, con N <strong>de</strong>cisiones <strong>de</strong> salida posibles.<br />
A continuación, se realizará un proceso <strong>de</strong> verificación respecto al individuo<br />
seleccionado <strong>en</strong> el trámite <strong>de</strong> id<strong>en</strong>tificación. De esta forma, la salida <strong>de</strong>l sistema sería<br />
la aceptación <strong>de</strong>l individuo que realiza el int<strong>en</strong>to como uno <strong>de</strong> los N usuarios <strong>de</strong>l<br />
sistema, o bi<strong>en</strong> el rechazo al tomarlo como presunto impostor al mismo, lo que da<br />
lugar a un total <strong>de</strong> N+1 <strong>de</strong>cisiones posibles.<br />
El sistema <strong>de</strong> reconocimi<strong>en</strong>to utilizado para los experim<strong>en</strong>tos es <strong>en</strong> modo verificación, <strong>en</strong><br />
conjunto cerrado.<br />
4.2 Sistema automático comercial<br />
El sistema automático comercial utilizado para el marcado <strong>de</strong> puntos e id<strong>en</strong>tificación <strong>de</strong><br />
usuarios <strong>de</strong> forma automática se d<strong>en</strong>omina Luxand FaceSDK 4.0 [22].<br />
Este sistema funciona para todas las cámaras exist<strong>en</strong>tes <strong>en</strong> el mercado: webcams, cámaras<br />
digitales… Es capaz <strong>de</strong> <strong>de</strong>tectar caras con ángulos <strong>de</strong> giro <strong>de</strong> hasta ±30 grados.<br />
El SDK procesa imág<strong>en</strong>es, <strong>de</strong>tectando la cara y mostrando como resultado 66 puntos faciales<br />
incluy<strong>en</strong>do ojos, contorno <strong>de</strong> los ojos, contorno <strong>de</strong> labios, cejas, contorno <strong>de</strong> la nariz y el<br />
contorno <strong>de</strong> la cara (se muestra <strong>en</strong> la Figura 23).<br />
Figura 23. <strong>Puntos</strong> faciales obt<strong>en</strong>idos a través <strong>de</strong>l FaceSDK.<br />
Dicho sistema SDK es tratado como una caja negra con dos parámetros <strong>de</strong> configuración: i)<br />
indica el rango <strong>en</strong> el que se <strong>en</strong>cu<strong>en</strong>tra la imag<strong>en</strong> (dim<strong>en</strong>sionalm<strong>en</strong>te hablando) ii) indica el<br />
umbral <strong>de</strong> precisión (<strong>de</strong>s<strong>de</strong> 1 hasta 5) a la hora <strong>de</strong> localizar caras (con umbral=1, el sistema te<br />
marca como cara cualquier región que el crea que es una cara, sin embargo, con umbral=5,<br />
solo marca regiones <strong>en</strong> las que ti<strong>en</strong>e mucha seguridad).<br />
Los valores utilizados son 256 (hasta 500x500 píxeles <strong>de</strong> tamaño <strong>de</strong> cara) y 3.<br />
LUIS BLÁZQUEZ PÉREZ 26
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
4.3 Descripción <strong>de</strong>l sistema <strong>de</strong>sarrollado<br />
Hoy <strong>en</strong> día, el estado <strong>de</strong>l arte <strong>de</strong>l marcado <strong>de</strong> puntos faciales (más concretam<strong>en</strong>te, el marcado<br />
<strong>de</strong> los ojos), está muy <strong>de</strong>sarrollado y completo; sin embargo, el <strong>de</strong> <strong>de</strong>tección <strong>de</strong> puntos<br />
característicos <strong>de</strong> la cara mal marcados y su posterior corrección está aún incipi<strong>en</strong>te, y, por<br />
tanto, ha habido pocos avances <strong>en</strong> este tema.<br />
Por ello, el proyecto no se c<strong>en</strong>tra tanto <strong>en</strong> el marcado <strong>de</strong> los puntos faciales (cabe <strong>de</strong>stacar,<br />
que el sistema <strong>de</strong>sarrollado utiliza los puntos característicos <strong>de</strong> un sistema comercial como<br />
punto <strong>de</strong> partida), sino, más bi<strong>en</strong>, <strong>en</strong> <strong>de</strong>tectar que rasgos <strong>de</strong> la cara está mal marcado, para<br />
po<strong>de</strong>r corregirlo.<br />
Para la cumplim<strong>en</strong>tación <strong>de</strong> los objetivos <strong>de</strong>l pres<strong>en</strong>te proyecto, se ha seguido el sigui<strong>en</strong>te<br />
esquema (Figura 24):<br />
Figura 24. Esquema g<strong>en</strong>eral para la <strong>de</strong>tección y corrección <strong>de</strong> puntos característicos <strong>de</strong> la cara.<br />
LUIS BLÁZQUEZ PÉREZ 27
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
4.4 Pre-procesado y normalización<br />
En la actualidad, el marcado <strong>de</strong> los puntos característicos pue<strong>de</strong> ser <strong>de</strong> manera manual, una<br />
persona realiza dicho marcado, o <strong>de</strong> manera automática, es <strong>de</strong>cir, es un programa qui<strong>en</strong> marca<br />
dichos puntos. En el mundo for<strong>en</strong>se, el marcado utilizado es el manual, ya que ti<strong>en</strong>e mayor<br />
precisión <strong>en</strong> estos mom<strong>en</strong>tos, pero <strong>en</strong> la realidad se ti<strong>en</strong><strong>de</strong> a automatizar el proceso, <strong>de</strong>bido a<br />
que supone un ahorro <strong>de</strong> tiempo notable, <strong>de</strong> ahí el interés <strong>de</strong> este proyecto.<br />
La adquisición <strong>de</strong> este sistema se ha realizado mediante cámaras fotográficas <strong>de</strong> calidad fija,<br />
<strong>en</strong> el caso <strong>de</strong> las bases <strong>de</strong> datos <strong>de</strong> BioID (<strong>en</strong>torno controlado) y MORPH (<strong>en</strong>torno semicontrolado).<br />
Sin embargo, <strong>en</strong> la base <strong>de</strong> datos <strong>de</strong> SCface, las imág<strong>en</strong>es han sido obt<strong>en</strong>idas por<br />
medio <strong>de</strong> cámaras <strong>de</strong> seguridad comerciales, con calidad variables (<strong>en</strong>torno no controlado).<br />
En esta primera etapa, la calidad <strong>de</strong> la imag<strong>en</strong> capturada es una cuestión fundam<strong>en</strong>tal. El<br />
ruido, una mala regulación <strong>de</strong>l contraste o iluminación <strong>de</strong> la cámara o una incorrecta posición<br />
<strong>de</strong>l usuario (caras no frontales, objetos que ocluyan algún rasgo facial como las gafas <strong>de</strong> sol,<br />
bello facial, pelo, unas orejeras…) son algunos ejemplos que pued<strong>en</strong> ocasionar problemas <strong>en</strong> la<br />
tarea <strong>de</strong> reconocimi<strong>en</strong>to.<br />
Las imág<strong>en</strong>es <strong>de</strong> las caras utilizadas durante el diseño, <strong>de</strong>sarrollo y experim<strong>en</strong>tación <strong>de</strong>l<br />
sistema implem<strong>en</strong>tado <strong>en</strong> este proyecto, se han obt<strong>en</strong>ido <strong>de</strong> las bases <strong>de</strong> datos <strong>de</strong>talladas <strong>en</strong><br />
capítulo 3.<br />
Una vez adquiridas las imág<strong>en</strong>es, el primer paso, es el procesado <strong>de</strong> las imág<strong>en</strong>es (Figura 25)<br />
Figura 25. Etapa <strong>de</strong> pre-procesado.<br />
Para la realización <strong>de</strong>l sistema propuesto, a<strong>de</strong>más <strong>de</strong> contar con las imág<strong>en</strong>es, también se<br />
dispone <strong>de</strong> las coord<strong>en</strong>adas <strong>de</strong> las pupilas <strong>de</strong> los usuarios, ya que los sistemas automáticos<br />
g<strong>en</strong>eralm<strong>en</strong>te se basan <strong>en</strong> el marcado <strong>de</strong> las pupilas. Con la finalidad <strong>de</strong> mejorar dichas<br />
coord<strong>en</strong>adas, se realiza un pre-procesado <strong>de</strong> las pupilas.<br />
El objetivo <strong>de</strong>l pre-procesado <strong>de</strong> las pupilas consiste <strong>en</strong> la obt<strong>en</strong>ción <strong>de</strong>l punto medio <strong>de</strong>l ojo,<br />
es <strong>de</strong>cir, como las caras son frontales, se consi<strong>de</strong>ra que todos los usuarios van a estar mirando<br />
hacia el fr<strong>en</strong>te, mejorando, a<strong>de</strong>más, la colocación <strong>de</strong> las pupilas <strong>de</strong> los usuarios (<strong>en</strong> la Figura 26<br />
se muestra un ejemplo). Este método se efectúa para po<strong>de</strong>r realizar <strong>de</strong> forma efectiva la<br />
normalización, alineación y rotación <strong>de</strong> las imág<strong>en</strong>es.<br />
LUIS BLÁZQUEZ PÉREZ 28
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
El nuevo valor <strong>de</strong> las pupilas se obti<strong>en</strong>e <strong>de</strong>terminando el punto medio <strong>de</strong> los extremos <strong>de</strong> los<br />
ojos, consiguiéndose esto <strong>de</strong> la sigui<strong>en</strong>te forma:<br />
( )<br />
( )<br />
( )<br />
( )<br />
Este pre-procesado se aplica automáticam<strong>en</strong>te cuando se dispone <strong>de</strong> los extremos <strong>de</strong> los ojos.<br />
En caso <strong>de</strong> que esto no suceda, es <strong>de</strong>cir, el programa comercial no ha sido capaz <strong>de</strong><br />
localizarlos, el sistema <strong>de</strong>sarrollado <strong>en</strong> el proyecto, localiza dichos puntos <strong>de</strong> forma<br />
automática, <strong>en</strong> los casos <strong>en</strong> los que sólo se disponga <strong>de</strong> los puntos característicos <strong>de</strong> las<br />
pupilas. En la Figura 26 se muestra un ejemplo <strong>de</strong>l pre-procesado <strong>de</strong> pupilas.<br />
MORPH<br />
For<strong>en</strong>sic <strong>ATVS</strong><br />
Figura 26. Marcado <strong>de</strong> las pupilas original (izquierda) y <strong>de</strong>spués <strong>de</strong>l pre-procesado (<strong>de</strong>recha).<br />
En la Figura 26, se aprecian las dos razones por el que es tan importante el pre-procesado <strong>de</strong><br />
las pupilas: i) mal marcado <strong>de</strong> pupilas y ii) pupilas no situadas <strong>en</strong> el c<strong>en</strong>tro <strong>de</strong> los ojos. En las<br />
imág<strong>en</strong>es pert<strong>en</strong>eci<strong>en</strong>tes a la base <strong>de</strong> datos MORPH, se observa como el marcado <strong>de</strong> las<br />
pupilas (cruz ver<strong>de</strong>) proporcionado por el sistema comercial Luxand es erróneo (foto<br />
izquierda), a pesar <strong>de</strong> estar mirando al fr<strong>en</strong>te el usuario, y, <strong>de</strong>spués <strong>de</strong> aplicar el algoritmo<br />
m<strong>en</strong>cionado anteriorm<strong>en</strong>te <strong>de</strong> pre-procesado, las pupilas (puntos rojos) pasan a estar<br />
colocadas <strong>en</strong> una posición más exacta (imag<strong>en</strong> <strong>de</strong>recha), permiti<strong>en</strong>do una normalización y una<br />
rotación posterior <strong>de</strong> la imag<strong>en</strong>, más idónea.<br />
En las imág<strong>en</strong>es proporcionadas por la base <strong>de</strong> datos For<strong>en</strong>sic <strong>ATVS</strong> (Figura 26), se observa<br />
como el usuario está mirando hacia uno <strong>de</strong> los lados, situándose así, las pupilas <strong>en</strong> uno <strong>de</strong> los<br />
lados <strong>de</strong> los ojos. Al realizar el pre-procesado, se consigue obt<strong>en</strong>er el c<strong>en</strong>tro <strong>de</strong> los ojos,<br />
permiti<strong>en</strong>do <strong>de</strong> esta manera, una segm<strong>en</strong>tación <strong>de</strong> la cara correcta.<br />
LUIS BLÁZQUEZ PÉREZ 29
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
Una vez hecho el pre-procesado <strong>de</strong> las pupilas, se realiza la normalización <strong>de</strong> imág<strong>en</strong>es, etapa<br />
clave con el objetivo <strong>de</strong> po<strong>de</strong>r universalizar los algoritmos <strong>de</strong>sarrollados <strong>en</strong> este proyecto,<br />
explicados más a<strong>de</strong>lante.<br />
La normalización se basa <strong>en</strong> el estándar ISO <strong>de</strong> imág<strong>en</strong>es [23]. A continuación, <strong>en</strong> la Tabla 8, se<br />
muestran las características geométricas que <strong>de</strong>b<strong>en</strong> t<strong>en</strong>er el tipo <strong>de</strong> imág<strong>en</strong>es utilizadas, así<br />
como un ejemplo gráfico (Figura 27).<br />
Características o parámetros<br />
Valor<br />
Ancho <strong>de</strong> la imag<strong>en</strong><br />
W<br />
Alto <strong>de</strong> la imag<strong>en</strong><br />
W/0.75<br />
Coord<strong>en</strong>ada Y <strong>de</strong> los ojos<br />
0.6*W<br />
Coord<strong>en</strong>ada X <strong>de</strong>l primer ojo (<strong>de</strong>recho)<br />
(0.375*W)-1<br />
Coord<strong>en</strong>ada X <strong>de</strong>l segundo ojo (izquierdo)<br />
(0.625*W)-1<br />
Ancho <strong>de</strong>s<strong>de</strong> un ojo a otro (incluidos)<br />
0.25*W<br />
Tabla 8. Características geométricas <strong>de</strong> las imág<strong>en</strong>es.<br />
Figura 27. Formato geométrico (izquierda) y un ejemplo con W=240 píxeles (<strong>de</strong>recha)<br />
La normalización consta <strong>de</strong> tres partes: i) comp<strong>en</strong>sación <strong>de</strong> rotación con transformación afín,<br />
ii) comp<strong>en</strong>sación <strong>de</strong> escalado, es <strong>de</strong>cir, todas las caras <strong>de</strong>b<strong>en</strong> t<strong>en</strong>er el mismo tamaño y la<br />
misma IPD, y, por último iii) alineami<strong>en</strong>to. Finalm<strong>en</strong>te, se proce<strong>de</strong> al recorte a partir <strong>de</strong> (x 0 , y 0 ),<br />
<strong>de</strong>finido por el estándar ISO.<br />
Por tanto, el objetivo <strong>de</strong> la normalización, no es solo para que todas las imág<strong>en</strong>es t<strong>en</strong>gan las<br />
mismas dim<strong>en</strong>siones, sino para que las pupilas se <strong>en</strong>cu<strong>en</strong>tr<strong>en</strong> situadas siempre <strong>en</strong> la misma<br />
posición, d<strong>en</strong>tro <strong>de</strong> la imag<strong>en</strong>. Esto se consigue forzando que la distancia interpupilar<br />
(refer<strong>en</strong>ciado <strong>de</strong>s<strong>de</strong> ahora por sus siglas <strong>en</strong> inglés IPD), es <strong>de</strong>cir, la distancia <strong>en</strong>tre los c<strong>en</strong>tros<br />
<strong>de</strong> los ojos, <strong>en</strong> nuestro caso, sea la misma para todos los usuarios <strong>de</strong> la base <strong>de</strong> datos.<br />
LUIS BLÁZQUEZ PÉREZ 30
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
Se han realizado pruebas con un ancho <strong>de</strong> imag<strong>en</strong> <strong>de</strong> W=168 píxeles y W=300 píxeles,<br />
eligi<strong>en</strong>do el valor <strong>de</strong> W=300 píxeles para mant<strong>en</strong>er una IPD=75 píxeles, ya que es la más<br />
utilizada por la mayoría <strong>de</strong> sistemas automáticos <strong>de</strong> marcados <strong>de</strong> puntos característicos <strong>de</strong> la<br />
cara, asegurando siempre, una bu<strong>en</strong>a calidad.<br />
El factor <strong>de</strong> dim<strong>en</strong>sionado (ratio) utilizado para la obt<strong>en</strong>ción <strong>de</strong>l nuevo tamaño <strong>de</strong> la imag<strong>en</strong>,<br />
se calcula mediante la sigui<strong>en</strong>te ecuación:<br />
Como se observa <strong>en</strong> la Figura 28, la rotación se utiliza para <strong>en</strong><strong>de</strong>rezar una imag<strong>en</strong> <strong>en</strong> el plano<br />
frontal, tomando como eje <strong>de</strong> rotación la recta que pasa por los c<strong>en</strong>tros <strong>de</strong> los ojos <strong>de</strong> los<br />
usuarios. Esta transformación espacial, llamada transformación o aplicación afín, consiste <strong>en</strong><br />
una transformación lineal seguida <strong>de</strong> una traslación o <strong>de</strong>splazami<strong>en</strong>to:<br />
Observando la fórmula anterior, se aprecia que esta transformación está compuesta por una<br />
matriz <strong>de</strong> rotación A, y un vector <strong>de</strong> traslación b, para ajustar las pupilas correspondi<strong>en</strong>tes a las<br />
coord<strong>en</strong>adas <strong>de</strong>seadas.<br />
Para calcular la matriz <strong>de</strong> rotación se <strong>de</strong>termina el ángulo σ <strong>en</strong>tre la línea que une el c<strong>en</strong>tro <strong>de</strong><br />
las pupilas <strong>de</strong> los ojos <strong>de</strong> las imág<strong>en</strong>es (d) y la línea que une las coord<strong>en</strong>adas don<strong>de</strong> se <strong>de</strong>sean<br />
que estén situados los c<strong>en</strong>tros <strong>de</strong> las pupilas (d2).<br />
( )<br />
Con este ángulo (Figura 28), la transformada <strong>de</strong> rotación está <strong>de</strong>finida como:<br />
(<br />
( ) ( )<br />
( ) ( ) )<br />
Finalm<strong>en</strong>te, el vector <strong>de</strong> traslación b permite superponer el punto que repres<strong>en</strong>ta el c<strong>en</strong>tro <strong>de</strong><br />
la pupila <strong>de</strong>l ojo izquierdo, calculado mediante la rotación, y su equival<strong>en</strong>te <strong>en</strong> la imag<strong>en</strong>, y se<br />
<strong>de</strong>termina hallando la distancia x e y <strong>en</strong>tre ellos.<br />
Figura 28. Imag<strong>en</strong> original (izquierda) e imag<strong>en</strong> normalizada y rotada (<strong>de</strong>recha).<br />
LUIS BLÁZQUEZ PÉREZ 31
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
Una vez obt<strong>en</strong>idas las nuevas imág<strong>en</strong>es, normalizadas y rotadas, se aplica dicha<br />
transformación matemática: rotación, alineación y escalado a todos los puntos característicos,<br />
<strong>de</strong> forma que qued<strong>en</strong> normalizados sobre la imag<strong>en</strong> resultado.<br />
En la Figura 29, se muestra un ejemplo con los pasos involucrados <strong>en</strong> una transformación <strong>de</strong><br />
una imag<strong>en</strong> dada (explicado anteriorm<strong>en</strong>te), con el fin <strong>de</strong> la obt<strong>en</strong>ción <strong>de</strong> la cara. Para la<br />
creación <strong>de</strong> la imag<strong>en</strong> <strong>de</strong> ancho W=240 píxeles, la imag<strong>en</strong> original (a) se gira para alinear<br />
horizontal los ojos (b). La imag<strong>en</strong> <strong>en</strong>tonces, se escala uniformem<strong>en</strong>te <strong>de</strong> modo que la distancia<br />
<strong>en</strong>tre los ojos sea <strong>de</strong> 60 píxeles (c). Por último, la imag<strong>en</strong> se recorta (d) <strong>de</strong> manera que la<br />
coord<strong>en</strong>ada <strong>de</strong>l primer ojo (el <strong>de</strong>recho) sea <strong>de</strong> (89,144), es <strong>de</strong>cir, 89 píxeles hacia la <strong>de</strong>recha y<br />
144 píxeles hacia abajo <strong>de</strong>s<strong>de</strong> la esquina superior izquierda <strong>de</strong> la imag<strong>en</strong> (0,0). Los píxeles<br />
negros, que son las fronteras <strong>de</strong>l rell<strong>en</strong>o, se pued<strong>en</strong> rell<strong>en</strong>ar <strong>de</strong> cualquier otro color, si<strong>en</strong>do lo<br />
normal hacerlo <strong>de</strong>l color que t<strong>en</strong>gan los píxeles <strong>en</strong> la frontera <strong>de</strong> la imag<strong>en</strong> (e).<br />
Figura 29. Transformación Afín y recorte.<br />
4.5 Detector <strong>de</strong> marcado incorrecto<br />
Una vez superada la etapa <strong>de</strong> pre-procesado y realizada la normalización, tanto <strong>de</strong> los puntos<br />
característicos como <strong>de</strong> las imág<strong>en</strong>es <strong>de</strong> la base <strong>de</strong> datos, se comprueba la vali<strong>de</strong>z <strong>de</strong> los<br />
puntos característicos, marcado por un programa comercial automático (<strong>en</strong> nuestro caso es el<br />
llamado Luxand). Es <strong>de</strong>cir, <strong>en</strong> este bloque (Figura 30) se comprueba la exactitud <strong>de</strong>l marcado<br />
<strong>de</strong>l resto <strong>de</strong> puntos característicos <strong>de</strong> la cara, rasgo a rasgo (pues se <strong>de</strong>tecta el rasgo mal<br />
marcado), mediante el cálculo <strong>de</strong> distancias, ángulos y simetrías, pudi<strong>en</strong>do id<strong>en</strong>tificar aquellos<br />
rasgos faciales incorrectam<strong>en</strong>te marcados.<br />
Figura 30. Bloque <strong>de</strong>tector<br />
LUIS BLÁZQUEZ PÉREZ 32
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
Para realizar dicha comprobación, el <strong>de</strong>tector <strong>de</strong> puntos e imág<strong>en</strong>es mal marcadas<br />
(repres<strong>en</strong>tado <strong>de</strong> manera esquemática <strong>en</strong> la Figura 31) consta <strong>de</strong> cinco fases: i) la primera fase,<br />
simplem<strong>en</strong>te comprueba que la cara ha sido <strong>de</strong>tectada y marcada, ii) esta segunda fase verifica<br />
si los c<strong>en</strong>tros <strong>de</strong> los ojos están posicionados <strong>en</strong> su lugar correcto (está fase es muy importante<br />
y precisa <strong>de</strong> exactitud, ya que el resto <strong>de</strong>l proyecto <strong>de</strong>p<strong>en</strong><strong>de</strong> <strong>de</strong>l correcto marcado <strong>de</strong> los<br />
c<strong>en</strong>tros <strong>de</strong> los ojos), iii) <strong>en</strong> esta fase se realiza un sistema <strong>de</strong> medición mediante distancias<br />
<strong>en</strong>tre puntos, iv) la cuarta fase verifica si los ángulos que forman las cejas están d<strong>en</strong>tro <strong>de</strong>l<br />
rango <strong>de</strong>finido, y v) esta quinta fase mi<strong>de</strong> las simetrías básicas <strong>de</strong> la cara.<br />
Figura 31. Detector <strong>de</strong> puntos característicos.<br />
LUIS BLÁZQUEZ PÉREZ 33
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
4.5.1 Fase 1. No landmarks<br />
En esta fase, simplem<strong>en</strong>te se comprueba si el programa comercial FaceSDK <strong>de</strong> Luxand, ha sido<br />
capaz <strong>de</strong> <strong>en</strong>contrar los puntos característicos <strong>de</strong> la cara o no. En el caso <strong>de</strong> que no haya sido<br />
capaz, se pasa <strong>de</strong> nuevo al sistema para int<strong>en</strong>tar, tuneando los parámetros <strong>de</strong> configuración,<br />
conseguir ajustar puntos. Si, repiti<strong>en</strong>do este proceso tres veces, no se consigue <strong>en</strong>contrar o<br />
ajustar bi<strong>en</strong> los puntos, se <strong>de</strong>shecha la imag<strong>en</strong> <strong>de</strong> la base <strong>de</strong> datos, porque se consi<strong>de</strong>ra que<br />
esa imag<strong>en</strong> es incorregible.<br />
4.5.2 Fase 2. Marcado incorrecto <strong>de</strong> ojos<br />
Esta fase 2 es la más importante <strong>de</strong>l <strong>de</strong>tector, ya que todo el correcto funcionami<strong>en</strong>to <strong>de</strong>l<br />
sistema <strong>de</strong>sarrollado <strong>de</strong>p<strong>en</strong><strong>de</strong> <strong>de</strong>l correcto marcado <strong>de</strong> los c<strong>en</strong>tros <strong>de</strong> los ojos. Por ello, el<br />
objetivo <strong>de</strong> esta fase radica <strong>en</strong> <strong>de</strong>tectar si el c<strong>en</strong>tro <strong>de</strong> los ojos ha sido correcta o<br />
incorrectam<strong>en</strong>te marcado.<br />
Para llegar a dicho objetivo, se <strong>de</strong>tecta si los ojos (más concretam<strong>en</strong>te, c<strong>en</strong>tro <strong>de</strong> los ojos) se<br />
<strong>en</strong>cu<strong>en</strong>tran, no solo d<strong>en</strong>tro <strong>de</strong> la cara, si no <strong>en</strong> una zona no lisa <strong>de</strong> la cara, es <strong>de</strong>cir, los<br />
mofletes, la fr<strong>en</strong>te… Esto se consigue mediante el procedimi<strong>en</strong>to <strong>de</strong> dilatación. La motivación<br />
<strong>de</strong> utilizar la dilatación, es que ti<strong>en</strong>e una baja complejidad computacional.<br />
Los elem<strong>en</strong>tos estructurantes (2 dim<strong>en</strong>siones) utilizados <strong>en</strong> el proyecto se repres<strong>en</strong>tan <strong>en</strong> la<br />
Figura 32:<br />
Figura 32. Elem<strong>en</strong>tos estructurantes planos<br />
Los valores oscuros repres<strong>en</strong>tan ceros y los valores claros repres<strong>en</strong>tan -∞.El punto negro<br />
indica el orig<strong>en</strong> <strong>de</strong> coord<strong>en</strong>adas.<br />
El algoritmo utilizado <strong>en</strong> esta fase, consiste <strong>en</strong> la transformación <strong>de</strong> la imag<strong>en</strong> original, <strong>en</strong><br />
color, <strong>en</strong> una imag<strong>en</strong> <strong>en</strong> escala <strong>de</strong> grises, para, posteriorm<strong>en</strong>te, calcular los bor<strong>de</strong>s a través <strong>de</strong>l<br />
método <strong>de</strong> Canny, binarizando, <strong>de</strong> esta forma, la imag<strong>en</strong>. Posteriorm<strong>en</strong>te, se realizan varias<br />
dilataciones, con los dos operadores morfológicos explicados anteriorm<strong>en</strong>te, consigui<strong>en</strong>do<br />
unir los rasgos faciales <strong>en</strong>tre sí. Finalm<strong>en</strong>te, se realiza una comprobación, para <strong>de</strong>terminar si<br />
las coord<strong>en</strong>adas <strong>de</strong> los c<strong>en</strong>tros <strong>de</strong> los ojos están situadas d<strong>en</strong>tro o fuera <strong>de</strong> la cara, y si se<br />
<strong>en</strong>cu<strong>en</strong>tran <strong>en</strong> una zona <strong>de</strong> la cara sin arrugas, rasgos característicos cercanos… Esta<br />
comprobación consiste <strong>en</strong> mirar si la suma <strong>de</strong> la cantidad <strong>de</strong> píxeles <strong>en</strong> blanco, d<strong>en</strong>tro <strong>de</strong> un<br />
vecindario, el cual consiste <strong>en</strong> una línea horizontal c<strong>en</strong>trada <strong>en</strong> el c<strong>en</strong>tro <strong>de</strong> los ojos, <strong>de</strong><br />
ancho/20 píxeles (para el caso <strong>de</strong> W=168, vecindario=9 píxeles), ti<strong>en</strong>e como resultado, al<br />
m<strong>en</strong>os, un treinta por ci<strong>en</strong>to (30%) <strong>de</strong> píxeles <strong>en</strong> blanco.<br />
A continuación, <strong>en</strong> la Figura 33, se repres<strong>en</strong>tan imág<strong>en</strong>es (usuario <strong>de</strong> la base <strong>de</strong> datos MORPH)<br />
explicativas <strong>de</strong>l procedimi<strong>en</strong>to explicado con anterioridad, las cuales pasan la fase.<br />
LUIS BLÁZQUEZ PÉREZ 34
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
Imag<strong>en</strong> original <strong>en</strong> color Imag<strong>en</strong> <strong>en</strong> escala <strong>de</strong> grises Bor<strong>de</strong>s (Canny)<br />
Imag<strong>en</strong> dilatada (1 er EE) Imag<strong>en</strong> dilatada (2º EE) Vecindario<br />
Figura 33. Repres<strong>en</strong>tación fase 2<br />
En la Figura 34, se muestra el caso particular <strong>en</strong> que la imag<strong>en</strong> no pasa esta fase, <strong>de</strong>bido a que<br />
el c<strong>en</strong>tro <strong>de</strong> los ojos se <strong>en</strong>cu<strong>en</strong>tra <strong>en</strong> una parte <strong>de</strong> la cara lisa (<strong>en</strong> este caso, se <strong>en</strong>cu<strong>en</strong>tran<br />
sobre la fr<strong>en</strong>te).<br />
Figura 34. Ejemplo imág<strong>en</strong>es con mal marcado <strong>de</strong> ojos (ojos <strong>en</strong> parte lisa <strong>de</strong> la cara).<br />
Como se ha m<strong>en</strong>cionado anteriorm<strong>en</strong>te, <strong>de</strong>bido a la importancia que ti<strong>en</strong>e el correcto<br />
marcado <strong>de</strong> los c<strong>en</strong>tros <strong>de</strong> los ojos, adicionalm<strong>en</strong>te, se crea, d<strong>en</strong>tro <strong>de</strong> esta fase 2, otra etapa<br />
(mucho más estricta) para ser capaces <strong>de</strong> <strong>de</strong>tectar si las pupilas han sido bi<strong>en</strong> o mal marcadas.<br />
Esta segunda etapa, solv<strong>en</strong>ta los errores <strong>de</strong> marcado no <strong>de</strong>tectados por la etapa anterior (se<br />
grafica un ejemplo <strong>en</strong> la Figura 35).<br />
LUIS BLÁZQUEZ PÉREZ 35
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
Figura 35. Restricciones <strong>de</strong> la etapa 2, fase 2.<br />
La imag<strong>en</strong> c<strong>en</strong>tral, <strong>en</strong> la Figura 35, ha pasado la primera etapa <strong>de</strong> esta segunda fase, <strong>de</strong>bido a<br />
que la dilatación ha producido que se junt<strong>en</strong> la cara <strong>de</strong>l usuario con el fondo, pareci<strong>en</strong>do que<br />
los c<strong>en</strong>tros <strong>de</strong> los ojos han sido marcados <strong>de</strong> forma correcta, ya que, teóricam<strong>en</strong>te, se<br />
<strong>en</strong>cu<strong>en</strong>tran d<strong>en</strong>tro <strong>de</strong> la cara y sobre un rasgo facial. Sin embargo, como se observa <strong>en</strong> la<br />
imag<strong>en</strong> <strong>de</strong> la <strong>de</strong>recha, esto no es así, ya que el ojo <strong>de</strong>recho se <strong>en</strong>cu<strong>en</strong>tra fuera <strong>de</strong> la cara, lo<br />
cual es <strong>de</strong>tectado por la segunda etapa.<br />
Para la realización <strong>de</strong> esta segunda etapa, se aplica una máscara elíptica a la imag<strong>en</strong>,<br />
mostrando solo la región que nos interesa, <strong>en</strong> este caso, la cara. En caso <strong>de</strong> que la imag<strong>en</strong> sea<br />
a color, se transforma a escala <strong>de</strong> grises. Posteriorm<strong>en</strong>te, se realiza un realce <strong>de</strong> contraste, es<br />
<strong>de</strong>cir, se aclara la imag<strong>en</strong>, convirti<strong>en</strong>do los grises más oscuros, a otros más claros. Finalm<strong>en</strong>te,<br />
se binariza la fotografía, tomando ésta, valores <strong>de</strong> 0 o 1 únicam<strong>en</strong>te. A continuación, se suman<br />
la cantidad <strong>de</strong> píxeles <strong>en</strong> blanco, d<strong>en</strong>tro <strong>de</strong> un vecindario <strong>de</strong> seis píxeles (zona <strong>de</strong> interés),<br />
alre<strong>de</strong>dor <strong>de</strong> las coord<strong>en</strong>adas <strong>de</strong> las pupilas. Nuevam<strong>en</strong>te, el vecindario es una línea<br />
horizontal, pero, como se pue<strong>de</strong> observar <strong>en</strong> la Figura 36, muy restrictiva. Finalm<strong>en</strong>te, se<br />
realiza una comprobación, para ver si las coord<strong>en</strong>adas <strong>de</strong> las pupilas están d<strong>en</strong>tro o fuera <strong>de</strong><br />
una zona <strong>de</strong> la cara sin arrugas, rasgos característicos cercanos, etc. Esta comprobación<br />
consiste <strong>en</strong> mirar si la suma realizada anteriorm<strong>en</strong>te, ti<strong>en</strong>e como resultado, al m<strong>en</strong>os, un píxel<br />
<strong>en</strong> blanco d<strong>en</strong>tro <strong>de</strong>l vecindario.<br />
En la Figura 36, se repres<strong>en</strong>tan imág<strong>en</strong>es explicativas <strong>de</strong>l procedimi<strong>en</strong>to explicado con<br />
anterioridad, que pasan la fase.<br />
Imag<strong>en</strong> original <strong>en</strong> color Imag<strong>en</strong> + máscara elíptica Imag<strong>en</strong> <strong>en</strong> escala <strong>de</strong> grises<br />
LUIS BLÁZQUEZ PÉREZ 36
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
Realce <strong>de</strong> contraste Imag<strong>en</strong> binarizada Vecindario<br />
Figura 36. Ejemplo imag<strong>en</strong> marcada <strong>de</strong> forma correcta.<br />
4.5.3 Fase 3. Distancias<br />
El objetivo <strong>de</strong> esta fase, es la medición <strong>de</strong> las distancias (distancia 1 y distancia 2) que hay<br />
<strong>en</strong>tre el c<strong>en</strong>tro <strong>de</strong> la boca y cada una <strong>de</strong> las pupilas <strong>de</strong> los usuarios. Estos datos son tomados a<br />
partir <strong>de</strong> las imág<strong>en</strong>es normalizadas, y se almac<strong>en</strong>an <strong>en</strong> un vector, que se utilizará<br />
posteriorm<strong>en</strong>te para la obt<strong>en</strong>ción <strong>de</strong> los umbrales. En la Figura 37 se muestra un ejemplo <strong>de</strong><br />
las distancias calculadas, que nos permit<strong>en</strong> id<strong>en</strong>tificar si el rasgo <strong>de</strong> la boca se <strong>en</strong>cu<strong>en</strong>tra<br />
incorrectam<strong>en</strong>te marcado.<br />
4.5.4 Fase 4. Ángulos<br />
Figura 37. Distancias calculadas<br />
El objetivo <strong>de</strong> esta fase, es el cálculo <strong>de</strong> los ángulos que forman la recta que une el c<strong>en</strong>tro <strong>de</strong><br />
ambas cejas (punto c<strong>en</strong>tral <strong>de</strong> estas) y la recta que une cada uno <strong>de</strong> los c<strong>en</strong>tros <strong>de</strong> los ojos <strong>de</strong><br />
los usuarios. Estos datos son tomados a partir <strong>de</strong> las imág<strong>en</strong>es normalizadas, y se almac<strong>en</strong>an<br />
<strong>en</strong> un vector, que se utilizará posteriorm<strong>en</strong>te para la obt<strong>en</strong>ción <strong>de</strong> los umbrales. Para un<br />
mayor <strong>en</strong>t<strong>en</strong>dimi<strong>en</strong>to, <strong>en</strong> la Figura 38 se muestra un ejemplo:<br />
4.5.5 Fase 5. Simetrías<br />
Figura 38. Ángulos.<br />
El objetivo <strong>de</strong> esta fase, es la comprobación <strong>de</strong> la simetría <strong>en</strong>tre los puntos característicos <strong>de</strong> la<br />
cara. Esto se comprueba mediante la medición <strong>de</strong> las distancias que hay <strong>en</strong>tre la recta que une<br />
ambas pupilas <strong>de</strong> los usuarios, recta horizontal, y cada uno <strong>de</strong> los puntos característicos <strong>de</strong> la<br />
LUIS BLÁZQUEZ PÉREZ 37
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
cara (medidas verticales) y las distancias que hay <strong>en</strong>tre la recta que pasa, <strong>de</strong> forma vertical, por<br />
el punto medio <strong>en</strong>tre las pupilas y cada uno <strong>de</strong> los rasgos característicos <strong>de</strong> la cara (medidas<br />
horizontales). Estos datos son tomados a partir <strong>de</strong> las imág<strong>en</strong>es normalizadas, y se almac<strong>en</strong>an<br />
<strong>en</strong> un vector, que se utilizará posteriorm<strong>en</strong>te para la obt<strong>en</strong>ción <strong>de</strong> los umbrales.<br />
o<br />
o<br />
Distancias a la vertical:<br />
• Ojos:<br />
<br />
<br />
<br />
Des<strong>de</strong> el lado exterior <strong>de</strong>l ojo <strong>de</strong>recho (D)<br />
Des<strong>de</strong> el lado interior <strong>de</strong>l ojo <strong>de</strong>recho (E)<br />
Des<strong>de</strong> el lado exterior <strong>de</strong>l ojo izquierdo (D’)<br />
Des<strong>de</strong> el lado interior <strong>de</strong>l ojo izquierdo (E’)<br />
• Cejas:<br />
<br />
<br />
<br />
<br />
<br />
Des<strong>de</strong> el lado exterior <strong>de</strong> la ceja <strong>de</strong>recha (A)<br />
Des<strong>de</strong> el lado interior <strong>de</strong> la ceja <strong>de</strong>recha (C)<br />
Des<strong>de</strong> el punto c<strong>en</strong>tral <strong>de</strong> la ceja <strong>de</strong>recha (B)<br />
Des<strong>de</strong> el lado exterior <strong>de</strong> la ceja izquierda (A’)<br />
Des<strong>de</strong> el lado exterior <strong>de</strong> la ceja izquierda (B’)<br />
Des<strong>de</strong> el punto c<strong>en</strong>tral <strong>de</strong> la ceja izquierda (C’)<br />
• Nariz:<br />
<br />
Des<strong>de</strong> el lado izquierdo <strong>de</strong> la nariz (F’)<br />
Des<strong>de</strong> el lado <strong>de</strong>recho <strong>de</strong> la nariz (F)<br />
• Boca:<br />
<br />
Des<strong>de</strong> el lado <strong>de</strong>recho <strong>de</strong> la boca (G)<br />
Des<strong>de</strong> el lado izquierdo <strong>de</strong> la boca (G’)<br />
• Barbilla:<br />
Des<strong>de</strong> el punto c<strong>en</strong>tral <strong>de</strong> la barbilla (H)<br />
Distancias a la horizontal:<br />
• Ojos:<br />
No ti<strong>en</strong>e s<strong>en</strong>tido (imág<strong>en</strong>es ya normalizadas (D≈D’≈E≈E’≈0))<br />
• Cejas:<br />
<br />
<br />
<br />
<br />
<br />
Des<strong>de</strong> el lado exterior <strong>de</strong> la ceja <strong>de</strong>recha (A)<br />
Des<strong>de</strong> el lado interior <strong>de</strong> la ceja <strong>de</strong>recha (C)<br />
Des<strong>de</strong> el punto c<strong>en</strong>tral <strong>de</strong> la ceja <strong>de</strong>recha (B)<br />
Des<strong>de</strong> el lado exterior <strong>de</strong> la ceja izquierda (A’)<br />
Des<strong>de</strong> el lado exterior <strong>de</strong> la ceja izquierda (B’)<br />
Des<strong>de</strong> el punto c<strong>en</strong>tral <strong>de</strong> la ceja izquierda (C’)<br />
• Nariz:<br />
<br />
Des<strong>de</strong> el lado izquierdo <strong>de</strong> la nariz (F’)<br />
Des<strong>de</strong> el lado <strong>de</strong>recho <strong>de</strong> la nariz (F)<br />
• Boca:<br />
<br />
Des<strong>de</strong> el lado <strong>de</strong>recho <strong>de</strong> la boca (G)<br />
Des<strong>de</strong> el lado izquierdo <strong>de</strong> la boca (G’)<br />
• Barbilla:<br />
<br />
Des<strong>de</strong> el punto c<strong>en</strong>tral <strong>de</strong> la barbilla (H)<br />
LUIS BLÁZQUEZ PÉREZ 38
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
Seguidam<strong>en</strong>te, se muestra una imag<strong>en</strong> (Figura 39) con las distancias marcadas.<br />
Figura 39. Distancias a la vertical (izquierda) y distancias a la horizontal (<strong>de</strong>recha).<br />
Los umbrales necesarios para <strong>de</strong>terminar si las medidas explicadas están d<strong>en</strong>tro <strong>de</strong> un rango<br />
correcto (media <strong>de</strong> todas las medidas <strong>de</strong> un mismo tipo ± umbral), se calculan, <strong>de</strong> forma<br />
automática, mediante una función, cuyos valores <strong>de</strong> <strong>en</strong>trada son el vector que conti<strong>en</strong>e todas<br />
las medidas <strong>de</strong> un mismo tipo, por ejemplo, los ángulos α <strong>de</strong> todos los usuarios registrados <strong>de</strong><br />
la base <strong>de</strong> datos, y el porc<strong>en</strong>taje, es <strong>de</strong>cir, el tanto por ci<strong>en</strong>to que se quiere eliminar <strong>de</strong> todas<br />
las medidas, porque se estiman incorrectas. El conjunto <strong>de</strong> medidas tomadas sigu<strong>en</strong> una<br />
distribución gaussiana, por tanto, el porc<strong>en</strong>taje se aplica a ambas colas <strong>de</strong> dicha distribución,<br />
eliminando los datos situados <strong>en</strong> las colas por <strong>de</strong>bajo <strong>de</strong>l valor elegido. Los valores <strong>de</strong> salida <strong>de</strong><br />
esta función, son los umbrales, tanto el inferior como el superior.<br />
El funcionami<strong>en</strong>to <strong>de</strong> dicha función, se basa <strong>en</strong> la obt<strong>en</strong>ción, y posterior normalización, <strong>de</strong>l<br />
histograma <strong>de</strong> cada uno <strong>de</strong> los vectores <strong>de</strong> datos, para po<strong>de</strong>r realizar una búsqueda <strong>de</strong> los<br />
valores <strong>de</strong>l histograma normalizado que sean m<strong>en</strong>ores o iguales al porc<strong>en</strong>taje introducido;<br />
realizándose <strong>en</strong> ambas colas <strong>de</strong>l histograma. En el caso <strong>de</strong> que el histograma solo t<strong>en</strong>ga una<br />
cola (por ejemplo la <strong>de</strong>recha), al umbral pert<strong>en</strong>eci<strong>en</strong>te a la cola que no existe (la izquierda) se<br />
le asigna un valor muy alto para que no sea restrictivo.<br />
En la Figura 40, se muestran los histogramas obt<strong>en</strong>idos para los ángulos α <strong>de</strong> todos los<br />
usuarios <strong>de</strong> la base <strong>de</strong> datos <strong>de</strong> MORPH, únicam<strong>en</strong>te raza europea, don<strong>de</strong> se pue<strong>de</strong> ver que el<br />
rango <strong>en</strong> el que se <strong>en</strong>cu<strong>en</strong>tran la mayor parte <strong>de</strong> los ángulos α <strong>de</strong> los usuarios registrados es ±<br />
5 grados, aproximadam<strong>en</strong>te. El signo que acompaña al ángulo α (+,-), indica que ceja es la que<br />
está más arriba, si<strong>en</strong>do la ceja izquierda si α es negativo, y la <strong>de</strong>recha <strong>en</strong> caso contrario (α<br />
positivo).<br />
LUIS BLÁZQUEZ PÉREZ 39
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
Histograma<br />
Histrograma normalizado<br />
Figura 40. Histogramas resultado para ángulos α.<br />
La recta <strong>de</strong> color rojo repres<strong>en</strong>tada <strong>en</strong> el histograma normalizado, indica la cota superior <strong>de</strong> los<br />
valores que son eliminados, es <strong>de</strong>cir, los valores <strong>de</strong>l histograma (azul) que se <strong>en</strong>cu<strong>en</strong>tran por<br />
<strong>de</strong>bajo <strong>de</strong> la línea roja (porc<strong>en</strong>taje indicado como argum<strong>en</strong>to <strong>de</strong> <strong>en</strong>trada, <strong>en</strong> este caso 5%),<br />
son eliminados porque se sal<strong>en</strong> <strong>de</strong> los valores habituales.<br />
A continuación, <strong>en</strong> la Figura 41, se muestran imág<strong>en</strong>es <strong>de</strong> la base <strong>de</strong> datos MORPH (europeos),<br />
que han fallado <strong>en</strong> alguna <strong>de</strong> las fases (<strong>en</strong> azul se muestran los puntos examinados, que dictan,<br />
mediante el umbral calculado anteriorm<strong>en</strong>te, si el punto característico está bi<strong>en</strong> marcado).<br />
LUIS BLÁZQUEZ PÉREZ 40
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
Fallo <strong>en</strong> fase 1 Fallo <strong>en</strong> fase 2 Fallo <strong>en</strong> fase 3<br />
Fallo <strong>en</strong> fase 4 Fallo <strong>en</strong> fase 5 Fallo <strong>en</strong> fase 6<br />
Figura 41. Ejemplo <strong>de</strong> imág<strong>en</strong>es que fallan <strong>en</strong> cada una <strong>de</strong> las fases <strong>de</strong>l <strong>de</strong>tector, para la base<br />
<strong>de</strong> datos MORPH<br />
4.5.6 Decisor<br />
Este bloque (Figura 42) elige, d<strong>en</strong>tro <strong>de</strong> las imág<strong>en</strong>es que han sido clasificadas como erróneas,<br />
pero no obstante corregibles, es <strong>de</strong>cir, las imág<strong>en</strong>es que no han pasado las fases tres, cuatro,<br />
y/o cinco, cual es el rasgos que se consi<strong>de</strong>ra mal marcado, para po<strong>de</strong>r c<strong>en</strong>trarse, más<br />
concretam<strong>en</strong>te, <strong>en</strong> la corrección <strong>de</strong> los puntos característico <strong>de</strong> ese único rasgo.<br />
Figura 42. Esquema <strong>de</strong>cisor.<br />
LUIS BLÁZQUEZ PÉREZ 41
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
Esta elección, se realiza <strong>de</strong> la sigui<strong>en</strong>te forma:<br />
1. Si la imag<strong>en</strong> errónea falla <strong>en</strong> la fase 3 (distancias), se consi<strong>de</strong>ra que el rasgo mal<br />
marcado es la boca.<br />
2. Si la imag<strong>en</strong> errónea falla <strong>en</strong> la fase 4 (ángulos), se consi<strong>de</strong>ra que los rasgos mal<br />
marcados son las ambas cejas.<br />
3. En caso <strong>de</strong> que la imag<strong>en</strong> errónea falle <strong>en</strong> la fase 5 (simetrías), hay que analizar la<br />
simetría <strong>de</strong>l rasgo que ha fallado.<br />
o Se consi<strong>de</strong>ra, <strong>en</strong> esta fase, que un rasgo ha fallado si ambas simetrías (tanto la<br />
horizontal como la vertical) <strong>de</strong> dicho rasgo están fuera <strong>de</strong>l umbral elegido.<br />
Como tanto la fase tres, la cuatro y la cinco no son excluy<strong>en</strong>tes, una imag<strong>en</strong> pue<strong>de</strong> fallar <strong>en</strong><br />
varios rasgos, o un mismo rasgo pue<strong>de</strong> fallar <strong>en</strong> varias fases (por ejemplo, la boca pue<strong>de</strong> fallar<br />
<strong>en</strong> la fase tres y <strong>en</strong> la fase cinco).<br />
A continuación (Figura 43) se muestran imág<strong>en</strong>es ejemplo (<strong>de</strong> la base <strong>de</strong> datos MORPH), las<br />
cuales han fallado <strong>en</strong> el marcado <strong>de</strong> algún rasgo (puntos <strong>en</strong> azul), y una imag<strong>en</strong> sin fallos, para<br />
que se pueda realizar una comparativa:<br />
Foto original sin ningún error Cejas mal marcadas Ojos mal marcados<br />
Nariz mal marcada Boca mal marcada Barbilla mal marcada<br />
Figura 43. Imág<strong>en</strong>es mal marcadas <strong>de</strong> MORPH.<br />
LUIS BLÁZQUEZ PÉREZ 42
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
4.6 Corrector <strong>de</strong> puntos característicos<br />
Después <strong>de</strong> la fase <strong>de</strong> <strong>de</strong>tección, las imág<strong>en</strong>es que se han clasificado como mal marcadas,<br />
pasan al corrector (Figura 44), mejorando <strong>de</strong> esta manera, el marcado automático <strong>de</strong> los<br />
puntos característicos <strong>de</strong> la cara.<br />
Figura 44. Bloque corrector <strong>de</strong> puntos faciales.<br />
Dicha corrección (Figura 45), no se realiza <strong>en</strong> todos los puntos característicos <strong>de</strong> la cara (lo que<br />
sería una pérdida <strong>de</strong> recursos y <strong>de</strong> tiempo) sino, exclusivam<strong>en</strong>te, <strong>en</strong> los puntos <strong>de</strong> los rasgos<br />
faciales que el <strong>de</strong>cisor ha sacado como erróneos. Para realizar la corrección rasgo a rasgo, lo<br />
i<strong>de</strong>al es segm<strong>en</strong>tar la imag<strong>en</strong> (extray<strong>en</strong>do los rasgos faciales <strong>de</strong> la cara), para acotar la región<br />
<strong>de</strong> interés y no marcar los puntos <strong>de</strong> un rasgo <strong>en</strong> toda la imag<strong>en</strong>, simplificando la tarea <strong>de</strong><br />
marcado/corrección automática.<br />
Figura 45. Funcionami<strong>en</strong>to corrector puntos característicos.<br />
LUIS BLÁZQUEZ PÉREZ 43
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
Para ello, se <strong>de</strong>sarrollan dos extractores <strong>de</strong> rasgos faciales: i) uno que está basado <strong>en</strong><br />
proporciones faciales, para <strong>en</strong>tornos no controlados, y ii) otro que se basa <strong>en</strong> un punto medio<br />
para <strong>en</strong>tornos controlados, o <strong>en</strong>tornos no controlados, pero previo paso <strong>de</strong> los puntos<br />
marcados por un corrector automático.<br />
4.6.1 Extractor <strong>de</strong> rasgos faciales por proporciones<br />
Como <strong>en</strong> el caso estudiado durante el proyecto, el marcado se realiza <strong>de</strong> forma automática<br />
mediante un programa comercial, el extractor utilizado es el que está basado <strong>en</strong> proporciones<br />
faciales [24,25,26,27], el cual solo <strong>de</strong>p<strong>en</strong><strong>de</strong> <strong>de</strong> las coord<strong>en</strong>adas <strong>de</strong>l c<strong>en</strong>tro <strong>de</strong> los ojos.<br />
Este segm<strong>en</strong>tador, basado <strong>en</strong> las proporciones <strong>de</strong> la cara, extrae los rasgos faciales <strong>de</strong> interés<br />
(las cejas, los ojos, la nariz, la boca, la barbilla, la fr<strong>en</strong>te y las orejas) <strong>de</strong> forma exacta pero no<br />
precisa, es <strong>de</strong>cir, localiza los rasgos pero no optimiza el segm<strong>en</strong>to c<strong>en</strong>trándolo ni alineándolo.<br />
A continuación, se explican, <strong>en</strong> la Tabla 9, las proporciones utilizadas (todas ellas <strong>de</strong>p<strong>en</strong>di<strong>en</strong>te<br />
<strong>de</strong> la distancia <strong>en</strong>tre el c<strong>en</strong>tro <strong>de</strong> los ojos (IPD), consi<strong>de</strong>rada i<strong>de</strong>al):<br />
Id Línea Proporción<br />
- Ancho IPD*5/2<br />
- Alto Ancho*3/2<br />
- C<strong>en</strong>tro (<strong>de</strong> la cara)<br />
(Coord<strong>en</strong>ada_x_pupila_<strong>de</strong>recha +<br />
Coord<strong>en</strong>ada_x_pupila_izquierda)/2<br />
S Izquierda C<strong>en</strong>tro+Ancho/2<br />
Q Derecha C<strong>en</strong>tro-Ancho/2<br />
R Arriba Coord<strong>en</strong>ada_y_pupila_<strong>de</strong>recha-Alto/2<br />
T Abajo Coord<strong>en</strong>ada_y_pupila_<strong>de</strong>recha+Alto/2<br />
H Labial (línea inferior continua) (3*Alto/4+2*Alto/3)/1.93<br />
G Línea discontinua inferior Alto/3<br />
B Línea discontinua superior 2*Alto/3<br />
A Línea discontinua superior Alto/4<br />
F Línea discontinua media superior Alto/2<br />
I Línea discontinua media inferior 3*Alto/4<br />
J Línea discontinua inferior 7*Alto/8<br />
D Línea ceja media (Lcm) (Alto/3+Alto/2)/2<br />
E Línea ceja inferior Lcm+4/3*(Lcm-abs((Lcm + Alto/2)/2))<br />
C Línea ceja superior Lcm-4/3*(Lcm-abs((Lcm + Alto/2)/2))<br />
K Línea <strong>de</strong>recha exterior Ancho/5<br />
L Línea <strong>de</strong>recha medio (pupila <strong>de</strong>recha) Coord<strong>en</strong>ada x pupila <strong>de</strong>recha<br />
M Línea <strong>de</strong>recha interior 2*Ancho/5<br />
P Línea izquierda exterior 3*Ancho/5<br />
O Línea izquierda medio (pupila izquierda) Coord<strong>en</strong>ada x pupila izquierda<br />
N Línea izquierda interior 4*Ancho/5<br />
Tabla 9. Tabla <strong>de</strong> proporciones (el color <strong>de</strong> la letra hace refer<strong>en</strong>cia al color <strong>de</strong> las líneas).<br />
LUIS BLÁZQUEZ PÉREZ 44
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
La sigui<strong>en</strong>te imag<strong>en</strong> (Figura 46) repres<strong>en</strong>ta las líneas explicadas <strong>en</strong> la tabla anterior.<br />
Figura 46. Proporciones faciales utilizadas.<br />
Este tipo <strong>de</strong> extractor ti<strong>en</strong>e como <strong>en</strong>trada únicam<strong>en</strong>te las coord<strong>en</strong>adas <strong>de</strong> los c<strong>en</strong>tros <strong>de</strong> los<br />
ojos, es <strong>de</strong>cir, muy útil para <strong>en</strong>tornos no controlados, don<strong>de</strong> se hace complicada la localización<br />
<strong>de</strong>l resto <strong>de</strong> puntos característicos <strong>de</strong> la cara.<br />
Aplicando este segm<strong>en</strong>tador sobre una imag<strong>en</strong> <strong>de</strong> la base <strong>de</strong> datos MORPH, el resultado que<br />
se g<strong>en</strong>era es el sigui<strong>en</strong>te (Figura 47).<br />
Fr<strong>en</strong>te<br />
Cara Ceja <strong>de</strong>recha Cejas Ceja izquierda<br />
Ojo <strong>de</strong>recho Ojos Ojo izquierdo<br />
Oreja <strong>de</strong>recha Nariz Oreja izquierda<br />
Boca<br />
Barbilla<br />
Figura 47. Resultado <strong>de</strong>l segm<strong>en</strong>tador basado <strong>en</strong> proporciones faciales.<br />
LUIS BLÁZQUEZ PÉREZ 45
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
4.6.2 Extractor <strong>de</strong> rasgos faciales por puntos<br />
Adicionalm<strong>en</strong>te, se introduce el <strong>de</strong>sarrollo <strong>de</strong> un extractor por puntos, <strong>de</strong>bido a su utilidad<br />
futura. El extractor por puntos, ti<strong>en</strong>e como salida imág<strong>en</strong>es normalizadas (los ojos, las cejas, la<br />
nariz, la boca, la fr<strong>en</strong>te y la barbilla), es <strong>de</strong>cir, todos los rasgos comunes <strong>de</strong> los usuarios <strong>de</strong> la<br />
base <strong>de</strong> datos (por ejemplo, todas las bocas), ti<strong>en</strong><strong>en</strong> el mismo tamaño y están<br />
c<strong>en</strong>tradas/alineadas <strong>en</strong> el punto medio <strong>de</strong> cada región <strong>de</strong> interés.<br />
Antes <strong>de</strong> explicar el procedimi<strong>en</strong>to, es preciso com<strong>en</strong>tar que los puntos se consi<strong>de</strong>ran i<strong>de</strong>ales y<br />
sin ningún error, ya que, o bi<strong>en</strong> anteriorm<strong>en</strong>te, se ha pasado el <strong>de</strong>tector y el corrector <strong>de</strong><br />
puntos, o bi<strong>en</strong> han sido marcados por un examinador humano manualm<strong>en</strong>te.<br />
Este segm<strong>en</strong>tador ti<strong>en</strong>e como <strong>de</strong>sv<strong>en</strong>taja que necesita como <strong>en</strong>trada, a<strong>de</strong>más <strong>de</strong> la imag<strong>en</strong>,<br />
todos los puntos característicos <strong>de</strong> la cara, que <strong>de</strong>limitan cada rasgo a extraer (<strong>en</strong> nuestro caso<br />
14 puntos, incluy<strong>en</strong>do el punto que marca el final <strong>de</strong> la cabeza <strong>de</strong>l usuario); sin embargo, su<br />
mayor v<strong>en</strong>taja es que la extracción <strong>de</strong>l rasgo se hace <strong>de</strong> una manera más certera y precisa, y<br />
las imág<strong>en</strong>es <strong>de</strong> las regiones faciales resultantes están normalizadas.<br />
Para realizar el extractor por puntos, primero se calcula el punto medio <strong>de</strong> los puntos<br />
característicos situados <strong>en</strong> los extremos <strong>de</strong> cada rasgo. Des<strong>de</strong> la coord<strong>en</strong>ada <strong>de</strong>l punto medio<br />
calculado anteriorm<strong>en</strong>te, se realiza un <strong>de</strong>splazami<strong>en</strong>to, tanto <strong>en</strong> s<strong>en</strong>tido horizontal como <strong>en</strong><br />
vertical, <strong>de</strong> ± un offset (<strong>de</strong>p<strong>en</strong>di<strong>en</strong>te <strong>de</strong> la distancia <strong>en</strong>tre ojos (IPD)), distinto para cada rasgo,<br />
pero el mismo para todos los usuarios, consigui<strong>en</strong>do <strong>de</strong> esta manera, que todos los rasgos<br />
comunes <strong>de</strong> los usuarios (por ejemplo, todas las narices) t<strong>en</strong>gan las mismas dim<strong>en</strong>siones y<br />
estén c<strong>en</strong>tradas/alineadas <strong>en</strong> el punto medio <strong>de</strong> cada región <strong>de</strong> interés. Finalm<strong>en</strong>te, se<br />
extra<strong>en</strong>, <strong>de</strong> la imag<strong>en</strong> original, cada uno <strong>de</strong> los rasgos característicos <strong>de</strong> la cara <strong>de</strong> forma<br />
individualizada.<br />
En la Tabla 10, se muestran los offsets (iguales para todos los usuarios para rasgos comunes)<br />
obt<strong>en</strong>idos, <strong>en</strong> píxeles, para las imág<strong>en</strong>es normalizadas.<br />
Rasgos facial Offset eje horizontal Offset eje vertical<br />
Fr<strong>en</strong>te IPD (x2) 2* IPD /3 (x2)<br />
Ceja <strong>de</strong>recha IPD /2 (x2) IPD /3 (x2)<br />
Ceja izquierda IPD /2 (x2) IPD /3 (x2)<br />
Ojo <strong>de</strong>recho IPD /3 (x2) IPD /3 (x2)<br />
Ojo izquierdo IPD /3 (x2) IPD /3 (x2)<br />
Nariz 2* IPD /4 (x2) IPD + IPD /3<br />
Boca 2* IPD /3 (x2) IPD /3 (x2)<br />
Barbilla 1.2* IPD (x2) IPD /2 (x2)<br />
Tabla 10. Offsets para las imág<strong>en</strong>es normalizadas, <strong>en</strong> píxeles.<br />
En la Figura 48, se muestra el resultado <strong>de</strong>l extractor es el sigui<strong>en</strong>te para un usuario <strong>de</strong> la base<br />
<strong>de</strong> datos MORPH.<br />
LUIS BLÁZQUEZ PÉREZ 46
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
Fr<strong>en</strong>te<br />
Imag<strong>en</strong> original<br />
Oreja<br />
<strong>de</strong>recha<br />
Ceja <strong>de</strong>recha<br />
Ojo <strong>de</strong>recho<br />
Ceja<br />
izquierda<br />
Ojo izquierdo<br />
Oreja<br />
izquierda<br />
Nariz<br />
Boca<br />
Barbilla<br />
Figura 48. Resultado segm<strong>en</strong>tador por puntos (<strong>ATVS</strong>).<br />
La principal difer<strong>en</strong>cia <strong>en</strong>tre ambos extractores <strong>de</strong> rasgos, es que el extractor por proporciones<br />
se pue<strong>de</strong> utilizar <strong>en</strong> cualquier <strong>en</strong>torno, controlado o no controlado, a partir <strong>de</strong> las pupilas<br />
únicam<strong>en</strong>te, y el <strong>de</strong> por puntos solam<strong>en</strong>te sirve para <strong>en</strong>tornos controlados y necesita todos los<br />
puntos característicos marcados, t<strong>en</strong>i<strong>en</strong>do mayor carga computacional.<br />
A continuación, <strong>en</strong> la Figura 49, se realiza una comparación <strong>en</strong>tre los dos segm<strong>en</strong>tadores<br />
explicados <strong>en</strong> las dos secciones anteriores (el usuario utilizado para este ejemplo pert<strong>en</strong>ece a<br />
la base <strong>de</strong> datos <strong>de</strong> MORPH).<br />
Por puntos<br />
Por proporciones<br />
Figura 49. Comparación resultado <strong>de</strong> ambos segm<strong>en</strong>tadores.<br />
Se observa que el segm<strong>en</strong>tador <strong>de</strong> la izquierda (por puntos), ti<strong>en</strong>e una mayor precisión y las<br />
imág<strong>en</strong>es sal<strong>en</strong> c<strong>en</strong>tradas y alineadas, mi<strong>en</strong>tras que con el otro extractor no ocurre lo mismo.<br />
LUIS BLÁZQUEZ PÉREZ 47
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
4.6.3 Máscaras <strong>de</strong> ruido<br />
Para mejorar los resultados <strong>de</strong>l marcador/corrector <strong>de</strong>sarrollado <strong>en</strong> el proyecto, se aplican<br />
máscaras, <strong>de</strong>p<strong>en</strong>di<strong>en</strong>do <strong>de</strong>l rasgo a examinar, se utilizan una u otra máscaras, afinando <strong>de</strong> esta<br />
manera el marcado y eliminando el posible ruido. Estas máscaras tapan las regiones <strong>de</strong> las<br />
imág<strong>en</strong>es que no nos interesan, <strong>de</strong>jando solo el rasgo <strong>en</strong> sí; <strong>de</strong> esta manera, se disminuye el<br />
posible error <strong>en</strong> el marcado.<br />
La máscara elíptica (Figura 50) se ha utilizado para los ojos, las cejas, la boca y la cara (aunque<br />
<strong>de</strong> distinta forma). Se pued<strong>en</strong> modificar los valores <strong>de</strong> <strong>en</strong>trada <strong>de</strong> la función que realiza la<br />
máscara para hacer más o m<strong>en</strong>os ancha la elipse o c<strong>en</strong>trarla <strong>en</strong> un punto <strong>en</strong> concreto.<br />
Cara<br />
Cejas<br />
Ojos<br />
Boca<br />
Figura 50. Máscaras elípticas.<br />
La máscara triangular se aplica a la nariz, tapando las mejillas, parte <strong>de</strong> los ojos y parte <strong>de</strong> las<br />
cejas mostradas <strong>en</strong> el segm<strong>en</strong>to extraído. Se pue<strong>de</strong> modificar el valor <strong>de</strong> <strong>en</strong>trada <strong>de</strong> la función<br />
que realiza la máscara para hacer más o m<strong>en</strong>os ancha la parte superior <strong>de</strong> la máscara, para<br />
que se pueda aplicar a todo tipo <strong>de</strong> narices (<strong>de</strong>lgadas, anchas…)<br />
Nariz fina Nariz ancha Nariz media<br />
Figura 51. Máscaras triangulares.<br />
Como <strong>en</strong> la práctica es muy difícil difer<strong>en</strong>ciar el tipo <strong>de</strong> narices sin los puntos característicos, la<br />
máscara triangular utilizada es la repres<strong>en</strong>tada bajo el título <strong>de</strong> nariz media (Figura 51).<br />
La última máscara <strong>de</strong>sarrollada para el proyecto, es la máscara <strong>de</strong> dos p<strong>en</strong>di<strong>en</strong>tes (Figura 52).<br />
Ésta se aplica a las mita<strong>de</strong>s <strong>de</strong> la cara (parte izquierda y <strong>de</strong>recha <strong>de</strong> la cara), tapando el fondo<br />
<strong>de</strong> la imag<strong>en</strong> (que está <strong>de</strong>trás <strong>de</strong> la cabeza), parte <strong>de</strong>l pelo y el cuello, mostrados <strong>en</strong> el<br />
segm<strong>en</strong>to extraído. Esto se realiza mediante dos rectas superpuestas con distintas p<strong>en</strong>di<strong>en</strong>te<br />
(una vertical y otra horizontal).<br />
LUIS BLÁZQUEZ PÉREZ 48
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
Se pued<strong>en</strong> modificar los valores <strong>de</strong> <strong>en</strong>trada <strong>de</strong> la función que realiza la máscara para modificar<br />
la p<strong>en</strong>di<strong>en</strong>te y el ancho <strong>de</strong> la parte superior e inferior <strong>de</strong> la <strong>de</strong> la recta vertical y vertical.<br />
Parte izquierda <strong>de</strong> la cara<br />
Parte <strong>de</strong>recha <strong>de</strong> la cara<br />
Figura 52. Máscaras dos p<strong>en</strong>di<strong>en</strong>tes.<br />
4.6.4 Realce, ecualización y umbralización<br />
Una vez localizado el segm<strong>en</strong>to <strong>de</strong>l rasgo, se aplican distintas operaciones explicadas a<br />
continuación:<br />
Realce (Figura 53)<br />
La función <strong>de</strong> matlab utilizada para realizar un realce <strong>en</strong> la imag<strong>en</strong> es J =imadjust (I, [LOW_IN;<br />
HIGH_IN], LOW_OUT; HIGH_OUT]), que asigna los valores <strong>de</strong> la imag<strong>en</strong> <strong>de</strong> int<strong>en</strong>sidad I a<br />
nuevos valores <strong>en</strong> J <strong>de</strong> manera que los valores <strong>en</strong>tre LOW_IN y HIGH_IN correspond<strong>en</strong> a los<br />
valores <strong>en</strong>tre LOW_OUT y HIGH_OUT. Los valores por <strong>de</strong>bajo <strong>de</strong> LOW_IN y por <strong>en</strong>cima <strong>de</strong><br />
HIGH_IN se recortan, es <strong>de</strong>cir, los valores <strong>en</strong>tre LOW_IN y LOW_OUT, y los valores <strong>en</strong>tre<br />
HIGH_IN y HIGH_OUT. Se pue<strong>de</strong> utilizar una matriz vacía ([]) para [LOW_IN; HIGH_IN] o para<br />
[LOW_OUT; HIGH_OUT] con el fin <strong>de</strong> especificar el valor pre<strong>de</strong>terminado <strong>de</strong> [0 1]. Si se omite<br />
el argum<strong>en</strong>to, [LOW_OUT; HIGH_OUT] <strong>de</strong>fecto [0 1].<br />
Imag<strong>en</strong> original Imag<strong>en</strong> <strong>de</strong> int<strong>en</strong>sidad Imag<strong>en</strong> realzada<br />
En el ejemplo anterior:<br />
- LOW_IN=0.3, HIGH_IN=0.7<br />
- LOW_OUT=0, HIGH_OUT=1<br />
Figura 53. Realce.<br />
Con estos valores se consigu<strong>en</strong> resaltar los rasgos faciales con respecto a la cara.<br />
LUIS BLÁZQUEZ PÉREZ 49
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
Ecualización (Figura 54)<br />
La ecualización mejora el contraste <strong>de</strong> imág<strong>en</strong>es mediante la transformación <strong>de</strong> los valores <strong>de</strong><br />
una imag<strong>en</strong> <strong>de</strong> int<strong>en</strong>sidad (imag<strong>en</strong> cuyos valores <strong>de</strong> píxeles correspond<strong>en</strong> a una escala <strong>de</strong><br />
grises), o los valores <strong>en</strong> el mapa <strong>de</strong> colores <strong>de</strong> una imag<strong>en</strong> in<strong>de</strong>xada, <strong>de</strong> manera que el<br />
histograma <strong>de</strong> la imag<strong>en</strong> <strong>de</strong> salida coinci<strong>de</strong> aproximadam<strong>en</strong>te con un histograma especificado.<br />
La función utilizada <strong>en</strong> matlab para la ecualización es J = histeq(I). Esta función <strong>de</strong>vuelve la<br />
transformación <strong>de</strong> escala <strong>de</strong> grises que asigna niveles <strong>de</strong> gris <strong>de</strong> la imag<strong>en</strong> <strong>de</strong> int<strong>en</strong>sidad I a<br />
niveles <strong>de</strong> gris <strong>de</strong> J.<br />
Imag<strong>en</strong> original Imag<strong>en</strong> <strong>de</strong> int<strong>en</strong>sidad Imag<strong>en</strong> ecualizada<br />
Umbralización (Figura 55)<br />
Figura 54. Ecualización.<br />
La umbralización es un caso particular <strong>de</strong>l realce, con la difer<strong>en</strong>cia <strong>de</strong> que <strong>en</strong> este caso,<br />
LOW_IN y HIGH_IN toman el mismo valor; <strong>de</strong>jando la imag<strong>en</strong> bimodal (blanco y negro).<br />
Imag<strong>en</strong> original Imag<strong>en</strong> <strong>de</strong> int<strong>en</strong>sidad Imag<strong>en</strong> umbralizada<br />
Figura 55. Umbralización.<br />
Se consigue con esto, optimizar para la última etapa <strong>de</strong> localización.<br />
LUIS BLÁZQUEZ PÉREZ 50
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
4.6.5 Barrido, localización y marcado <strong>de</strong> puntos<br />
Una vez extraído los segm<strong>en</strong>tos <strong>de</strong> interés <strong>de</strong> la cara, mediante el segm<strong>en</strong>tador basado <strong>en</strong><br />
proporciones faciales (<strong>de</strong>bido a que se utiliza una base <strong>de</strong> datos no i<strong>de</strong>al), y haber aplicado la<br />
máscara correspondi<strong>en</strong>te sobre estos, se proce<strong>de</strong> a la búsqueda <strong>de</strong> los nuevos puntos<br />
característicos <strong>de</strong> dicho rasgo.<br />
Para la localización <strong>de</strong> los puntos, se utiliza, como base, el mismo algoritmo, pero <strong>de</strong>p<strong>en</strong>di<strong>en</strong>do<br />
<strong>de</strong>l rasgo a estudiar, se añad<strong>en</strong> operaciones aparte para optimizar el resultado.<br />
El método básico y principal utilizado para la localización <strong>de</strong> puntos característicos <strong>de</strong> la cara,<br />
consiste <strong>en</strong> realizar un barrido vertical por toda la imag<strong>en</strong> (tal y como se muestra <strong>en</strong> la Figura<br />
56) hasta <strong>en</strong>contrar el punto <strong>de</strong> interés, ya que, estos puntos son los extremos <strong>de</strong>l rasgo (si se<br />
buscase un punto más bajo y más alto, por ejemplo para ver la altura <strong>de</strong>l rasgo, el barrido a<br />
utilizar sería el horizontal).<br />
Figura 56. Barrido vertical<br />
Como punto <strong>de</strong> partida, este algoritmo utiliza una imag<strong>en</strong> que ha sido tratada anteriorm<strong>en</strong>te,<br />
es <strong>de</strong>cir, no se utiliza la foto original, sino que se ha extraído el rasgo a estudiar, se ha realizado<br />
un realce <strong>de</strong> contraste (opcional, ya que no siempre es necesario), se han <strong>de</strong>tectado los bor<strong>de</strong>s<br />
y, finalm<strong>en</strong>te, se le ha aplicado la máscara correspondi<strong>en</strong>te. Posteriorm<strong>en</strong>te, el barrido<br />
comi<strong>en</strong>za <strong>de</strong>s<strong>de</strong> el primer píxel <strong>de</strong> la imag<strong>en</strong> obt<strong>en</strong>ida, situado <strong>en</strong> la esquina superior izquierda<br />
<strong>de</strong> ésta, y se comprueba si hay píxeles blancos <strong>en</strong> todas las filas columna a columna. Después,<br />
se analiza si <strong>en</strong> la columna a estudiar, hay alguna fila con su píxel <strong>en</strong> blanco; <strong>en</strong> caso negativo,<br />
se continúa con el barrido hasta que se <strong>en</strong>cu<strong>en</strong>tre la primera columna con píxeles blancos, <strong>en</strong><br />
caso afirmativo, el algoritmo <strong>de</strong> barrido ya ha <strong>en</strong>contrado un extremo <strong>de</strong>l rasgo a estudiar.<br />
El primer extremo <strong>de</strong>l rasgo a estudiar es el punto medio <strong>en</strong>tre todos los píxeles blancos<br />
<strong>en</strong>contrados <strong>en</strong> la columna. Este es el procedimi<strong>en</strong>to a seguir, para evitar que una impureza<br />
(<strong>en</strong> este caso, barba, bigote, arrugas…), <strong>de</strong>splace <strong>en</strong> exceso el punto a obt<strong>en</strong>er. Para obt<strong>en</strong>er el<br />
otro extremo <strong>de</strong>l rasgo, se voltea la imag<strong>en</strong>, obt<strong>en</strong>ida al principio, <strong>de</strong> izquierda a <strong>de</strong>recha<br />
(función matlab fliplr), y se repit<strong>en</strong> los mismos pasos explicados. El resultado <strong>de</strong> aplicar el<br />
algoritmo explicado sobre el ojo <strong>de</strong>recho <strong>de</strong> un usuario <strong>de</strong> la base <strong>de</strong> datos BioID, se muestra<br />
<strong>en</strong> la Figura 57.<br />
Ojo <strong>de</strong>recho Binarización Contorno Máscara Resultado<br />
Figura 57. Resultado algoritmo barrido vertical sobre ojo.<br />
LUIS BLÁZQUEZ PÉREZ 51
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
Este barrido vertical, se pue<strong>de</strong> aplicar ya que, <strong>de</strong>bido a la segm<strong>en</strong>tación, mediante el extractor<br />
por proporciones faciales pues estamos <strong>en</strong> un <strong>en</strong>torno no controlado, y a las máscaras<br />
aplicadas a cada uno <strong>de</strong> los rasgos, la parte <strong>de</strong> la cara a estudiar está muy restringida y<br />
optimizada al rasgo, eliminando todo tipo <strong>de</strong> ruido.<br />
Para mejorar esta localización, a<strong>de</strong>más <strong>de</strong>l barrido vertical, se realizan diversas operaciones<br />
adicionales, como:<br />
<br />
<br />
<br />
Realzar el contraste: se aplica cuando la iluminación <strong>de</strong> la imag<strong>en</strong> no es la a<strong>de</strong>cuada,<br />
ya sea porque es excesiva o escasa; también se aplica <strong>en</strong> pieles oscuras, como por<br />
ejemplo, las personas africanas.<br />
Ecualización <strong>de</strong>l histograma <strong>de</strong> la imag<strong>en</strong>: consiste <strong>en</strong> realizar una transformación que<br />
pret<strong>en</strong><strong>de</strong> obt<strong>en</strong>er para una imag<strong>en</strong> un histograma con una distribución uniforme. Es<br />
<strong>de</strong>cir, que exista el mismo número <strong>de</strong> píxeles para cada nivel <strong>de</strong> gris <strong>de</strong>l histograma <strong>de</strong><br />
una imag<strong>en</strong> monocroma.<br />
Eliminar impurezas, es <strong>de</strong>cir, un conjuntos <strong>de</strong> píxeles blancos (<strong>en</strong> una imag<strong>en</strong><br />
binarizada) <strong>de</strong> tamaño 1 o 2.<br />
Un caso especial, es la boca, ya que la obt<strong>en</strong>ción <strong>de</strong> los puntos característicos <strong>de</strong> este rasgo se<br />
hace muy complicada, por ejemplo, <strong>en</strong> g<strong>en</strong>te con barba, bigote, obesa, con piel ajada, con el<br />
labio h<strong>en</strong>dido…<br />
Por ello, a<strong>de</strong>más <strong>de</strong>l barrido vertical, se aplica a este rasgo otro método, repres<strong>en</strong>tado el<br />
resultado <strong>en</strong> la Figura 58, que consiste <strong>en</strong>, una vez obt<strong>en</strong>ido el segm<strong>en</strong>to <strong>de</strong> la cara a estudiar,<br />
es <strong>de</strong>cir, la boca, ecualizar el histograma <strong>de</strong> dicha imag<strong>en</strong>, para, posteriorm<strong>en</strong>te, binarizarla<br />
con un umbral muy bajo (0.2). Después, se dilata la imag<strong>en</strong> resultado una sola vez,<br />
aum<strong>en</strong>tando la cantidad <strong>de</strong> píxeles <strong>en</strong> blanco (con valor 1) <strong>de</strong> dicha imag<strong>en</strong>, se eliminan los<br />
píxeles interiores, estableciéndose un píxel a 0 (negro) si la totalidad <strong>de</strong> sus cuatro píxeles<br />
vecinos están conectados a 1 (blanco), <strong>de</strong>jando sólo los píxeles <strong>de</strong>l contorno <strong>de</strong> la imag<strong>en</strong>. En<br />
este paso se pued<strong>en</strong> obt<strong>en</strong>er más <strong>de</strong> un contorno (o líneas contorno), pues si la imag<strong>en</strong> es muy<br />
ruidosa y está ll<strong>en</strong>a <strong>de</strong> impurezas, se hace impracticable la obt<strong>en</strong>ción <strong>de</strong>l contorno. Para<br />
solucionar el problema <strong>de</strong> varios contornos, se etiquetan las líneas contorno obt<strong>en</strong>idas, cada<br />
una con un número. Este etiquetado se realiza <strong>de</strong> la sigui<strong>en</strong>te forma:<br />
<br />
<br />
Se establece un píxel a 1 si la totalidad <strong>de</strong> sus ocho píxeles vecinos están conectados y<br />
son <strong>de</strong> color blanco.<br />
Si no hay más píxeles (a<strong>de</strong>más <strong>de</strong> los etiquetados a 1) <strong>en</strong> toda la imag<strong>en</strong>, es que solo<br />
hay un contorno. En caso contrario, el nuevo píxel se etiqueta como 2, repitiéndose el<br />
paso anterior hasta que no haya píxeles <strong>en</strong> la imag<strong>en</strong> sin etiquetar.<br />
Los píxeles <strong>de</strong> color negro son etiquetados con el número 0.<br />
Como el vecindario es muy gran<strong>de</strong> (ocho píxeles), normalm<strong>en</strong>te va a haber un contorno<br />
gran<strong>de</strong>, y tal vez, varios <strong>de</strong> m<strong>en</strong>or tamaño. Este contorno único, o <strong>en</strong> su <strong>de</strong>fecto, el mayor, es<br />
eliminado <strong>de</strong> la imag<strong>en</strong> (poni<strong>en</strong>do sus píxeles a 0). Finalm<strong>en</strong>te, se le aplica una máscara<br />
elíptica. A esta imag<strong>en</strong> resultado, es a la que se le aplica el barrido vertical.<br />
LUIS BLÁZQUEZ PÉREZ 52
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
Boca Escala <strong>de</strong> grises Ecualización Binarización<br />
Dilatación Contorno <strong>Puntos</strong> interiores Resultado<br />
Figura 58. Resultado algoritmo barrido vertical + método especial para la boca.<br />
La imag<strong>en</strong> d<strong>en</strong>ominada “<strong>Puntos</strong> interiores”, <strong>en</strong> la Figura 58, es la que utiliza el algoritmo<br />
barrido vertical.<br />
Si no se combinas<strong>en</strong> ambos métodos, el resultado sería bastante peor, como se pue<strong>de</strong> ver <strong>en</strong><br />
la Figura 59.<br />
Método barrido vertical<br />
Combinación ambos métodos<br />
Figura 59. Comparativa puntos característicos <strong>de</strong> la boca<br />
Otro rasgo facial que pres<strong>en</strong>ta bastantes complicaciones es la barbilla (o m<strong>en</strong>tón), por lo que<br />
también se ha optado por combinar varios métodos para la obt<strong>en</strong>ción <strong>de</strong> su punto<br />
característico. El punto <strong>de</strong> la barbilla, a priori, es algo más complicado que el resto <strong>de</strong> puntos<br />
<strong>de</strong>bido a que no se aprecia un cambio brusco <strong>de</strong> luminancia y crominancia (<strong>de</strong>bajo <strong>de</strong> la<br />
barbilla está el cuello, que suele ser <strong>de</strong>l mismo color que la barbilla), <strong>en</strong> el caso <strong>de</strong> que se<br />
int<strong>en</strong>te localizar dicho punto mediante el color; y pue<strong>de</strong> <strong>en</strong>contrarse ocluida por la barba.<br />
El método utilizado para la obt<strong>en</strong>ción <strong>de</strong>l punto característico <strong>de</strong> la barbilla (explicado a<br />
continuación), es tolerante a las posibles oclusiones <strong>de</strong> la barba.<br />
Por ello, a<strong>de</strong>más <strong>de</strong>l método que consiste <strong>en</strong> realizar un barrido vertical, se aplica a este rasgo<br />
el sigui<strong>en</strong>te método matemático, el cual parte <strong>de</strong> la imag<strong>en</strong> normalizada y rotada. Al principio,<br />
se predice que el punto <strong>de</strong> la barbilla se va a <strong>en</strong>contrar a 1.69*distancia_<strong>en</strong>tre_ojos píxeles<br />
hacia abajo <strong>de</strong>s<strong>de</strong> las coord<strong>en</strong>adas “y” <strong>de</strong> las pupilas (son iguales la <strong>de</strong> ambas pupilas <strong>de</strong>bido a<br />
la rotación). Posteriorm<strong>en</strong>te, se realiza un tratami<strong>en</strong>to <strong>de</strong> la imag<strong>en</strong>; es <strong>de</strong>cir, se binariza y se<br />
le aplica una máscara elíptica. En la imag<strong>en</strong> obt<strong>en</strong>ida, se busca, <strong>en</strong> un vecindario <strong>de</strong> 17 x 9<br />
píxeles (alto y ancho respectivam<strong>en</strong>te) y c<strong>en</strong>trado <strong>en</strong> el punto predicho, los píxeles <strong>de</strong> color<br />
blanco, <strong>de</strong> la sigui<strong>en</strong>te manera:<br />
<br />
<br />
Se guardan los valores <strong>de</strong> todos los píxeles, que se <strong>en</strong>cu<strong>en</strong>tran d<strong>en</strong>tro <strong>de</strong>l vecindario,<br />
<strong>en</strong> una matriz.<br />
Para localizar exactam<strong>en</strong>te el punto buscado, se distingu<strong>en</strong> tres casos:<br />
o Si la matriz no conti<strong>en</strong>e ningún píxel cuyo valor es 1 (blanco), el punto buscado<br />
se manti<strong>en</strong>e <strong>en</strong> el punto predicho anteriorm<strong>en</strong>te.<br />
o Si la matriz solo conti<strong>en</strong>e píxeles con valor 1, es <strong>de</strong>cir, blancos, el punto final se<br />
convierte <strong>en</strong> el punto predicho más 8 píxeles.<br />
o Si la matriz ti<strong>en</strong>e píxeles <strong>de</strong> ambos valores, 0 y 1, la coord<strong>en</strong>ada y <strong>de</strong>seada es<br />
la media <strong>en</strong>tre todas las coord<strong>en</strong>adas “y” finales <strong>de</strong> cada columna. Estos<br />
puntos finales <strong>de</strong> cada columna, se <strong>en</strong>cu<strong>en</strong>tran mediante el barrido vertical.<br />
LUIS BLÁZQUEZ PÉREZ 53
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
La coord<strong>en</strong>ada “x” <strong>de</strong>l punto característico <strong>de</strong> la barbilla, se consi<strong>de</strong>ra que siempre está<br />
colocado <strong>en</strong> el punto medio que forman las pupilas <strong>de</strong> los ojos. A modo comparativo, <strong>en</strong> la<br />
Figura 60 se observa que el punto obt<strong>en</strong>ido final (color amarillo) está mejor localizado que el<br />
obt<strong>en</strong>ido <strong>de</strong> forma matemática (color rojo).<br />
Figura 60. Comparación punto característico <strong>de</strong> la barbilla.<br />
Finalm<strong>en</strong>te se aplica una <strong>de</strong>snormalización para que los puntos vuelvan a correspon<strong>de</strong>rse con<br />
la imag<strong>en</strong> original.<br />
Este paso consiste <strong>en</strong> hacer la rotación inversa realizada y escalar tanto las imág<strong>en</strong>es como los<br />
puntos, para obt<strong>en</strong>er una base <strong>de</strong> datos final idéntica a la original, salvo los puntos corregidos<br />
o los nuevos puntos obt<strong>en</strong>idos, como el punto que marca el final <strong>de</strong> la cabeza. La Figura 61<br />
muestra un ejemplo <strong>de</strong> imag<strong>en</strong> final pert<strong>en</strong>eci<strong>en</strong>te a un usuario africano <strong>de</strong> la base <strong>de</strong> datos<br />
MORPH con todos los puntos característicos, <strong>de</strong> interés, <strong>de</strong> la cara.<br />
Figura 61. <strong>Puntos</strong> característicos sobre un usuario <strong>de</strong> la base <strong>de</strong> datos MORPH.<br />
Finalm<strong>en</strong>te, <strong>de</strong>spués <strong>de</strong> aplicar el algoritmo completo, y la <strong>de</strong>snormalización, se obti<strong>en</strong>e la<br />
base <strong>de</strong> datos final (MORPH), mostrada a continuación <strong>en</strong> la Figura 62, don<strong>de</strong> hay una mejoría<br />
notable.<br />
Los puntos <strong>de</strong> color rojo, son las coord<strong>en</strong>adas <strong>de</strong> los puntos característicos <strong>de</strong> la cara dados<br />
por el programa comercial Luxand, mi<strong>en</strong>tras que los marcados <strong>en</strong> color azul, son los corregidos<br />
finales.<br />
LUIS BLÁZQUEZ PÉREZ 54
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
Cejas mal marcadas Barbilla mal marcada Nariz mal marcada<br />
Cejas mal marcadas Boca mal marcada Ojos y boca mal marcados<br />
Barbilla mal marcada Ojos y boca mal marcados Ojos mal marcados<br />
Barbilla mal marcada Nariz mal marcada Ojos mal marcados<br />
Figura 62. Base <strong>de</strong> datos MORPH corregida.<br />
LUIS BLÁZQUEZ PÉREZ 55
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
5. Experim<strong>en</strong>tos y resultados<br />
5.1 Evaluación <strong>de</strong>l r<strong>en</strong>dimi<strong>en</strong>to <strong>de</strong> sistemas biométricos<br />
Para evaluar las prestaciones o r<strong>en</strong>dimi<strong>en</strong>to <strong>de</strong> un sistema biométrico, se <strong>de</strong>b<strong>en</strong> analizar y<br />
valorar los sigui<strong>en</strong>tes parámetros estándares:<br />
<br />
<br />
<br />
FAR (False Reject Rate o falsos positivos): porc<strong>en</strong>taje <strong>de</strong> personas no autorizadas<br />
aceptadas por el sistema.<br />
FRR (False Reject Rate o falsos negativos): porc<strong>en</strong>taje <strong>de</strong> personas autorizadas no<br />
aceptadas por el sistema.<br />
EER (Equal Error Rate): los indicadores FAR y FRR son parámetros inversam<strong>en</strong>te<br />
proporcionales, y variarán <strong>en</strong> función <strong>de</strong> las condiciones prefijadas por el programa <strong>de</strong><br />
id<strong>en</strong>tificación biométrica. Si el algoritmo se va a utilizar <strong>en</strong> un sistema <strong>de</strong> seguridad, se<br />
ha <strong>de</strong> int<strong>en</strong>tar que el FAR sea lo más pequeño posible, aunque esto signifique el<br />
increm<strong>en</strong>to <strong>de</strong>l FRR. Se <strong>de</strong>be fijar un umbral que permita igualar estos dos factores,<br />
mom<strong>en</strong>to <strong>en</strong> el que se consi<strong>de</strong>ra óptimo el funcionami<strong>en</strong>to <strong>de</strong>l sistema. Este umbral se<br />
d<strong>en</strong>omina Equal Error Rate (Figura 63) y es el que <strong>de</strong>termina el po<strong>de</strong>r <strong>de</strong> id<strong>en</strong>tificación<br />
<strong>de</strong>l sistema.<br />
Figura 63. Equal Error Rate.<br />
Cuanto más bajo es el EER, se consi<strong>de</strong>ra más exacto el sistema.<br />
En el ámbito for<strong>en</strong>se, se realizan dos tipos <strong>de</strong> cotejos para comparar imág<strong>en</strong>es:<br />
o<br />
Morfológico: se realiza con el fin <strong>de</strong> efectuar la comparación <strong>de</strong> los rasgos faciales y<br />
corporales <strong>de</strong> una persona con respecto a otra que aparece <strong>en</strong> imág<strong>en</strong>es <strong>de</strong> ví<strong>de</strong>o,<br />
fotografías o imág<strong>en</strong>es digitalizadas. Igualm<strong>en</strong>te, señales particulares, pr<strong>en</strong>das <strong>de</strong><br />
vestir y accesorios que porte la persona <strong>en</strong> las imág<strong>en</strong>es suministradas. Una vez<br />
comparado cada uno <strong>de</strong> los rasgos morfológicos faciales, se establece el grado <strong>de</strong><br />
semejanza <strong>de</strong> acuerdo al porc<strong>en</strong>taje resultado (Tabla 11).<br />
LUIS BLÁZQUEZ PÉREZ 56
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
Porc<strong>en</strong>taje<br />
Grado <strong>de</strong> semejanza<br />
1% – 19% No hay semejanza<br />
20% - 39% Semejanza ligera<br />
40% - 59% Semejanza aproximada o aceptable<br />
60% - 79% Semejanza cercana<br />
80% - 100% Gran semejanza<br />
Tabla 11. Grado <strong>de</strong> semejanza.<br />
o<br />
Antropométrico: sirve para id<strong>en</strong>tificar a las personas mediante la obt<strong>en</strong>ción y<br />
clasificación <strong>de</strong> ciertas medias <strong>de</strong>l cuerpo humano. En España se efectuó por primera<br />
vez <strong>en</strong> el gobierno civil <strong>de</strong> Barcelona el 1 <strong>de</strong> agosto <strong>de</strong> 1895.<br />
Este último, es el utilizado por la Dirección G<strong>en</strong>eral <strong>de</strong> la Guardia Civil (DGGC) para la<br />
comparación <strong>de</strong> imág<strong>en</strong>es <strong>de</strong> bu<strong>en</strong>a calidad <strong>en</strong> la reseña fotográfica y <strong>en</strong> la id<strong>en</strong>tificación <strong>de</strong><br />
DNI.<br />
5.2 Análisis <strong>de</strong> características / puntos característicos<br />
Para la comparación <strong>de</strong> imág<strong>en</strong>es, se han utilizado distintos vectores <strong>de</strong> características, tanto<br />
con el uso <strong>de</strong> las SVMs como <strong>de</strong> las distancias euclí<strong>de</strong>as:<br />
<br />
DGGC<br />
Uno <strong>de</strong> los vectores <strong>de</strong> características utilizado <strong>en</strong> el proyecto, es el que emplea la DGGC para<br />
el cotejo antropométrico, <strong>en</strong> el ámbito for<strong>en</strong>se; explicado a continuación.<br />
<strong>Puntos</strong> a t<strong>en</strong>er <strong>en</strong> cu<strong>en</strong>ta:<br />
o<br />
o<br />
o<br />
o<br />
o<br />
o<br />
o<br />
Exocantio: punto más externo <strong>de</strong> la comisura externa <strong>de</strong> la h<strong>en</strong>didura parpebral<br />
(sinónimo: ectocantio).<br />
Endocantio: punto más externo <strong>de</strong>l canto interno <strong>de</strong> la h<strong>en</strong>didura parpebral<br />
(sinónimo: <strong>en</strong>tocantio).<br />
Alar: punto más alejado <strong>de</strong>l plano medio sagital situado sobre la aleta nasal.<br />
Subnasal: punto medio <strong>de</strong> la unión <strong>de</strong>l tabique nasal.<br />
Chelio: punto más lateral <strong>de</strong> la comisura labial.<br />
Estomio: punto <strong>de</strong> <strong>en</strong>cu<strong>en</strong>tro <strong>de</strong> la h<strong>en</strong>didura bucal con el plano medio-sagital.<br />
Gnatio: punto más bajo <strong>de</strong>l m<strong>en</strong>tón <strong>en</strong> la línea sagital.<br />
Otros puntos <strong>de</strong> interés:<br />
o<br />
C<strong>en</strong>tros pupilares, <strong>de</strong>recho e izquierdo.<br />
La elección <strong>de</strong> los puntos más idóneos se basa fundam<strong>en</strong>talm<strong>en</strong>te <strong>en</strong> la evitación <strong>de</strong><br />
subjetivida<strong>de</strong>s <strong>de</strong>rivadas <strong>de</strong> su variable colocación, los m<strong>en</strong>cionados son fácilm<strong>en</strong>te<br />
id<strong>en</strong>tificables para cualquier observador aún sin contar con formación <strong>en</strong> morfología facial.<br />
LUIS BLÁZQUEZ PÉREZ 57
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
Abreviaturas (Tabla 12):<br />
<strong>Puntos</strong><br />
Abreviaturas<br />
Exocantio ojo <strong>de</strong>recho<br />
EXD<br />
C<strong>en</strong>tro pupilar <strong>de</strong>recho<br />
CPD<br />
Endocantio ojo <strong>de</strong>recho<br />
END<br />
Endocantio ojo izquierdo<br />
ENI<br />
C<strong>en</strong>tro pupilar izquierdo<br />
CPI<br />
Exocantio ojo izquierdo<br />
EXI<br />
Alar <strong>de</strong>recho<br />
AD<br />
Alar izquierdo<br />
AI<br />
Subnasal<br />
SN<br />
Chelio <strong>de</strong>recho<br />
CHD<br />
Estomio<br />
ES<br />
Chelio izquierdo<br />
CHI<br />
Gnatio<br />
GN<br />
Tabla 12. <strong>Puntos</strong> característicos utilizados por la DGGC.<br />
En la Figura 64, se muestran los puntos (<strong>de</strong> color azul), las líneas verticales y horizontales<br />
pasantes por los planos imaginarios citados anteriorm<strong>en</strong>te:<br />
Figura 64. <strong>Puntos</strong> característicos utilizados por la DGGC.<br />
Una vez <strong>de</strong>limitados los puntos <strong>de</strong> interés, se calculan las medidas que se van a realizar y que<br />
se v<strong>en</strong> reflejadas <strong>en</strong> la fotografía inferior (Figura 65).<br />
LUIS BLÁZQUEZ PÉREZ 58
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
Figura 65. Mediciones a tomar.<br />
Las medidas a tomar <strong>en</strong> s<strong>en</strong>tido horizontal (amarillo) correspond<strong>en</strong> a:<br />
o<br />
o<br />
o<br />
CPD-CPI<br />
AD-AI<br />
CHD-CHI<br />
En s<strong>en</strong>tido vertical (azul) correspond<strong>en</strong> a:<br />
o<br />
o<br />
SN-ES<br />
ES-GN<br />
En diagonal (ver<strong>de</strong>) correspond<strong>en</strong> a:<br />
o<br />
o<br />
o<br />
o<br />
o<br />
o<br />
CPD-SN<br />
EXD-CHD<br />
EXI-CHI<br />
CPI-SN<br />
END-GN<br />
ENI-GN<br />
Con las distancias citadas anteriorm<strong>en</strong>te (11), se crea el vector <strong>de</strong> características.<br />
<br />
<strong>Puntos</strong> utilizados <strong>en</strong> el proyecto.<br />
Otro <strong>de</strong> los vectores <strong>de</strong> características utilizado <strong>en</strong> el proyecto, es el que se crea con las<br />
distancias <strong>en</strong>tre los puntos base y los <strong>de</strong>l proyecto.<br />
<strong>Puntos</strong> característicos faciales <strong>de</strong> interés:<br />
o<br />
o<br />
o<br />
o<br />
o<br />
o<br />
o<br />
CDE: Punto más externo <strong>de</strong> la ceja <strong>de</strong>recha<br />
CDI: Punto más interno <strong>de</strong> la ceja <strong>de</strong>recha<br />
CIE: Punto más externo <strong>de</strong> la ceja izquierda<br />
CII: Punto más interno <strong>de</strong> la ceja izquierda<br />
ODE: Punto más externo <strong>de</strong>l ojo <strong>de</strong>recho<br />
ODI: Punto más interno <strong>de</strong>l ojo <strong>de</strong>recho<br />
OIE: Punto más externo <strong>de</strong>l ojo izquierdo<br />
LUIS BLÁZQUEZ PÉREZ 59
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
o<br />
o<br />
o<br />
o<br />
o<br />
o<br />
OII: Punto más interno <strong>de</strong>l ojo izquierdo<br />
NOD: Punto más externo <strong>de</strong>l orificio nasal <strong>de</strong>recho<br />
NOI: Punto más interno <strong>de</strong>l orificio nasal izquierdo<br />
BLD: Punto más a la <strong>de</strong>recha <strong>de</strong> la boca<br />
BLI: Punto más a la izquierda <strong>de</strong> la boca<br />
M: Punto más bajo <strong>de</strong> la cara (barbilla)<br />
Los c<strong>en</strong>tros pupilares son puntos <strong>de</strong>p<strong>en</strong>di<strong>en</strong>tes:<br />
o<br />
o<br />
( )<br />
( )<br />
Abreviaturas (Tabla 13):<br />
<strong>Puntos</strong><br />
Ceja <strong>de</strong>recha exterior<br />
Ceja <strong>de</strong>recha interior<br />
Ceja izquierda exterior<br />
Ceja izquierda interior<br />
Ojo <strong>de</strong>recho exterior<br />
Ojo <strong>de</strong>recho interior<br />
Ojo izquierdo exterior<br />
Ojo izquierdo interior<br />
Nariz orificio <strong>de</strong>recho<br />
Nariz orificio izquierdo<br />
Boca lado <strong>de</strong>recho<br />
Boca lado izquierdo<br />
M<strong>en</strong>tón<br />
Tabla 13. <strong>Puntos</strong> <strong>de</strong> interés faciales.<br />
Abreviaturas<br />
CDE<br />
CDI<br />
CIE<br />
CII<br />
ODE<br />
ODI<br />
OIE<br />
OII<br />
NOD<br />
NOI<br />
BLD<br />
BLI<br />
M<br />
En la Figura 66, se muestran los puntos (<strong>de</strong> color amarillo) citados anteriorm<strong>en</strong>te (izquierda) y<br />
las distancias que compon<strong>en</strong> el vector <strong>de</strong> características (<strong>de</strong>recha).<br />
Figura 66. <strong>Puntos</strong> característicos <strong>de</strong> la cara <strong>de</strong> interés <strong>en</strong> el proyecto.<br />
LUIS BLÁZQUEZ PÉREZ 60
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
Las distancias (78) con las que se crea el vector <strong>de</strong> características, son las que hay <strong>de</strong>s<strong>de</strong> cada<br />
uno <strong>de</strong> los puntos, a los puntos restantes.<br />
<br />
Comparación<br />
En la Tabla 14, se muestran las longitu<strong>de</strong>s <strong>de</strong> los distintos vectores <strong>de</strong> características.<br />
Vectores<br />
Longitud/usuario<br />
DGGC 11<br />
<strong>Puntos</strong> proyecto 78<br />
FaceSDK 2 2145<br />
Tabla 14. Longitud vectores <strong>de</strong> características.<br />
Una vez obt<strong>en</strong>idos los vectores <strong>de</strong> características, se proce<strong>de</strong> a realizar una comparación <strong>de</strong><br />
dichos vectores que nos permite saber la probabilidad <strong>de</strong> coincid<strong>en</strong>cia <strong>en</strong>tre imág<strong>en</strong>es.<br />
Se han utilizado tres comparadores:<br />
Comparador <strong>de</strong>l sistema comercial FaceSDK<br />
El comparador <strong>de</strong>l sistema comercial FaceSDK se basa <strong>en</strong> la realización <strong>de</strong> un reconocimi<strong>en</strong>to<br />
antropométrico (por distancias) más un análisis <strong>de</strong> textura. El sistema cu<strong>en</strong>ta con el marcado<br />
<strong>de</strong> 66 puntos faciales.<br />
Distancias euclí<strong>de</strong>as<br />
Debido a la colaboración realizada, durante el <strong>de</strong>sarrollo <strong>de</strong>l proyecto fin <strong>de</strong> carrera, con la<br />
Dirección G<strong>en</strong>eral <strong>de</strong> la Guardia Civil (DGGC), se ha utilizado la distancia euclí<strong>de</strong>a <strong>en</strong>tre puntos<br />
característicos faciales como clasificador por semejanza con sus protocolos.<br />
La distancia euclí<strong>de</strong>a o euclidiana es la distancia “ordinaria” <strong>en</strong>tre dos puntos <strong>de</strong> un espacio<br />
euclí<strong>de</strong>o, la cual se <strong>de</strong>duce a partir <strong>de</strong>l Teorema <strong>de</strong> Pitágoras.<br />
En g<strong>en</strong>eral, la distancia euclidiana <strong>en</strong>tre los puntos ( ) y ( ),<br />
<strong>de</strong>l espacio euclí<strong>de</strong>o n-dim<strong>en</strong>sional, se <strong>de</strong>fine como:<br />
( ) √( ) ( ) ( ) √∑( )<br />
Clasificador SVM<br />
Se realizaron experim<strong>en</strong>tos utilizando las SVMs, pero se <strong>de</strong>scartaron al ver que los resultados<br />
g<strong>en</strong>erados no eran aceptables. Esto fue <strong>de</strong>bido a que las clases estaban <strong>de</strong>sbalanceadas y a la<br />
falta <strong>de</strong> datos.<br />
2 Se han realizado pruebas con este vector <strong>de</strong> características, formado por las distancias <strong>en</strong>tre los 66<br />
puntos característicos faciales marcados por el sistema comercial FaceSDK, pero se han <strong>de</strong>sechado<br />
<strong>de</strong>bido a los malos resultados obt<strong>en</strong>idos.<br />
LUIS BLÁZQUEZ PÉREZ 61
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
Se int<strong>en</strong>tó la utilización <strong>en</strong> los experim<strong>en</strong>tos <strong>de</strong> este clasificador, <strong>de</strong>bido a las múltiples<br />
v<strong>en</strong>tajas que pres<strong>en</strong>ta:<br />
o<br />
o<br />
o<br />
o<br />
o<br />
o<br />
o<br />
No hay problemas con mínimos locales (problema cuadrático).<br />
La solución óptima se pue<strong>de</strong> <strong>en</strong>contrar <strong>en</strong> tiempo polinómico.<br />
Pocos parámetros libres: C, el tipo <strong>de</strong> kernel y los parámetros <strong>de</strong>l kernel.<br />
Resultado estable (no <strong>de</strong>p<strong>en</strong><strong>de</strong> <strong>de</strong> valores iniciales aleatorios).<br />
Solución dispersa, sólo se ti<strong>en</strong><strong>en</strong> <strong>en</strong> cu<strong>en</strong>ta los vectores <strong>de</strong> soporte.<br />
Maximizar el marg<strong>en</strong> permite controlar la complejidad con in<strong>de</strong>p<strong>en</strong>d<strong>en</strong>cia <strong>de</strong>l número<br />
<strong>de</strong> dim<strong>en</strong>siones.<br />
Bu<strong>en</strong>as capacida<strong>de</strong>s <strong>de</strong> g<strong>en</strong>eralización.<br />
Con los experim<strong>en</strong>tos explicados a continuación, se muestra el alcance o pot<strong>en</strong>cial <strong>de</strong> cada uno<br />
<strong>de</strong> los bloques <strong>de</strong>sarrollados <strong>en</strong> el proyecto.<br />
El bloque corrector <strong>de</strong> puntos característicos <strong>de</strong> la cara, es utilizado <strong>en</strong> el experim<strong>en</strong>to<br />
0 como localizador <strong>de</strong> dichos puntos, con bastante bu<strong>en</strong> resultado.<br />
El bloque <strong>de</strong>tector es utilizado <strong>en</strong> la primera parte <strong>de</strong> los experim<strong>en</strong>tos 2 y 3.<br />
La combinación <strong>de</strong> los dos bloques anteriores, se utiliza <strong>en</strong> la segunda parte <strong>de</strong> los<br />
experim<strong>en</strong>tos 2 y 3, viéndose, como los resultados mejoran con su aplicación.<br />
El alcance <strong>de</strong> los comparadores se comprueba <strong>en</strong> el experim<strong>en</strong>to 1, ya que se<br />
comparan imág<strong>en</strong>es marcadas <strong>de</strong> forma manual, quitando los posibles fallos <strong>de</strong><br />
segm<strong>en</strong>tación.<br />
5.3 Experim<strong>en</strong>to 0: Marcado automático <strong>de</strong> puntos característicos <strong>en</strong><br />
<strong>en</strong>tornos controlados<br />
Este experim<strong>en</strong>to se realiza con la base <strong>de</strong> datos BioID, imág<strong>en</strong>es <strong>en</strong> escala <strong>de</strong> grises, <strong>en</strong><br />
<strong>en</strong>tornos <strong>de</strong>l mundo real con variaciones <strong>de</strong> iluminación, tamaños <strong>de</strong> cara y distintos fondos.<br />
Se va a realizar una comparación <strong>en</strong>tre los 13 puntos característicos marcados por David<br />
Cristinacce y Kola Babalola (estudiantes <strong>de</strong> doctorado <strong>en</strong> el <strong>de</strong>partam<strong>en</strong>to <strong>de</strong> Imaging Sci<strong>en</strong>ce<br />
and Biomedical Engineering at the University of Manchester – ISBE) <strong>de</strong> forma manual, y los<br />
puntos obt<strong>en</strong>idos <strong>de</strong>spués <strong>de</strong> aplicar el corrector explicado <strong>en</strong> la sección 4.6 Corrector <strong>de</strong><br />
puntos característicos (ya que se pue<strong>de</strong> aplicar como localizador <strong>de</strong> landmarks), que es <strong>de</strong><br />
forma automática, ahorrando, <strong>de</strong> esta forma, tiempo y recursos a la hora <strong>de</strong> realizar un<br />
marcado <strong>de</strong> puntos faciales.<br />
Con esta comparación (Figura 67), se quiere observar la calidad <strong>de</strong>l localizador <strong>de</strong> puntos<br />
característicos <strong>de</strong> la cara expuesto <strong>en</strong> este proyecto, justificando su utilización <strong>en</strong> el marcado<br />
<strong>de</strong> puntos <strong>en</strong> caso <strong>de</strong> error. El marcado se realiza a partir <strong>de</strong> los c<strong>en</strong>tros <strong>de</strong> los ojos, obt<strong>en</strong>idos<br />
<strong>de</strong>spués <strong>de</strong> realizar el pre-procesado <strong>de</strong> las pupilas, proporcionadas por un sistema comercial<br />
<strong>de</strong> marcado automático.<br />
LUIS BLÁZQUEZ PÉREZ 62
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
Marcado manual Marcado automático Comparación<br />
Figura 67. Resultados <strong>de</strong> marcado <strong>en</strong>tre los puntos proporcionados y el sistema <strong>de</strong>sarrollado<br />
<strong>en</strong> la base <strong>de</strong> datos BioID.<br />
Visualm<strong>en</strong>te, se observa que el localizador <strong>de</strong> puntos característicos ti<strong>en</strong>e un marg<strong>en</strong> <strong>de</strong> error<br />
pequeño; la tabla sigui<strong>en</strong>te (Tabla 15), muestra con exactitud el error, <strong>en</strong> píxeles, que hay<br />
<strong>en</strong>tre los puntos <strong>de</strong>l sistema propio y los <strong>de</strong>l sistema automático. Este error ha sido calculado<br />
como la distancia que hay <strong>en</strong>tre los puntos.<br />
LUIS BLÁZQUEZ PÉREZ 63
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
Rasgo facial Usuario 4 Usuario 1482 Usuario 1055<br />
Ceja <strong>de</strong>recha 2.38 píxeles 4.56 píxeles 5.25 píxeles<br />
Ceja izquierda 1.62 píxeles 2.74 píxeles 2.75 píxeles<br />
Ojo <strong>de</strong>recho 0.69 píxeles 2.94 píxeles 1.92 píxeles<br />
Ojo izquierdo 4.41 píxeles 2.95 píxeles 2.42 píxeles<br />
Nariz 2.19 píxeles 2.06 píxeles 2.59 píxeles<br />
Boca 3.69 píxeles 2.31 píxeles 4.29 píxeles<br />
Barbilla 0.73 píxeles 0.46 píxeles 0.22 píxeles<br />
Tabla 15. Error sistema manual vs sistema automático.<br />
En la Figura 68, se repres<strong>en</strong>ta el error medio <strong>de</strong> cada rasgo, para cada uno <strong>de</strong> los usuarios <strong>de</strong> la<br />
base <strong>de</strong> datos (hay que t<strong>en</strong>er <strong>en</strong> cu<strong>en</strong>ta, que aunque hay 1521 imág<strong>en</strong>es, realm<strong>en</strong>te solo<br />
exist<strong>en</strong> 23 usuarios, los cuales, ti<strong>en</strong><strong>en</strong> varias imág<strong>en</strong>es <strong>en</strong> la base <strong>de</strong> datos).<br />
Para los rasgos faciales con dos puntos característicos (cejas, ojos, nariz y boca), el error medio<br />
se ha calculado como la media <strong>de</strong> los errores <strong>de</strong> cada uno <strong>de</strong> los puntos obt<strong>en</strong>idos, ya que sí<br />
no, se da el caso <strong>de</strong> que una boca bi<strong>en</strong> marcada fr<strong>en</strong>te a una barbilla mal marcada, ti<strong>en</strong>e más<br />
error la boca, ya que se suman dos errores (uno por cada punto) mi<strong>en</strong>tras que la barbilla solo<br />
ti<strong>en</strong>e un error.<br />
Figura 68. Error medio, <strong>de</strong> cada rasgo facial, por usuario.<br />
Con la gráfica anterior, se pued<strong>en</strong> obt<strong>en</strong>er varias conclusiones:<br />
<br />
El rasgo facial <strong>en</strong> el cual ha sido más complicado la localización <strong>de</strong> sus puntos<br />
característicos, es la nariz. Esto es <strong>de</strong>bido a que, aunque es fácil <strong>en</strong>contrar los orificios<br />
nasales, <strong>en</strong> caras que están mirando hacia abajo, se hace imposible. En estos casos, se<br />
int<strong>en</strong>ta localizar el ancho <strong>de</strong> la nariz, pero al no t<strong>en</strong>er la nariz características estáticas,<br />
es <strong>de</strong>cir, misma forma, misma altura, mismo ancho…se produce un error mayor.<br />
LUIS BLÁZQUEZ PÉREZ 64
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
<br />
A<strong>de</strong>más, la comparación <strong>de</strong> los puntos obt<strong>en</strong>idos <strong>de</strong> la nariz se realiza con los <strong>de</strong> BioID,<br />
los cuales siempre se <strong>en</strong>cu<strong>en</strong>tran <strong>en</strong> los orificios nasales, por lo que el error, <strong>en</strong> los<br />
puntos localizados <strong>en</strong> el ancho <strong>de</strong> la nariz, no es exacto.<br />
La variabilidad <strong>de</strong>l ojo <strong>de</strong>recho es m<strong>en</strong>or que la <strong>de</strong>l ojo izquierdo, por lo tanto, el<br />
marcado produce m<strong>en</strong>or error <strong>en</strong> el primer caso.<br />
Si se examina a cada uno <strong>de</strong> los miembros <strong>de</strong> la base <strong>de</strong> datos, se pue<strong>de</strong> ver cuál es el usuario<br />
con mayor error medio. Esto se realiza <strong>en</strong> la sigui<strong>en</strong>te gráfica (Figura 69):<br />
Figura 69. Error medio <strong>de</strong> cada usuario.<br />
El usuario número tres, ti<strong>en</strong>e un error medio tan pequeño <strong>de</strong>bido a que solo ti<strong>en</strong>e dos<br />
fotografías <strong>en</strong> la base <strong>de</strong> datos. Los usuarios con mayor error, son personas con gafas, barba,<br />
pañuelos, es <strong>de</strong>cir, aquellas que pres<strong>en</strong>tan oclusiones o difer<strong>en</strong>tes poses faciales<br />
(expresiones).<br />
A parte <strong>de</strong> esto, algunos errores vi<strong>en</strong><strong>en</strong> dados porque los usuarios sal<strong>en</strong> tapándose algún rasgo<br />
facial a examinar, lo que hace imposible la correcta localización <strong>de</strong> puntos. En la Figura 70 se<br />
observan algunos ejemplos.<br />
Figura 70. Usuarios con rasgos faciales ocluidos.<br />
LUIS BLÁZQUEZ PÉREZ 65
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
Finalm<strong>en</strong>te, se muestra <strong>en</strong> la sigui<strong>en</strong>te tabla (Tabla 16) el error medio total <strong>de</strong> cada rasgo<br />
facial.<br />
Rasgo facial<br />
Error medio<br />
Ojo <strong>de</strong>recho<br />
2.06 (píxeles)<br />
Ojo izquierdo<br />
3.06 (píxeles)<br />
Ceja <strong>de</strong>recha<br />
2.29 (píxeles)<br />
Ceja izquierda<br />
2.54 (píxeles)<br />
Nariz<br />
4.36 (píxeles)<br />
Boca<br />
2.45 (píxeles)<br />
M<strong>en</strong>tón<br />
2.91 (píxeles)<br />
Tabla 16. Error medio <strong>de</strong> cada rasgo.<br />
Se concluye que el algoritmo pres<strong>en</strong>tado <strong>en</strong> el proyecto para la localización <strong>de</strong> los puntos<br />
característicos <strong>de</strong> la cara ti<strong>en</strong>e como mejor resultado el ojo <strong>de</strong>recho, y como peor resultado la<br />
nariz (aunque no es exacto este error), para la base <strong>de</strong> datos dada.<br />
5.4 Experim<strong>en</strong>to 1: Importancia <strong>de</strong> la segm<strong>en</strong>tación<br />
Este experim<strong>en</strong>to se realiza con la base <strong>de</strong> datos MORPH (<strong>en</strong>torno semicontrolado), marcada<br />
<strong>de</strong> manera automática por el sistema comercial FaceSDK; por tanto, se consi<strong>de</strong>ra un marcado<br />
no i<strong>de</strong>al, con error. Se ha seleccionado dicha base <strong>de</strong> datos <strong>de</strong>bido a su gran cantidad <strong>de</strong><br />
imág<strong>en</strong>es (más <strong>de</strong> 55.000 imág<strong>en</strong>es).<br />
En la Tabla 17, se muestra, <strong>de</strong> la base <strong>de</strong> datos MORPH, el número <strong>de</strong> imág<strong>en</strong>es que ti<strong>en</strong><strong>en</strong><br />
algún rasgos <strong>de</strong> la cara mal marcado (fases tres, cuatro y cinco), que ti<strong>en</strong><strong>en</strong> las pupilas mal<br />
posicionadas (fase dos) o <strong>en</strong> las que no se han podido <strong>en</strong>contrar los puntos característicos <strong>de</strong><br />
la cara, incluy<strong>en</strong>do pupilas (fase uno <strong>de</strong>l <strong>de</strong>tector); así como el número <strong>de</strong> imág<strong>en</strong>es totales y<br />
correctas.<br />
Hay que t<strong>en</strong>er <strong>en</strong> cu<strong>en</strong>ta, que solo las fases uno y dos son eliminatorias, es <strong>de</strong>cir, las imág<strong>en</strong>es<br />
que no pasan alguna <strong>de</strong> estas dos fases, o ambas, se consi<strong>de</strong>ran incorregibles y son<br />
<strong>de</strong>sechadas <strong>de</strong> la base <strong>de</strong> datos (las imág<strong>en</strong>es que fallan <strong>en</strong> las otras tres fases se consi<strong>de</strong>ran<br />
corregibles). Esto significa, que alguna <strong>de</strong> las imág<strong>en</strong>es pue<strong>de</strong> fallar <strong>en</strong> una, dos o tres <strong>de</strong> las<br />
fases tres, cuatro y cinco.<br />
Fase 1 (a) Fase 2 (b) Fase 3 (c) Fase 4 (d) Fase 5 (e) Correctas (f) Total (g)<br />
Africanos 29 2352 0 954 2155 37182 42589<br />
Asiáticos 0 10 4 2 1 137 154<br />
Europeos 4 1838 0 221 414 8098 10559<br />
Hispanos 1 52 80 29 77 1536 1769<br />
Otros 0 7 2 2 2 50 63<br />
Total 34 4259 86 1208 2649 47003 55134<br />
Tabla 17. Número <strong>de</strong> imág<strong>en</strong>es erróneas.<br />
LUIS BLÁZQUEZ PÉREZ 66
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
En la Tabla 18, se muestran los porc<strong>en</strong>tajes finales <strong>de</strong> las imág<strong>en</strong>es, cuyos puntos<br />
característicos <strong>de</strong> la cara han sido corregidos (porc<strong>en</strong>tajecorrección), y <strong>de</strong> las que han fallado <strong>en</strong><br />
las fases 1 y 2, es <strong>de</strong>cir, o no se ha localizado la cara <strong>en</strong> la imag<strong>en</strong>, o no se han localizado los<br />
ojos <strong>en</strong> la región <strong>de</strong> la cara a<strong>de</strong>cuada (porc<strong>en</strong>tajeerror). Dichos porc<strong>en</strong>tajes son calculados<br />
mediante las sigui<strong>en</strong>tes ecuaciones:<br />
( )<br />
( )<br />
( )<br />
Porc<strong>en</strong>tajecorrección (%) Porc<strong>en</strong>tajeerror (%) Porc<strong>en</strong>tajebi<strong>en</strong> (%)<br />
Africanos 7.10 % 5.59 % 87.31 %<br />
Asiáticos 4.54 % 6.49 % 88.97 %<br />
Europeos 5.86 % 17.44 % 76.70 %<br />
Hispanos 10.17 % 2.99 % 86.84 %<br />
Otros 9.52 % 11.11 % 79.37 %<br />
Tabla 18. Error <strong>de</strong> segm<strong>en</strong>tación<br />
Adicionalm<strong>en</strong>te, se ha añadido una cuarta columna (Porc<strong>en</strong>tajebi<strong>en</strong>) a la Tabla 18, que indica el<br />
número <strong>de</strong> imág<strong>en</strong>es que han sido marcadas por el sistema comercial <strong>de</strong> forma correcta. Este<br />
porc<strong>en</strong>taje se calcula restando al total <strong>de</strong> 100%, los dos porc<strong>en</strong>tajes obt<strong>en</strong>idos anteriorm<strong>en</strong>te<br />
(porc<strong>en</strong>tajecorrección y porc<strong>en</strong>tajeerror).<br />
El objetivo <strong>de</strong> la segm<strong>en</strong>tación es simplificar y/o cambiar la repres<strong>en</strong>tación <strong>de</strong> una imag<strong>en</strong> <strong>en</strong><br />
otra más significativa y más fácil <strong>de</strong> analizar. La segm<strong>en</strong>tación se usa tanto para localizar<br />
objetos como para <strong>en</strong>contrar los límites <strong>de</strong> estos d<strong>en</strong>tro <strong>de</strong> una imag<strong>en</strong>. En nuestro caso, la<br />
segm<strong>en</strong>tación ha sido aplicada a la cara, para extraer cada uno <strong>de</strong> los rasgos faciales <strong>de</strong> forma<br />
in<strong>de</strong>p<strong>en</strong>di<strong>en</strong>te, permiti<strong>en</strong>do <strong>de</strong> esta manera, una corrección <strong>de</strong>l marcado <strong>de</strong> puntos<br />
característicos más precisa. Como se pue<strong>de</strong> <strong>de</strong>ducir observando la Tabla 18, se consigue,<br />
mediante la segm<strong>en</strong>tación y los dos módulos <strong>de</strong>sarrollados <strong>en</strong> el proyecto (<strong>de</strong>tector y<br />
corrector), un aum<strong>en</strong>to medio <strong>de</strong>l 7.44 % <strong>de</strong> mejora <strong>en</strong> el marcado <strong>de</strong> puntos característicos<br />
<strong>de</strong> la cara, mostrando por tanto la utilización <strong>de</strong> estos tipos <strong>de</strong> módulos <strong>de</strong>sarrollados <strong>de</strong><br />
<strong>de</strong>tección/corrección que permit<strong>en</strong> afianzar los resultados.<br />
5.5 Experim<strong>en</strong>to 2: <strong>Reconocimi<strong>en</strong>to</strong> antropométrico.<br />
Este experim<strong>en</strong>to se realiza con la base <strong>de</strong> datos For<strong>en</strong>sic <strong>ATVS</strong>, marcada <strong>de</strong> forma manual por<br />
una persona (no experta <strong>en</strong> temas for<strong>en</strong>ses); por tanto, se consi<strong>de</strong>ra un marcado i<strong>de</strong>al, sin<br />
ningún error.<br />
5.5.1 Protocolo experim<strong>en</strong>tal<br />
Esta base <strong>de</strong> datos consta <strong>de</strong> 50 usuarios, con 3 imág<strong>en</strong>es por usuario (haci<strong>en</strong>do un total <strong>de</strong><br />
150 imág<strong>en</strong>es). Para este experim<strong>en</strong>to solo se usarán el conjunto <strong>de</strong> las fotografías que han<br />
sido capturadas a una distancia <strong>de</strong> 1 metro, con una cámara <strong>de</strong> gran calidad y una iluminación<br />
y flash a<strong>de</strong>cuados (<strong>en</strong>torno controlado).<br />
LUIS BLÁZQUEZ PÉREZ 67
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
Por cada usuario, se capturaron 4 imág<strong>en</strong>es por cada sesión, para replicar los protocolos<br />
for<strong>en</strong>ses. Se ha <strong>de</strong>cidido utilizar solo 1 imag<strong>en</strong> <strong>de</strong> la primera sesión para train y 2 <strong>de</strong> la segunda<br />
sesión para test. Por tanto, se ti<strong>en</strong>e un experim<strong>en</strong>to 1:2. Tanto las imág<strong>en</strong>es <strong>de</strong> train como las<br />
<strong>de</strong> test, están realizadas bajo las mismas condiciones.<br />
Aunque <strong>en</strong>tr<strong>en</strong>ar con una sola imag<strong>en</strong> es poco común (<strong>de</strong>bido a que el Error Equal Rate (EER)<br />
es muy gran<strong>de</strong>), se ha <strong>de</strong>cidido hacerlo <strong>de</strong> esta manera, ya que, <strong>en</strong> las situaciones don<strong>de</strong> es<br />
necesario el reconocimi<strong>en</strong>to facial (situaciones for<strong>en</strong>ses), solo se cu<strong>en</strong>ta con una imag<strong>en</strong> <strong>de</strong>l<br />
usuario.<br />
Se replica el protocolo for<strong>en</strong>se <strong>en</strong> que suel<strong>en</strong> t<strong>en</strong>er una imag<strong>en</strong> indubitada y varias dudosas.<br />
De manera que es un protocolo muy complejo puesto que, <strong>en</strong> reconocimi<strong>en</strong>to facial, la<br />
mayoría <strong>de</strong> sistemas funcionan mejor cuanto mayor sea el número <strong>de</strong> muestras <strong>de</strong><br />
<strong>en</strong>tr<strong>en</strong>ami<strong>en</strong>to.<br />
5.5.2 Resultados y conclusiones<br />
En esta segunda parte, se va a llevar a cabo el reconocimi<strong>en</strong>to <strong>de</strong> patrones propiam<strong>en</strong>te dicho.<br />
El reconocimi<strong>en</strong>to <strong>de</strong> patrones consiste <strong>en</strong> la construcción <strong>de</strong> un sistema <strong>de</strong> clasificación a<br />
partir <strong>de</strong> un conjunto <strong>de</strong> vectores <strong>de</strong> características.<br />
Los dos vectores <strong>de</strong> características (Figura 71) utilizados <strong>en</strong> este experim<strong>en</strong>to, están formados<br />
por medidas antropométricas, es <strong>de</strong>cir, las distancias que hay <strong>en</strong>tre <strong>de</strong>terminados puntos<br />
característicos <strong>de</strong> la cara. El primer vector, está compuesto por las 11 distancias propuestas<br />
por la DGGC, mi<strong>en</strong>tras que el segundo vector, está formado por las 78 distancias resultantes <strong>de</strong><br />
los 13 puntos estudiados durante el proyecto, más 4 <strong>de</strong> las distancias utilizadas por la DGGC<br />
que no contemplábamos <strong>en</strong> nuestro vector <strong>de</strong> características, <strong>de</strong>bido a que estas distancias<br />
<strong>de</strong>p<strong>en</strong>d<strong>en</strong> <strong>de</strong> puntos no característicos por sí mismos (<strong>de</strong>p<strong>en</strong>d<strong>en</strong> <strong>de</strong> otros puntos, como es el<br />
caso <strong>de</strong>l punto medio <strong>de</strong> la boca, la nariz y los c<strong>en</strong>tros <strong>de</strong> los ojos); haci<strong>en</strong>do un total <strong>de</strong> 82<br />
distancias.<br />
11 distancias DGGC 82 distancias <strong>ATVS</strong><br />
Figura 71. Vectores <strong>de</strong> características.<br />
LUIS BLÁZQUEZ PÉREZ 68
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
Después <strong>de</strong> obt<strong>en</strong>er los resultados <strong>de</strong> comparación <strong>de</strong> los vectores explicados anteriorm<strong>en</strong>te,<br />
se ha estudiado cuáles <strong>de</strong> las características <strong>de</strong> los preced<strong>en</strong>tes vectores son las más<br />
discriminantes para el reconocimi<strong>en</strong>to <strong>de</strong> patrones. Para dicho estudio, se ha utilizado el<br />
algoritmo SFFS (Sequ<strong>en</strong>tial Forward Floating Selection) [28] que empieza con el conjunto vacío<br />
y va incluy<strong>en</strong>do nuevas características por medio <strong>de</strong> un procedimi<strong>en</strong>to secu<strong>en</strong>cial hacia<br />
<strong>de</strong>lante, seguido por una serie <strong>de</strong> exclusiones condicionales <strong>de</strong> la peor característica <strong>en</strong> el<br />
nuevo subconjunto <strong>de</strong> características seleccionadas. Las características permanec<strong>en</strong> o son<br />
excluidas <strong>de</strong>l conjunto <strong>en</strong> función <strong>de</strong> su efectividad clasificadora. Se he escogido este método<br />
porque es mucho más rápido que otros algoritmos exist<strong>en</strong>tes, como el <strong>de</strong> ramificación y<br />
acotami<strong>en</strong>to, y su efici<strong>en</strong>cia computacional es aceptable.<br />
Estos resultados (Tabla 19) han sido obt<strong>en</strong>idos para tres tipos <strong>de</strong> marcados <strong>de</strong> puntos<br />
característicos <strong>de</strong> la cara: i) marcado manual, es <strong>de</strong>cir, una persona (no experta) ha marcado,<br />
una a una, las imág<strong>en</strong>es cont<strong>en</strong>idas <strong>en</strong> la base <strong>de</strong> datos; ii) marcado automático propio, es<br />
<strong>de</strong>cir, mediante el bloque corrector/marcador <strong>de</strong> puntos característicos <strong>de</strong> la cara, basado <strong>en</strong><br />
la segm<strong>en</strong>tación <strong>de</strong> la cara, se han marcado las imág<strong>en</strong>es; iii) marcado automático mediante<br />
un programa comercial (<strong>de</strong>spués <strong>de</strong> ser corregido por el bloque corrector, <strong>de</strong>sarrollado <strong>en</strong> el<br />
proyecto), es <strong>de</strong>cir, el programa marca los landmarks <strong>en</strong> las imág<strong>en</strong>es, sin recurrir a la<br />
segm<strong>en</strong>tación.<br />
11<br />
distancias<br />
(DGGC)<br />
82<br />
distancias<br />
Marcado manual<br />
EER<br />
original<br />
18.2 %<br />
13.2 %<br />
EER SFFS<br />
(9 dist.)<br />
16.3 %<br />
(15 dist.)<br />
8.69 %<br />
Marcado<br />
automático propio<br />
EER<br />
original<br />
31.9 %<br />
EER SFFS<br />
(4 dist.)<br />
22.7 %<br />
Marcado automático<br />
sistema comercial<br />
EER<br />
original<br />
40.9 %<br />
(15 dist.)<br />
27.9 %<br />
28.9 %<br />
17.0 %<br />
Tabla 19. Comparación EER<br />
EER SFFS<br />
(5 dist.)<br />
26.0 %<br />
(15 dist.)<br />
17.1 %<br />
Matcher<br />
comercial<br />
EER<br />
3 %<br />
Se observa <strong>en</strong> la Tabla 19, que los resultados <strong>de</strong> EER mejoran <strong>de</strong> manera consi<strong>de</strong>rable <strong>de</strong>spués<br />
<strong>de</strong> haber hecho una selección <strong>de</strong> características mediante el algoritmo SFFS. A<strong>de</strong>más, como es<br />
<strong>de</strong> esperar, el mejor resultado obt<strong>en</strong>ido es cuando se ha realizado un marcado manual, sin<br />
embargo, también es el método <strong>de</strong> marcado que más tiempo requiere. D<strong>en</strong>tro <strong>de</strong> los dos<br />
marcados automáticos propuestos, el que mejor EER final ti<strong>en</strong>e, aunque peor que el calculado<br />
con el marcado manual, es el <strong>de</strong>sarrollado <strong>en</strong> el proyecto, el cual está basado <strong>en</strong> la<br />
segm<strong>en</strong>tación <strong>de</strong> la cara <strong>en</strong> rasgos in<strong>de</strong>p<strong>en</strong>di<strong>en</strong>tes (a pesar <strong>de</strong> que el marcado con el sistema<br />
comercial ha sido mejorado con la aplicación <strong>de</strong>l bloque corrector). El tiempo invertido <strong>en</strong> este<br />
tipo <strong>de</strong> marcado, es bastante inferior al manual.<br />
Otra apreciación a t<strong>en</strong>er <strong>en</strong> cu<strong>en</strong>ta, es que el vector <strong>de</strong> características que mejor resultado ha<br />
obt<strong>en</strong>ido es el que está formado por las 82 distancias explicadas anteriorm<strong>en</strong>te. Esto es <strong>de</strong>bido<br />
a que las distancias utilizadas, y propuesta por la DGGC, no son las más discriminantes <strong>de</strong> la<br />
cara. En la Figura 72, se muestran las distancias más discriminativas <strong>de</strong> la cara, calculadas<br />
mediante el algoritmo SFFS, para los tres métodos <strong>de</strong> marcado propuestos y ambos dos<br />
vectores <strong>de</strong> características.<br />
LUIS BLÁZQUEZ PÉREZ 69
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
Marcado manual<br />
9 distancias discriminantes (DGGC) 15 distancias discriminantes (<strong>ATVS</strong>)<br />
Marcado automático propio<br />
4 distancias discriminantes (DGGC) 15 distancias discriminantes (<strong>ATVS</strong>)<br />
Marcado automático sistema comercial<br />
5 distancias discriminantes (DGGC) 15 distancias discriminantes (<strong>ATVS</strong>)<br />
Figura 72. Distancias más discriminantes <strong>de</strong> la cara.<br />
LUIS BLÁZQUEZ PÉREZ 70
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
Adicionalm<strong>en</strong>te, se ha comprobado el resultado g<strong>en</strong>erado por un sistema comercial <strong>de</strong>l estado<br />
<strong>de</strong>l arte, cuyo matcher combina distancias y textura. Como se observa <strong>en</strong> la Tabla 19 (última<br />
columna), los resultados mejoran sobre manera, pero los EERs obt<strong>en</strong>idos con el algoritmo<br />
<strong>de</strong>sarrollado durante el proyecto, no están muy alejados <strong>de</strong> los mismos.<br />
Lógicam<strong>en</strong>te, al t<strong>en</strong>er m<strong>en</strong>or precisión <strong>en</strong> el marcado <strong>de</strong> los puntos característicos <strong>de</strong> la cara,<br />
cuando se realiza <strong>de</strong> manera automática, el número <strong>de</strong> distancias discriminantes disminuye, al<br />
haber m<strong>en</strong>os ortogonalidad <strong>en</strong>tre ellas.<br />
En la Figura 73, se repres<strong>en</strong>ta el error <strong>de</strong> segm<strong>en</strong>tación medio <strong>de</strong> cada rasgo (marcado manual<br />
fr<strong>en</strong>te al marcado automático producido por el sistema comercial), para cado uno <strong>de</strong> los<br />
usuarios <strong>de</strong> la base <strong>de</strong> datos (hay que t<strong>en</strong>er <strong>en</strong> cu<strong>en</strong>ta, que aunque hay 150 imág<strong>en</strong>es,<br />
realm<strong>en</strong>te solo exist<strong>en</strong> 50 usuarios, los cuales, ti<strong>en</strong><strong>en</strong> 3 imág<strong>en</strong>es <strong>en</strong> la base <strong>de</strong> datos). Debido<br />
a este error <strong>de</strong> segm<strong>en</strong>tación, el EER es mejor (más bajo) <strong>en</strong> marcado manual que <strong>en</strong> marcado<br />
automático.<br />
Figura 73. Error <strong>de</strong> segm<strong>en</strong>tación <strong>ATVS</strong>.<br />
Para completar el experim<strong>en</strong>to, adicionalm<strong>en</strong>te se ha realizado un estudio (solo con los puntos<br />
obt<strong>en</strong>idos mediante el marcado manual) comparativo <strong>en</strong>tre rasgos faciales, es <strong>de</strong>cir, que<br />
rasgo, solo t<strong>en</strong>i<strong>en</strong>do <strong>en</strong> cu<strong>en</strong>ta las distancias <strong>en</strong>tre los puntos característicos <strong>de</strong>l rasgo a<br />
estudiar y el resto <strong>de</strong> landmarks, es más estable/discriminante. Los resultados mostrados <strong>en</strong> la<br />
Tabla 20, son referidos al reconocimi<strong>en</strong>to <strong>de</strong> los vectores <strong>de</strong> características (Figura 74) antes y<br />
<strong>de</strong>spués <strong>de</strong> utilizar el algoritmo <strong>de</strong> selección <strong>de</strong> características SFFS. La longitud <strong>de</strong> todos los<br />
vectores <strong>de</strong> características originales, antes <strong>de</strong> aplicar el algoritmo SFFS, es 23, exceptuando el<br />
<strong>de</strong>l m<strong>en</strong>tón, que es <strong>de</strong> 12 (<strong>de</strong>bido a que es el único rasgo facial compuesto por un único punto<br />
característico). La última columna <strong>de</strong> la Tabla 20, hace refer<strong>en</strong>cia al número <strong>de</strong> distancias<br />
discriminativas, obt<strong>en</strong>idas mediantes el algoritmo SFFS.<br />
LUIS BLÁZQUEZ PÉREZ 71
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
Rasgos faciales EER original (%) EER SFFS (%) Números <strong>de</strong><br />
distancias<br />
seleccionadas<br />
Ceja <strong>de</strong>recha 13.90 % 11.26 % 12<br />
Ceja izquierda 16.90 % 13.26 % 10<br />
Ojo <strong>de</strong>recho 14.20 % 9.18 % 12<br />
Ojo izquierdo 16.30 % 13.14 % 13<br />
Nariz 18.90 % 16.00 % 12<br />
Boca 16.90 % 16.00 % 15<br />
M<strong>en</strong>tón 25.34 % 21.79 % 5<br />
Tabla 20. Distancias por rasgos.<br />
Se observa que el m<strong>en</strong>tón es el rasgo m<strong>en</strong>os discriminativo, a través <strong>de</strong> la comparación<br />
mediante distancias <strong>en</strong>tre rasgos, <strong>de</strong> la cara; esto es <strong>de</strong>bido a que las distancias <strong>de</strong>l interior <strong>de</strong><br />
la cara muestran mayor estabilidad.<br />
Ceja <strong>de</strong>recha Ceja izquierda Ojo <strong>de</strong>recho<br />
Ojo izquierdo Nariz Boca<br />
LUIS BLÁZQUEZ PÉREZ 72
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
M<strong>en</strong>tón<br />
Figura 74. Vector características rasgos faciales.<br />
En la Figura 75, se muestran las distancias más discriminativas <strong>de</strong> cada rasgo, calculadas<br />
mediante el algoritmo SFFS, para el método <strong>de</strong> marcado manual.<br />
Ceja <strong>de</strong>recha Ceja izquierda Ojo <strong>de</strong>recho<br />
Ojo izquierdo Nariz Boca<br />
LUIS BLÁZQUEZ PÉREZ 73
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
M<strong>en</strong>tón<br />
Figura 75. Distancias más discriminantes <strong>de</strong> cada rasgo.<br />
5.6 Experim<strong>en</strong>to 3: Análisis <strong>de</strong>l po<strong>de</strong>r discriminante <strong>de</strong> cada rasgo facial<br />
para ambos tipos <strong>de</strong> extractores<br />
Para este experim<strong>en</strong>to se han utilizado dos bases <strong>de</strong> datos: i) Scface (<strong>en</strong>torno no controlado) y<br />
ii) For<strong>en</strong>sic <strong>ATVS</strong> (<strong>en</strong>torno controlado), ambas marcada <strong>de</strong> manual por una personal no<br />
experta <strong>en</strong> temas for<strong>en</strong>ses; por tanto, se consi<strong>de</strong>ra un marcado i<strong>de</strong>al, sin ningún error.<br />
En este experim<strong>en</strong>to se va a comprobar el pot<strong>en</strong>cial <strong>de</strong> los dos extractores <strong>de</strong> rasgos faciales<br />
<strong>de</strong>sarrollados <strong>en</strong> el proyecto (el basado <strong>en</strong> proporciones y el basado <strong>en</strong> puntos) <strong>en</strong> <strong>en</strong>tornos<br />
tantos controlados (For<strong>en</strong>sic <strong>ATVS</strong>) como <strong>en</strong> <strong>en</strong>tornos no controlados (Scface), y así po<strong>de</strong>r<br />
analizar el po<strong>de</strong>r discriminante <strong>de</strong> cada rasgo facial [29].<br />
Es importante m<strong>en</strong>cionar, que para los <strong>en</strong>tornos no controlados, como <strong>en</strong> el caso <strong>de</strong> la base <strong>de</strong><br />
datos Scface, se ha <strong>de</strong>sechado aplicar el reconocimi<strong>en</strong>to antropométrico <strong>de</strong>bido a que, como<br />
se muestra <strong>en</strong> el experim<strong>en</strong>to anterior, al aum<strong>en</strong>tar el error <strong>en</strong> el marcado <strong>de</strong> puntos<br />
característicos, aum<strong>en</strong>ta el error <strong>de</strong>l sistema. Tanto es así, que se realizaron experim<strong>en</strong>tos y<br />
este efecto se corroboró obt<strong>en</strong>i<strong>en</strong>do EERs <strong>de</strong>l 40%-48%. Adicionalm<strong>en</strong>te, también se probó el<br />
reconocimi<strong>en</strong>to antropométrico, pero <strong>en</strong> vez <strong>de</strong> utilizar las distancias euclí<strong>de</strong>as como<br />
clasificador, se utilizó el sistema <strong>de</strong> SVMs, pero <strong>de</strong>bido a la falta <strong>de</strong> datos <strong>de</strong> <strong>en</strong>tr<strong>en</strong>ami<strong>en</strong>to,<br />
los resultados no conseguían mejorar.<br />
5.6.1 Protocolo experim<strong>en</strong>tal<br />
La base <strong>de</strong> datos Scface (<strong>en</strong>torno no controlado) está formada por 130 usuarios. Esta base <strong>de</strong><br />
datos está compuesta por imág<strong>en</strong>es frontales con una calidad bu<strong>en</strong>a (imág<strong>en</strong>es utilizadas para<br />
<strong>en</strong>tr<strong>en</strong>ami<strong>en</strong>to), y por imág<strong>en</strong>es <strong>de</strong> CCTV <strong>de</strong> baja calidad a 3 distancias posibles (4.20 metros,<br />
2.60 metros y 1.20 metros). Para cada una <strong>de</strong> las distancias, se utilizan 5 cámaras <strong>de</strong> calidad<br />
variables. Por tanto, para el testeo se coge una imag<strong>en</strong> por usuario, distancia y cámara,<br />
quedando así, 5 imág<strong>en</strong>es por usuario. Por tanto, <strong>en</strong> este caso se ti<strong>en</strong>e un experim<strong>en</strong>to 1:5.<br />
LUIS BLÁZQUEZ PÉREZ 74
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
En este experim<strong>en</strong>to, se g<strong>en</strong>era un vector <strong>de</strong> <strong>en</strong>tr<strong>en</strong>ami<strong>en</strong>to y tres vectores <strong>de</strong> test, un vector<br />
por distancia (analizando adicionalm<strong>en</strong>te, el efecto <strong>de</strong> la distancia). Tanto las imág<strong>en</strong>es <strong>de</strong><br />
train como las <strong>de</strong> test, están realizadas bajo las mismas condiciones.<br />
La base <strong>de</strong> datos For<strong>en</strong>sic <strong>ATVS</strong> (<strong>en</strong>torno controlado) consta <strong>de</strong> 50 usuarios, con 3 imág<strong>en</strong>es<br />
por usuario (haci<strong>en</strong>do un total <strong>de</strong> 150 imág<strong>en</strong>es). Las fotografías han sido obt<strong>en</strong>idas a una<br />
distancia <strong>de</strong> 1 metro, con una cámara <strong>de</strong> gran calidad y una iluminación y flash a<strong>de</strong>cuados<br />
(<strong>en</strong>torno controlado).<br />
Por cada usuario, se separan las fotografías <strong>en</strong> train y test. La primera imag<strong>en</strong> <strong>de</strong> cada usuario<br />
se escoge para el <strong>en</strong>tr<strong>en</strong>ami<strong>en</strong>to (train), <strong>de</strong>jando las dos imág<strong>en</strong>es restantes para la realización<br />
<strong>de</strong>l test. Por tanto, se ti<strong>en</strong>e un experim<strong>en</strong>to 1:2. Tanto las imág<strong>en</strong>es <strong>de</strong> train como las <strong>de</strong> test,<br />
están realizadas bajo las mismas condiciones.<br />
Aunque <strong>en</strong>tr<strong>en</strong>ar con una sola imag<strong>en</strong> es poco común (<strong>de</strong>bido a que el Error Equal Rate (EER)<br />
es muy gran<strong>de</strong>), se ha <strong>de</strong>cidido hacerlo <strong>de</strong> esta manera, ya que, el proyecto está dirigido a un<br />
ámbito for<strong>en</strong>se, don<strong>de</strong> solo se cu<strong>en</strong>ta con una imag<strong>en</strong> <strong>de</strong>l usuario.<br />
Se replica el protocolo for<strong>en</strong>se <strong>en</strong> que suel<strong>en</strong> t<strong>en</strong>er una imag<strong>en</strong> indubitada y varias dudosas.<br />
De manera que es un protocolo muy complejo puesto que, <strong>en</strong> reconocimi<strong>en</strong>to facial, la<br />
mayoría <strong>de</strong> sistemas funcionan mejor cuanto mayor sea el número <strong>de</strong> muestras <strong>de</strong><br />
<strong>en</strong>tr<strong>en</strong>ami<strong>en</strong>to.<br />
5.6.2 Resultados<br />
En este apartado <strong>de</strong> resultados, se explican, <strong>en</strong> primer lugar, los resultados <strong>de</strong> segm<strong>en</strong>tación<br />
(don<strong>de</strong> se compara el marcado manual y el automático) <strong>de</strong> la base <strong>de</strong> datos <strong>de</strong> Scface, y <strong>en</strong><br />
segundo lugar, un análisis y una comparativa <strong>de</strong> los EERs resultantes <strong>de</strong> aplicar los extractores<br />
a cada rasgo facial (Figura 77), clasificándolos mediantes un sistema basado <strong>en</strong> PCA-SVM. En la<br />
Figura 76, se muestra el usuario <strong>de</strong> la base <strong>de</strong> datos <strong>ATVS</strong>, al cual se le aplica el extractor por<br />
puntos.<br />
Imag<strong>en</strong> original<br />
Figura 76. Usuario <strong>de</strong> la base <strong>de</strong> datos <strong>ATVS</strong><br />
LUIS BLÁZQUEZ PÉREZ 75
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
Fr<strong>en</strong>te<br />
Cara<br />
Ceja<br />
<strong>de</strong>recha<br />
Cejas<br />
Ceja<br />
izquierda<br />
Ojo<br />
<strong>de</strong>recho<br />
Ojos<br />
Ojo<br />
izquierdo<br />
Oreja<br />
<strong>de</strong>recha<br />
Nariz<br />
Oreja<br />
izquierda<br />
Mitad<br />
<strong>de</strong>recha<br />
cara<br />
Mitad<br />
izquierda<br />
cara<br />
Boca<br />
M<strong>en</strong>tón<br />
Figura 77. Rasgos faciales extraídos.<br />
En la primera parte, como he explicado anteriorm<strong>en</strong>te, se van a mostrar, <strong>en</strong> la Figura 78, los<br />
errores <strong>de</strong> segm<strong>en</strong>tación medios <strong>de</strong> cada rasgo (marcado manual fr<strong>en</strong>te al marcado<br />
automático producido por el sistema comercial), para cado uno <strong>de</strong> los usuarios que compon<strong>en</strong><br />
la base <strong>de</strong> datos Scface. Adicionalm<strong>en</strong>te, se comparará dicho error <strong>de</strong>p<strong>en</strong>di<strong>en</strong>do <strong>de</strong> la<br />
distancia a la que sea tomada la fotografía. Debido a que este error <strong>de</strong> segm<strong>en</strong>tación es muy<br />
alto, se imposibilita realizar un reconocimi<strong>en</strong>to antropométrico <strong>en</strong> este tipo <strong>de</strong> <strong>en</strong>tornos, ya<br />
que los EERs son inadmisibles.<br />
Scface (lejos)<br />
Errores <strong>de</strong> segm<strong>en</strong>tación<br />
Scface (distancia media)<br />
LUIS BLÁZQUEZ PÉREZ 76
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
Scface (cerca)<br />
Cara frontal Scface<br />
Figura 78. Error medio por rasgos y distancia.<br />
En esta segunda parte se va a llevar a cabo el reconocimi<strong>en</strong>to <strong>de</strong> patrones propiam<strong>en</strong>te dicho.<br />
El reconocimi<strong>en</strong>to <strong>de</strong> patrones consiste <strong>en</strong> la construcción <strong>de</strong> un sistema <strong>de</strong> clasificación a<br />
partir <strong>de</strong> un conjunto <strong>de</strong> vectores <strong>de</strong> características. En este caso, para analizar el po<strong>de</strong>r<br />
discriminante <strong>de</strong> los rasgos faciales, se usará un sistema PCA-SVM.<br />
Los vectores <strong>de</strong> características, están formados por los píxeles que compon<strong>en</strong> las regiones<br />
extraídas <strong>de</strong> la cara a estudiar, es <strong>de</strong>cir, la cara, las mita<strong>de</strong>s izquierda y <strong>de</strong>recha <strong>de</strong> la cara, la<br />
fr<strong>en</strong>te, las cejas (tanto <strong>de</strong> forma conjunta como separada), los ojos (tanto <strong>de</strong> forma conjunta<br />
como separada), las orejas (<strong>de</strong> forma individual), la nariz, la boca y la barbilla.<br />
Una vez se ti<strong>en</strong><strong>en</strong> dichos vectores <strong>de</strong> características, se hace uso <strong>de</strong> un clasificador, basado <strong>en</strong><br />
Máquinas <strong>de</strong> Vector Soporte (SVM) [30].<br />
Antes <strong>de</strong> la obt<strong>en</strong>ción <strong>de</strong> los resultados, lo primero que hay que estudiar es cuáles <strong>de</strong> las<br />
características <strong>de</strong> los preced<strong>en</strong>tes vectores son las más idóneas para el reconocimi<strong>en</strong>to <strong>de</strong><br />
patrones <strong>de</strong> textura, ya que <strong>en</strong> reconocimi<strong>en</strong>to <strong>de</strong> patrones ocurre lo que se conoce como<br />
“maldición <strong>de</strong> la dim<strong>en</strong>sionalidad” (Curse of Dim<strong>en</strong>sionality), la cual impone que el resultado<br />
<strong>de</strong> una clasificación no mejora necesariam<strong>en</strong>te con un increm<strong>en</strong>to <strong>de</strong>l número <strong>de</strong><br />
características. Para tamaños pequeños <strong>de</strong> muestra, el resultado <strong>de</strong>l clasificador mejora al<br />
agregar nuevas características hasta alcanzar un máximo, para luego <strong>de</strong>caer.<br />
Dado un número finito <strong>de</strong> ejemplos <strong>de</strong> <strong>en</strong>tr<strong>en</strong>ami<strong>en</strong>to, existe un número óptimo <strong>de</strong><br />
características necesarias para clasificar. Es crucial, para ello, adoptar un esquema <strong>de</strong> selección<br />
o extracción <strong>de</strong> características [31]. En este trabajo se ha escogido el esquema Principal<br />
compon<strong>en</strong>t analysis, PCA.<br />
Por tanto, para analizar el po<strong>de</strong>r discriminante <strong>de</strong> cada rasgo, se ha utilizado un sistema<br />
basado <strong>en</strong> PCA (para reducir dim<strong>en</strong>sionalida<strong>de</strong>s) más SVM (para clasificar los vectores <strong>de</strong><br />
características, con kernel lineal). De forma que así se confecciona el sistema final <strong>de</strong> PCA +<br />
SVM.<br />
LUIS BLÁZQUEZ PÉREZ 77
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
El algoritmo PCA es una técnica utilizada para reducir la dim<strong>en</strong>sionalidad <strong>de</strong> un conjunto <strong>de</strong><br />
datos; esto se consigue buscando la proyección según la cual, los datos qued<strong>en</strong> mejor<br />
repres<strong>en</strong>tados <strong>en</strong> términos <strong>de</strong> mínimos cuadrados. El número <strong>de</strong> dim<strong>en</strong>siones obt<strong>en</strong>idas con<br />
el PCA son 130, aproximadam<strong>en</strong>te don<strong>de</strong> la varianza <strong>de</strong> los autovalores es <strong>de</strong>l 95%.<br />
En la Figura 79, se repres<strong>en</strong>tan los resultados obt<strong>en</strong>idos para ambas bases <strong>de</strong> datos, Scface y<br />
For<strong>en</strong>sic <strong>ATVS</strong>, <strong>de</strong>spués <strong>de</strong> haber aplicado PCA a los vectores <strong>de</strong> características (fijando 130<br />
dim<strong>en</strong>siones) y ambos segm<strong>en</strong>tadores (el basado <strong>en</strong> proporciones faciales y el basado <strong>en</strong> el<br />
punto medio <strong>de</strong> cada rasgo facial, por separado).<br />
Entornos controlados<br />
For<strong>en</strong>sic <strong>ATVS</strong> (1 metro)<br />
Scface (4.20 metros)<br />
Entornos no controlados<br />
Scface (2.60 metros)<br />
Scface (1.20 metros)<br />
Figura 79. EER rasgos faciales mediante texturas para ambos segm<strong>en</strong>tadores ord<strong>en</strong>ados <strong>de</strong><br />
mejor a peor.<br />
LUIS BLÁZQUEZ PÉREZ 78
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
En la Tabla 21, se reseñan los mejores EERs obt<strong>en</strong>idos <strong>en</strong> cada caso, clasificados por<br />
segm<strong>en</strong>tador y bases <strong>de</strong> datos.<br />
Scface<br />
For<strong>en</strong>sic <strong>ATVS</strong><br />
Distancias 4.20 metros 2.60 metros 1.20 metros 1 metro<br />
Extractores <strong>Puntos</strong> Proporciones <strong>Puntos</strong> Proporciones <strong>Puntos</strong> Proporciones <strong>Puntos</strong> Proporciones<br />
EER (%) 30.09 % 24.71 % 27.17 % 22.63 % 28.96 % 21.41 % 3.79 % 3.18 %<br />
Tabla 21. EERs clasificados por segm<strong>en</strong>tador y bases <strong>de</strong> datos.<br />
5.6.3 Discusión<br />
Una vez <strong>de</strong>sarrollado el experim<strong>en</strong>to que ha vertido los resultados anteriorm<strong>en</strong>te reflejados y,<br />
realizado el oportuno y <strong>de</strong>tallado análisis <strong>de</strong> los mismos, se pue<strong>de</strong> <strong>de</strong>terminar <strong>en</strong> un primer<br />
lugar que el extractor basado <strong>en</strong> proporciones faciales, ti<strong>en</strong>e un funcionami<strong>en</strong>to similar que el<br />
extractor basado <strong>en</strong> los puntos medios <strong>de</strong> los rasgos faciales, <strong>en</strong> el mismo tipo <strong>de</strong> <strong>en</strong>torno.<br />
En segundo lugar y no por ello m<strong>en</strong>os importante, se observa que ambos segm<strong>en</strong>tadores<br />
ti<strong>en</strong><strong>en</strong> un mejor resultado <strong>en</strong> <strong>en</strong>tornos controlados que <strong>en</strong> <strong>en</strong>tornos no controlados, resultado<br />
no sorpr<strong>en</strong>d<strong>en</strong>te, <strong>de</strong>bido a que el marcado <strong>de</strong> puntos característicos <strong>en</strong> <strong>en</strong>tornos controlados<br />
es mucho más exacto.<br />
Otro punto a t<strong>en</strong>er <strong>en</strong> cu<strong>en</strong>ta es que, como se observa <strong>en</strong> la Figura 79 (<strong>en</strong>torno controlado),<br />
cuando se está <strong>en</strong> un <strong>en</strong>torno controlado y se <strong>en</strong>tr<strong>en</strong>a y testea el sistema con el mismo tipo <strong>de</strong><br />
imág<strong>en</strong>es, los mejores resultados se alcanzan con la cara completa. Esto es <strong>de</strong>bido a que la<br />
cara conlleva información discriminante, como la simetría <strong>en</strong>tre rasgos, expresiones o gestos<br />
<strong>de</strong> la cara, cicatrices, bigote, gafas, así como otras peculiarida<strong>de</strong>s que, analizando rasgo a<br />
rasgo, no se ti<strong>en</strong><strong>en</strong> <strong>en</strong> cu<strong>en</strong>ta.<br />
Finalm<strong>en</strong>te, cuando se observan los resultados obt<strong>en</strong>idos <strong>en</strong> <strong>en</strong>tornos no controlados, don<strong>de</strong><br />
el <strong>en</strong>tr<strong>en</strong>ami<strong>en</strong>to se hace con caras frontales <strong>de</strong> bu<strong>en</strong>a calidad y el testeo con imág<strong>en</strong>es <strong>de</strong><br />
webcam <strong>de</strong> baja calidad, se aprecian variaciones. En este caso, a mayor distancia, la parte <strong>de</strong> la<br />
fr<strong>en</strong>te adquiere un alto po<strong>de</strong>r discriminativo, y según se acercan los usuarios a la cámara, la<br />
boca o la nariz obti<strong>en</strong><strong>en</strong> los mejores resultados.<br />
LUIS BLÁZQUEZ PÉREZ 79
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
6. Conclusiones y trabajo futuro<br />
6.1 Conclusiones<br />
El proyecto aquí <strong>de</strong>sarrollado ha tratado <strong>de</strong> <strong>de</strong>scribir y analizar el estudio, <strong>de</strong>sarrollo,<br />
implantación y docum<strong>en</strong>tación <strong>de</strong> un conjunto <strong>de</strong> técnicas, basadas <strong>en</strong> docum<strong>en</strong>tación<br />
exist<strong>en</strong>te, que permit<strong>en</strong> el análisis facial tanto <strong>en</strong> <strong>en</strong>tornos controlados como <strong>en</strong> <strong>en</strong>tornos no<br />
controlados, utilizando para ello técnicas <strong>de</strong> estado <strong>de</strong>l arte basadas <strong>en</strong> puntos característicos<br />
<strong>de</strong> la cara. A<strong>de</strong>más <strong>de</strong> analizar el po<strong>de</strong>r discriminante <strong>de</strong> cada rasgo.<br />
Debido a que, actualm<strong>en</strong>te, el reconocimi<strong>en</strong>to facial está muy estudiado, se ha <strong>de</strong>cidido<br />
ori<strong>en</strong>tar el proyecto a la <strong>de</strong>tección y corrección <strong>de</strong> los puntos característicos <strong>de</strong> la cara, una<br />
cosa poco tratada. Como novedad, <strong>de</strong>cir que estos dos importantes bloques, se aplican a los<br />
rasgos faciales <strong>de</strong> forma individual, extraídos mediante la utilización <strong>de</strong> segm<strong>en</strong>tadores, <strong>en</strong> vez<br />
<strong>de</strong> a la cara como si fuese un único rasgo.<br />
En el <strong>de</strong>sarrollo <strong>de</strong> este sistema biométrico se ha propuesto un método <strong>de</strong> extracción <strong>de</strong><br />
características basado <strong>en</strong> la <strong>de</strong>tección <strong>de</strong> puntos característicos <strong>de</strong> la cara, seguido <strong>de</strong> la<br />
medida <strong>de</strong> distancias (11 <strong>en</strong> el caso <strong>de</strong> la DGGC y 82 <strong>en</strong> el caso <strong>de</strong> <strong>ATVS</strong>) <strong>en</strong>tre dichos puntos.<br />
Estas distancias forman el vector <strong>de</strong> características <strong>de</strong> cada imag<strong>en</strong>.<br />
Después se realizaron difer<strong>en</strong>tes experim<strong>en</strong>tos <strong>de</strong> verificación para evaluar el sistema<br />
<strong>de</strong>sarrollado. Cada experim<strong>en</strong>to se llevó a cabo bajo difer<strong>en</strong>tes condiciones relativas a los<br />
<strong>en</strong>tornos, calidad <strong>de</strong> imág<strong>en</strong>es y el número <strong>de</strong> imág<strong>en</strong>es <strong>de</strong> train y test. Cada experim<strong>en</strong>to se<br />
realizó cuatro veces: i) haci<strong>en</strong>do uso <strong>de</strong> las 11 características, ii) usando sólo el conjunto <strong>de</strong><br />
características más discriminativo (obt<strong>en</strong>ido mediante el algoritmo SFFS), iii) utilizando las 82<br />
características, y iv) usando sólo el conjunto <strong>de</strong> características más discriminativo (obt<strong>en</strong>ido<br />
mediante el algoritmo SFFS); exceptuando el relativo al po<strong>de</strong>r discriminante <strong>de</strong> cada rasgo, que<br />
se realizó una sola vez (con el vector <strong>de</strong> características <strong>de</strong> dim<strong>en</strong>sión 130 obt<strong>en</strong>ido mediante el<br />
PCA)<br />
Convi<strong>en</strong>e <strong>de</strong>jar pat<strong>en</strong>te, que los comparadores utilizados <strong>en</strong> el <strong>de</strong>sarrollo <strong>de</strong>l proyecto ti<strong>en</strong><strong>en</strong><br />
gran<strong>de</strong>s limitaciones, <strong>de</strong> hecho el SVM al t<strong>en</strong>er una sola imag<strong>en</strong> <strong>de</strong> <strong>en</strong>tr<strong>en</strong>ami<strong>en</strong>to, se produce<br />
un sobreajuste es <strong>de</strong>cir, el mo<strong>de</strong>lo apr<strong>en</strong>dido se ajusta <strong>de</strong>masiado a los datos <strong>de</strong><br />
<strong>en</strong>tr<strong>en</strong>ami<strong>en</strong>to, g<strong>en</strong>eralizando ina<strong>de</strong>cuadam<strong>en</strong>te a datos nuevos; <strong>de</strong> manera similar ocurre con<br />
el <strong>de</strong> Distancias Euclí<strong>de</strong>as con imág<strong>en</strong>es <strong>de</strong> mala calidad, don<strong>de</strong> es difícil marcar bi<strong>en</strong> los<br />
puntos, igual <strong>de</strong> manera manual que <strong>de</strong> manera automática, sin duda este clasificador falla.<br />
Los resultados obt<strong>en</strong>idos <strong>de</strong> EER <strong>en</strong> los experim<strong>en</strong>tos son <strong>de</strong> interés, <strong>de</strong>bido a que se han<br />
int<strong>en</strong>tado buscar situaciones reales, <strong>en</strong> las cuales solo se dispon<strong>en</strong> <strong>de</strong> una imag<strong>en</strong> <strong>de</strong><br />
<strong>en</strong>tr<strong>en</strong>ami<strong>en</strong>to por usuario, emulando la práctica for<strong>en</strong>se habitual.<br />
Los resultados obt<strong>en</strong>idos proporcionan información sobre la influ<strong>en</strong>cia que ti<strong>en</strong><strong>en</strong>, sobre el<br />
r<strong>en</strong>dimi<strong>en</strong>to <strong>de</strong>l sistema, i) las difer<strong>en</strong>tes condiciones m<strong>en</strong>cionadas, ii) la selección <strong>de</strong><br />
características, y iii) el efecto <strong>de</strong> la distancia habida a la hora <strong>de</strong> la obt<strong>en</strong>ción <strong>de</strong> imág<strong>en</strong>es:<br />
LUIS BLÁZQUEZ PÉREZ 80
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
<br />
<br />
<br />
<br />
<br />
<br />
El efecto <strong>de</strong> utilizar una base <strong>de</strong> datos obt<strong>en</strong>ida <strong>en</strong> <strong>en</strong>tornos no controlados empeora<br />
el r<strong>en</strong>dimi<strong>en</strong>to <strong>de</strong>l sistema.<br />
El efecto <strong>de</strong> <strong>en</strong>tr<strong>en</strong>ar con imág<strong>en</strong>es <strong>de</strong> gran calidad y testear con imág<strong>en</strong>es <strong>de</strong> baja<br />
calidad también reduce el r<strong>en</strong>dimi<strong>en</strong>to <strong>de</strong>l sistema <strong>de</strong> forma notable.<br />
Incorporar varios vectores <strong>de</strong> características con difer<strong>en</strong>tes poses para crear los<br />
mo<strong>de</strong>los <strong>de</strong> <strong>en</strong>tr<strong>en</strong>ami<strong>en</strong>to, es una forma <strong>de</strong> superar la falta <strong>de</strong> robustez fr<strong>en</strong>te a la<br />
variabilidad <strong>de</strong> pose <strong>en</strong>tre los datos <strong>de</strong> <strong>en</strong>tr<strong>en</strong>ami<strong>en</strong>to y <strong>de</strong> test.<br />
El uso <strong>de</strong> un mayor número <strong>de</strong> imág<strong>en</strong>es <strong>de</strong> <strong>en</strong>tr<strong>en</strong>ami<strong>en</strong>to y/o test al realizar los<br />
experim<strong>en</strong>tos <strong>de</strong> reconocimi<strong>en</strong>to, (i) disminuye el r<strong>en</strong>dimi<strong>en</strong>to <strong>de</strong>l sistema cuando se<br />
consi<strong>de</strong>ran todas las características (<strong>de</strong>bido al hecho <strong>de</strong> que t<strong>en</strong>er más datos <strong>de</strong><br />
<strong>en</strong>tr<strong>en</strong>ami<strong>en</strong>to/test implica mayor variabilidad <strong>en</strong>tre ellos <strong>en</strong> nuestros protocolos) y,<br />
(ii) lo aum<strong>en</strong>ta si se realiza la selección <strong>de</strong> características (como es <strong>de</strong> esperar).<br />
La selección <strong>de</strong> características mejora consi<strong>de</strong>rablem<strong>en</strong>te la el r<strong>en</strong>dimi<strong>en</strong>to <strong>de</strong><br />
verificación.<br />
Al aplicar la seleción <strong>de</strong> características, las curvas DET (gráficas que muestran el<br />
r<strong>en</strong>dimi<strong>en</strong>to <strong>de</strong> verificación) mejoran acercándose al orig<strong>en</strong> y t<strong>en</strong>i<strong>en</strong>do una p<strong>en</strong>di<strong>en</strong>te<br />
más negativa, dotando al sistema <strong>de</strong> una m<strong>en</strong>or (mejor) EER (Equal Error Rate, tasa <strong>de</strong><br />
igual error <strong>en</strong> verificación) y <strong>de</strong> una mayor seguridad (la probabilidad <strong>de</strong> falsa<br />
aceptación disminuye y la <strong>de</strong> falso rechazo aum<strong>en</strong>ta).<br />
Hablando <strong>de</strong> los rasgos faciales <strong>de</strong> manera individual, se observa que cuando se realiza un<br />
análisis <strong>de</strong> textura, los EERs varían <strong>en</strong>tre 3.18% y 3.79% (<strong>en</strong>tornos controlados) y 21.41% y<br />
30.09% (<strong>en</strong>tornos no controlados variando la distancia <strong>en</strong>tre 1.2 y 4.2 metros); mi<strong>en</strong>tras que<br />
cuando se realizan estudios antropométricos <strong>de</strong> éstos, los EERs varían <strong>en</strong>tre 9.18% y 21.75%<br />
(<strong>en</strong>tornos controlados). En <strong>en</strong>tornos incontrolados, los resultados rondan el 42%.<br />
Examinando los EERs <strong>en</strong> un <strong>en</strong>torno controlado, se observa que el mejor marcado es el manual<br />
(como era <strong>de</strong> esperar), con unos EERs que oscilan <strong>en</strong>tre 8.69% (82 características) y 16.3% (11<br />
características). El marcado automático, proporcionado por un sistema comercial llamado<br />
FaceSDK, ti<strong>en</strong>e como resultados unos EERs <strong>en</strong>tre el 17.1% (82 características) y 22.7% (11<br />
características). Mejorando estos resultados, se <strong>en</strong>cu<strong>en</strong>tra el marcado automático<br />
<strong>de</strong>sarrollado durante el proyecto, con EERs <strong>en</strong>tre el 17.0% (82 características) y 22.7% (11<br />
características).<br />
6.2 Trabajo futuro<br />
Como trabajo futuro, se propon<strong>en</strong> las sigui<strong>en</strong>tes líneas <strong>de</strong> investigación:<br />
<br />
<br />
La continuación <strong>de</strong>l estudio antropométrico sobre bases <strong>de</strong> datos mayores, para po<strong>de</strong>r<br />
analizar los resultados comprobando su pot<strong>en</strong>cial.<br />
El estudio <strong>de</strong>l efecto que ti<strong>en</strong>e el marcado <strong>de</strong> puntos, es <strong>de</strong>cir, repercusión <strong>de</strong> los<br />
errores cometidos sobre las tasas <strong>de</strong> error <strong>de</strong>l sistema <strong>de</strong>sarrollado.<br />
LUIS BLÁZQUEZ PÉREZ 81
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
<br />
<br />
<br />
El análisis <strong>de</strong>tallado <strong>de</strong>l po<strong>de</strong>r discriminante <strong>de</strong> cada rasgo facial (cara,fr<strong>en</strong>te, ojos,<br />
cejas, orejas, boca, nariz y m<strong>en</strong>tón) <strong>en</strong> gran<strong>de</strong>s poblaciones (necesario base <strong>de</strong> datos<br />
gran<strong>de</strong>)<br />
La adaptación <strong>de</strong>l sistema aquí <strong>de</strong>sarrollado para que opere, exclusivam<strong>en</strong>te, con<br />
imág<strong>en</strong>es reales <strong>de</strong> baja calidad obt<strong>en</strong>idas mediante un circuito cerrado <strong>de</strong> televisión<br />
(Scface dispone <strong>de</strong> este tipo <strong>de</strong> imág<strong>en</strong>es, pero <strong>en</strong> los experim<strong>en</strong>tos realizados,<br />
siempre se ha <strong>en</strong>tr<strong>en</strong>ado con imág<strong>en</strong>es <strong>de</strong> gran calidad).<br />
La fusión <strong>de</strong> algoritmos <strong>en</strong> el comparador, es <strong>de</strong>cir, combinar la score obt<strong>en</strong>ida<br />
mediante la realización <strong>de</strong> un estudio antropométrico y la score solución <strong>de</strong> realizar un<br />
análisis <strong>de</strong> texturas.<br />
LUIS BLÁZQUEZ PÉREZ 82
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
7. Refer<strong>en</strong>cias bibliogra ficas<br />
[1] http://www.frontex.europa.eu/assets/Publications/Research/Best_Practice_Technical_Gui<br />
<strong>de</strong>lines_for_Automated_Bor<strong>de</strong>r_Control_Systems.pdf<br />
[2] http://www.frontex.europa.eu/assets/Publications/Research/Best_Practice_Operational_<br />
Gui<strong>de</strong>lines_for_Automated_Bor<strong>de</strong>r_Control.pdf<br />
[3] A. K. Jain, A. Ross and S. Prabhakar, "Biometrics: A Tool for Information Security", IEEE<br />
Transactions on information for<strong>en</strong>sics and Security, Vol. 1, No. 2, pp. 125-143, June 2006.<br />
[4] Anil K. Jain, Ajay Kumar, "Biometrics of Next g<strong>en</strong>eration: An overview", to appear in<br />
‘Second G<strong>en</strong>eration Biometrics’ Springer, 2010.<br />
[5] R. C. Gonzalez, R. E. Woods, S. L. Eddins, “Digital Image Processing using Matlab”, Prince<br />
Hall, 2005.<br />
[6] Gert M. Beumer, “Face recognition, a landmark tale”, PhD Thesis, October 16 th 2009.<br />
[7] Asker M. Bazer, Raymond N.J. Veldhuis, and Gerrie H. Croon<strong>en</strong>, “Likelihood Ratio-Based<br />
Detection of <strong>Facial</strong> Features”, pp. 323-329, 2003.<br />
[8] G.M. Beumer, Q. Tao, A.M. Baz<strong>en</strong>, and R.N.J. Velhuis, “A landmark paper in face<br />
recognition”, 2006.<br />
[9] Efraty, B.; Huang, C.; Shah, S.K.; Kakadiaris, I.A.; , "<strong>Facial</strong> landmark <strong>de</strong>tection in<br />
uncontrolled conditions," Biometrics (IJCB), 2011 International Joint Confer<strong>en</strong>ce on , vol.,<br />
no., pp.1-8, 11-13 Oct. 2011.<br />
[10] Michal Uřičář, “Detector of facial landmark”, May 13, 2011.<br />
[11] O. Jesorsky, K. Kirchberg, R. Frischholz, Robust Face Detection Using the Hausdorff<br />
Distance. In J. Bigun and F. Smeraldi, editors, Audio and Vi<strong>de</strong>o based Person<br />
Auth<strong>en</strong>tication - AVBPA 2001, pages 90-95. Springer, 2001.<br />
[12] Karl Ricanek Jr and Tamirat Tesafaye, "MORPH: A Longitudinal Image Database of Normal<br />
Adult Age-Progression," IEEE 7th International Confer<strong>en</strong>ce on Automatic Face and Gesture<br />
Recognition, Southampton, UK, April 2006, pp 341-345.<br />
[13] Mislav Grgic, Kresimir Delac, Sonja Grgic, SCface - surveillance cameras face database,<br />
Multimedia Tools and Applications Journal, Vol. 51, No. 3, February 2011, pp. 863-879.<br />
[14] Alphonse Bertillon, Alphonse Bertillon's instructions for taking <strong>de</strong>scriptions for the<br />
id<strong>en</strong>tification of criminals, and others, by the means of anthropometric indications, 1889.<br />
[15] A. J. Goldstein, L. D. Harmon, and A. B. Lesk, “Id<strong>en</strong>tification of Human Faces”, Proc. IEEE,<br />
May 1971, Vol. 59, No. 5, 748-760.<br />
[16] L. Sirovich and M.Kirby, “A Low-Dim<strong>en</strong>sional Procedure for the Characterizacion of Human<br />
Faces”, J. Optical Soc. Am. A, 1987, Vol. 4, No. 3, 519-524.<br />
[17] M. A. Turk and A. P. P<strong>en</strong>tland, “Face Recognition Using Eig<strong>en</strong>faces”, Proc. IEEE, 1991, 586-<br />
591.<br />
LUIS BLÁZQUEZ PÉREZ 83
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
[18] Laur<strong>en</strong>z Wiskott, Jean-Marc Felloues, Norbert Krüger, Christoph Von Der Malsburg, “Face<br />
recognition by Elastic Bunch Graph Matching”. IEEE Transactions on Pattern Analysis and<br />
Machine Intellig<strong>en</strong>ce,vol. 19, no. 7, pp. 775-779, Julio <strong>de</strong> 1997.<br />
[19] T. Cootes, G. Edwards, and C. Taylor, “Active appearance mo<strong>de</strong>ls,” Computer Vision-<br />
ECCV’98, p. 484, 1998.<br />
[20] Aditya Abhyankar and Stephanie Schuckers. Active shape mo<strong>de</strong>ls for effective iris<br />
segm<strong>en</strong>tation. In SPIE 6202: Biometric Technology for Human Id<strong>en</strong>tification III, pages<br />
6202:H1–H10, 2006.<br />
[21] Klimpak B, Grgic M, Delac K (2006) Acquisition of a face database for vi<strong>de</strong>o surveillance<br />
research. Proceedings of the 48th international symposium ELMAR-2006 focused on<br />
multimedia signal processing and communications, Zadar, Croatia, pp 111–114.<br />
[22] www.luxand.com/download/Luxand_FaceSDK_Docum<strong>en</strong>tation.pdf<br />
[23] ISO/IEC JTC 1/SC 37 N 504. Biometric data interchange formats part 5: Face image, in ISO,<br />
2004.<br />
[24] Ye-P<strong>en</strong>g Guan, “Unsupervised human height estimation from a single image”. Vol.2, No. 6,<br />
425-430, 2009.<br />
[25] Yosh Jefferson, “<strong>Facial</strong> Beauty – Establishing a Universal Standar”.2003.<br />
[26] Hatice Gunes and Massimo Piccardi, “Assessing facial beauty through proportion analysis<br />
by image processing and supervised learning”, May, 2006.<br />
[27] Yosh Jefferson, Skeletal Types: key to unraveling the mistery of facial beauty and its<br />
significance. Published in “Journal of G<strong>en</strong>eral Orthodontics”, Volume 7, No. 2, June, 1996.<br />
[28] Luis Carlos Molina, Lluís Belanche, and Àngela Nebot. Feature selection algorithms:<br />
Asurvey and experim<strong>en</strong>tal evaluation. In Proceedings of the 2002 IEEE International<br />
Confer<strong>en</strong>ce on Data Mining, ICDM ’02, pages 306–, Washington, DC, USA, 2002. IEEE<br />
Computer Society.<br />
[29] Pedro Tomé, Luis Blázquez, Rubén Vera-Rodriguez, Julián Fierrez, Javier Ortega-García,<br />
Nicome<strong>de</strong>s Expósito y Patricio Lestón. “Un<strong>de</strong>rstanding the discrimination power of facial<br />
regions in for<strong>en</strong>sic casework”. International Workshop on Biometrics and For<strong>en</strong>sics<br />
(IWBF), Abril 4-5, 2013, Lisboa, Portugal.<br />
[30] Corinna Cortes and Vladimir Vapnik. "Support-Vector Networks". Machine Learning. Vol.<br />
20, Num. 3, pp. 273-297, September 1995.<br />
[31] P. Pudil, J. Novovicová, and J. Kittler. Floating Search Methods in Feature Selection.<br />
Pattern Recognition Letters, 15(11):1119 – 1125, 1994.<br />
LUIS BLÁZQUEZ PÉREZ 84
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
A. Presupuesto<br />
1) Ejecución material<br />
Compra <strong>de</strong> ord<strong>en</strong>ador personal (Software incluido) 2000 €<br />
Alquiler <strong>de</strong> impresora láser durante 6 meses 50 €<br />
Material <strong>de</strong> oficina 150 €<br />
Total <strong>de</strong> ejecución material 2200 €<br />
2) Gastos g<strong>en</strong>erales<br />
16 % sobre Ejecución Material 352 €<br />
3) B<strong>en</strong>eficio industrial<br />
6 % sobre Ejecución Material 132 €<br />
4) Honorarios Proyecto<br />
1500 horas a 15 € / hora 22500 €<br />
5) Material fungible<br />
Gastos <strong>de</strong> impresión 60 €<br />
Encua<strong>de</strong>rnación 200 €<br />
Total material fungible 260 €<br />
6) Subtotal <strong>de</strong>l presupuesto<br />
Subtotal presupuesto 24960 €<br />
7) I.V.A. aplicable<br />
21 % Subtotal Presupuesto 3993,6 €<br />
8) Total presupuesto<br />
Total presupuesto 28953,6 €<br />
Madrid, Enero 2013<br />
El Ing<strong>en</strong>iero Jefe <strong>de</strong> Proyecto<br />
Fdo.: Luis Blázquez Pérez<br />
Ing<strong>en</strong>iero Superior <strong>de</strong> Telecomunicación<br />
LUIS BLÁZQUEZ PÉREZ 85
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
B. Pliego <strong>de</strong> condiciones<br />
Este docum<strong>en</strong>to conti<strong>en</strong>e las condiciones legales que guiarán la realización, <strong>en</strong> este proyecto,<br />
<strong>de</strong> un <strong>Reconocimi<strong>en</strong>to</strong> <strong>Facial</strong> <strong>Basado</strong> <strong>en</strong> <strong>Puntos</strong> <strong>Característicos</strong> <strong>de</strong> la Cara <strong>en</strong> <strong>en</strong>tornos no<br />
controlados. En lo que sigue, se supondrá que el proyecto ha sido <strong>en</strong>cargado por una empresa<br />
cli<strong>en</strong>te a una empresa consultora con la finalidad <strong>de</strong> realizar dicho sistema. Dicha empresa ha<br />
<strong>de</strong>bido <strong>de</strong>sarrollar una línea <strong>de</strong> investigación con objeto <strong>de</strong> elaborar el proyecto. Esta línea <strong>de</strong><br />
investigación, junto con el posterior <strong>de</strong>sarrollo <strong>de</strong> los programas está amparada por las<br />
condiciones particulares <strong>de</strong>l sigui<strong>en</strong>te pliego.<br />
Supuesto que la utilización industrial <strong>de</strong> los métodos recogidos <strong>en</strong> el pres<strong>en</strong>te proyecto ha sido<br />
<strong>de</strong>cidida por parte <strong>de</strong> la empresa cli<strong>en</strong>te o <strong>de</strong> otras, la obra a realizar se regulará por las<br />
sigui<strong>en</strong>tes:<br />
Condiciones g<strong>en</strong>erales<br />
1. La modalidad <strong>de</strong> contratación será el concurso. La adjudicación se hará, por tanto, a<br />
la proposición más favorable sin at<strong>en</strong><strong>de</strong>r exclusivam<strong>en</strong>te al valor económico, <strong>de</strong>p<strong>en</strong>di<strong>en</strong>do <strong>de</strong><br />
las mayores garantías ofrecidas. La empresa que somete el proyecto a concurso se reserva el<br />
<strong>de</strong>recho a <strong>de</strong>clararlo <strong>de</strong>sierto.<br />
2. El montaje y mecanización completa <strong>de</strong> los equipos que interv<strong>en</strong>gan será realizado<br />
totalm<strong>en</strong>te por la empresa licitadora.<br />
3. En la oferta, se hará constar el precio total por el que se compromete a realizar la<br />
obra y el tanto por ci<strong>en</strong>to <strong>de</strong> baja que supone este precio <strong>en</strong> relación con un importe límite si<br />
este se hubiera fijado.<br />
4. La obra se realizará bajo la dirección técnica <strong>de</strong> un Ing<strong>en</strong>iero Superior <strong>de</strong><br />
Telecomunicación, auxiliado por el número <strong>de</strong> Ing<strong>en</strong>ieros Técnicos y Programadores que se<br />
estime preciso para el <strong>de</strong>sarrollo <strong>de</strong> la misma.<br />
5. Aparte <strong>de</strong>l Ing<strong>en</strong>iero Director, el contratista t<strong>en</strong>drá <strong>de</strong>recho a contratar al resto <strong>de</strong>l<br />
personal, pudi<strong>en</strong>do ce<strong>de</strong>r esta prerrogativa a favor <strong>de</strong>l Ing<strong>en</strong>iero Director, qui<strong>en</strong> no estará<br />
obligado a aceptarla.<br />
6. El contratista ti<strong>en</strong>e <strong>de</strong>recho a sacar copias a su costa <strong>de</strong> los planos, pliego <strong>de</strong><br />
condiciones y presupuestos. El Ing<strong>en</strong>iero autor <strong>de</strong>l proyecto autorizará con su firma las copias<br />
solicitadas por el contratista <strong>de</strong>spués <strong>de</strong> confrontarlas.<br />
7. Se abonará al contratista la obra que realm<strong>en</strong>te ejecute con sujeción al proyecto que<br />
sirvió <strong>de</strong> base para la contratación, a las modificaciones autorizadas por la superioridad o a las<br />
órd<strong>en</strong>es que con arreglo a sus faculta<strong>de</strong>s le hayan comunicado por escrito al Ing<strong>en</strong>iero Director<br />
<strong>de</strong> obras siempre que dicha obra se haya ajustado a los preceptos <strong>de</strong> los pliegos <strong>de</strong><br />
condiciones, con arreglo a los cuales, se harán las modificaciones y la valoración <strong>de</strong> las diversas<br />
unida<strong>de</strong>s sin que el importe total pueda exce<strong>de</strong>r <strong>de</strong> los presupuestos aprobados. Por<br />
consigui<strong>en</strong>te, el número <strong>de</strong> unida<strong>de</strong>s que se consignan <strong>en</strong> el proyecto o <strong>en</strong> el presupuesto, no<br />
podrá servirle <strong>de</strong> fundam<strong>en</strong>to para <strong>en</strong>tablar reclamaciones <strong>de</strong> ninguna clase, salvo <strong>en</strong> los casos<br />
<strong>de</strong> rescisión.<br />
LUIS BLÁZQUEZ PÉREZ 86
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
8. Tanto <strong>en</strong> las certificaciones <strong>de</strong> obras como <strong>en</strong> la liquidación final, se abonarán los<br />
trabajos realizados por el contratista a los precios <strong>de</strong> ejecución material que figuran <strong>en</strong> el<br />
presupuesto para cada unidad <strong>de</strong> la obra.<br />
9. Si excepcionalm<strong>en</strong>te se hubiera ejecutado algún trabajo que no se ajustase a las<br />
condiciones <strong>de</strong> la contrata pero que sin embargo es admisible a juicio <strong>de</strong>l Ing<strong>en</strong>iero Director <strong>de</strong><br />
obras, se dará conocimi<strong>en</strong>to a la Dirección, proponi<strong>en</strong>do a la vez la rebaja <strong>de</strong> precios que el<br />
Ing<strong>en</strong>iero estime justa y si la Dirección resolviera aceptar la obra, quedará el contratista<br />
obligado a conformarse con la rebaja acordada.<br />
10. Cuando se juzgue necesario emplear materiales o ejecutar obras que no figur<strong>en</strong> <strong>en</strong><br />
el presupuesto <strong>de</strong> la contrata, se evaluará su importe a los precios asignados a otras obras o<br />
materiales análogos si los hubiere y cuando no, se discutirán <strong>en</strong>tre el Ing<strong>en</strong>iero Director y el<br />
contratista, sometiéndolos a la aprobación <strong>de</strong> la Dirección. Los nuevos precios conv<strong>en</strong>idos por<br />
uno u otro procedimi<strong>en</strong>to, se sujetarán siempre al establecido <strong>en</strong> el punto anterior.<br />
11. Cuando el contratista, con autorización <strong>de</strong>l Ing<strong>en</strong>iero Director <strong>de</strong> obras, emplee<br />
materiales <strong>de</strong> calidad más elevada o <strong>de</strong> mayores dim<strong>en</strong>siones <strong>de</strong> lo estipulado <strong>en</strong> el proyecto, o<br />
sustituya una clase <strong>de</strong> fabricación por otra que t<strong>en</strong>ga asignado mayor precio o ejecute con<br />
mayores dim<strong>en</strong>siones cualquier otra parte <strong>de</strong> las obras, o <strong>en</strong> g<strong>en</strong>eral, introduzca <strong>en</strong> ellas<br />
cualquier modificación que sea b<strong>en</strong>eficiosa a juicio <strong>de</strong>l Ing<strong>en</strong>iero Director <strong>de</strong> obras, no t<strong>en</strong>drá<br />
<strong>de</strong>recho sin embargo, sino a lo que le correspon<strong>de</strong>ría si hubiera realizado la obra con estricta<br />
sujeción a lo proyectado y contratado.<br />
12. Las cantida<strong>de</strong>s calculadas para obras accesorias, aunque figur<strong>en</strong> por partida alzada<br />
<strong>en</strong> el presupuesto final (g<strong>en</strong>eral), no serán abonadas sino a los precios <strong>de</strong> la contrata, según las<br />
condiciones <strong>de</strong> la misma y los proyectos particulares que para ellas se form<strong>en</strong>, o <strong>en</strong> su <strong>de</strong>fecto,<br />
por lo que resulte <strong>de</strong> su medición final.<br />
13. El contratista queda obligado a abonar al Ing<strong>en</strong>iero autor <strong>de</strong>l proyecto y director <strong>de</strong><br />
obras así como a los Ing<strong>en</strong>ieros Técnicos, el importe <strong>de</strong> sus respectivos honorarios facultativos<br />
por formación <strong>de</strong>l proyecto, dirección técnica y administración <strong>en</strong> su caso, con arreglo a las<br />
tarifas y honorarios vig<strong>en</strong>tes.<br />
14. Concluida la ejecución <strong>de</strong> la obra, será reconocida por el Ing<strong>en</strong>iero Director que a<br />
tal efecto <strong>de</strong>signe la empresa.<br />
15. La garantía <strong>de</strong>finitiva será <strong>de</strong>l 4% <strong>de</strong>l presupuesto y la provisional <strong>de</strong>l 2%.<br />
16. La forma <strong>de</strong> pago será por certificaciones m<strong>en</strong>suales <strong>de</strong> la obra ejecutada, <strong>de</strong><br />
acuerdo con los precios <strong>de</strong>l presupuesto, <strong>de</strong>ducida la baja si la hubiera.<br />
17. La fecha <strong>de</strong> comi<strong>en</strong>zo <strong>de</strong> las obras será a partir <strong>de</strong> los 15 días naturales <strong>de</strong>l<br />
replanteo oficial <strong>de</strong> las mismas y la <strong>de</strong>finitiva, al año <strong>de</strong> haber ejecutado la provisional,<br />
procediéndose si no existe reclamación alguna, a la reclamación <strong>de</strong> la fianza.<br />
18. Si el contratista al efectuar el replanteo, observase algún error <strong>en</strong> el proyecto,<br />
<strong>de</strong>berá comunicarlo <strong>en</strong> el plazo <strong>de</strong> quince días al Ing<strong>en</strong>iero Director <strong>de</strong> obras, pues<br />
transcurrido ese plazo será responsable <strong>de</strong> la exactitud <strong>de</strong>l proyecto.<br />
LUIS BLÁZQUEZ PÉREZ 87
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
19. El contratista está obligado a <strong>de</strong>signar una persona responsable que se <strong>en</strong>t<strong>en</strong><strong>de</strong>rá<br />
con el Ing<strong>en</strong>iero Director <strong>de</strong> obras, o con el <strong>de</strong>legado que éste <strong>de</strong>signe, para todo relacionado<br />
con ella. Al ser el Ing<strong>en</strong>iero Director <strong>de</strong> obras el que interpreta el proyecto, el contratista<br />
<strong>de</strong>berá consultarle cualquier duda que surja <strong>en</strong> su realización.<br />
20. Durante la realización <strong>de</strong> la obra, se girarán visitas <strong>de</strong> inspección por personal<br />
facultativo <strong>de</strong> la empresa cli<strong>en</strong>te, para hacer las comprobaciones que se crean oportunas. Es<br />
obligación <strong>de</strong>l contratista, la conservación <strong>de</strong> la obra ya ejecutada hasta la recepción <strong>de</strong> la<br />
misma, por lo que el <strong>de</strong>terioro parcial o total <strong>de</strong> ella, aunque sea por ag<strong>en</strong>tes atmosféricos u<br />
otras causas, <strong>de</strong>berá ser reparado o reconstruido por su cu<strong>en</strong>ta.<br />
21. El contratista, <strong>de</strong>berá realizar la obra <strong>en</strong> el plazo m<strong>en</strong>cionado a partir <strong>de</strong> la fecha<br />
<strong>de</strong>l contrato, incurri<strong>en</strong>do <strong>en</strong> multa, por retraso <strong>de</strong> la ejecución siempre que éste no sea <strong>de</strong>bido<br />
a causas <strong>de</strong> fuerza mayor. A la terminación <strong>de</strong> la obra, se hará una recepción provisional previo<br />
reconocimi<strong>en</strong>to y exam<strong>en</strong> por la dirección técnica, el <strong>de</strong>positario <strong>de</strong> efectos, el interv<strong>en</strong>tor y el<br />
jefe <strong>de</strong> servicio o un repres<strong>en</strong>tante, estampando su conformidad el contratista.<br />
22. Hecha la recepción provisional, se certificará al contratista el resto <strong>de</strong> la obra,<br />
reservándose la administración el importe <strong>de</strong> los gastos <strong>de</strong> conservación <strong>de</strong> la misma hasta su<br />
recepción <strong>de</strong>finitiva y la fianza durante el tiempo señalado como plazo <strong>de</strong> garantía. La<br />
recepción <strong>de</strong>finitiva se hará <strong>en</strong> las mismas condiciones que la provisional, ext<strong>en</strong>diéndose el<br />
acta correspondi<strong>en</strong>te. El Director Técnico propondrá a la Junta Económica la <strong>de</strong>volución <strong>de</strong> la<br />
fianza al contratista <strong>de</strong> acuerdo con las condiciones económicas legales establecidas.<br />
23. Las tarifas para la <strong>de</strong>terminación <strong>de</strong> honorarios, reguladas por ord<strong>en</strong> <strong>de</strong> la<br />
Presid<strong>en</strong>cia <strong>de</strong>l Gobierno el 19 <strong>de</strong> Octubre <strong>de</strong> 1961, se aplicarán sobre el d<strong>en</strong>ominado <strong>en</strong> la<br />
actualidad “Presupuesto <strong>de</strong> Ejecución <strong>de</strong> Contrata” y anteriorm<strong>en</strong>te llamado ”Presupuesto <strong>de</strong><br />
Ejecución Material” que hoy <strong>de</strong>signa otro concepto.<br />
Condiciones particulares<br />
La empresa consultora, que ha <strong>de</strong>sarrollado el pres<strong>en</strong>te proyecto, lo <strong>en</strong>tregará a la empresa<br />
cli<strong>en</strong>te bajo las condiciones g<strong>en</strong>erales ya formuladas, <strong>de</strong>bi<strong>en</strong>do añadirse las sigui<strong>en</strong>tes<br />
condiciones particulares:<br />
1. La propiedad intelectual <strong>de</strong> los procesos <strong>de</strong>scritos y analizados <strong>en</strong> el pres<strong>en</strong>te<br />
trabajo, pert<strong>en</strong>ece por <strong>en</strong>tero a la empresa consultora repres<strong>en</strong>tada por el Ing<strong>en</strong>iero Director<br />
<strong>de</strong>l Proyecto.<br />
2. La empresa consultora se reserva el <strong>de</strong>recho a la utilización total o parcial <strong>de</strong> los<br />
resultados <strong>de</strong> la investigación realizada para <strong>de</strong>sarrollar el sigui<strong>en</strong>te proyecto, bi<strong>en</strong> para su<br />
publicación o bi<strong>en</strong> para su uso <strong>en</strong> trabajos o proyectos posteriores, para la misma empresa<br />
cli<strong>en</strong>te o para otra.<br />
3. Cualquier tipo <strong>de</strong> reproducción aparte <strong>de</strong> las reseñadas <strong>en</strong> las condiciones<br />
g<strong>en</strong>erales, bi<strong>en</strong> sea para uso particular <strong>de</strong> la empresa cli<strong>en</strong>te, o para cualquier otra aplicación,<br />
contará con autorización expresa y por escrito <strong>de</strong>l Ing<strong>en</strong>iero Director <strong>de</strong>l Proyecto, que actuará<br />
<strong>en</strong> repres<strong>en</strong>tación <strong>de</strong> la empresa consultora.<br />
LUIS BLÁZQUEZ PÉREZ 88
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
4. En la autorización se ha <strong>de</strong> hacer constar la aplicación a que se <strong>de</strong>stinan sus<br />
reproducciones así como su cantidad.<br />
5. En todas las reproducciones se indicará su proced<strong>en</strong>cia, explicitando el nombre <strong>de</strong>l<br />
proyecto, nombre <strong>de</strong>l Ing<strong>en</strong>iero Director y <strong>de</strong> la empresa consultora.<br />
6. Si el proyecto pasa la etapa <strong>de</strong> <strong>de</strong>sarrollo, cualquier modificación que se realice<br />
sobre él, <strong>de</strong>berá ser notificada al Ing<strong>en</strong>iero Director <strong>de</strong>l Proyecto y a criterio <strong>de</strong> éste, la<br />
empresa consultora <strong>de</strong>cidirá aceptar o no la modificación propuesta.<br />
7. Si la modificación se acepta, la empresa consultora se hará responsable al mismo<br />
nivel que el proyecto inicial <strong>de</strong>l que resulta el añadirla.<br />
8. Si la modificación no es aceptada, por el contrario, la empresa consultora <strong>de</strong>clinará<br />
toda responsabilidad que se <strong>de</strong>rive <strong>de</strong> la aplicación o influ<strong>en</strong>cia <strong>de</strong> la misma.<br />
9. Si la empresa cli<strong>en</strong>te <strong>de</strong>ci<strong>de</strong> <strong>de</strong>sarrollar industrialm<strong>en</strong>te uno o varios productos <strong>en</strong><br />
los que resulte parcial o totalm<strong>en</strong>te aplicable el estudio <strong>de</strong> este proyecto, <strong>de</strong>berá comunicarlo<br />
a la empresa consultora.<br />
10. La empresa consultora no se responsabiliza <strong>de</strong> los efectos laterales que se puedan<br />
producir <strong>en</strong> el mom<strong>en</strong>to <strong>en</strong> que se utilice la herrami<strong>en</strong>ta objeto <strong>de</strong>l pres<strong>en</strong>te proyecto para la<br />
realización <strong>de</strong> otras aplicaciones.<br />
11. La empresa consultora t<strong>en</strong>drá prioridad respecto a otras <strong>en</strong> la elaboración <strong>de</strong> los<br />
proyectos auxiliares que fuese necesario <strong>de</strong>sarrollar para dicha aplicación industrial, siempre<br />
que no haga explícita r<strong>en</strong>uncia a este hecho. En este caso, <strong>de</strong>berá autorizar expresam<strong>en</strong>te los<br />
proyectos pres<strong>en</strong>tados por otros.<br />
12. El Ing<strong>en</strong>iero Director <strong>de</strong>l pres<strong>en</strong>te proyecto, será el responsable <strong>de</strong> la dirección <strong>de</strong><br />
la aplicación industrial siempre que la empresa consultora lo estime oportuno. En caso<br />
contrario, la persona <strong>de</strong>signada <strong>de</strong>berá contar con la autorización <strong>de</strong>l mismo, qui<strong>en</strong> <strong>de</strong>legará<br />
<strong>en</strong> él las responsabilida<strong>de</strong>s que ost<strong>en</strong>te.<br />
LUIS BLÁZQUEZ PÉREZ 89
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
C. Publicaciones<br />
Durante la realización <strong>de</strong>l proyecto, se ha llevado a cabo una publicación, aceptada <strong>en</strong> el<br />
International Workshop on Biometrics and For<strong>en</strong>sics (IWBF), el cual se celebrará <strong>en</strong> Lisboa<br />
(Abril <strong>de</strong>l 2013).<br />
Title: Un<strong>de</strong>rstanding the Discrimination Power of <strong>Facial</strong> Regions in For<strong>en</strong>sic Casework.<br />
Authors: Pedro Tomé, Luis Blázquez, Rubén Vera-Rodriguez, Julián Fierrez, Javier Ortega-<br />
García, Nicome<strong>de</strong>s Expósito y Patricio Lestón.<br />
Published in: International Workshop on Biometrics and For<strong>en</strong>sics (IWBF), Abril 4-5, 2013,<br />
Lisboa, Portugal.<br />
LUIS BLÁZQUEZ PÉREZ 90
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
LUIS BLÁZQUEZ PÉREZ 91
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
LUIS BLÁZQUEZ PÉREZ 92
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
LUIS BLÁZQUEZ PÉREZ 93
RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />
LUIS BLÁZQUEZ PÉREZ 94