20.04.2015 Views

Reconocimiento Facial Basado en Puntos Característicos de ... - ATVS

Reconocimiento Facial Basado en Puntos Característicos de ... - ATVS

Reconocimiento Facial Basado en Puntos Característicos de ... - ATVS

SHOW MORE
SHOW LESS

You also want an ePaper? Increase the reach of your titles

YUMPU automatically turns print PDFs into web optimized ePapers that Google loves.

UNIVERSIDAD AUTONOMA DE MADRID<br />

ESCUELA POLITÉCNICA SUPERIOR<br />

PROYECTO FIN DE CARRERA<br />

<strong>Reconocimi<strong>en</strong>to</strong> <strong>Facial</strong> <strong>Basado</strong> <strong>en</strong> <strong>Puntos</strong><br />

<strong>Característicos</strong> <strong>de</strong> la Cara <strong>en</strong> <strong>en</strong>tornos no<br />

controlados<br />

Ing<strong>en</strong>iería <strong>de</strong> Telecomunicación<br />

Luis Blázquez Pérez<br />

Enero 2013


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

<strong>Reconocimi<strong>en</strong>to</strong> <strong>Facial</strong> <strong>Basado</strong> <strong>en</strong><br />

<strong>Puntos</strong> <strong>Característicos</strong> <strong>de</strong> la Cara <strong>en</strong><br />

<strong>en</strong>tornos no controlados<br />

AUTOR: Luis Blázquez Pérez<br />

TUTOR: Pedro Tomé González<br />

Área <strong>de</strong> Tratami<strong>en</strong>to <strong>de</strong> Voz y Señales (<strong>ATVS</strong>)<br />

Dpto. <strong>de</strong> Ing<strong>en</strong>iería Informática<br />

Escuela Politécnica Superior<br />

Universidad Autónoma <strong>de</strong> Madrid<br />

Enero <strong>de</strong> 2013<br />

LUIS BLÁZQUEZ PÉREZ<br />

I


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

LUIS BLÁZQUEZ PÉREZ<br />

II


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

Resum<strong>en</strong><br />

Resum<strong>en</strong><br />

En este proyecto se estudia, implem<strong>en</strong>ta y evalúa un sistema automático <strong>de</strong> <strong>de</strong>tección y<br />

corrección <strong>de</strong> puntos característicos faciales mal marcados, obt<strong>en</strong>idos mediante un sistema<br />

comercial automático. Como bases <strong>de</strong> datos para la experim<strong>en</strong>tación se emplean varias bases<br />

<strong>de</strong> datos, emulando <strong>en</strong>tornos controlados e incontrolados, <strong>de</strong> libre acceso a la comunidad<br />

ci<strong>en</strong>tífica. Se ha llevado a cabo un análisis antropométrico sobre el <strong>en</strong>torno controlado,<br />

probando su pot<strong>en</strong>cial; a<strong>de</strong>más <strong>de</strong> un análisis <strong>de</strong> cada uno <strong>de</strong> los rasgos faciales.<br />

Como punto <strong>de</strong> partida se ha realizado un estudio <strong>de</strong> las técnicas biométricas <strong>de</strong>sarrolladas <strong>en</strong><br />

el estado <strong>de</strong>l arte actual y una recopilación <strong>de</strong> aquellas con mayor interés. Debido a la<br />

exist<strong>en</strong>cia <strong>de</strong> ruido <strong>en</strong> las imág<strong>en</strong>es <strong>de</strong> ambas bases <strong>de</strong> datos, <strong>en</strong> este proyecto se ha<br />

<strong>de</strong>sarrollado un método <strong>de</strong> preprocesado <strong>de</strong> imág<strong>en</strong>es. En él también se ha llevado a cabo el<br />

alineami<strong>en</strong>to, normalización (estándar ISO) y escalado <strong>de</strong> cada una <strong>de</strong> las imág<strong>en</strong>es.<br />

Para la parte experim<strong>en</strong>tal se han llevado a cabo experim<strong>en</strong>tos difer<strong>en</strong>ciados <strong>de</strong> cada una <strong>de</strong><br />

las etapas <strong>de</strong>l sistema, <strong>de</strong> modo que se pueda evaluar el sistema <strong>de</strong>sarrollado <strong>de</strong> forma<br />

<strong>de</strong>tallada con sus puntos fuertes y débiles. Los experim<strong>en</strong>tos se han c<strong>en</strong>trado <strong>en</strong> observar el<br />

pot<strong>en</strong>cial <strong>de</strong>l <strong>de</strong>tector y <strong>de</strong>l corrector <strong>de</strong> puntos faciales <strong>de</strong>sarrollado <strong>en</strong> el proyecto, tanto <strong>en</strong><br />

<strong>en</strong>tornos controlados, como <strong>en</strong> <strong>en</strong>tornos no controlados.<br />

A<strong>de</strong>más, para la realización <strong>de</strong> un análisis más exhaustivo <strong>de</strong> la cara, se han <strong>de</strong>sarrollado dos<br />

segm<strong>en</strong>tadores (uno basado <strong>en</strong> las proporciones faciales, y otro basado <strong>en</strong> el punto medio <strong>de</strong><br />

cada rasgo facial), permiti<strong>en</strong>do así, la extracción <strong>de</strong> los rasgos faciales <strong>de</strong> manera individual,<br />

dando lugar a una mayor precisión <strong>en</strong> dicho análisis.<br />

Por último, se pres<strong>en</strong>tan las conclusiones, las observadas <strong>de</strong> cada uno <strong>de</strong> los experim<strong>en</strong>tos y<br />

las finales <strong>de</strong>l proyecto, y se propon<strong>en</strong> líneas <strong>de</strong> trabajo futuras.<br />

Palabras clave<br />

Sistema biométrico, reconocimi<strong>en</strong>to biométrico facial, marcado <strong>de</strong> puntos característicos <strong>de</strong> la<br />

cara, <strong>de</strong>tector <strong>de</strong> marcado incorrecto, corrector <strong>de</strong> puntos característicos, extractor <strong>de</strong> rasgos<br />

faciales.<br />

LUIS BLÁZQUEZ PÉREZ<br />

III


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

Abstract<br />

This project is about study, implem<strong>en</strong>tation and evaluation of an automatic <strong>de</strong>tection<br />

and correction system of misbran<strong>de</strong>d facial landmarks, which are obtained from a<br />

commercial automatic system. Several differ<strong>en</strong>t databases will be used for the<br />

experim<strong>en</strong>tation, emulating both controlled and uncontrolled <strong>en</strong>vironm<strong>en</strong>ts, which are<br />

free access for the sci<strong>en</strong>tific community. An anthropometric analysis about the controlled<br />

<strong>en</strong>vironm<strong>en</strong>t is performed, testing its pot<strong>en</strong>tial; in addition to an analysis about every facial<br />

feature.<br />

As starting point, a survey about the biometric techniques <strong>de</strong>veloped in the pres<strong>en</strong>t<br />

state of the art and a compilation of the most interesting ones are ma<strong>de</strong>. Due to the<br />

exist<strong>en</strong>ce of the noise in both databases images, an image preprocessing method is<br />

<strong>de</strong>veloped in this project. It also inclu<strong>de</strong>s alignm<strong>en</strong>t, normalization (ISO standard)<br />

and escala<strong>de</strong> of each image.<br />

In the experim<strong>en</strong>tal part differ<strong>en</strong>t experim<strong>en</strong>ts are performed in every phase of the system,<br />

so it is possible to evaluate the system in <strong>de</strong>tail, with its str<strong>en</strong>gths and weaknesses.<br />

The experim<strong>en</strong>ts are focused on observing the pot<strong>en</strong>tial of the <strong>de</strong>tector and the facial<br />

points reviser, both in controlled and uncontrolled <strong>en</strong>vironm<strong>en</strong>ts.<br />

Furthermore, in or<strong>de</strong>r to perform a more exhaustive facial analysis, two segm<strong>en</strong>tors have be<strong>en</strong><br />

<strong>de</strong>veloped (one of them based on facial proportions, and the another one based on the<br />

midpoint of each facial feature), thereby allowing the extraction of facial features individually,<br />

leading to a greater accuracy in this analysis.<br />

Finally, conclusions about each experim<strong>en</strong>t and about the <strong>en</strong>tire project are pres<strong>en</strong>ted,<br />

and future lines of work are suggested.<br />

Key words<br />

Biometric system, facial biometric recognition, facial landmarks marking, inaccurate<br />

marking <strong>de</strong>tector, landmarks reviser, facial features extractor.<br />

LUIS BLÁZQUEZ PÉREZ<br />

IV


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

Agra<strong>de</strong>cimi<strong>en</strong>tos<br />

Quiero agra<strong>de</strong>cer <strong>en</strong> primer lugar a mi pon<strong>en</strong>te, el Dr. Julián Fiérrez Aguilar, la oportunidad<br />

que me ha brindado <strong>de</strong> colaborar con el <strong>ATVS</strong> y su apoyo para realizar mi Proyecto Fin <strong>de</strong><br />

Carrera.<br />

Igualm<strong>en</strong>te estoy muy agra<strong>de</strong>cido al resto <strong>de</strong> miembros <strong>de</strong>l <strong>ATVS</strong>, por haberme permitido<br />

disfrutar realizando este proyecto, y brindarme la oportunidad <strong>de</strong> iniciarme <strong>en</strong> el mundo <strong>de</strong> la<br />

investigación e impulsarme a continuar y ampliar aún más mis metas.<br />

Especial agra<strong>de</strong>cimi<strong>en</strong>to por su <strong>de</strong>dicación a mi tutor Pedro Tomé González, que me ha guiado<br />

<strong>en</strong> la elaboración <strong>de</strong> este proyecto.<br />

No quiero olvidar a mis amig@s, que durante todo el tiempo que ha durado mi carrera<br />

universitaria, la han hecho más am<strong>en</strong>a y lleva<strong>de</strong>ra.<br />

También quiero agra<strong>de</strong>cer el incesante apoyo mostrado por mi familia a lo largo <strong>de</strong> mi vida. A<br />

mis hermanos agra<strong>de</strong>cerles los mom<strong>en</strong>tos <strong>de</strong> diversión y distracción, que me ayudaban a<br />

<strong>de</strong>sconectar cuando era necesario, <strong>de</strong>l ámbito <strong>de</strong> trabajo y estudio. Papá, gracias por todo lo<br />

que has trabajado para darme lo mejor y por hacerme ver que todo <strong>en</strong> esta vida cuesta trabajo<br />

y que lo importante es luchar y valorar lo que se ti<strong>en</strong>e. También te <strong>de</strong>bo agra<strong>de</strong>cer, a ti mamá,<br />

el haberme <strong>de</strong>mostrado día tras día lo importante que soy <strong>en</strong> tu vida, dándolo todo sin pedir<br />

nada a cambio e inculcándome que no hay que r<strong>en</strong>dirse <strong>en</strong> los malos mom<strong>en</strong>tos y que todo<br />

suce<strong>de</strong> por alguna razón. Por todo ello, por hacer que esta vida fuera mucho más fácil para mí,<br />

y sobre todo, porque yo no sería lo que soy sin vosotros, GRACIAS FAMILIA.<br />

Y <strong>en</strong> último lugar y no por ello m<strong>en</strong>os importante, quiero <strong>de</strong>dicar este proyecto a Patricia<br />

Dom<strong>en</strong>ech, que es capaz <strong>de</strong> iluminarme <strong>en</strong> cualquier día <strong>de</strong> oscuridad gracias a su <strong>en</strong>ergía,<br />

sonrisa y vitalidad.<br />

Gracias a todos por hacer <strong>de</strong> estos años una época memorable.<br />

Luis Blázquez Pérez<br />

Enero 2013<br />

LUIS BLÁZQUEZ PÉREZ<br />

V


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

LUIS BLÁZQUEZ PÉREZ<br />

VI


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

A mis padres, por ayudarme cada día a<br />

cruzar con firmeza el camino <strong>de</strong> la superación.<br />

El g<strong>en</strong>io comi<strong>en</strong>za las gran<strong>de</strong>s obras,<br />

pero solo el trabajo las acaba.<br />

Petrus Jacobus Joubert<br />

LUIS BLÁZQUEZ PÉREZ<br />

VII


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

Í ndice <strong>de</strong> cont<strong>en</strong>idos<br />

Resum<strong>en</strong> . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . III<br />

Palabras claves . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . III<br />

Abstract . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . IV<br />

Key words. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . IV<br />

Agra<strong>de</strong>cimi<strong>en</strong>tos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . V<br />

Índice <strong>de</strong> cont<strong>en</strong>idos. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . VII<br />

Índice <strong>de</strong> figuras . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . IX<br />

Índice <strong>de</strong> tablas. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . XI<br />

Glosario <strong>de</strong> términos. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . XII<br />

1. Introducción . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1<br />

1.1. Motivación. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1<br />

1.2. Objetivos <strong>de</strong>l PFC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3<br />

1.3. Metodología y plan <strong>de</strong> trabajo. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4<br />

1.4. Organización <strong>de</strong> la memoria . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5<br />

2. Estado <strong>de</strong>l arte <strong>en</strong> localización <strong>de</strong> puntos característicos <strong>de</strong> la cara. . . . . . . . . . . 6<br />

2.1. Introducción. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6<br />

2.2. Métodos <strong>de</strong> localización <strong>de</strong> puntos característicos <strong>en</strong> la cara. . . . . . . . . . . . . 6<br />

2.2.1. Correspond<strong>en</strong>cia <strong>en</strong>tre agrupaciones <strong>de</strong> grafos elásticos (Elastic<br />

Bunch Graph Matching, EBGM) . . . . . . . . . . . . . . . . . . . . . . . . .<br />

7<br />

2.2.2. Mo<strong>de</strong>lo <strong>de</strong> apari<strong>en</strong>cia activa (Active Appearance Mo<strong>de</strong>l, AAM). . . . . . . 8<br />

2.2.3. Mo<strong>de</strong>lo <strong>de</strong> forma activa (Active Shape Mo<strong>de</strong>l, ASM) . . . . . . . . . . . . . 10<br />

3. Bases <strong>de</strong> datos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13<br />

3.1. Introducción. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13<br />

3.2. BioID . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13<br />

3.3. For<strong>en</strong>sic <strong>ATVS</strong> . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14<br />

3.4. MORPH. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17<br />

3.5. SCFace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19<br />

4. Sistema, diseño y <strong>de</strong>sarrollo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23<br />

4.1. Introducción a los sistemas biométricos . . . . . . . . . . . . . . . . . . . . . . . . 23<br />

4.1.1. Modo id<strong>en</strong>tificación . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24<br />

4.1.2. Modo verificación . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25<br />

4.1.3. Otras consi<strong>de</strong>raciones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26<br />

4.2. Sistema automático comercial. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26<br />

4.3. Descripción <strong>de</strong>l sistema <strong>de</strong>sarrollado . . . . . . . . . . . . . . . . . . . . . . . . . . 27<br />

4.4. Pre-procesado y normalización . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28<br />

4.5. Detector <strong>de</strong> marcado incorrecto. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32<br />

4.5.1. Fase 1. No landmarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34<br />

4.5.2. Fase 2. Marcado incorrecto <strong>de</strong> ojos. . . . . . . . . . . . . . . . . . . . . . . 34<br />

4.5.3. Fase 3. Distancias. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37<br />

4.5.4. Fase 4. Ángulos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37<br />

4.5.5. Fase 5. Simetrías . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37<br />

4.5.6. Decisor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41<br />

4.6. Corrector <strong>de</strong> puntos característicos . . . . . . . . . . . . . . . . . . . . . . . . . . . 43<br />

4.6.1. Extractor <strong>de</strong> rasgos faciales por proporciones. . . . . . . . . . . . . . . . . 44<br />

4.6.2. Extractor <strong>de</strong> rasgos faciales por puntos . . . . . . . . . . . . . . . . . . . . 46<br />

4.6.3. Máscaras <strong>de</strong> ruido . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48<br />

4.6.4. Realce, ecualización y umbralización . . . . . . . . . . . . . . . . . . . . . . 49<br />

4.6.5. Barrido, localización y marcado <strong>de</strong> puntos. . . . . . . . . . . . . . . . . . . 51<br />

LUIS BLÁZQUEZ PÉREZ<br />

VIII


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

5. Experim<strong>en</strong>tos y resultados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56<br />

5.1. Evaluación <strong>de</strong>l r<strong>en</strong>dimi<strong>en</strong>to <strong>de</strong> sistemas biométricos . . . . . . . . . . . . . . . . . 56<br />

5.2. Análisis <strong>de</strong> características / puntos característicos. . . . . . . . . . . . . . . . . . . 57<br />

5.3. Experim<strong>en</strong>to 0: Marcado automático <strong>de</strong> puntos característicos <strong>en</strong> <strong>en</strong>tornos<br />

controlados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .<br />

62<br />

5.4. Experim<strong>en</strong>to 1: Importancia <strong>de</strong> la segm<strong>en</strong>tación . . . . . . . . . . . . . . . . . . . 66<br />

5.5. Experim<strong>en</strong>to 2: <strong>Reconocimi<strong>en</strong>to</strong> antropométrico . . . . . . . . . . . . . . . . . . . 67<br />

5.5.1. Protocolo experimetal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67<br />

5.5.2. Resultados y conclusiones. . . . . . . . . . . . . . . . . . . . . . . . . . . . 68<br />

5.6. Experim<strong>en</strong>to 3: Análisis <strong>de</strong> po<strong>de</strong>r discriminante <strong>de</strong> cada rasgo facial para ambos<br />

tipos <strong>de</strong> extractores. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .<br />

74<br />

5.6.1. Protocolo experim<strong>en</strong>tal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74<br />

5.6.2. Resultados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75<br />

5.6.3. Discusión . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79<br />

6. Conclusiones y trabajo futuro . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80<br />

6.1. Conclusiones. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80<br />

6.2. Trabajo futuro. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81<br />

7. Refer<strong>en</strong>cias bibliográficas. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83<br />

A. Presupuesto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85<br />

B. Pliego <strong>de</strong> condiciones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86<br />

C. Publicaciones. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90<br />

LUIS BLÁZQUEZ PÉREZ<br />

IX


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

Í ndice <strong>de</strong> figuras<br />

Figura 1. <strong>Facial</strong> landmarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3<br />

Figura 2. Correspond<strong>en</strong>cia <strong>en</strong>tre agrupaciones <strong>de</strong> grafos elásticos. . . . . . . . . . . . . . . 7<br />

Figura 3. Ejemplo <strong>de</strong> malla <strong>en</strong> AAM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9<br />

Figura 4. Búsqueda <strong>de</strong> una cara utilizando el Mo<strong>de</strong>lo <strong>de</strong> Forma Activa . . . . . . . . . . . . 11<br />

Figura 5. Cuatro usuarios, a modo <strong>de</strong> ejemplo, <strong>de</strong> la base <strong>de</strong> datos BioID. . . . . . . . . . . 13<br />

Figura 6. Marcado <strong>de</strong> puntos BioID . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14<br />

Figura 7. Distancias <strong>de</strong> captura <strong>en</strong> la base <strong>de</strong> datos <strong>ATVS</strong> . . . . . . . . . . . . . . . . . . . . 14<br />

Figura 8. Imág<strong>en</strong>es ejemplo <strong>de</strong> la base <strong>de</strong> datos <strong>ATVS</strong> a difer<strong>en</strong>tes distancias . . . . . . . . 15<br />

Figura 9. Conjunto <strong>de</strong> imág<strong>en</strong>es para un único usuario . . . . . . . . . . . . . . . . . . . . . 15<br />

Figura 10. <strong>Puntos</strong> faciales For<strong>en</strong>sic <strong>ATVS</strong> . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17<br />

Figura 11. Cuatro usuarios, a modo <strong>de</strong> ejemplo, <strong>de</strong> la base <strong>de</strong> datos MORPH. . . . . . . . . 18<br />

Figura 12. Imag<strong>en</strong> progresión edad hombre blanco (izq.) y mujer Afro-americana (dcha.). . 19<br />

Figura 13. Posición cámaras comerciales <strong>de</strong> calidad variable . . . . . . . . . . . . . . . . . . 20<br />

Figura 14. Imag<strong>en</strong> frontal (izquierda) e imag<strong>en</strong> camara1 (<strong>de</strong>recha) <strong>de</strong> dos usuarios <strong>de</strong><br />

SCface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .<br />

20<br />

Figura 15. Cámaras <strong>de</strong> vigilancia. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20<br />

Figura 16. Distancias <strong>de</strong> captura <strong>de</strong> las imág<strong>en</strong>es <strong>de</strong> vigilancia . . . . . . . . . . . . . . . . . 21<br />

Figura 17. Ejemplo <strong>de</strong>l conjunto <strong>de</strong> imág<strong>en</strong>es por usuario . . . . . . . . . . . . . . . . . . . 22<br />

Figura 18. Distribución <strong>de</strong> la edad <strong>de</strong> los sujetos <strong>de</strong> la base <strong>de</strong> datos . . . . . . . . . . . . . 22<br />

Figura 19. Módulo <strong>de</strong> inscripción . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23<br />

Figura 20. Diagrama <strong>de</strong> bloques <strong>de</strong> un sistema biométrico <strong>de</strong> reconocimi<strong>en</strong>to. . . . . . . . 24<br />

Figura 21. Esquema modo id<strong>en</strong>tificación . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24<br />

Figura 22. Esquema modo verificación . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25<br />

Figura 23. <strong>Puntos</strong> faciales obt<strong>en</strong>idos a través <strong>de</strong>l FaceSDK . . . . . . . . . . . . . . . . . . . 26<br />

Figura 24. Esquema g<strong>en</strong>eral para la <strong>de</strong>tección y corrección <strong>de</strong> puntos característicos <strong>de</strong> la<br />

cara. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .<br />

27<br />

Figura 25. Etapa <strong>de</strong> pre-procesado . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28<br />

Figura 26. Marcado <strong>de</strong> las pupilas original (izquierda) y <strong>de</strong>spués <strong>de</strong>l pre-procesado<br />

(<strong>de</strong>recha). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .<br />

29<br />

Figura 27. Formato geométrico (izquierda) y un ejemplo con W=240 píxeles (<strong>de</strong>recha). . . 30<br />

Figura 28. Imag<strong>en</strong> original (izquierda) e imag<strong>en</strong> normalizada y rotada (<strong>de</strong>recha) . . . . . . . 31<br />

Figura 29. Transformación Afín y recorte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32<br />

Figura 30. Bloque <strong>de</strong>tector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32<br />

Figura 31. Detector <strong>de</strong> puntos característicos . . . . . . . . . . . . . . . . . . . . . . . . . . . 33<br />

Figura 32. Elem<strong>en</strong>tos estructurantes planos . . . . . . . . . . . . . . . . . . . . . . . . . . . 34<br />

Figura 33. Repres<strong>en</strong>tación fase 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35<br />

Figura 34. Ejemplo imág<strong>en</strong>es con mal marcado <strong>de</strong> ojos (ojos <strong>en</strong> parte lisa <strong>de</strong> la cara) . . . . 35<br />

Figura 35. Restricciones <strong>de</strong> la etapa 2, fase 2. . . . . . . . . . . . . . . . . . . . . . . . . . . 36<br />

Figura 36. Ejemplo imag<strong>en</strong> marcada <strong>de</strong> forma correcta . . . . . . . . . . . . . . . . . . . . . 36<br />

Figura 37. Distancias calculadas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37<br />

Figura 38. Ángulos. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37<br />

Figura 39. Distancias a la vertical (izquierda) y distancias a la horizontal (<strong>de</strong>recha). . . . . . 39<br />

Figura 40. Histogramas resultado para ángulos α . . . . . . . . . . . . . . . . . . . . . . . . 40<br />

Figura 41. Ejemplo <strong>de</strong> imág<strong>en</strong>es que fallan <strong>en</strong> cada una <strong>de</strong> las fases <strong>de</strong>l <strong>de</strong>tector, para la<br />

base <strong>de</strong> datos MORPH . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .<br />

41<br />

Figura 42. Esquema <strong>de</strong>cisor. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41<br />

Figura 43. Imág<strong>en</strong>es mal marcadas <strong>de</strong> MORPH. . . . . . . . . . . . . . . . . . . . . . . . . . 42<br />

Figura 44. Bloque corrector <strong>de</strong> puntos faciales . . . . . . . . . . . . . . . . . . . . . . . . . 43<br />

LUIS BLÁZQUEZ PÉREZ<br />

X


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

Figura 45. Funcionami<strong>en</strong>to corrector puntos característicos . . . . . . . . . . . . . . . . . . 43<br />

Figura 46. Proporciones faciales utilizadas . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45<br />

Figura 47. Resultado <strong>de</strong>l segm<strong>en</strong>tador basado <strong>en</strong> proporciones faciales . . . . . . . . . . . 45<br />

Figura 48. Resultado segm<strong>en</strong>tador por puntos (<strong>ATVS</strong>). . . . . . . . . . . . . . . . . . . . . . 47<br />

Figura 49. Comparación resultado <strong>de</strong> ambos segm<strong>en</strong>tadores. . . . . . . . . . . . . . . . . . 47<br />

Figura 50. Máscaras elípticas. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48<br />

Figura 51. Máscaras triangulares . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48<br />

Figura 52. Máscaras dos p<strong>en</strong>di<strong>en</strong>tes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49<br />

Figura 53. Realce . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49<br />

Figura 54. Ecualización . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50<br />

Figura 55. Umbralización . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50<br />

Figura 56. Barrido vertical . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51<br />

Figura 57. Resultado algoritmo barrido vertical sobre ojo. . . . . . . . . . . . . . . . . . . . 51<br />

Figura 58. Resultado algoritmo barrido vertical + método especial para la boca . . . . . . . 53<br />

Figura 59. Comparativa puntos característicos <strong>de</strong> la boca. . . . . . . . . . . . . . . . . . . . 53<br />

Figura 60. Comparación punto característico <strong>de</strong> la barbilla . . . . . . . . . . . . . . . . . . . 54<br />

Figura 61. <strong>Puntos</strong> característicos sobre un usuario <strong>de</strong> la base <strong>de</strong> datos MORPH . . . . . . . 54<br />

Figura 62. Base <strong>de</strong> datos MORPH corregida. . . . . . . . . . . . . . . . . . . . . . . . . . . . 55<br />

Figura 63. Equal Error Rate. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56<br />

Figura 64. <strong>Puntos</strong> característicos utilizados por la DGGC . . . . . . . . . . . . . . . . . . . . 58<br />

Figura 65. Mediciones a tomar. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59<br />

Figura 66. <strong>Puntos</strong> característicos <strong>de</strong> la cara <strong>de</strong> interés <strong>en</strong> el proyecto . . . . . . . . . . . . . 60<br />

Figura 67. Resultados <strong>de</strong> marcado <strong>en</strong>tre los puntos proporcionados y el sistema<br />

63<br />

<strong>de</strong>sarrollado <strong>en</strong> la base <strong>de</strong> datos BioID. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .<br />

Figura 68. Error medio, <strong>de</strong> cada rasgo facial, por usuario . . . . . . . . . . . . . . . . . . . . 64<br />

Figura 69. Error medio <strong>de</strong> cada usuario . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65<br />

Figura 70. Usuarios con rasgos faciales ocluidos . . . . . . . . . . . . . . . . . . . . . . . . . 65<br />

Figura 71. Vectores <strong>de</strong> características. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68<br />

Figura 72. Distancias más discriminantes <strong>de</strong> la cara . . . . . . . . . . . . . . . . . . . . . . . 70<br />

Figura 73. Error <strong>de</strong> segm<strong>en</strong>tación <strong>ATVS</strong>. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71<br />

Figura 74. Vectores <strong>de</strong> características rasgos faciales . . . . . . . . . . . . . . . . . . . . . . 72<br />

Figura 75. Distancias más discriminantes <strong>de</strong> cada rasgo. . . . . . . . . . . . . . . . . . . . . 73<br />

Figura 76. Usuario <strong>de</strong> la base <strong>de</strong> datos <strong>ATVS</strong> . . . . . . . . . . . . . . . . . . . . . . . . . . . 75<br />

Figura 77. Rasgos faciales extraídos. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76<br />

Figura 78. Error medio por rasgos y distancia. . . . . . . . . . . . . . . . . . . . . . . . . . . 76<br />

Figura 79. EER rasgos faciales mediante texturas para ambos segm<strong>en</strong>tadores ord<strong>en</strong>ados<br />

<strong>de</strong> mejor a peor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .<br />

78<br />

LUIS BLÁZQUEZ PÉREZ<br />

XI


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

Í ndice <strong>de</strong> tablas<br />

Tabla 1. Descripción bases <strong>de</strong> datos. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13<br />

Tabla 2. Número <strong>de</strong> Imág<strong>en</strong>es por género y asc<strong>en</strong>d<strong>en</strong>cia (n=55134) . . . . . . . . . . . . . 18<br />

Tabla 3. Número <strong>de</strong> imág<strong>en</strong>es por usuario . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18<br />

Tabla 4. Número <strong>de</strong> Imág<strong>en</strong>es por género y edad (n=55134). . . . . . . . . . . . . . . . . . 18<br />

Tabla 5. Detalles <strong>de</strong> los metadatos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19<br />

Tabla 6. Especificaciones <strong>de</strong> las cámaras <strong>de</strong> vigilancia. . . . . . . . . . . . . . . . . . . . . . 21<br />

Tabla 7. Especificaciones cámara utilizada para imág<strong>en</strong>es frontales . . . . . . . . . . . . . . 21<br />

Tabla 8. Características geométricas <strong>de</strong> las imág<strong>en</strong>es . . . . . . . . . . . . . . . . . . . . . . 30<br />

Tabla 9. Tabla <strong>de</strong> proporciones (el color <strong>de</strong> la letra hace refer<strong>en</strong>cia al color <strong>de</strong> las líneas). . 44<br />

Tabla 10. Offsets para las imág<strong>en</strong>es normalizadas, <strong>en</strong> píxeles . . . . . . . . . . . . . . . . . 46<br />

Tabla 11. Grado <strong>de</strong> semejanza. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57<br />

Tabla 12. <strong>Puntos</strong> característicos utilizados por la DGGC. . . . . . . . . . . . . . . . . . . . . 58<br />

Tabla 13. <strong>Puntos</strong> <strong>de</strong> interés faciales. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60<br />

Tabla 14. Longitud vectores <strong>de</strong> características. . . . . . . . . . . . . . . . . . . . . . . . . . 61<br />

Tabla 15. Error sistema manual vs sistema automático . . . . . . . . . . . . . . . . . . . . . 64<br />

Tabla 16. Error medio <strong>de</strong> cada rasgo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66<br />

Tabla 17. Número <strong>de</strong> imág<strong>en</strong>es erróneas. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66<br />

Tabla 18. Error <strong>de</strong> segm<strong>en</strong>tación . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67<br />

Tabla 19. Comparación EER . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69<br />

Tabla 20. Distancias por rasgos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72<br />

Tabla 21. EERs clasificados por segm<strong>en</strong>tador y bases <strong>de</strong> datos. . . . . . . . . . . . . . . . . 79<br />

LUIS BLÁZQUEZ PÉREZ<br />

XII


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

Glosario <strong>de</strong> te rminos<br />

AAM: Active Appearance Mo<strong>de</strong>l (Mo<strong>de</strong>lo <strong>de</strong> apari<strong>en</strong>cia activa)<br />

ASM: Active Shape Mo<strong>de</strong>l (Mo<strong>de</strong>lo <strong>de</strong> forma activa)<br />

CCTV: Circuito Cerrado <strong>de</strong> Televisión<br />

DET: Detection Error Tra<strong>de</strong>-off (comp<strong>en</strong>sación por error <strong>de</strong> <strong>de</strong>tección)<br />

DGGC: Dirección G<strong>en</strong>eral <strong>de</strong> la Guardia Civil<br />

DNI: Docum<strong>en</strong>to Nacional <strong>de</strong> Id<strong>en</strong>tidad<br />

DPC: Data Protection Commission (Comisión <strong>de</strong> Protección <strong>de</strong> Datos)<br />

EBGM: Elastic Bunch Graph Matching (Correspond<strong>en</strong>cia <strong>en</strong>tre agrupaciones <strong>de</strong> grafos<br />

elásticos)<br />

EE: Elem<strong>en</strong>to Estructurante<br />

EER: Equal Error Rate (tasa <strong>de</strong> error igual)<br />

FA: Falsa Aceptación<br />

FAR: False Acceptance Rate (tasa <strong>de</strong> falsa aceptación)<br />

FR: Falso Rechazo.<br />

FRR: False Rejection Rate (tasa <strong>de</strong> falso rechazo)<br />

IPD: Interpupillary Pixel Distance (Distancia interpupilar)<br />

IR: Infrarrojos<br />

LDA: Linear discriminant analysis (Análisis discriminante lineal)<br />

PFC: Proyecto <strong>de</strong> Fin <strong>de</strong> Carrera<br />

PCA: Principal Compon<strong>en</strong>ts Analysis (Análisis <strong>de</strong> Compon<strong>en</strong>tes Principales)<br />

SFFS: Sequ<strong>en</strong>tial Forward Floating Selection (Selección secu<strong>en</strong>cial hacia <strong>de</strong>lante)<br />

SVM: Support Vector Machine (Máquina <strong>de</strong> Vectores <strong>de</strong> Soporte)<br />

LUIS BLÁZQUEZ PÉREZ<br />

XIII


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

LUIS BLÁZQUEZ PÉREZ<br />

XIV


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

1. Íntroduccio n<br />

1.1 Motivación<br />

La biometría se <strong>en</strong>carga <strong>de</strong>l reconocimi<strong>en</strong>to automático <strong>de</strong> personas mediante sus rasgos<br />

físicos (cara, retina, iris, voz, huellas dactilares, etc.) o rasgos <strong>de</strong> conducta (forma <strong>de</strong> andar, <strong>de</strong><br />

escribir, etc.).<br />

En principio, cualquier característica física o <strong>de</strong>terminados tipos <strong>de</strong> comportami<strong>en</strong>to pued<strong>en</strong><br />

ser utilizados como rasgos biométricos, siempre y cuando posean las sigui<strong>en</strong>tes propieda<strong>de</strong>s:<br />

a. Universalidad: toda persona <strong>de</strong>be poseer la característica biométrica utilizada.<br />

b. Capacidad <strong>de</strong> distinción: las características biométricas <strong>de</strong> dicho rasgo, <strong>de</strong>be permitir<br />

discriminar a dos personas distintas.<br />

c. Constancia: <strong>de</strong>be permanecer relativam<strong>en</strong>te invariante a lo largo <strong>de</strong>l tiempo.<br />

d. Capacidad <strong>de</strong> cuantificación: <strong>de</strong>be po<strong>de</strong>r ser medida.<br />

En la actualidad exist<strong>en</strong> tres métodos <strong>de</strong> reconocimi<strong>en</strong>to facial:<br />

<br />

<br />

<br />

De rasgos locales: reconoc<strong>en</strong> los ojos, la nariz, la boca, mid<strong>en</strong> las distancias y los<br />

ángulos <strong>de</strong> la cara.<br />

De rasgos globales: aportan información <strong>de</strong> toda la cara.<br />

Mixtos: combinación <strong>de</strong> los anteriores.<br />

El sistema <strong>de</strong> rasgos globales, ti<strong>en</strong>e un marg<strong>en</strong> <strong>de</strong> error más pequeño, aunque maneja un<br />

m<strong>en</strong>or nivel <strong>de</strong> <strong>de</strong>talle.<br />

Una <strong>de</strong> las principales v<strong>en</strong>tajas <strong>de</strong>l reconocimi<strong>en</strong>to facial, es que se trata <strong>de</strong> un método no<br />

intrusivo, es <strong>de</strong>cir, los datos pued<strong>en</strong> ser adquiridos incluso sin que el sujeto se percate <strong>de</strong> ello.<br />

A<strong>de</strong>más, el aspecto facial es el método más utilizado <strong>de</strong> manera natural por los seres humanos<br />

para reconocerse unos a otros.<br />

Sin embargo, a la hora <strong>de</strong> id<strong>en</strong>tificar a una persona a partir <strong>de</strong> su aspecto facial, exist<strong>en</strong> una<br />

serie <strong>de</strong> dificulta<strong>de</strong>s c<strong>en</strong>tradas, sobretodo, <strong>en</strong> el concepto <strong>de</strong> variabilidad. Se hace muy difícil el<br />

reconocimi<strong>en</strong>to facial cuando hay la variabilidad <strong>en</strong>tre individuos es muy pequeña (por<br />

ejemplo, es el caso <strong>de</strong> familiares o, especialm<strong>en</strong>te, es el caso <strong>de</strong> los gemelos), o cuando la<br />

variabilidad <strong>en</strong>tre distintas imág<strong>en</strong>es <strong>de</strong> un mismo individuo es muy amplia; esto pue<strong>de</strong> ser<br />

<strong>de</strong>bido a que dichas imág<strong>en</strong>es hayan sido adquiridas <strong>en</strong> difer<strong>en</strong>tes condiciones <strong>de</strong> posición o<br />

iluminación. Otra <strong>de</strong> los gran<strong>de</strong>s obstáculos <strong>en</strong> el reconocimi<strong>en</strong>to facial, es la base <strong>de</strong> datos,<br />

esto es, para po<strong>de</strong>r evaluar los métodos <strong>de</strong> reconocimi<strong>en</strong>to facial, la base <strong>de</strong> datos <strong>de</strong>be ser<br />

adquirida <strong>en</strong> condiciones equival<strong>en</strong>tes para todos los individuos y <strong>en</strong> número <strong>de</strong> personas<br />

sufici<strong>en</strong>tem<strong>en</strong>te repres<strong>en</strong>tativo, pero t<strong>en</strong>i<strong>en</strong>do <strong>en</strong> cu<strong>en</strong>ta que un aum<strong>en</strong>to <strong>en</strong> el número <strong>de</strong><br />

datos, aum<strong>en</strong>ta el gasto computacional.<br />

LUIS BLÁZQUEZ PÉREZ 1


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

En la actualidad, exist<strong>en</strong> diversas aplicaciones cuyo funcionami<strong>en</strong>to está basado <strong>en</strong> el<br />

reconocimi<strong>en</strong>to facial, dividiéndose <strong>en</strong> tres gran<strong>de</strong>s grupos.<br />

El grupo más conocido por la g<strong>en</strong>te, es el comercial, es <strong>de</strong>cir, aplicaciones para la introducción<br />

<strong>de</strong> un usuario <strong>en</strong> re<strong>de</strong>s <strong>de</strong> ord<strong>en</strong>adores, seguridad electrónica, acceso a internet, cajeros<br />

automáticos, controles <strong>de</strong> acceso, teléfonos móviles, etc. Entre las aplicaciones que ti<strong>en</strong><strong>en</strong><br />

cabida <strong>en</strong> este primer grupo, son remarcables los ejemplos <strong>de</strong> Google y Facebook.<br />

La última innovación <strong>de</strong> Google, ha sido un nuevo sistema facial que permite al usuario el<br />

acceso a la información <strong>de</strong> su Smartphone o tableta. Dicho reconocimi<strong>en</strong>to facial permite crear<br />

a la vez distintos perfiles <strong>en</strong> un mismo aparato. Solo hace falta que registre sus datos<br />

biométricos para que sus dispositivos los reconozca, <strong>de</strong>spués <strong>de</strong> configurar el acceso a sus<br />

datos y docum<strong>en</strong>tos personales para que solo el usuario t<strong>en</strong>ga acceso a ellos. La localización<br />

<strong>de</strong> los rasgos biométricos <strong>de</strong> cada persona se basaría <strong>en</strong> un análisis <strong>de</strong> la forma y el tamaño <strong>de</strong><br />

la nariz, la mandíbula y los pómulos. Google ha pat<strong>en</strong>tado este <strong>de</strong>sbloqueo <strong>de</strong> dispositivos con<br />

un simple reconocimi<strong>en</strong>to facial 1 .<br />

Por otra parte, Facebook ha creado una herrami<strong>en</strong>ta <strong>de</strong> reconocimi<strong>en</strong>to facial, que permite<br />

reconocer al usuario mediante una foto. Sin embargo, <strong>en</strong> este caso, han t<strong>en</strong>ido que <strong>de</strong>sactivar<br />

su tecnología <strong>de</strong> reconocimi<strong>en</strong>to facial y borrar los datos incluidos <strong>en</strong> los perfiles <strong>de</strong> sus<br />

usuarios, <strong>de</strong>bido a la Comisión <strong>de</strong> Protección <strong>de</strong> Datos (DPC), ya que exig<strong>en</strong> una mayor<br />

transpar<strong>en</strong>cia para los usuarios sobre la manera <strong>en</strong> que se tratan sus datos.<br />

El segundo gran grupo al que se hace refer<strong>en</strong>cia, es el gubernam<strong>en</strong>tal, cuyas aplicaciones son<br />

las vinculadas a docum<strong>en</strong>tos id<strong>en</strong>tificativos (DNI, pasaporte, permiso <strong>de</strong> conducir), Seguridad<br />

Social, control <strong>de</strong> fronteras, control <strong>de</strong> aeropuertos, etc. La aplicación más conocida y<br />

mo<strong>de</strong>rna, pert<strong>en</strong>eci<strong>en</strong>te a este segundo grupo es el ABC system, utilizado para el chequeo <strong>de</strong><br />

pasaportes (se pone un pasaporte y se comprueba que la foto coinci<strong>de</strong> con la <strong>de</strong>l mismo,<br />

registrada <strong>en</strong> la base <strong>de</strong> datos). Este sistema se ha implem<strong>en</strong>tado <strong>en</strong> el Aeropuerto <strong>de</strong> Barajas,<br />

como un nuevo método <strong>de</strong> reconocimi<strong>en</strong>to facial. A partir <strong>de</strong> la imag<strong>en</strong> <strong>de</strong> la cara, se<br />

<strong>de</strong>terminan unos cuantos números que repres<strong>en</strong>t<strong>en</strong> únicam<strong>en</strong>te a esa persona y se compara<br />

con los <strong>de</strong> una base <strong>de</strong> datos para conocer quién es ese individuo. Para obt<strong>en</strong>er la información<br />

a<strong>de</strong>cuada, lo mejor es que la imag<strong>en</strong> se capte lo más frontal posible. El método <strong>de</strong><br />

reconocimi<strong>en</strong>to facial implem<strong>en</strong>tado es el <strong>de</strong> rasgos globales, <strong>de</strong>bido a que se da más<br />

prioridad a la falta <strong>de</strong> errores que al nivel <strong>de</strong> <strong>de</strong>talle. En [1] y [2] se explican las directrices<br />

técnicas y operacionales, respectivam<strong>en</strong>te.<br />

En el tercer grupo, el for<strong>en</strong>se, ti<strong>en</strong><strong>en</strong> lugar investigaciones criminales, id<strong>en</strong>tificación <strong>de</strong><br />

cadáveres, terrorismo, id<strong>en</strong>tificación <strong>de</strong> personas <strong>de</strong>saparecidas, etc.<br />

1<br />

http://eldia.es/2012-09-07/sociedad/0-Google-<strong>de</strong>sarrolla-<strong>de</strong>sbloqueo-facial-varios-usuarios-mismotelefono.htm<br />

LUIS BLÁZQUEZ PÉREZ 2


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

En un sistema biométrico real, a<strong>de</strong>más <strong>de</strong>l porc<strong>en</strong>taje <strong>de</strong> aciertos o fallos, <strong>de</strong>b<strong>en</strong> existir otras<br />

cuestiones que han <strong>de</strong> ser consi<strong>de</strong>radas:<br />

a. Funcionami<strong>en</strong>to: el porc<strong>en</strong>taje <strong>de</strong> reconocimi<strong>en</strong>to <strong>de</strong>be superar un <strong>de</strong>terminado<br />

umbral y el tiempo <strong>de</strong> ejecución <strong>de</strong>be ser el m<strong>en</strong>or posible.<br />

b. Aceptabilidad: <strong>de</strong>be ser aceptado por las personas como un método <strong>de</strong><br />

reconocimi<strong>en</strong>to que puedan integrar <strong>en</strong> su vida diaria.<br />

c. Robustez: <strong>de</strong>be ser estable fr<strong>en</strong>te a ataques fraudul<strong>en</strong>tos.<br />

1.2 Objetivos <strong>de</strong>l PFC<br />

Los objetivos <strong>de</strong>l pres<strong>en</strong>te proyecto son la segm<strong>en</strong>tación <strong>de</strong> la cara y el análisis exhaustivo <strong>de</strong><br />

cada uno <strong>de</strong> los rasgos faciales extraídos.<br />

Con los bloques <strong>de</strong>sarrollados, para la cumplim<strong>en</strong>tación <strong>de</strong> dichos objetivos, <strong>de</strong>tector,<br />

corrector y extractor, se pret<strong>en</strong><strong>de</strong> realizar un sistema que comprueba la vali<strong>de</strong>z <strong>de</strong> sistemas<br />

comerciales basados <strong>en</strong> el marcado <strong>de</strong> puntos característicos <strong>de</strong> la cara (<strong>en</strong> el caso <strong>de</strong> este<br />

proyecto, el sistema comercial que se pondrá a prueba es el llamado FaceSDK), y que <strong>en</strong> caso<br />

<strong>de</strong> fallo, los corrija <strong>de</strong> forma fiable.<br />

La utilidad <strong>de</strong> estos bloques es muy alta, ya que la correcta estimación <strong>de</strong> los puntos faciales<br />

<strong>de</strong> interés (Figura 1) ti<strong>en</strong>e numerosas v<strong>en</strong>tajas, como la extracción <strong>de</strong> rasgos faciales <strong>de</strong><br />

manera más precisa y exacta o la realización <strong>de</strong> un análisis <strong>de</strong> morfología (permiti<strong>en</strong>do el<br />

estudio <strong>de</strong> texturas <strong>de</strong> los rasgos).<br />

1 = right mouth corner<br />

2 = left mouth corner<br />

3 = outer <strong>en</strong>d of right eye brow<br />

4 = inner <strong>en</strong>d of right eye brow<br />

5 = inner <strong>en</strong>d of left eye brow<br />

6 = outer <strong>en</strong>d of left eye brow<br />

7 = outer corner of right eye<br />

8 = inner corner of right eye<br />

9 = inner corner of left eye<br />

10 = outer corner of left eye<br />

11 = right nostril<br />

12 = left nostril<br />

13 = tip of chin<br />

Figura 1. <strong>Facial</strong> landmarks.<br />

Finalm<strong>en</strong>te, se estudiarán las principales distancias <strong>en</strong>tre puntos característicos, para el<br />

reconocimi<strong>en</strong>to, mediante los últimos dos bloques <strong>de</strong>sarrollados, utilizados para clasificar y<br />

comparar los vectores <strong>de</strong> características <strong>de</strong> las imág<strong>en</strong>es, a<strong>de</strong>más <strong>de</strong> analizar el po<strong>de</strong>r<br />

discriminante <strong>de</strong> cada rasgo, gracias a los extractores <strong>de</strong>sarrollados.<br />

LUIS BLÁZQUEZ PÉREZ 3


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

1.3 Metodología y plan <strong>de</strong> trabajo<br />

La metodología <strong>de</strong> trabajo se divi<strong>de</strong> <strong>en</strong> los sigui<strong>en</strong>tes pasos:<br />

Estudio <strong>de</strong> la literatura<br />

<br />

El primer paso será un estudio <strong>de</strong> los sistemas <strong>de</strong> reconocimi<strong>en</strong>to facial, <strong>en</strong> particular,<br />

los utilizados para el marcado <strong>de</strong> puntos característicos <strong>de</strong> la cara.<br />

Aquí se revisa el estado <strong>de</strong>l arte <strong>en</strong> dichos sistemas [3,4].<br />

<br />

Para completar la fase <strong>de</strong> estudio, las técnicas básicas <strong>de</strong> procesami<strong>en</strong>to <strong>de</strong> imag<strong>en</strong><br />

digital serán estudiadas a través <strong>de</strong> la compr<strong>en</strong>sión <strong>de</strong>l libro [5] y la realización <strong>de</strong><br />

algunos <strong>de</strong> sus ejemplos.<br />

Desarrollo <strong>de</strong> un sistema <strong>de</strong> <strong>de</strong>tección y marcado/corrección <strong>de</strong> puntos característicos<br />

faciales [6,7,8,9]. Este sistema se aplica tanto <strong>en</strong> <strong>en</strong>tornos controlados como no controlados.<br />

El <strong>de</strong>sarrollo incluye los sigui<strong>en</strong>tes pasos:<br />

<br />

<br />

Preprocesami<strong>en</strong>to <strong>de</strong> las imág<strong>en</strong>es.<br />

Detección <strong>de</strong> los rasgos biométricos (ojos, nariz, boca…) mal marcados.<br />

Extracción <strong>de</strong> dichos rasgos biométricos [10]<br />

<br />

Corrección <strong>de</strong> los puntos característicos.<br />

Desarrollo <strong>de</strong> un sistema <strong>de</strong> id<strong>en</strong>tificación biométrica. Este sistema utilizará las características<br />

extraídas <strong>de</strong> las imág<strong>en</strong>es g<strong>en</strong>eradas <strong>en</strong> la etapa anterior. El <strong>de</strong>sarrollo incluye los sigui<strong>en</strong>tes<br />

pasos.<br />

<br />

<br />

<br />

Extracción <strong>de</strong> características (distancias euclí<strong>de</strong>as <strong>en</strong>tre los puntos característicos, ya<br />

corregidos).<br />

Medida <strong>de</strong> similitud<br />

Toma <strong>de</strong> <strong>de</strong>cisiones.<br />

Experim<strong>en</strong>tos para la optimización <strong>de</strong>l sistema. Estos experim<strong>en</strong>tos se c<strong>en</strong>tran <strong>en</strong> la selección<br />

<strong>de</strong> características. Se llevan a cabo para obt<strong>en</strong>er un conjunto <strong>de</strong> características distintivas y<br />

repres<strong>en</strong>tante <strong>de</strong> cada usuario para aum<strong>en</strong>tar el r<strong>en</strong>dimi<strong>en</strong>to <strong>de</strong>l sistema.<br />

Evaluación <strong>de</strong>l sistema mediante la realización <strong>de</strong> difer<strong>en</strong>tes experim<strong>en</strong>tos.<br />

Evaluación <strong>de</strong> los resultados y las conclusiones extraídos.<br />

Docum<strong>en</strong>tación <strong>de</strong> los trabajos realizados.<br />

<br />

<br />

<br />

Descripción <strong>de</strong> los pasos seguidos.<br />

Análisis y evaluación <strong>de</strong> los resultados.<br />

Posible trabajo futuro.<br />

LUIS BLÁZQUEZ PÉREZ 4


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

1.4 Organización <strong>de</strong> la memoria<br />

El pres<strong>en</strong>te docum<strong>en</strong>to está estructurado <strong>en</strong> 6 capítulos:<br />

Capítulo 1: Introducción. Éste capítulo se pres<strong>en</strong>ta el tema <strong>de</strong> este proyecto, las principales<br />

razones que nos han animado a <strong>de</strong>sarrollar este trabajo, los objetivos a conseguir, la<br />

metodología seguida y la organización <strong>de</strong> la memoria.<br />

Capítulo 2: Estado <strong>de</strong>l arte <strong>en</strong> localización <strong>de</strong> puntos característicos <strong>de</strong> la cara. En este<br />

capítulo se examinan algunas <strong>de</strong> las actuales tecnologías <strong>de</strong> marcado <strong>de</strong> puntos característicos<br />

<strong>de</strong> la cara: 1) EBGM, 2) AAM, 3) ASM, así como sus aplicaciones biométricas.<br />

Capítulo 3: Bases <strong>de</strong> datos. En este capítulo se <strong>de</strong>scrib<strong>en</strong> cuatro bases <strong>de</strong> datos <strong>de</strong> imág<strong>en</strong>es:<br />

1) BioID [11], que es una base <strong>de</strong> datos g<strong>en</strong>erada <strong>en</strong> <strong>en</strong>tornos controlados, 2) For<strong>en</strong>sic <strong>ATVS</strong>,<br />

que es la base <strong>de</strong> datos g<strong>en</strong>erada durante el <strong>de</strong>sarrollo <strong>de</strong> este proyecto <strong>en</strong> condiciones<br />

controladas, 3) MORPH [12], que es una base <strong>de</strong> datos obt<strong>en</strong>ida <strong>en</strong> <strong>en</strong>tornos semi-controlados<br />

y 4) Scface [13], que es una base <strong>de</strong> datos g<strong>en</strong>erada <strong>en</strong> <strong>en</strong>tornos no controlados y con una<br />

calidad <strong>de</strong> imag<strong>en</strong> mala.<br />

Capítulo 4: Sistema, diseño y <strong>de</strong>sarrollo. En el cuarto capítulo, <strong>de</strong>spués <strong>de</strong> una breve<br />

introducción a los sistemas biométricos, se <strong>de</strong>tallan las difer<strong>en</strong>tes etapas <strong>de</strong>l diseño y<br />

<strong>de</strong>sarrollo <strong>de</strong>l sistema biométrico implem<strong>en</strong>tado: <strong>de</strong>s<strong>de</strong> el pre-procesami<strong>en</strong>to <strong>de</strong> las imág<strong>en</strong>es<br />

a la <strong>de</strong>cisión <strong>de</strong> la id<strong>en</strong>tidad.<br />

Capítulo 5: Experim<strong>en</strong>tos y resultados. En este capítulo, <strong>en</strong> primer lugar, se pres<strong>en</strong>ta un<br />

resum<strong>en</strong> <strong>de</strong> la evaluación <strong>de</strong>l <strong>de</strong>sempeño <strong>de</strong> los sistemas biométricos. Entonces, se <strong>de</strong>scrib<strong>en</strong><br />

los protocolos experim<strong>en</strong>tales y los clasificadores empleados <strong>en</strong> los experim<strong>en</strong>tos. Finalm<strong>en</strong>te,<br />

se pres<strong>en</strong>tan y analizan los resultados obt<strong>en</strong>idos <strong>en</strong> cada experim<strong>en</strong>to.<br />

Capítulo 6: Conclusiones y trabajo futuro. Las conclusiones, juntos con el posible trabajo<br />

futuro, son expuestas <strong>en</strong> la parte final <strong>de</strong>l proyecto.<br />

Por último, las secciones sigui<strong>en</strong>tes se <strong>en</strong>cu<strong>en</strong>tran al final <strong>de</strong> la disertación: la bibliografía, el<br />

presupuesto <strong>de</strong>l proyecto, el pliego <strong>de</strong> condiciones y el artículo publicado.<br />

LUIS BLÁZQUEZ PÉREZ 5


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

2. Estado <strong>de</strong>l arte <strong>en</strong> localizacio n <strong>de</strong><br />

puntos caracterí sticos <strong>de</strong> la cara<br />

2.1 Introducción<br />

El reconocimi<strong>en</strong>to facial automatizado es un concepto relativam<strong>en</strong>te nuevo, pues se introdujo<br />

<strong>en</strong> los años 60. Fue <strong>en</strong>tonces cuando se <strong>de</strong>sarrolló el primer sistema semiautomático para<br />

reconocimi<strong>en</strong>to facial, el cual requería la imag<strong>en</strong> <strong>de</strong> una persona para localizar los rasgos<br />

(como ojos, nariz y boca) <strong>en</strong> las fotografías antes <strong>de</strong> que este calculara distancias a puntos <strong>de</strong><br />

refer<strong>en</strong>cia <strong>en</strong> común, que posteriorm<strong>en</strong>te eran comparados con datos <strong>de</strong> refer<strong>en</strong>cia [14].<br />

En los años 70 Goldstein, Harmon & Lesk [15], utilizaron 21 marcadores subjetivos específicos<br />

tales como el color <strong>de</strong>l cabello y el grosor <strong>de</strong> labios para automatizar el reconocimi<strong>en</strong>to facial.<br />

El problema con estas soluciones previas era que se seguían requiri<strong>en</strong>do un proceso manual.<br />

En 1988 Kirby & Sirobich aplicaron análisis <strong>de</strong> compon<strong>en</strong>tes principales (PCA), una técnica<br />

estándar <strong>de</strong>l algebra lineal, al problema <strong>de</strong>l reconocimi<strong>en</strong>to facial, para aum<strong>en</strong>tar la exactitud<br />

<strong>de</strong> los resultados. Esto fue consi<strong>de</strong>rado un avance muy importante al mostrar que eran<br />

requeridos m<strong>en</strong>os <strong>de</strong> 100 valores para codificar acertadam<strong>en</strong>te la imag<strong>en</strong> <strong>de</strong> una cara<br />

conv<strong>en</strong>i<strong>en</strong>tem<strong>en</strong>te alineada y normalizada [16].<br />

En 1991 Turk & P<strong>en</strong>tland, utilizando las técnicas <strong>de</strong> Eig<strong>en</strong>faces, como se d<strong>en</strong>ominó al método<br />

<strong>de</strong> Kirby & Sirobich, <strong>de</strong>mostraron que el error residual podía ser utilizado para <strong>de</strong>tectar caras<br />

<strong>en</strong> las imág<strong>en</strong>es [17], un <strong>de</strong>scubrimi<strong>en</strong>to que permitió <strong>de</strong>sarrollar sistemas automatizados<br />

fiables <strong>de</strong> reconocimi<strong>en</strong>to facial <strong>en</strong> tiempo real. Si bi<strong>en</strong> la aproximación era un tanto forzada<br />

por factores ambi<strong>en</strong>tales, creó sin embargo un interés significativo <strong>en</strong> posteriores <strong>de</strong>sarrollos<br />

<strong>de</strong> éstos sistemas.<br />

2.2 Métodos<br />

Hay tres <strong>en</strong>foques predominantes <strong>en</strong> el problema <strong>de</strong> reconocimi<strong>en</strong>to facial: i) geométrico:<br />

basado <strong>en</strong> los rasgos, ii) fotométrico: basado <strong>en</strong> lo visual, y iii) la combinación <strong>de</strong> los dos<br />

<strong>en</strong>foques anteriores.<br />

Conforme a que el interés <strong>en</strong> reconocimi<strong>en</strong>to facial continuó, fueron <strong>de</strong>sarrollados muchos<br />

algoritmos difer<strong>en</strong>tes; se <strong>de</strong>b<strong>en</strong> <strong>de</strong>stacar tres <strong>de</strong> ellos, los cuales han sido bi<strong>en</strong> estudiados <strong>en</strong> la<br />

literatura <strong>de</strong>l reconocimi<strong>en</strong>to facial:<br />

<br />

<br />

<br />

Correspond<strong>en</strong>cia <strong>en</strong>tre agrupaciones <strong>de</strong> grafos elásticos (Elastic Bunch Graph<br />

Matching, EBGM),<br />

Mo<strong>de</strong>lo <strong>de</strong> apari<strong>en</strong>cia activa (Active Appearance Mo<strong>de</strong>l, AAM),<br />

Mo<strong>de</strong>lo <strong>de</strong> forma activa (Active Shape Mo<strong>de</strong>l, ASM).<br />

Los sistemas <strong>de</strong> reconocimi<strong>en</strong>to facial mo<strong>de</strong>rnos se basan <strong>en</strong> estos algoritmos.<br />

LUIS BLÁZQUEZ PÉREZ 6


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

2.2.1 Correspond<strong>en</strong>cia <strong>en</strong>tre agrupaciones <strong>de</strong> grafos elásticos<br />

(Elastic Bunch Graph Matching, EBGM)<br />

El algoritmo EBGM [18] fue diseñado para realizar tareas <strong>de</strong> reconocimi<strong>en</strong>to facial, utilizando<br />

solam<strong>en</strong>te algunos puntos <strong>de</strong> interés y no la cara <strong>en</strong> su totalidad. La técnica <strong>de</strong> EBGM se<br />

<strong>de</strong>sarrolla básicam<strong>en</strong>te <strong>en</strong> dos etapas: la primera consiste <strong>en</strong> ajustar un grafo <strong>de</strong> puntos<br />

principales a la cara <strong>de</strong>l individuo, utilizando para ello un mo<strong>de</strong>lo estadístico <strong>de</strong> dicho grafo; la<br />

segunda etapa extrae características locales <strong>en</strong> dichos puntos y halla la distancia <strong>en</strong>tre el grafo<br />

obt<strong>en</strong>ido y sus <strong>de</strong>scriptores al grafo almac<strong>en</strong>ado <strong>de</strong> la persona a id<strong>en</strong>tificar. Dep<strong>en</strong>di<strong>en</strong>do <strong>de</strong> la<br />

distancia <strong>en</strong>contrada, se ratifica o no la id<strong>en</strong>tidad <strong>de</strong>l individuo.<br />

El primer paso, antes <strong>de</strong> la utilización <strong>de</strong> este algoritmo, es la normalización <strong>de</strong> las imág<strong>en</strong>es.<br />

En este proceso se reduce el tamaño <strong>de</strong> las imág<strong>en</strong>es y se realizan transformaciones<br />

geométricas que ubican las coord<strong>en</strong>adas <strong>de</strong> los ojos <strong>de</strong>l individuo <strong>en</strong> posiciones<br />

pre<strong>de</strong>terminadas.<br />

Figura 2. Correspond<strong>en</strong>cia <strong>en</strong>tre agrupaciones <strong>de</strong> grafos elásticos<br />

La implem<strong>en</strong>tación <strong>de</strong>l algoritmo EBGM (Figura 2) requiere el uso <strong>de</strong> las wavelets Gabor (filtros<br />

espaciales paso-banda, que permit<strong>en</strong> alcanzar la resolución conjunta <strong>de</strong> información máxima<br />

<strong>en</strong> los espacios bidim<strong>en</strong>sionales espacial y frecu<strong>en</strong>cial), ya que estas brindan una <strong>de</strong>scripción<br />

<strong>de</strong> la información <strong>en</strong> frecu<strong>en</strong>cia, <strong>en</strong> una región específica <strong>de</strong> la imag<strong>en</strong>. Para ello es necesario<br />

realizar la operación <strong>de</strong> convolución <strong>de</strong> la región con una variedad <strong>de</strong> wavelets; estas wavelets<br />

son almac<strong>en</strong>adas como máscaras <strong>en</strong> arreglos bidim<strong>en</strong>sionales. Las máscaras se pued<strong>en</strong> <strong>de</strong>finir<br />

mediante la ecuación 1, don<strong>de</strong> las wavelets se separan <strong>en</strong> parte par y parte impar.<br />

( )<br />

( ) ( )<br />

( )<br />

(1)<br />

( )<br />

( ) ( )<br />

( )<br />

Con: x r =(x-x 0 )*cos(θ)+(y-y 0 )*sin(θ); don<strong>de</strong> <strong>de</strong>fine la longitud <strong>de</strong> onda, σ <strong>de</strong>fine el radio <strong>de</strong> la<br />

gaussiana, ϒ <strong>de</strong>fine la relación <strong>de</strong> aspecto <strong>de</strong> la gaussiana, θ repres<strong>en</strong>ta la ori<strong>en</strong>tación <strong>de</strong> la<br />

portadora y (x 0 , y 0 ) <strong>de</strong>terminan la ubicación <strong>de</strong>l valor pico <strong>de</strong> la función gaussiana.<br />

LUIS BLÁZQUEZ PÉREZ 7


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

A continuación se <strong>de</strong>scribe la parte <strong>de</strong>l algoritmo EBGM que se refiere a la localización <strong>de</strong><br />

puntos característicos.<br />

1. Se <strong>de</strong>fine una estructura <strong>de</strong> grafo sobre la cara, cuyos nodos son puntos <strong>de</strong> interés,<br />

que se puedan localizar fácilm<strong>en</strong>te y que posean la misma estructura <strong>en</strong> todos los<br />

rostros.<br />

2. Cada nodo <strong>de</strong>l grafo es caracterizado utilizando un banco <strong>de</strong> filtros <strong>de</strong> Gabor <strong>de</strong><br />

difer<strong>en</strong>tes frecu<strong>en</strong>cias y ori<strong>en</strong>taciones. En cada nodo, se calcula la respuesta <strong>de</strong> todos<br />

los filtros, d<strong>en</strong>ominado Jet. Por consigui<strong>en</strong>te, cada nodo queda etiquetado con sus<br />

coord<strong>en</strong>adas y su Jet asociado.<br />

3. Para una imag<strong>en</strong> nueva se busca <strong>en</strong> la base <strong>de</strong> datos el conjunto <strong>de</strong> Jets que sean más<br />

similares. Para realizar esto, se c<strong>en</strong>tra el grafo <strong>en</strong> los ojos <strong>de</strong> la nueva imag<strong>en</strong>, se<br />

calculan los jets <strong>de</strong> estos puntos y se comparan con los jets <strong>de</strong> los ojos <strong>de</strong> la base <strong>de</strong><br />

datos. Para la comparación <strong>de</strong> los jets se utiliza una función <strong>de</strong> similitud <strong>de</strong> fase, ésta<br />

es similar a una correlación, y está <strong>de</strong>finida como se <strong>de</strong>scribe <strong>en</strong> la ecuación 2.<br />

( )<br />

∑ ( )<br />

√∑ ∑<br />

( )<br />

don<strong>de</strong>: a’ es la magnitud <strong>de</strong>l jet <strong>de</strong> la base <strong>de</strong> datos, a la magnitud <strong>de</strong>l Jet <strong>de</strong> la imag<strong>en</strong><br />

nueva, la fase <strong>de</strong>l Jet <strong>de</strong> la base <strong>de</strong> datos, la fase <strong>de</strong>l Jet <strong>de</strong> la imag<strong>en</strong> nueva y n<br />

el número <strong>de</strong> coefici<strong>en</strong>tes <strong>de</strong>l Jet.<br />

Este algoritmo ti<strong>en</strong>e <strong>en</strong> cu<strong>en</strong>ta que las imág<strong>en</strong>es faciales reales ti<strong>en</strong><strong>en</strong> muchas características<br />

no lineales que no son tratadas <strong>en</strong> los métodos lineales <strong>de</strong> análisis (LDA, PCA), tales como<br />

variaciones <strong>en</strong> la iluminación (iluminación <strong>de</strong> exteriores vs interior fluoresc<strong>en</strong>te), postura<br />

(frontal vs inclinada) y expresión (sonrisa vs ceño fruncido). Sin embargo, la dificultada <strong>de</strong> este<br />

método es el requerimi<strong>en</strong>to <strong>de</strong> la precisa localización <strong>de</strong>l punto <strong>de</strong> refer<strong>en</strong>cia.<br />

AAM)<br />

2.2.2 Mo<strong>de</strong>lo <strong>de</strong> apari<strong>en</strong>cia activa (Active Appearance Mo<strong>de</strong>l,<br />

Los Mo<strong>de</strong>los <strong>de</strong> Apari<strong>en</strong>cia Activa (AAM) [19] permit<strong>en</strong> reproducir <strong>de</strong> forma sintética imág<strong>en</strong>es<br />

<strong>de</strong> superficies que incluy<strong>en</strong> <strong>de</strong>formaciones no rígidas y cambios <strong>de</strong> apari<strong>en</strong>cia. Están basados<br />

<strong>en</strong> la obt<strong>en</strong>ción, mediante una fase <strong>de</strong> <strong>en</strong>tr<strong>en</strong>ami<strong>en</strong>to, <strong>de</strong> un mo<strong>de</strong>lo estadístico <strong>de</strong> la forma y<br />

la apari<strong>en</strong>cia <strong>de</strong>l objeto <strong>de</strong> interés.<br />

En un AAM la forma es <strong>de</strong>scrita mediante un conjunto <strong>de</strong> N puntos característicos (los<br />

llamados Parámetros <strong>de</strong> forma), que <strong>de</strong>terminan una malla similar a la repres<strong>en</strong>tada <strong>en</strong> la<br />

Figura 3 y que es expresada por el sigui<strong>en</strong>te vector:<br />

don<strong>de</strong> u i , v i son las coord<strong>en</strong>adas <strong>de</strong>l vértice i.<br />

( ) ( )<br />

LUIS BLÁZQUEZ PÉREZ 8


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

Figura 3. Ejemplo <strong>de</strong> malla <strong>en</strong> AAM<br />

Mediante el análisis <strong>de</strong> compon<strong>en</strong>tes principales (PCA) sobre las mallas <strong>de</strong> <strong>en</strong>tr<strong>en</strong>ami<strong>en</strong>to se<br />

obti<strong>en</strong>e una malla s 0 y un subespacio B s =[s 1 ,…,s N ] formado por n compon<strong>en</strong>tes principales, con<br />

una dim<strong>en</strong>sionalidad m<strong>en</strong>or que la <strong>de</strong>l conjunto <strong>de</strong> <strong>en</strong>tr<strong>en</strong>ami<strong>en</strong>to.<br />

Cualquier instancia <strong>de</strong> la forma <strong>de</strong>l mo<strong>de</strong>lo se obti<strong>en</strong>e a partir <strong>de</strong> una combinación lineal <strong>de</strong> los<br />

vectores <strong>de</strong> la base <strong>de</strong> forma, B s mediante la sigui<strong>en</strong>te expresión:<br />

( ) ∑ ( )<br />

La inclusión <strong>de</strong> los parámetros <strong>de</strong> forma <strong>en</strong> el mo<strong>de</strong>lo se realiza mediante una transformación<br />

afín <strong>de</strong>finida a trozos d<strong>en</strong>ominada función warp W(x;p). Esta función se <strong>en</strong>carga <strong>de</strong><br />

transformar los puntos interiores <strong>de</strong> una malla concreta (normalm<strong>en</strong>te se elige s 0 ), <strong>en</strong> don<strong>de</strong><br />

se <strong>de</strong>fine la apari<strong>en</strong>cia, a cualquier malla s(p) g<strong>en</strong>erada a partir <strong>de</strong> (2). Es <strong>de</strong>cir:<br />

( ) ( )<br />

Don<strong>de</strong> x son puntos <strong>en</strong> el interior <strong>de</strong> s 0 y x’ está <strong>de</strong>finido <strong>en</strong> el interior <strong>de</strong> s(p).<br />

La apari<strong>en</strong>cia se <strong>de</strong>scribe a partir <strong>de</strong>l mapa <strong>de</strong> bits <strong>de</strong>finido <strong>en</strong> el interior <strong>de</strong> los diversos<br />

triángulos que forman los puntos <strong>de</strong> la malla s 0 , son los llamados Parámetros <strong>de</strong> apari<strong>en</strong>cia.<br />

Mediante (3) se transforman las imág<strong>en</strong>es <strong>de</strong> <strong>en</strong>tr<strong>en</strong>ami<strong>en</strong>to, con el fin <strong>de</strong> normalizarlas <strong>en</strong><br />

forma. De la misma manera que con los parámetros <strong>de</strong> forma, mediante PCA se obti<strong>en</strong><strong>en</strong> tanto<br />

la apari<strong>en</strong>cia media A 0 , como la base <strong>de</strong> un subespacio B A =[A 1 (x), A 2 (x),…,A m (x)], <strong>de</strong> dim<strong>en</strong>sión<br />

m<strong>en</strong>or al conjunto <strong>de</strong> <strong>en</strong>tr<strong>en</strong>ami<strong>en</strong>to, que está formada por las m compon<strong>en</strong>tes principales <strong>de</strong>l<br />

<strong>en</strong>tr<strong>en</strong>ami<strong>en</strong>to.<br />

A partir <strong>de</strong> estos elem<strong>en</strong>tos, se obti<strong>en</strong>e un mo<strong>de</strong>lo <strong>de</strong> apari<strong>en</strong>cia lineal, que es capaz <strong>de</strong><br />

g<strong>en</strong>erar una instancia <strong>de</strong> apari<strong>en</strong>cia a partir <strong>de</strong> una combinación lineal <strong>de</strong> la media y las<br />

compon<strong>en</strong>tes <strong>de</strong> la base, pon<strong>de</strong>radas por un conjunto <strong>de</strong> parámetros λ=(λ 1 ,λ 2 ,…,λ m ):<br />

( ) ( ) ∑ ( ) ( )<br />

LUIS BLÁZQUEZ PÉREZ 9


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

Una vez obt<strong>en</strong>ido el mo<strong>de</strong>lo <strong>de</strong> apari<strong>en</strong>cia lineal, se proce<strong>de</strong> con el ajuste <strong>de</strong>l mo<strong>de</strong>lo que trata<br />

<strong>de</strong>, a partir <strong>de</strong> una imag<strong>en</strong> <strong>de</strong> <strong>en</strong>trada I(x), <strong>en</strong>contrar el conjunto <strong>de</strong> parámetros p y λ que<br />

minimic<strong>en</strong> el error cuadrático <strong>en</strong>tre la instancia <strong>de</strong>l mo<strong>de</strong>lo g<strong>en</strong>erado a partir <strong>de</strong> esos<br />

parámetros y la imag<strong>en</strong> <strong>de</strong> <strong>en</strong>trada:<br />

∑ ( ) ∑ ( ) ( ( )) ( )<br />

Exist<strong>en</strong> diversos métodos para minimizar (5), <strong>en</strong>tre los que <strong>de</strong>stacan por su precisión el<br />

algoritmo <strong>de</strong> Lucas-Kana<strong>de</strong>, el cual, <strong>en</strong> líneas g<strong>en</strong>erales, es un método <strong>de</strong> minimización<br />

iterativo basado <strong>en</strong> el algoritmo <strong>de</strong> Gauss-Newton.<br />

El mo<strong>de</strong>lo AAM es un bu<strong>en</strong> método estadístico para ajustes <strong>de</strong> plantillas, el cual usa toda la<br />

información <strong>de</strong> la cara, es <strong>de</strong>cir, no solo los puntos <strong>de</strong> los bor<strong>de</strong>s, sino también los interiores.<br />

El gran problema <strong>de</strong> este mo<strong>de</strong>lo, es que son muy s<strong>en</strong>sibles al proceso <strong>de</strong> inicialización, esto<br />

es, cuando la inicialización está alejada <strong>de</strong>l objeto <strong>de</strong>stino, ellos pued<strong>en</strong> converger hacia<br />

mínimos locales.<br />

2.2.3 Mo<strong>de</strong>lo <strong>de</strong> forma activa (Active Shape Mo<strong>de</strong>l, ASM)<br />

El mo<strong>de</strong>lo estructural que <strong>de</strong>fine ASM [20] está compuesto por tres elem<strong>en</strong>tos: i) un mo<strong>de</strong>lo<br />

<strong>de</strong> contorno, ii) un mo<strong>de</strong>lo <strong>de</strong> apari<strong>en</strong>cia y iii) un algoritmo <strong>de</strong> búsqueda para ajustar el<br />

mo<strong>de</strong>lo mediante la minimización <strong>de</strong> una función <strong>de</strong> coste.<br />

i. Mo<strong>de</strong>lo <strong>de</strong> contorno<br />

El objetivo <strong>de</strong>l mo<strong>de</strong>lo <strong>de</strong> contorno es asegurar que la segm<strong>en</strong>tación produce contornos<br />

válidos para la región facial. El mo<strong>de</strong>lo <strong>de</strong> contorno vi<strong>en</strong>e dado por los compon<strong>en</strong>tes<br />

principales <strong>de</strong> los vectores <strong>de</strong>finidos por las marcas <strong>de</strong> refer<strong>en</strong>cia. Una región facial queda<br />

<strong>de</strong>finida mediante n marcas (x 1 ,y 1 ),…,(x n ,y n ) que se pued<strong>en</strong> agrupar para formar vectores <strong>de</strong><br />

contorno <strong>de</strong> la forma:<br />

( ) ( )<br />

Así, un contorno se pue<strong>de</strong> aproximar mediante la sigui<strong>en</strong>te expresión:<br />

En la expresión anterior, x m <strong>de</strong>fine el contorno medio, es la matriz <strong>de</strong> t autovectores<br />

obt<strong>en</strong>ida como solución al problema <strong>de</strong> autovectores sobre la matriz <strong>de</strong> covarianzas <strong>de</strong> los<br />

contornos y b es un vector <strong>de</strong> t elem<strong>en</strong>tos que conti<strong>en</strong>e los parámetros <strong>de</strong>l mo<strong>de</strong>lo tal que:<br />

( )<br />

( ) ( )<br />

Cuando se ajusta el mo<strong>de</strong>lo, los valores <strong>de</strong> b se limitan <strong>de</strong> la sigui<strong>en</strong>te forma:<br />

| | √ ( )<br />

LUIS BLÁZQUEZ PÉREZ 10


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

De manera g<strong>en</strong>eral, los valores <strong>de</strong> m oscilan <strong>en</strong>tre dos y tres. Por su parte, el número <strong>de</strong><br />

autovalores que se emplean, se elig<strong>en</strong> <strong>de</strong> tal forma que el mo<strong>de</strong>lo ajuste una cierta proporción<br />

f v <strong>de</strong> la varianza <strong>de</strong> los contornos <strong>de</strong> <strong>en</strong>tr<strong>en</strong>ami<strong>en</strong>to.<br />

ii.<br />

Mo<strong>de</strong>lo <strong>de</strong> Apari<strong>en</strong>cia<br />

El mo<strong>de</strong>lo <strong>de</strong> apari<strong>en</strong>cia se limita al bor<strong>de</strong> <strong>de</strong> la región facial sobre la imag<strong>en</strong> <strong>en</strong> escala <strong>de</strong><br />

grises y es la <strong>de</strong>rivada normalizada <strong>en</strong> la dirección perp<strong>en</strong>dicular al contorno <strong>de</strong> la misma. Su<br />

objetivo es asegurar que la segm<strong>en</strong>tación localiza el rostro <strong>en</strong> una posición don<strong>de</strong> la estructura<br />

<strong>de</strong> la imag<strong>en</strong> a los lados (o d<strong>en</strong>tro) <strong>de</strong>l contorno es similar a la estructura <strong>de</strong> las imág<strong>en</strong>es <strong>de</strong><br />

<strong>en</strong>tr<strong>en</strong>ami<strong>en</strong>to. El mo<strong>de</strong>lo <strong>de</strong> apari<strong>en</strong>cia que <strong>de</strong>fine la estructura <strong>de</strong> la imag<strong>en</strong> alre<strong>de</strong>dor <strong>de</strong><br />

cada marca se obti<strong>en</strong>e a partir <strong>de</strong> un perfil <strong>de</strong> píxeles muestreados <strong>en</strong> las direcciones<br />

perp<strong>en</strong>diculares al contorno. La dirección perp<strong>en</strong>dicular a la marca (x n , y n ) se obti<strong>en</strong>e rotando<br />

90º el vector formado por las marcas (x n-1 , y n-1 ) y (x n+1 , y n+1 ).<br />

Una vez se han calculado las direcciones perp<strong>en</strong>diculares, se muestrean k píxeles a cada lado<br />

<strong>de</strong>l contorno <strong>en</strong> cada una <strong>de</strong> las marcas para g<strong>en</strong>erar perfiles <strong>de</strong> longitud 2*k+1. El mo<strong>de</strong>lo <strong>de</strong><br />

apari<strong>en</strong>cia se construye al obt<strong>en</strong>er la primera <strong>de</strong>rivada <strong>de</strong> cada uno <strong>de</strong> los perfiles, calculada<br />

como la difer<strong>en</strong>cia <strong>en</strong>tre los puntos j-1 y j+1. Posteriorm<strong>en</strong>te, se normalizan los elem<strong>en</strong>tos <strong>de</strong>l<br />

perfil <strong>de</strong> tal forma que la suma <strong>de</strong> sus valores absolutos sea 1.<br />

A partir <strong>de</strong> N imág<strong>en</strong>es <strong>de</strong> <strong>en</strong>tr<strong>en</strong>ami<strong>en</strong>to se obti<strong>en</strong>e una serie <strong>de</strong> perfiles normalizados g 1 ,…,g s<br />

para cada una <strong>de</strong> las marcas. Así, si se calculan el perfil medio g m y la matriz <strong>de</strong> covarianzas S g ,<br />

es posible calcular la distancia <strong>de</strong> Mahalanobis <strong>en</strong>tre un nuevo perfil y el mo<strong>de</strong>lo como:<br />

( ) ( ) ( ) ( )<br />

iii.<br />

Algoritmo <strong>de</strong> Búsqueda<br />

El contorno <strong>de</strong> la región facial se ajusta mediante un proceso iterativo que comi<strong>en</strong>za <strong>en</strong> el<br />

contorno medio. En cada iteración, cada marca se mueve n s posiciones <strong>en</strong> la dirección<br />

perp<strong>en</strong>dicular al contorno y se coloca <strong>en</strong> la posición que ofrece la m<strong>en</strong>or distancia <strong>de</strong><br />

Mahalanobis. Tras la actualización <strong>de</strong> las marcas, el mo<strong>de</strong>lo se <strong>de</strong>splaza a las nuevas<br />

posiciones.<br />

A continuación, <strong>en</strong> la Figura 4, se muestra un ejemplo <strong>de</strong> la búsqueda <strong>de</strong> una cara utilizando el<br />

mo<strong>de</strong>lo explicado (Mo<strong>de</strong>lo <strong>de</strong> Forma Activa).<br />

Figura 4. Búsqueda <strong>de</strong> una cara utilizando el Mo<strong>de</strong>lo <strong>de</strong> Forma Activa.<br />

LUIS BLÁZQUEZ PÉREZ 11


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

El mo<strong>de</strong>lo ASM es un bu<strong>en</strong> método estadístico basado <strong>en</strong> la forma <strong>de</strong>l objeto. Para ajusta un<br />

objeto <strong>de</strong>terminado <strong>en</strong> una nueva imag<strong>en</strong>, se realizan <strong>de</strong>formaciones <strong>de</strong> forma iterativa. Las<br />

formas están restringidas por un mo<strong>de</strong>lo estadístico <strong>de</strong> forma, para variar sólo <strong>en</strong> las formas<br />

precisadas por un mo<strong>de</strong>lo <strong>de</strong> <strong>en</strong>tr<strong>en</strong>ami<strong>en</strong>to. Los puntos <strong>de</strong> refer<strong>en</strong>cia están localizados,<br />

g<strong>en</strong>eralm<strong>en</strong>te, <strong>en</strong> los contornos. El gran problema <strong>de</strong> este mo<strong>de</strong>lo, es que son muy s<strong>en</strong>sibles al<br />

proceso <strong>de</strong> inicialización, esto es, cuando la inicialización está alejada <strong>de</strong>l objeto <strong>de</strong>stino, ellos<br />

pued<strong>en</strong> converger hacia mínimos locales.<br />

LUIS BLÁZQUEZ PÉREZ 12


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

3. Bases <strong>de</strong> datos<br />

3.1 Introducción<br />

Durante la exposición <strong>de</strong> los experim<strong>en</strong>tos <strong>de</strong>sarrollados a los largo <strong>de</strong>l PFC, se han utilizado<br />

las sigui<strong>en</strong>tes bases <strong>de</strong> datos (Tabla 1):<br />

Bases <strong>de</strong> datos Marcado manual Tipo <strong>de</strong> esc<strong>en</strong>ario Número <strong>de</strong> sujetos<br />

BioID 20 puntos Controlado 23<br />

For<strong>en</strong>sic <strong>ATVS</strong> 21 puntos Controlado 50<br />

MORPH 0 puntos Semicontrolado 200 (seleccionados)<br />

SCFace 21 puntos No controlado 130<br />

Tabla 1. Descripción bases <strong>de</strong> datos.<br />

Las bases <strong>de</strong> datos MORPH y SCFace, empleadas <strong>en</strong> los experim<strong>en</strong>tos 2 y 3, han sido marcadas,<br />

a<strong>de</strong>más, <strong>de</strong> forma automática.<br />

3.2 BioID<br />

La base <strong>de</strong> datos BioID, se pue<strong>de</strong> obt<strong>en</strong>er <strong>de</strong> forma gratuita <strong>en</strong> internet, ha sido creada y<br />

publicada para dar la posibilidad a todos los investigadores que trabajan <strong>en</strong> el área <strong>de</strong>l<br />

reconocimi<strong>en</strong>to facial, <strong>de</strong> comparar la calidad <strong>de</strong> sus algoritmos <strong>de</strong> <strong>de</strong>tección <strong>de</strong> cara y puntos<br />

característicos faciales, con otros.<br />

Incluye 1521 imág<strong>en</strong>es <strong>en</strong> escala <strong>de</strong> grises, todas ellas <strong>de</strong> un tamaño <strong>de</strong> 384x286 píxeles. Esta<br />

base <strong>de</strong> datos conti<strong>en</strong>e imág<strong>en</strong>es <strong>de</strong> caras <strong>de</strong> 23 sujetos distintos, con una gran variedad <strong>de</strong><br />

condiciones <strong>de</strong> iluminación, tamaños <strong>de</strong> cara, expresiones y fondos complejos. La Figura 5<br />

muestra algunos ejemplos <strong>de</strong> dicha base <strong>de</strong> datos.<br />

Figura 5. Cuatro usuarios, a modo <strong>de</strong> ejemplo, <strong>de</strong> la base <strong>de</strong> datos BioID<br />

La base <strong>de</strong> datos BioID, ha sido marcada por David Cristinacce y Kola Babalola, estudiantes <strong>de</strong><br />

Doctorado <strong>en</strong> el <strong>de</strong>partam<strong>en</strong>to <strong>de</strong> Imaging Sci<strong>en</strong>ce and Biomedical Engineering (ISBE), <strong>en</strong> la<br />

Universidad <strong>de</strong> Manchester, <strong>de</strong> forma manual.<br />

Se seleccionaron estos puntos <strong>de</strong> características faciales (Figura 6), <strong>de</strong>bido a que son útiles<br />

para el análisis facial y reconocimi<strong>en</strong>to <strong>de</strong> gestos.<br />

LUIS BLÁZQUEZ PÉREZ 13


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

0 = right eye pupil<br />

1 = left eye pupil<br />

2 = right mouth corner<br />

3 = left mouth corner<br />

4 = outer <strong>en</strong>d of right eye brow<br />

5 = inner <strong>en</strong>d of right eye brow<br />

6 = inner <strong>en</strong>d of left eye brow<br />

7 = outer <strong>en</strong>d of left eye brow<br />

8 = right temple<br />

9 = outer corner of right eye<br />

10 = inner corner of right eye<br />

11 = inner corner of left eye<br />

12 = outer corner of left eye<br />

13 = left temple<br />

14 = tip of nose<br />

15 = right nostril<br />

16 = left nostril<br />

17 = c<strong>en</strong>tre point on outer edge of<br />

upper lip<br />

18 = c<strong>en</strong>tre point on outer edge of<br />

lower lip<br />

19 = tip of chin<br />

Figura 6. Marcado <strong>de</strong> puntos BioID<br />

3.3 For<strong>en</strong>sic <strong>ATVS</strong><br />

Otra base <strong>de</strong> datos utilizada <strong>en</strong> el proyecto, que ha sido proporcionada por el laboratorio<br />

<strong>ATVS</strong>, es la llamada For<strong>en</strong>sic <strong>ATVS</strong>, compuesta por imág<strong>en</strong>es adquiridas mediante una cámara<br />

fotográfica digital <strong>de</strong> gran calidad.<br />

Las imág<strong>en</strong>es han sido tomadas <strong>en</strong> un periodo <strong>de</strong> tiempo <strong>de</strong> 1 año (2013), con 2 sesiones por<br />

cada usuario (<strong>en</strong>tre las cuales pasaron, <strong>de</strong> media, 3 meses <strong>en</strong>tre la primera sesión y la<br />

segunda) y 4 secu<strong>en</strong>cias por sesión. A<strong>de</strong>más, los usuarios fueron colocados d<strong>en</strong>tro <strong>de</strong> una<br />

habitación con una iluminación estándar y un flash a<strong>de</strong>cuado (condiciones estándar <strong>de</strong> las<br />

imág<strong>en</strong>es <strong>de</strong> pasaportes u otros docum<strong>en</strong>tos <strong>de</strong> id<strong>en</strong>tificación personal (por ejemplo, DNI)), <strong>en</strong><br />

tres puntos distintos, seleccionados con anterioridad, a distintas distancias (1 metro, 2 metros<br />

y 3 metros). La figura sigui<strong>en</strong>te, Figura 7, muestra la colocación <strong>de</strong> los usuarios:<br />

Figura 7. Distancias <strong>de</strong> captura <strong>en</strong> la base <strong>de</strong> datos <strong>ATVS</strong>.<br />

LUIS BLÁZQUEZ PÉREZ 14


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

La finalidad <strong>de</strong> sacar fotografías a tres distancias distintas, es la <strong>de</strong> ver el pot<strong>en</strong>cial <strong>de</strong> los<br />

algoritmos <strong>de</strong> reconocimi<strong>en</strong>to facial para distintas calida<strong>de</strong>s <strong>de</strong> imág<strong>en</strong>es. El cambio <strong>de</strong> calidad<br />

<strong>de</strong> las imág<strong>en</strong>es se pue<strong>de</strong> observar <strong>en</strong> la Figura 8.<br />

Imag<strong>en</strong> a 1 metro Imag<strong>en</strong> a 2 metros Imag<strong>en</strong> a 3 metros<br />

Figura 8. Imág<strong>en</strong>es ejemplo <strong>de</strong> la base <strong>de</strong> datos <strong>ATVS</strong> a difer<strong>en</strong>tes distancias.<br />

Los participantes <strong>de</strong> la base <strong>de</strong> datos, fueron estudiantes, profesores o empleados <strong>de</strong> la<br />

Universidad Autónoma <strong>de</strong> Madrid. Del total <strong>de</strong> los 50 voluntarios, 32 eran hombres y 18<br />

mujeres. Todos los participantes fueron caucásicos, con un rango <strong>de</strong> edad <strong>de</strong> <strong>en</strong>tre 21 y 65<br />

años.<br />

A continuación (Figura 9), se muestra el conjunto <strong>de</strong> imág<strong>en</strong>es, para un único usuario,<br />

disponibles <strong>en</strong> esta base <strong>de</strong> datos.<br />

Sesión 1<br />

Secu<strong>en</strong>cia 1 distancia 3m. Secu<strong>en</strong>cia 1 distancia 2m. Secu<strong>en</strong>cia 1 distancia 1m.<br />

Secu<strong>en</strong>cia 2 distancia 3m. Secu<strong>en</strong>cia 2 distancia 2m. Secu<strong>en</strong>cia 2 distancia 1m.<br />

LUIS BLÁZQUEZ PÉREZ 15


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

Secu<strong>en</strong>cia 3 distancia 3m. Secu<strong>en</strong>cia 3 distancia 2m. Secu<strong>en</strong>cia 3 distancia 1m.<br />

Secu<strong>en</strong>cia 4 distancia 3m. Secu<strong>en</strong>cia 4 distancia 2m. Secu<strong>en</strong>cia 4 distancia 1m.<br />

Sesión 2<br />

Secu<strong>en</strong>cia 1 distancia 3m. Secu<strong>en</strong>cia 1 distancia 2m. Secu<strong>en</strong>cia 1 distancia 1m.<br />

Secu<strong>en</strong>cia 2 distancia 3m. Secu<strong>en</strong>cia 2 distancia 2m. Secu<strong>en</strong>cia 2 distancia 1m.<br />

LUIS BLÁZQUEZ PÉREZ 16


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

Secu<strong>en</strong>cia 3 distancia 3m. Secu<strong>en</strong>cia 3 distancia 2m. Secu<strong>en</strong>cia 3 distancia 1m.<br />

Secu<strong>en</strong>cia 4 distancia 3m. Secu<strong>en</strong>cia 4 distancia 2m. Secu<strong>en</strong>cia 4 distancia 1m.<br />

Figura 9. Conjunto <strong>de</strong> imág<strong>en</strong>es para un único usuario.<br />

En esta base <strong>de</strong> datos, se proporcionan 23 puntos faciales (Figura 10), marcados <strong>de</strong> forma<br />

manual por una persona no experta.<br />

Figura 10. <strong>Puntos</strong> faciales For<strong>en</strong>sic <strong>ATVS</strong>.<br />

3.4 MORPH<br />

La base <strong>de</strong> datos MORPH, versión no comercial, se recogió <strong>en</strong> un periodo <strong>de</strong> tiempo <strong>de</strong> 5 años<br />

(<strong>de</strong>s<strong>de</strong> el año 2003 al 2007), con numerosas imág<strong>en</strong>es (concretam<strong>en</strong>te, 55134 imág<strong>en</strong>es). Está<br />

LUIS BLÁZQUEZ PÉREZ 17


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

formada por más <strong>de</strong> 13000 individuos, con un rango <strong>de</strong> edad que se <strong>en</strong>cu<strong>en</strong>tra <strong>en</strong>tre los 16 y<br />

los 77 años, con una edad media <strong>de</strong> 33 años.<br />

El número <strong>de</strong> imág<strong>en</strong>es por individuo es variable, si<strong>en</strong>do el número medio <strong>de</strong> imág<strong>en</strong>es <strong>de</strong> 4.<br />

Esta base <strong>de</strong> datos, se trata <strong>de</strong> una colección adquirida <strong>en</strong> condiciones no controladas, es<br />

<strong>de</strong>cir, fue recogida <strong>en</strong> condiciones <strong>de</strong>l mundo real (<strong>en</strong>torno semi-controlado). Algunas <strong>de</strong> las<br />

imág<strong>en</strong>es <strong>de</strong> dicha base <strong>de</strong> datos se muestran <strong>en</strong> la Figura 11.<br />

Figura 11. Cuatro usuarios, a modo <strong>de</strong> ejemplo, <strong>de</strong> la base <strong>de</strong> datos MORPH<br />

La Tabla 2 muestra la distribución <strong>de</strong> imág<strong>en</strong>es por género y asc<strong>en</strong>d<strong>en</strong>cia.<br />

African European Asian Hispanic “Other” Total<br />

Male 36832 7961 141 1667 44 46645<br />

Female 5757 2598 13 102 19 8489<br />

Total 42589 10559 154 1769 63 55134<br />

Tabla 2. Número <strong>de</strong> Imág<strong>en</strong>es por género y asc<strong>en</strong>d<strong>en</strong>cia (n=55134).<br />

Cabe m<strong>en</strong>cionar, que para el <strong>de</strong>sarrollo <strong>de</strong>l proyecto, solo se han utilizado las imág<strong>en</strong>es<br />

pert<strong>en</strong>eci<strong>en</strong>tes a la raza <strong>de</strong> Europeos.<br />

La Tabla 3 muestra el número <strong>de</strong> imág<strong>en</strong>es adicionales que exist<strong>en</strong> por usuario.<br />

1 2 3 4 5+ Total<br />

Male 373 2350 3606 1975 3155 11459<br />

Female 85 478 712 352 532 2159<br />

Total 458 2828 4318 1308 3687 13618<br />

Tabla 3. Número <strong>de</strong> imág<strong>en</strong>es por usuario.<br />

La Tabla 4 muestra el número <strong>de</strong> imág<strong>en</strong>es faciales con respecto a la década <strong>de</strong> vida <strong>en</strong> que se<br />

hicieron las fotos.<br />

< 20 20 - 29 30 – 39 40 – 49 50+ Total<br />

Male 6638 14016 12447 10062 3482 46645<br />

Female 831 2309 2910 1988 451 8489<br />

Total 7469 16325 15357 12050 3933 55134<br />

Tabla 4. Número <strong>de</strong> Imág<strong>en</strong>es por género y edad (n=55134)<br />

LUIS BLÁZQUEZ PÉREZ 18


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

El conjunto <strong>de</strong> datos conti<strong>en</strong>e metadatos <strong>en</strong> forma <strong>de</strong> edad, género, raza, altura, peso y los<br />

ojos (Tabla 5).<br />

Tabla 5. Detalles <strong>de</strong> los metadatos.<br />

En las Figura 12, se pres<strong>en</strong>ta un conjunto <strong>de</strong> imág<strong>en</strong>es que <strong>de</strong>muestran la progresión <strong>de</strong> edad<br />

<strong>en</strong>contrada <strong>en</strong> este proyecto.<br />

Figura 12. Imag<strong>en</strong> progresión edad hombre blanco (izq.) y mujer Afro-americana (dcha.)<br />

En la base <strong>de</strong> datos MORPH, únicam<strong>en</strong>te se proporcionan las coord<strong>en</strong>adas <strong>de</strong> los c<strong>en</strong>tro <strong>de</strong> los<br />

ojos.<br />

3.5 SCFace<br />

La base <strong>de</strong> datos SCface (surveillance cameras face database) fue diseñada principalm<strong>en</strong>te<br />

como un medio para probar algoritmos <strong>de</strong> reconocimi<strong>en</strong>to facial <strong>en</strong> condiciones <strong>de</strong>l mundo<br />

real. En tal configuración, es fácil imaginar un esc<strong>en</strong>ario don<strong>de</strong> un individuo <strong>de</strong>bería ser<br />

reconocido comparando una imag<strong>en</strong> frontal <strong>de</strong> la ficha policial con una obt<strong>en</strong>ida <strong>de</strong> cámaras<br />

<strong>de</strong> vigilancia <strong>de</strong> calidad fija. Con el fin <strong>de</strong> lograr una configuración realista, se <strong>de</strong>cidió utilizar<br />

cámaras <strong>de</strong> vigilancia comercialm<strong>en</strong>te disponibles <strong>de</strong> calidad variable. La difer<strong>en</strong>cia <strong>de</strong> esta<br />

base <strong>de</strong> datos con otras, es que las imág<strong>en</strong>es disponibles <strong>en</strong> las otras bases <strong>de</strong> datos, suel<strong>en</strong><br />

ser obt<strong>en</strong>idas por la misma cámara y no se toman usando equipos <strong>de</strong> vigilancia comerciales.<br />

SCface incluye imág<strong>en</strong>es que fueron tomadas <strong>en</strong> <strong>en</strong>tornos interiores no controlados, usando<br />

cinco cámaras <strong>de</strong> vigilancia <strong>de</strong> calidad variable (Figura 13). Esta base <strong>de</strong> datos conti<strong>en</strong>e 4160<br />

imág<strong>en</strong>es (tanto <strong>en</strong> espectro visible, como <strong>de</strong> visión nocturna mediante infrarrojos (IR), ya que<br />

dos <strong>de</strong> las cámaras disponibles (cam1 y cam5) eran <strong>de</strong> visión nocturna) <strong>de</strong> 130 sujetos.<br />

LUIS BLÁZQUEZ PÉREZ 19


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

Figura 13. Posición cámaras comerciales <strong>de</strong> calidad variable.<br />

La captura <strong>de</strong> las imág<strong>en</strong>es tuvo lugar <strong>en</strong> “Vi<strong>de</strong>o Communications Laboratory at the Faculty of<br />

Electrical Engineering and Computing”, Universidad <strong>de</strong> Zagreb, Croatia [21]. El equipami<strong>en</strong>to<br />

utilzado fue: 6 cámaras <strong>de</strong> vigilancia <strong>de</strong> calidad variable (utilizadas para la adquisición <strong>de</strong> las<br />

imág<strong>en</strong>es no frontales), un ord<strong>en</strong>ador (don<strong>de</strong> se almac<strong>en</strong>anaron los vi<strong>de</strong>os e imág<strong>en</strong>es) y una<br />

cámara <strong>de</strong> fotos profesional <strong>de</strong> alta calidad (usada para la obt<strong>en</strong>ción <strong>de</strong> las imág<strong>en</strong>es<br />

frontales).<br />

En la Figura 14, se observa el cambio <strong>de</strong> calidad tan ost<strong>en</strong>toso que hay <strong>en</strong>tre las distintas<br />

cámaras.<br />

Figura 14. Imag<strong>en</strong> frontal (izquierda) e imag<strong>en</strong> camara1 (<strong>de</strong>recha) <strong>de</strong> dos usuarios <strong>de</strong> SCface.<br />

Las 5 cámaras <strong>de</strong> vigilancia fueron instaladas <strong>en</strong> una habitación (cuya única fu<strong>en</strong>te <strong>de</strong> luz era la<br />

luz exterior que <strong>en</strong>traba a través <strong>de</strong> la v<strong>en</strong>tana situada <strong>en</strong> un lateral <strong>de</strong> la habitación, es <strong>de</strong>cir,<br />

iluminación interior no controlada) <strong>de</strong> altura 2.25 metros y posicionadas como se muestra <strong>en</strong><br />

la Figura 15.<br />

Figura 15. Cámaras <strong>de</strong> vigilancia.<br />

LUIS BLÁZQUEZ PÉREZ 20


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

Las características <strong>de</strong> las cámaras <strong>de</strong> vigilancia se recog<strong>en</strong> <strong>en</strong> la Tabla 6.<br />

Tabla 6. Especificaciones <strong>de</strong> las cámaras <strong>de</strong> vigilancia.<br />

Para la adquisición <strong>de</strong> las imág<strong>en</strong>es <strong>de</strong> vigilancia, los usuarios t<strong>en</strong>ían que pasear <strong>en</strong> fr<strong>en</strong>te <strong>de</strong><br />

las cámaras e ir parándose <strong>en</strong> <strong>de</strong>terminados puntos (Figura 16), previam<strong>en</strong>te marcados, a<br />

distintas distancias (1 metro, 2.60 metros y 4.20 metros).<br />

Figura 16. Distancias <strong>de</strong> captura <strong>de</strong> las imág<strong>en</strong>es <strong>de</strong> vigilancia.<br />

En contraposición, las imág<strong>en</strong>es frontales, obt<strong>en</strong>idas mediante una cámara <strong>de</strong> gran calidad<br />

(especificaciones <strong>en</strong> Tabla 7), fueron hechas <strong>en</strong> una habitación separada, con una iluminación<br />

estándar y un flash a<strong>de</strong>cuado (condiciones estándar <strong>de</strong> las imág<strong>en</strong>es <strong>de</strong> pasaportes u otros<br />

docum<strong>en</strong>tos <strong>de</strong> id<strong>en</strong>tificación personal (por ejemplo, DNI)).<br />

Tabla 7. Especificaciones cámara utilizada para imág<strong>en</strong>es frontales.<br />

LUIS BLÁZQUEZ PÉREZ 21


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

La captura <strong>de</strong> todas las imág<strong>en</strong>es, fue realizada <strong>en</strong> un periodo <strong>de</strong> tiempo <strong>de</strong> 5 días. A<br />

continuación (Figura 17), se muestra el conjunto <strong>de</strong> imág<strong>en</strong>es, para un único usuario,<br />

disponibles <strong>en</strong> esta base <strong>de</strong> datos.<br />

Figura 17. Ejemplo <strong>de</strong>l conjunto <strong>de</strong> imág<strong>en</strong>es por usuario.<br />

Los participantes <strong>de</strong> la base <strong>de</strong> datos, fueron estudiantes, profesores o empleados <strong>de</strong> la<br />

Universidad, m<strong>en</strong>cionada anteriorm<strong>en</strong>te. Del total <strong>de</strong> los 130 voluntarios, 114 eran hombres y<br />

16 mujeres. Todos los participantes fueron caucásicos, con un rango <strong>de</strong> edad <strong>de</strong> <strong>en</strong>tre 20 y 75<br />

años. La distribución <strong>de</strong> edad se muestra <strong>en</strong> la Figura 18.<br />

Figura 18. Distribución <strong>de</strong> la edad <strong>de</strong> los sujetos <strong>de</strong> la base <strong>de</strong> datos.<br />

En la base <strong>de</strong> datos Scface, no se proporcionan ningún punto.<br />

LUIS BLÁZQUEZ PÉREZ 22


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

4. Sistema, dis<strong>en</strong> o y <strong>de</strong>sarrollo<br />

4.1 Introducción a los sistemas biométricos<br />

En la Figura 20 se muestra el diagrama <strong>de</strong> bloques g<strong>en</strong>eral <strong>de</strong> un sistema <strong>de</strong> reconocimi<strong>en</strong>to<br />

biométrico. En él pued<strong>en</strong> apreciarse tres módulos básicos: una base <strong>de</strong> datos, un módulo <strong>de</strong><br />

inscripción y un módulo <strong>de</strong> reconocimi<strong>en</strong>to. El conjunto <strong>de</strong> estos módulos realiza las funciones<br />

necesarias para reconocer a un individuo que acce<strong>de</strong> al sistema.<br />

<br />

Módulo <strong>de</strong> inscripción (Figura 19). Este módulo está formado por un sistema <strong>de</strong><br />

adquisición <strong>en</strong>cargado <strong>de</strong> proporcionar la señal biométrica que caracteriza al<br />

individuo. Tras la adquisición <strong>de</strong> la señal biométrica se proce<strong>de</strong> a la extracción <strong>de</strong> las<br />

características <strong>de</strong>l rasgo biométrico <strong>de</strong>l individuo. Dichas características expresan <strong>de</strong><br />

una forma unívoca y compacta <strong>de</strong>l individuo y constituy<strong>en</strong> su llamado patrón<br />

biométrico. El vector <strong>de</strong> características así formado, pres<strong>en</strong>ta m<strong>en</strong>or dim<strong>en</strong>sión que la<br />

señal previam<strong>en</strong>te adquirida. De esta forma se realiza la codificación óptima <strong>de</strong> la<br />

señal <strong>en</strong> la que toda información irrelevante, que no contribuye al reconocimi<strong>en</strong>to, es<br />

eliminada.<br />

Figura 19. Módulo <strong>de</strong> inscripción.<br />

<br />

<br />

Base <strong>de</strong> datos. El patrón biométrico extraído por el módulo <strong>de</strong> inscripción es<br />

almac<strong>en</strong>ado <strong>en</strong> la base <strong>de</strong> datos <strong>de</strong>l sistema <strong>de</strong> reconocimi<strong>en</strong>to. La base <strong>de</strong> datos<br />

cont<strong>en</strong>drá, por tanto, todos los patrones biométricos <strong>de</strong> los individuos que sean<br />

usuarios legítimos <strong>de</strong>l sistema.<br />

Módulo <strong>de</strong> reconocimi<strong>en</strong>to. Este módulo se <strong>en</strong>carga <strong>de</strong> establecer la id<strong>en</strong>tidad <strong>de</strong>l<br />

individuo que acce<strong>de</strong> al sistema. Para ello, tras la adquisición <strong>de</strong>l rasgo biométrico <strong>de</strong>l<br />

individuo, se extra<strong>en</strong> las características y se obti<strong>en</strong>e el patrón biométrico, que,<br />

posteriorm<strong>en</strong>te, es comparado con los patrones almac<strong>en</strong>ados <strong>en</strong> la base <strong>de</strong> datos. Los<br />

resultados <strong>de</strong> dichas comparaciones son cuantificados y valorados, permiti<strong>en</strong>do así la<br />

toma <strong>de</strong> <strong>de</strong>cisiones respecto a la id<strong>en</strong>tidad <strong>de</strong>l individuo <strong>en</strong> función <strong>de</strong> similitud<br />

obt<strong>en</strong>ido.<br />

LUIS BLÁZQUEZ PÉREZ 23


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

Figura 20. Diagrama <strong>de</strong> bloques <strong>de</strong> un sistema biométrico <strong>de</strong> reconocimi<strong>en</strong>to.<br />

Des<strong>de</strong> el punto <strong>de</strong> vista <strong>de</strong>l funcionami<strong>en</strong>to <strong>de</strong> los sistemas automáticos <strong>de</strong> reconocimi<strong>en</strong>to <strong>de</strong><br />

personas mediante rasgos biométricos, se hace necesario clasificar las dos perspectivas<br />

fundam<strong>en</strong>tales <strong>de</strong> trabajo <strong>de</strong> los mismos:<br />

- Sistemas <strong>de</strong> reconocimi<strong>en</strong>to <strong>en</strong> modo id<strong>en</strong>tificación.<br />

- Sistemas <strong>de</strong> reconocimi<strong>en</strong>to <strong>en</strong> modo verificación.<br />

4.1.1 Modo id<strong>en</strong>tificación<br />

El objetivo es el <strong>de</strong> clasificar una realización <strong>de</strong>terminada <strong>de</strong> un rasgo biométrico <strong>de</strong> id<strong>en</strong>tidad<br />

<strong>de</strong>sconocida como pert<strong>en</strong>eci<strong>en</strong>te a uno <strong>de</strong> <strong>en</strong>tre un conjunto <strong>de</strong> N posibles individuos. El<br />

esquema es el repres<strong>en</strong>tado <strong>en</strong> la Figura 21.<br />

Figura 21. Esquema modo id<strong>en</strong>tificación.<br />

Los errores que el sistema pue<strong>de</strong> cometer durante el funcionami<strong>en</strong>to <strong>en</strong> modo <strong>de</strong><br />

id<strong>en</strong>tificación son:<br />

- El sistema se <strong>de</strong>ci<strong>de</strong> por el id<strong>en</strong>tificador <strong>de</strong> un patrón erróneo <strong>de</strong> la base <strong>de</strong> datos. Por<br />

tanto, el usuario no aparece como primer candidato <strong>de</strong> la lista.<br />

- El usuario que <strong>de</strong>manda ser id<strong>en</strong>tificado, a pesar <strong>de</strong> aparecer como primer candidato<br />

<strong>en</strong> la lista, no obti<strong>en</strong>e el grado <strong>de</strong> semejanza sufici<strong>en</strong>te como para ser reconocido<br />

como tal, y <strong>en</strong> consecu<strong>en</strong>cia, el sistema consi<strong>de</strong>ra que no pert<strong>en</strong>ece a la base <strong>de</strong> datos.<br />

LUIS BLÁZQUEZ PÉREZ 24


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

D<strong>en</strong>tro <strong>de</strong> estos sistemas, <strong>de</strong>bemos difer<strong>en</strong>ciar dos posibles casos:<br />

- Id<strong>en</strong>tificación <strong>en</strong> conjunto cerrado: <strong>en</strong> este caso, el resultado <strong>de</strong>l proceso es una<br />

asignación <strong>de</strong> id<strong>en</strong>tidad a uno <strong>de</strong> los individuos mo<strong>de</strong>lados por el sistema, y conocidos<br />

como usuarios. Exist<strong>en</strong>, por tanto, N probables <strong>de</strong>cisiones <strong>de</strong> salida posibles.<br />

- Id<strong>en</strong>tificación <strong>en</strong> conjunto abierto: aquí <strong>de</strong>bemos consi<strong>de</strong>rar una posibilidad adicional<br />

a las N <strong>de</strong>l caso anterior: que el individuo que pret<strong>en</strong><strong>de</strong> ser id<strong>en</strong>tificado no pert<strong>en</strong>ezca<br />

al grupo <strong>de</strong> usuarios, con lo que el sistema <strong>de</strong> id<strong>en</strong>tificación <strong>de</strong>bería contemplar la<br />

posibilidad <strong>de</strong> no clasificar la realización <strong>de</strong> <strong>en</strong>trada como pert<strong>en</strong>eci<strong>en</strong>te a las N<br />

posibilida<strong>de</strong>s.<br />

4.1.2 Modo verificación<br />

Los sistemas <strong>de</strong> verificación <strong>de</strong> individuos, por el contrario, toman dos <strong>en</strong>tradas:<br />

<br />

<br />

una realización <strong>de</strong>l rasgo biométrico a verificar,<br />

una solicitud <strong>de</strong> id<strong>en</strong>tidad, que pue<strong>de</strong> ser realizada <strong>de</strong> diversas formas (lectura <strong>de</strong><br />

tarjeta magnética individual, introducción mediante teclado o mediante voz <strong>de</strong> un<br />

código <strong>de</strong> locutor, etc.).<br />

De este modo, las dos únicas salidas o <strong>de</strong>cisiones <strong>de</strong>l sistema son la aceptación o rechazo <strong>de</strong>l<br />

individuo como aquél que pret<strong>en</strong><strong>de</strong> ser. De esta forma, el locutor solicitante será catalogado<br />

como usuario auténtico o bi<strong>en</strong> como impostor, respectivam<strong>en</strong>te.<br />

La <strong>de</strong>cisión <strong>de</strong> aceptar o rechazar la locución <strong>de</strong> <strong>en</strong>trada como correspondi<strong>en</strong>te al locutor<br />

solicitado <strong>de</strong>p<strong>en</strong><strong>de</strong>rá <strong>de</strong> si el valor <strong>de</strong> parecido o probabilidad obt<strong>en</strong>ido supera o no un<br />

<strong>de</strong>terminado umbral <strong>de</strong> <strong>de</strong>cisión.<br />

La figura sigui<strong>en</strong>te (Figura 22) muestra <strong>de</strong> forma g<strong>en</strong>érica la estructura típica <strong>de</strong> un sistema <strong>de</strong><br />

verificación:<br />

Figura 22. Esquema modo verificación.<br />

En este caso, los errores que el sistema pue<strong>de</strong> cometer durante el funcionami<strong>en</strong>to <strong>en</strong> modo<br />

verificación son:<br />

- Error <strong>de</strong> Falsa Aceptación (FA): el sistema <strong>de</strong>ci<strong>de</strong> que el patrón almac<strong>en</strong>ado<br />

correspon<strong>de</strong> a la id<strong>en</strong>tidad <strong>de</strong>clarada por el patrón <strong>de</strong> <strong>en</strong>trada, cuando <strong>en</strong> realidad no<br />

lo es, aceptando a un individuo impostor.<br />

- Error <strong>de</strong> Falso Rechazo (FR): <strong>en</strong> este caso, el sistema <strong>de</strong>ci<strong>de</strong> que el patrón almac<strong>en</strong>ado<br />

no correspon<strong>de</strong> a la id<strong>en</strong>tidad <strong>de</strong>clarada por el patrón <strong>de</strong> <strong>en</strong>trada, cuando <strong>en</strong> realidad<br />

sí lo es, rechazando al usuario legítimo.<br />

LUIS BLÁZQUEZ PÉREZ 25


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

4.1.3 Otras consi<strong>de</strong>raciones<br />

Los sistemas <strong>de</strong> verificación pued<strong>en</strong> ser vistos como un caso particular <strong>de</strong> id<strong>en</strong>tificación <strong>en</strong><br />

conjunto abierto, <strong>en</strong> el que N=1.<br />

Por otro lado, el proceso <strong>de</strong> id<strong>en</strong>tificación <strong>en</strong> conjunto abierto po<strong>de</strong>r ser observado como un<br />

esquema <strong>en</strong> dos etapas:<br />

<br />

<br />

En la primera, se realizará un proceso <strong>de</strong> id<strong>en</strong>tificación <strong>en</strong> conjunto cerrado sobre los<br />

individuos conocidos, <strong>de</strong> forma que la realización incógnita sería asignada a uno <strong>de</strong> los<br />

usuarios <strong>de</strong>l sistema con máxima probabilidad, con N <strong>de</strong>cisiones <strong>de</strong> salida posibles.<br />

A continuación, se realizará un proceso <strong>de</strong> verificación respecto al individuo<br />

seleccionado <strong>en</strong> el trámite <strong>de</strong> id<strong>en</strong>tificación. De esta forma, la salida <strong>de</strong>l sistema sería<br />

la aceptación <strong>de</strong>l individuo que realiza el int<strong>en</strong>to como uno <strong>de</strong> los N usuarios <strong>de</strong>l<br />

sistema, o bi<strong>en</strong> el rechazo al tomarlo como presunto impostor al mismo, lo que da<br />

lugar a un total <strong>de</strong> N+1 <strong>de</strong>cisiones posibles.<br />

El sistema <strong>de</strong> reconocimi<strong>en</strong>to utilizado para los experim<strong>en</strong>tos es <strong>en</strong> modo verificación, <strong>en</strong><br />

conjunto cerrado.<br />

4.2 Sistema automático comercial<br />

El sistema automático comercial utilizado para el marcado <strong>de</strong> puntos e id<strong>en</strong>tificación <strong>de</strong><br />

usuarios <strong>de</strong> forma automática se d<strong>en</strong>omina Luxand FaceSDK 4.0 [22].<br />

Este sistema funciona para todas las cámaras exist<strong>en</strong>tes <strong>en</strong> el mercado: webcams, cámaras<br />

digitales… Es capaz <strong>de</strong> <strong>de</strong>tectar caras con ángulos <strong>de</strong> giro <strong>de</strong> hasta ±30 grados.<br />

El SDK procesa imág<strong>en</strong>es, <strong>de</strong>tectando la cara y mostrando como resultado 66 puntos faciales<br />

incluy<strong>en</strong>do ojos, contorno <strong>de</strong> los ojos, contorno <strong>de</strong> labios, cejas, contorno <strong>de</strong> la nariz y el<br />

contorno <strong>de</strong> la cara (se muestra <strong>en</strong> la Figura 23).<br />

Figura 23. <strong>Puntos</strong> faciales obt<strong>en</strong>idos a través <strong>de</strong>l FaceSDK.<br />

Dicho sistema SDK es tratado como una caja negra con dos parámetros <strong>de</strong> configuración: i)<br />

indica el rango <strong>en</strong> el que se <strong>en</strong>cu<strong>en</strong>tra la imag<strong>en</strong> (dim<strong>en</strong>sionalm<strong>en</strong>te hablando) ii) indica el<br />

umbral <strong>de</strong> precisión (<strong>de</strong>s<strong>de</strong> 1 hasta 5) a la hora <strong>de</strong> localizar caras (con umbral=1, el sistema te<br />

marca como cara cualquier región que el crea que es una cara, sin embargo, con umbral=5,<br />

solo marca regiones <strong>en</strong> las que ti<strong>en</strong>e mucha seguridad).<br />

Los valores utilizados son 256 (hasta 500x500 píxeles <strong>de</strong> tamaño <strong>de</strong> cara) y 3.<br />

LUIS BLÁZQUEZ PÉREZ 26


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

4.3 Descripción <strong>de</strong>l sistema <strong>de</strong>sarrollado<br />

Hoy <strong>en</strong> día, el estado <strong>de</strong>l arte <strong>de</strong>l marcado <strong>de</strong> puntos faciales (más concretam<strong>en</strong>te, el marcado<br />

<strong>de</strong> los ojos), está muy <strong>de</strong>sarrollado y completo; sin embargo, el <strong>de</strong> <strong>de</strong>tección <strong>de</strong> puntos<br />

característicos <strong>de</strong> la cara mal marcados y su posterior corrección está aún incipi<strong>en</strong>te, y, por<br />

tanto, ha habido pocos avances <strong>en</strong> este tema.<br />

Por ello, el proyecto no se c<strong>en</strong>tra tanto <strong>en</strong> el marcado <strong>de</strong> los puntos faciales (cabe <strong>de</strong>stacar,<br />

que el sistema <strong>de</strong>sarrollado utiliza los puntos característicos <strong>de</strong> un sistema comercial como<br />

punto <strong>de</strong> partida), sino, más bi<strong>en</strong>, <strong>en</strong> <strong>de</strong>tectar que rasgos <strong>de</strong> la cara está mal marcado, para<br />

po<strong>de</strong>r corregirlo.<br />

Para la cumplim<strong>en</strong>tación <strong>de</strong> los objetivos <strong>de</strong>l pres<strong>en</strong>te proyecto, se ha seguido el sigui<strong>en</strong>te<br />

esquema (Figura 24):<br />

Figura 24. Esquema g<strong>en</strong>eral para la <strong>de</strong>tección y corrección <strong>de</strong> puntos característicos <strong>de</strong> la cara.<br />

LUIS BLÁZQUEZ PÉREZ 27


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

4.4 Pre-procesado y normalización<br />

En la actualidad, el marcado <strong>de</strong> los puntos característicos pue<strong>de</strong> ser <strong>de</strong> manera manual, una<br />

persona realiza dicho marcado, o <strong>de</strong> manera automática, es <strong>de</strong>cir, es un programa qui<strong>en</strong> marca<br />

dichos puntos. En el mundo for<strong>en</strong>se, el marcado utilizado es el manual, ya que ti<strong>en</strong>e mayor<br />

precisión <strong>en</strong> estos mom<strong>en</strong>tos, pero <strong>en</strong> la realidad se ti<strong>en</strong><strong>de</strong> a automatizar el proceso, <strong>de</strong>bido a<br />

que supone un ahorro <strong>de</strong> tiempo notable, <strong>de</strong> ahí el interés <strong>de</strong> este proyecto.<br />

La adquisición <strong>de</strong> este sistema se ha realizado mediante cámaras fotográficas <strong>de</strong> calidad fija,<br />

<strong>en</strong> el caso <strong>de</strong> las bases <strong>de</strong> datos <strong>de</strong> BioID (<strong>en</strong>torno controlado) y MORPH (<strong>en</strong>torno semicontrolado).<br />

Sin embargo, <strong>en</strong> la base <strong>de</strong> datos <strong>de</strong> SCface, las imág<strong>en</strong>es han sido obt<strong>en</strong>idas por<br />

medio <strong>de</strong> cámaras <strong>de</strong> seguridad comerciales, con calidad variables (<strong>en</strong>torno no controlado).<br />

En esta primera etapa, la calidad <strong>de</strong> la imag<strong>en</strong> capturada es una cuestión fundam<strong>en</strong>tal. El<br />

ruido, una mala regulación <strong>de</strong>l contraste o iluminación <strong>de</strong> la cámara o una incorrecta posición<br />

<strong>de</strong>l usuario (caras no frontales, objetos que ocluyan algún rasgo facial como las gafas <strong>de</strong> sol,<br />

bello facial, pelo, unas orejeras…) son algunos ejemplos que pued<strong>en</strong> ocasionar problemas <strong>en</strong> la<br />

tarea <strong>de</strong> reconocimi<strong>en</strong>to.<br />

Las imág<strong>en</strong>es <strong>de</strong> las caras utilizadas durante el diseño, <strong>de</strong>sarrollo y experim<strong>en</strong>tación <strong>de</strong>l<br />

sistema implem<strong>en</strong>tado <strong>en</strong> este proyecto, se han obt<strong>en</strong>ido <strong>de</strong> las bases <strong>de</strong> datos <strong>de</strong>talladas <strong>en</strong><br />

capítulo 3.<br />

Una vez adquiridas las imág<strong>en</strong>es, el primer paso, es el procesado <strong>de</strong> las imág<strong>en</strong>es (Figura 25)<br />

Figura 25. Etapa <strong>de</strong> pre-procesado.<br />

Para la realización <strong>de</strong>l sistema propuesto, a<strong>de</strong>más <strong>de</strong> contar con las imág<strong>en</strong>es, también se<br />

dispone <strong>de</strong> las coord<strong>en</strong>adas <strong>de</strong> las pupilas <strong>de</strong> los usuarios, ya que los sistemas automáticos<br />

g<strong>en</strong>eralm<strong>en</strong>te se basan <strong>en</strong> el marcado <strong>de</strong> las pupilas. Con la finalidad <strong>de</strong> mejorar dichas<br />

coord<strong>en</strong>adas, se realiza un pre-procesado <strong>de</strong> las pupilas.<br />

El objetivo <strong>de</strong>l pre-procesado <strong>de</strong> las pupilas consiste <strong>en</strong> la obt<strong>en</strong>ción <strong>de</strong>l punto medio <strong>de</strong>l ojo,<br />

es <strong>de</strong>cir, como las caras son frontales, se consi<strong>de</strong>ra que todos los usuarios van a estar mirando<br />

hacia el fr<strong>en</strong>te, mejorando, a<strong>de</strong>más, la colocación <strong>de</strong> las pupilas <strong>de</strong> los usuarios (<strong>en</strong> la Figura 26<br />

se muestra un ejemplo). Este método se efectúa para po<strong>de</strong>r realizar <strong>de</strong> forma efectiva la<br />

normalización, alineación y rotación <strong>de</strong> las imág<strong>en</strong>es.<br />

LUIS BLÁZQUEZ PÉREZ 28


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

El nuevo valor <strong>de</strong> las pupilas se obti<strong>en</strong>e <strong>de</strong>terminando el punto medio <strong>de</strong> los extremos <strong>de</strong> los<br />

ojos, consiguiéndose esto <strong>de</strong> la sigui<strong>en</strong>te forma:<br />

( )<br />

( )<br />

( )<br />

( )<br />

Este pre-procesado se aplica automáticam<strong>en</strong>te cuando se dispone <strong>de</strong> los extremos <strong>de</strong> los ojos.<br />

En caso <strong>de</strong> que esto no suceda, es <strong>de</strong>cir, el programa comercial no ha sido capaz <strong>de</strong><br />

localizarlos, el sistema <strong>de</strong>sarrollado <strong>en</strong> el proyecto, localiza dichos puntos <strong>de</strong> forma<br />

automática, <strong>en</strong> los casos <strong>en</strong> los que sólo se disponga <strong>de</strong> los puntos característicos <strong>de</strong> las<br />

pupilas. En la Figura 26 se muestra un ejemplo <strong>de</strong>l pre-procesado <strong>de</strong> pupilas.<br />

MORPH<br />

For<strong>en</strong>sic <strong>ATVS</strong><br />

Figura 26. Marcado <strong>de</strong> las pupilas original (izquierda) y <strong>de</strong>spués <strong>de</strong>l pre-procesado (<strong>de</strong>recha).<br />

En la Figura 26, se aprecian las dos razones por el que es tan importante el pre-procesado <strong>de</strong><br />

las pupilas: i) mal marcado <strong>de</strong> pupilas y ii) pupilas no situadas <strong>en</strong> el c<strong>en</strong>tro <strong>de</strong> los ojos. En las<br />

imág<strong>en</strong>es pert<strong>en</strong>eci<strong>en</strong>tes a la base <strong>de</strong> datos MORPH, se observa como el marcado <strong>de</strong> las<br />

pupilas (cruz ver<strong>de</strong>) proporcionado por el sistema comercial Luxand es erróneo (foto<br />

izquierda), a pesar <strong>de</strong> estar mirando al fr<strong>en</strong>te el usuario, y, <strong>de</strong>spués <strong>de</strong> aplicar el algoritmo<br />

m<strong>en</strong>cionado anteriorm<strong>en</strong>te <strong>de</strong> pre-procesado, las pupilas (puntos rojos) pasan a estar<br />

colocadas <strong>en</strong> una posición más exacta (imag<strong>en</strong> <strong>de</strong>recha), permiti<strong>en</strong>do una normalización y una<br />

rotación posterior <strong>de</strong> la imag<strong>en</strong>, más idónea.<br />

En las imág<strong>en</strong>es proporcionadas por la base <strong>de</strong> datos For<strong>en</strong>sic <strong>ATVS</strong> (Figura 26), se observa<br />

como el usuario está mirando hacia uno <strong>de</strong> los lados, situándose así, las pupilas <strong>en</strong> uno <strong>de</strong> los<br />

lados <strong>de</strong> los ojos. Al realizar el pre-procesado, se consigue obt<strong>en</strong>er el c<strong>en</strong>tro <strong>de</strong> los ojos,<br />

permiti<strong>en</strong>do <strong>de</strong> esta manera, una segm<strong>en</strong>tación <strong>de</strong> la cara correcta.<br />

LUIS BLÁZQUEZ PÉREZ 29


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

Una vez hecho el pre-procesado <strong>de</strong> las pupilas, se realiza la normalización <strong>de</strong> imág<strong>en</strong>es, etapa<br />

clave con el objetivo <strong>de</strong> po<strong>de</strong>r universalizar los algoritmos <strong>de</strong>sarrollados <strong>en</strong> este proyecto,<br />

explicados más a<strong>de</strong>lante.<br />

La normalización se basa <strong>en</strong> el estándar ISO <strong>de</strong> imág<strong>en</strong>es [23]. A continuación, <strong>en</strong> la Tabla 8, se<br />

muestran las características geométricas que <strong>de</strong>b<strong>en</strong> t<strong>en</strong>er el tipo <strong>de</strong> imág<strong>en</strong>es utilizadas, así<br />

como un ejemplo gráfico (Figura 27).<br />

Características o parámetros<br />

Valor<br />

Ancho <strong>de</strong> la imag<strong>en</strong><br />

W<br />

Alto <strong>de</strong> la imag<strong>en</strong><br />

W/0.75<br />

Coord<strong>en</strong>ada Y <strong>de</strong> los ojos<br />

0.6*W<br />

Coord<strong>en</strong>ada X <strong>de</strong>l primer ojo (<strong>de</strong>recho)<br />

(0.375*W)-1<br />

Coord<strong>en</strong>ada X <strong>de</strong>l segundo ojo (izquierdo)<br />

(0.625*W)-1<br />

Ancho <strong>de</strong>s<strong>de</strong> un ojo a otro (incluidos)<br />

0.25*W<br />

Tabla 8. Características geométricas <strong>de</strong> las imág<strong>en</strong>es.<br />

Figura 27. Formato geométrico (izquierda) y un ejemplo con W=240 píxeles (<strong>de</strong>recha)<br />

La normalización consta <strong>de</strong> tres partes: i) comp<strong>en</strong>sación <strong>de</strong> rotación con transformación afín,<br />

ii) comp<strong>en</strong>sación <strong>de</strong> escalado, es <strong>de</strong>cir, todas las caras <strong>de</strong>b<strong>en</strong> t<strong>en</strong>er el mismo tamaño y la<br />

misma IPD, y, por último iii) alineami<strong>en</strong>to. Finalm<strong>en</strong>te, se proce<strong>de</strong> al recorte a partir <strong>de</strong> (x 0 , y 0 ),<br />

<strong>de</strong>finido por el estándar ISO.<br />

Por tanto, el objetivo <strong>de</strong> la normalización, no es solo para que todas las imág<strong>en</strong>es t<strong>en</strong>gan las<br />

mismas dim<strong>en</strong>siones, sino para que las pupilas se <strong>en</strong>cu<strong>en</strong>tr<strong>en</strong> situadas siempre <strong>en</strong> la misma<br />

posición, d<strong>en</strong>tro <strong>de</strong> la imag<strong>en</strong>. Esto se consigue forzando que la distancia interpupilar<br />

(refer<strong>en</strong>ciado <strong>de</strong>s<strong>de</strong> ahora por sus siglas <strong>en</strong> inglés IPD), es <strong>de</strong>cir, la distancia <strong>en</strong>tre los c<strong>en</strong>tros<br />

<strong>de</strong> los ojos, <strong>en</strong> nuestro caso, sea la misma para todos los usuarios <strong>de</strong> la base <strong>de</strong> datos.<br />

LUIS BLÁZQUEZ PÉREZ 30


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

Se han realizado pruebas con un ancho <strong>de</strong> imag<strong>en</strong> <strong>de</strong> W=168 píxeles y W=300 píxeles,<br />

eligi<strong>en</strong>do el valor <strong>de</strong> W=300 píxeles para mant<strong>en</strong>er una IPD=75 píxeles, ya que es la más<br />

utilizada por la mayoría <strong>de</strong> sistemas automáticos <strong>de</strong> marcados <strong>de</strong> puntos característicos <strong>de</strong> la<br />

cara, asegurando siempre, una bu<strong>en</strong>a calidad.<br />

El factor <strong>de</strong> dim<strong>en</strong>sionado (ratio) utilizado para la obt<strong>en</strong>ción <strong>de</strong>l nuevo tamaño <strong>de</strong> la imag<strong>en</strong>,<br />

se calcula mediante la sigui<strong>en</strong>te ecuación:<br />

Como se observa <strong>en</strong> la Figura 28, la rotación se utiliza para <strong>en</strong><strong>de</strong>rezar una imag<strong>en</strong> <strong>en</strong> el plano<br />

frontal, tomando como eje <strong>de</strong> rotación la recta que pasa por los c<strong>en</strong>tros <strong>de</strong> los ojos <strong>de</strong> los<br />

usuarios. Esta transformación espacial, llamada transformación o aplicación afín, consiste <strong>en</strong><br />

una transformación lineal seguida <strong>de</strong> una traslación o <strong>de</strong>splazami<strong>en</strong>to:<br />

Observando la fórmula anterior, se aprecia que esta transformación está compuesta por una<br />

matriz <strong>de</strong> rotación A, y un vector <strong>de</strong> traslación b, para ajustar las pupilas correspondi<strong>en</strong>tes a las<br />

coord<strong>en</strong>adas <strong>de</strong>seadas.<br />

Para calcular la matriz <strong>de</strong> rotación se <strong>de</strong>termina el ángulo σ <strong>en</strong>tre la línea que une el c<strong>en</strong>tro <strong>de</strong><br />

las pupilas <strong>de</strong> los ojos <strong>de</strong> las imág<strong>en</strong>es (d) y la línea que une las coord<strong>en</strong>adas don<strong>de</strong> se <strong>de</strong>sean<br />

que estén situados los c<strong>en</strong>tros <strong>de</strong> las pupilas (d2).<br />

( )<br />

Con este ángulo (Figura 28), la transformada <strong>de</strong> rotación está <strong>de</strong>finida como:<br />

(<br />

( ) ( )<br />

( ) ( ) )<br />

Finalm<strong>en</strong>te, el vector <strong>de</strong> traslación b permite superponer el punto que repres<strong>en</strong>ta el c<strong>en</strong>tro <strong>de</strong><br />

la pupila <strong>de</strong>l ojo izquierdo, calculado mediante la rotación, y su equival<strong>en</strong>te <strong>en</strong> la imag<strong>en</strong>, y se<br />

<strong>de</strong>termina hallando la distancia x e y <strong>en</strong>tre ellos.<br />

Figura 28. Imag<strong>en</strong> original (izquierda) e imag<strong>en</strong> normalizada y rotada (<strong>de</strong>recha).<br />

LUIS BLÁZQUEZ PÉREZ 31


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

Una vez obt<strong>en</strong>idas las nuevas imág<strong>en</strong>es, normalizadas y rotadas, se aplica dicha<br />

transformación matemática: rotación, alineación y escalado a todos los puntos característicos,<br />

<strong>de</strong> forma que qued<strong>en</strong> normalizados sobre la imag<strong>en</strong> resultado.<br />

En la Figura 29, se muestra un ejemplo con los pasos involucrados <strong>en</strong> una transformación <strong>de</strong><br />

una imag<strong>en</strong> dada (explicado anteriorm<strong>en</strong>te), con el fin <strong>de</strong> la obt<strong>en</strong>ción <strong>de</strong> la cara. Para la<br />

creación <strong>de</strong> la imag<strong>en</strong> <strong>de</strong> ancho W=240 píxeles, la imag<strong>en</strong> original (a) se gira para alinear<br />

horizontal los ojos (b). La imag<strong>en</strong> <strong>en</strong>tonces, se escala uniformem<strong>en</strong>te <strong>de</strong> modo que la distancia<br />

<strong>en</strong>tre los ojos sea <strong>de</strong> 60 píxeles (c). Por último, la imag<strong>en</strong> se recorta (d) <strong>de</strong> manera que la<br />

coord<strong>en</strong>ada <strong>de</strong>l primer ojo (el <strong>de</strong>recho) sea <strong>de</strong> (89,144), es <strong>de</strong>cir, 89 píxeles hacia la <strong>de</strong>recha y<br />

144 píxeles hacia abajo <strong>de</strong>s<strong>de</strong> la esquina superior izquierda <strong>de</strong> la imag<strong>en</strong> (0,0). Los píxeles<br />

negros, que son las fronteras <strong>de</strong>l rell<strong>en</strong>o, se pued<strong>en</strong> rell<strong>en</strong>ar <strong>de</strong> cualquier otro color, si<strong>en</strong>do lo<br />

normal hacerlo <strong>de</strong>l color que t<strong>en</strong>gan los píxeles <strong>en</strong> la frontera <strong>de</strong> la imag<strong>en</strong> (e).<br />

Figura 29. Transformación Afín y recorte.<br />

4.5 Detector <strong>de</strong> marcado incorrecto<br />

Una vez superada la etapa <strong>de</strong> pre-procesado y realizada la normalización, tanto <strong>de</strong> los puntos<br />

característicos como <strong>de</strong> las imág<strong>en</strong>es <strong>de</strong> la base <strong>de</strong> datos, se comprueba la vali<strong>de</strong>z <strong>de</strong> los<br />

puntos característicos, marcado por un programa comercial automático (<strong>en</strong> nuestro caso es el<br />

llamado Luxand). Es <strong>de</strong>cir, <strong>en</strong> este bloque (Figura 30) se comprueba la exactitud <strong>de</strong>l marcado<br />

<strong>de</strong>l resto <strong>de</strong> puntos característicos <strong>de</strong> la cara, rasgo a rasgo (pues se <strong>de</strong>tecta el rasgo mal<br />

marcado), mediante el cálculo <strong>de</strong> distancias, ángulos y simetrías, pudi<strong>en</strong>do id<strong>en</strong>tificar aquellos<br />

rasgos faciales incorrectam<strong>en</strong>te marcados.<br />

Figura 30. Bloque <strong>de</strong>tector<br />

LUIS BLÁZQUEZ PÉREZ 32


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

Para realizar dicha comprobación, el <strong>de</strong>tector <strong>de</strong> puntos e imág<strong>en</strong>es mal marcadas<br />

(repres<strong>en</strong>tado <strong>de</strong> manera esquemática <strong>en</strong> la Figura 31) consta <strong>de</strong> cinco fases: i) la primera fase,<br />

simplem<strong>en</strong>te comprueba que la cara ha sido <strong>de</strong>tectada y marcada, ii) esta segunda fase verifica<br />

si los c<strong>en</strong>tros <strong>de</strong> los ojos están posicionados <strong>en</strong> su lugar correcto (está fase es muy importante<br />

y precisa <strong>de</strong> exactitud, ya que el resto <strong>de</strong>l proyecto <strong>de</strong>p<strong>en</strong><strong>de</strong> <strong>de</strong>l correcto marcado <strong>de</strong> los<br />

c<strong>en</strong>tros <strong>de</strong> los ojos), iii) <strong>en</strong> esta fase se realiza un sistema <strong>de</strong> medición mediante distancias<br />

<strong>en</strong>tre puntos, iv) la cuarta fase verifica si los ángulos que forman las cejas están d<strong>en</strong>tro <strong>de</strong>l<br />

rango <strong>de</strong>finido, y v) esta quinta fase mi<strong>de</strong> las simetrías básicas <strong>de</strong> la cara.<br />

Figura 31. Detector <strong>de</strong> puntos característicos.<br />

LUIS BLÁZQUEZ PÉREZ 33


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

4.5.1 Fase 1. No landmarks<br />

En esta fase, simplem<strong>en</strong>te se comprueba si el programa comercial FaceSDK <strong>de</strong> Luxand, ha sido<br />

capaz <strong>de</strong> <strong>en</strong>contrar los puntos característicos <strong>de</strong> la cara o no. En el caso <strong>de</strong> que no haya sido<br />

capaz, se pasa <strong>de</strong> nuevo al sistema para int<strong>en</strong>tar, tuneando los parámetros <strong>de</strong> configuración,<br />

conseguir ajustar puntos. Si, repiti<strong>en</strong>do este proceso tres veces, no se consigue <strong>en</strong>contrar o<br />

ajustar bi<strong>en</strong> los puntos, se <strong>de</strong>shecha la imag<strong>en</strong> <strong>de</strong> la base <strong>de</strong> datos, porque se consi<strong>de</strong>ra que<br />

esa imag<strong>en</strong> es incorregible.<br />

4.5.2 Fase 2. Marcado incorrecto <strong>de</strong> ojos<br />

Esta fase 2 es la más importante <strong>de</strong>l <strong>de</strong>tector, ya que todo el correcto funcionami<strong>en</strong>to <strong>de</strong>l<br />

sistema <strong>de</strong>sarrollado <strong>de</strong>p<strong>en</strong><strong>de</strong> <strong>de</strong>l correcto marcado <strong>de</strong> los c<strong>en</strong>tros <strong>de</strong> los ojos. Por ello, el<br />

objetivo <strong>de</strong> esta fase radica <strong>en</strong> <strong>de</strong>tectar si el c<strong>en</strong>tro <strong>de</strong> los ojos ha sido correcta o<br />

incorrectam<strong>en</strong>te marcado.<br />

Para llegar a dicho objetivo, se <strong>de</strong>tecta si los ojos (más concretam<strong>en</strong>te, c<strong>en</strong>tro <strong>de</strong> los ojos) se<br />

<strong>en</strong>cu<strong>en</strong>tran, no solo d<strong>en</strong>tro <strong>de</strong> la cara, si no <strong>en</strong> una zona no lisa <strong>de</strong> la cara, es <strong>de</strong>cir, los<br />

mofletes, la fr<strong>en</strong>te… Esto se consigue mediante el procedimi<strong>en</strong>to <strong>de</strong> dilatación. La motivación<br />

<strong>de</strong> utilizar la dilatación, es que ti<strong>en</strong>e una baja complejidad computacional.<br />

Los elem<strong>en</strong>tos estructurantes (2 dim<strong>en</strong>siones) utilizados <strong>en</strong> el proyecto se repres<strong>en</strong>tan <strong>en</strong> la<br />

Figura 32:<br />

Figura 32. Elem<strong>en</strong>tos estructurantes planos<br />

Los valores oscuros repres<strong>en</strong>tan ceros y los valores claros repres<strong>en</strong>tan -∞.El punto negro<br />

indica el orig<strong>en</strong> <strong>de</strong> coord<strong>en</strong>adas.<br />

El algoritmo utilizado <strong>en</strong> esta fase, consiste <strong>en</strong> la transformación <strong>de</strong> la imag<strong>en</strong> original, <strong>en</strong><br />

color, <strong>en</strong> una imag<strong>en</strong> <strong>en</strong> escala <strong>de</strong> grises, para, posteriorm<strong>en</strong>te, calcular los bor<strong>de</strong>s a través <strong>de</strong>l<br />

método <strong>de</strong> Canny, binarizando, <strong>de</strong> esta forma, la imag<strong>en</strong>. Posteriorm<strong>en</strong>te, se realizan varias<br />

dilataciones, con los dos operadores morfológicos explicados anteriorm<strong>en</strong>te, consigui<strong>en</strong>do<br />

unir los rasgos faciales <strong>en</strong>tre sí. Finalm<strong>en</strong>te, se realiza una comprobación, para <strong>de</strong>terminar si<br />

las coord<strong>en</strong>adas <strong>de</strong> los c<strong>en</strong>tros <strong>de</strong> los ojos están situadas d<strong>en</strong>tro o fuera <strong>de</strong> la cara, y si se<br />

<strong>en</strong>cu<strong>en</strong>tran <strong>en</strong> una zona <strong>de</strong> la cara sin arrugas, rasgos característicos cercanos… Esta<br />

comprobación consiste <strong>en</strong> mirar si la suma <strong>de</strong> la cantidad <strong>de</strong> píxeles <strong>en</strong> blanco, d<strong>en</strong>tro <strong>de</strong> un<br />

vecindario, el cual consiste <strong>en</strong> una línea horizontal c<strong>en</strong>trada <strong>en</strong> el c<strong>en</strong>tro <strong>de</strong> los ojos, <strong>de</strong><br />

ancho/20 píxeles (para el caso <strong>de</strong> W=168, vecindario=9 píxeles), ti<strong>en</strong>e como resultado, al<br />

m<strong>en</strong>os, un treinta por ci<strong>en</strong>to (30%) <strong>de</strong> píxeles <strong>en</strong> blanco.<br />

A continuación, <strong>en</strong> la Figura 33, se repres<strong>en</strong>tan imág<strong>en</strong>es (usuario <strong>de</strong> la base <strong>de</strong> datos MORPH)<br />

explicativas <strong>de</strong>l procedimi<strong>en</strong>to explicado con anterioridad, las cuales pasan la fase.<br />

LUIS BLÁZQUEZ PÉREZ 34


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

Imag<strong>en</strong> original <strong>en</strong> color Imag<strong>en</strong> <strong>en</strong> escala <strong>de</strong> grises Bor<strong>de</strong>s (Canny)<br />

Imag<strong>en</strong> dilatada (1 er EE) Imag<strong>en</strong> dilatada (2º EE) Vecindario<br />

Figura 33. Repres<strong>en</strong>tación fase 2<br />

En la Figura 34, se muestra el caso particular <strong>en</strong> que la imag<strong>en</strong> no pasa esta fase, <strong>de</strong>bido a que<br />

el c<strong>en</strong>tro <strong>de</strong> los ojos se <strong>en</strong>cu<strong>en</strong>tra <strong>en</strong> una parte <strong>de</strong> la cara lisa (<strong>en</strong> este caso, se <strong>en</strong>cu<strong>en</strong>tran<br />

sobre la fr<strong>en</strong>te).<br />

Figura 34. Ejemplo imág<strong>en</strong>es con mal marcado <strong>de</strong> ojos (ojos <strong>en</strong> parte lisa <strong>de</strong> la cara).<br />

Como se ha m<strong>en</strong>cionado anteriorm<strong>en</strong>te, <strong>de</strong>bido a la importancia que ti<strong>en</strong>e el correcto<br />

marcado <strong>de</strong> los c<strong>en</strong>tros <strong>de</strong> los ojos, adicionalm<strong>en</strong>te, se crea, d<strong>en</strong>tro <strong>de</strong> esta fase 2, otra etapa<br />

(mucho más estricta) para ser capaces <strong>de</strong> <strong>de</strong>tectar si las pupilas han sido bi<strong>en</strong> o mal marcadas.<br />

Esta segunda etapa, solv<strong>en</strong>ta los errores <strong>de</strong> marcado no <strong>de</strong>tectados por la etapa anterior (se<br />

grafica un ejemplo <strong>en</strong> la Figura 35).<br />

LUIS BLÁZQUEZ PÉREZ 35


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

Figura 35. Restricciones <strong>de</strong> la etapa 2, fase 2.<br />

La imag<strong>en</strong> c<strong>en</strong>tral, <strong>en</strong> la Figura 35, ha pasado la primera etapa <strong>de</strong> esta segunda fase, <strong>de</strong>bido a<br />

que la dilatación ha producido que se junt<strong>en</strong> la cara <strong>de</strong>l usuario con el fondo, pareci<strong>en</strong>do que<br />

los c<strong>en</strong>tros <strong>de</strong> los ojos han sido marcados <strong>de</strong> forma correcta, ya que, teóricam<strong>en</strong>te, se<br />

<strong>en</strong>cu<strong>en</strong>tran d<strong>en</strong>tro <strong>de</strong> la cara y sobre un rasgo facial. Sin embargo, como se observa <strong>en</strong> la<br />

imag<strong>en</strong> <strong>de</strong> la <strong>de</strong>recha, esto no es así, ya que el ojo <strong>de</strong>recho se <strong>en</strong>cu<strong>en</strong>tra fuera <strong>de</strong> la cara, lo<br />

cual es <strong>de</strong>tectado por la segunda etapa.<br />

Para la realización <strong>de</strong> esta segunda etapa, se aplica una máscara elíptica a la imag<strong>en</strong>,<br />

mostrando solo la región que nos interesa, <strong>en</strong> este caso, la cara. En caso <strong>de</strong> que la imag<strong>en</strong> sea<br />

a color, se transforma a escala <strong>de</strong> grises. Posteriorm<strong>en</strong>te, se realiza un realce <strong>de</strong> contraste, es<br />

<strong>de</strong>cir, se aclara la imag<strong>en</strong>, convirti<strong>en</strong>do los grises más oscuros, a otros más claros. Finalm<strong>en</strong>te,<br />

se binariza la fotografía, tomando ésta, valores <strong>de</strong> 0 o 1 únicam<strong>en</strong>te. A continuación, se suman<br />

la cantidad <strong>de</strong> píxeles <strong>en</strong> blanco, d<strong>en</strong>tro <strong>de</strong> un vecindario <strong>de</strong> seis píxeles (zona <strong>de</strong> interés),<br />

alre<strong>de</strong>dor <strong>de</strong> las coord<strong>en</strong>adas <strong>de</strong> las pupilas. Nuevam<strong>en</strong>te, el vecindario es una línea<br />

horizontal, pero, como se pue<strong>de</strong> observar <strong>en</strong> la Figura 36, muy restrictiva. Finalm<strong>en</strong>te, se<br />

realiza una comprobación, para ver si las coord<strong>en</strong>adas <strong>de</strong> las pupilas están d<strong>en</strong>tro o fuera <strong>de</strong><br />

una zona <strong>de</strong> la cara sin arrugas, rasgos característicos cercanos, etc. Esta comprobación<br />

consiste <strong>en</strong> mirar si la suma realizada anteriorm<strong>en</strong>te, ti<strong>en</strong>e como resultado, al m<strong>en</strong>os, un píxel<br />

<strong>en</strong> blanco d<strong>en</strong>tro <strong>de</strong>l vecindario.<br />

En la Figura 36, se repres<strong>en</strong>tan imág<strong>en</strong>es explicativas <strong>de</strong>l procedimi<strong>en</strong>to explicado con<br />

anterioridad, que pasan la fase.<br />

Imag<strong>en</strong> original <strong>en</strong> color Imag<strong>en</strong> + máscara elíptica Imag<strong>en</strong> <strong>en</strong> escala <strong>de</strong> grises<br />

LUIS BLÁZQUEZ PÉREZ 36


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

Realce <strong>de</strong> contraste Imag<strong>en</strong> binarizada Vecindario<br />

Figura 36. Ejemplo imag<strong>en</strong> marcada <strong>de</strong> forma correcta.<br />

4.5.3 Fase 3. Distancias<br />

El objetivo <strong>de</strong> esta fase, es la medición <strong>de</strong> las distancias (distancia 1 y distancia 2) que hay<br />

<strong>en</strong>tre el c<strong>en</strong>tro <strong>de</strong> la boca y cada una <strong>de</strong> las pupilas <strong>de</strong> los usuarios. Estos datos son tomados a<br />

partir <strong>de</strong> las imág<strong>en</strong>es normalizadas, y se almac<strong>en</strong>an <strong>en</strong> un vector, que se utilizará<br />

posteriorm<strong>en</strong>te para la obt<strong>en</strong>ción <strong>de</strong> los umbrales. En la Figura 37 se muestra un ejemplo <strong>de</strong><br />

las distancias calculadas, que nos permit<strong>en</strong> id<strong>en</strong>tificar si el rasgo <strong>de</strong> la boca se <strong>en</strong>cu<strong>en</strong>tra<br />

incorrectam<strong>en</strong>te marcado.<br />

4.5.4 Fase 4. Ángulos<br />

Figura 37. Distancias calculadas<br />

El objetivo <strong>de</strong> esta fase, es el cálculo <strong>de</strong> los ángulos que forman la recta que une el c<strong>en</strong>tro <strong>de</strong><br />

ambas cejas (punto c<strong>en</strong>tral <strong>de</strong> estas) y la recta que une cada uno <strong>de</strong> los c<strong>en</strong>tros <strong>de</strong> los ojos <strong>de</strong><br />

los usuarios. Estos datos son tomados a partir <strong>de</strong> las imág<strong>en</strong>es normalizadas, y se almac<strong>en</strong>an<br />

<strong>en</strong> un vector, que se utilizará posteriorm<strong>en</strong>te para la obt<strong>en</strong>ción <strong>de</strong> los umbrales. Para un<br />

mayor <strong>en</strong>t<strong>en</strong>dimi<strong>en</strong>to, <strong>en</strong> la Figura 38 se muestra un ejemplo:<br />

4.5.5 Fase 5. Simetrías<br />

Figura 38. Ángulos.<br />

El objetivo <strong>de</strong> esta fase, es la comprobación <strong>de</strong> la simetría <strong>en</strong>tre los puntos característicos <strong>de</strong> la<br />

cara. Esto se comprueba mediante la medición <strong>de</strong> las distancias que hay <strong>en</strong>tre la recta que une<br />

ambas pupilas <strong>de</strong> los usuarios, recta horizontal, y cada uno <strong>de</strong> los puntos característicos <strong>de</strong> la<br />

LUIS BLÁZQUEZ PÉREZ 37


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

cara (medidas verticales) y las distancias que hay <strong>en</strong>tre la recta que pasa, <strong>de</strong> forma vertical, por<br />

el punto medio <strong>en</strong>tre las pupilas y cada uno <strong>de</strong> los rasgos característicos <strong>de</strong> la cara (medidas<br />

horizontales). Estos datos son tomados a partir <strong>de</strong> las imág<strong>en</strong>es normalizadas, y se almac<strong>en</strong>an<br />

<strong>en</strong> un vector, que se utilizará posteriorm<strong>en</strong>te para la obt<strong>en</strong>ción <strong>de</strong> los umbrales.<br />

o<br />

o<br />

Distancias a la vertical:<br />

• Ojos:<br />

<br />

<br />

<br />

Des<strong>de</strong> el lado exterior <strong>de</strong>l ojo <strong>de</strong>recho (D)<br />

Des<strong>de</strong> el lado interior <strong>de</strong>l ojo <strong>de</strong>recho (E)<br />

Des<strong>de</strong> el lado exterior <strong>de</strong>l ojo izquierdo (D’)<br />

Des<strong>de</strong> el lado interior <strong>de</strong>l ojo izquierdo (E’)<br />

• Cejas:<br />

<br />

<br />

<br />

<br />

<br />

Des<strong>de</strong> el lado exterior <strong>de</strong> la ceja <strong>de</strong>recha (A)<br />

Des<strong>de</strong> el lado interior <strong>de</strong> la ceja <strong>de</strong>recha (C)<br />

Des<strong>de</strong> el punto c<strong>en</strong>tral <strong>de</strong> la ceja <strong>de</strong>recha (B)<br />

Des<strong>de</strong> el lado exterior <strong>de</strong> la ceja izquierda (A’)<br />

Des<strong>de</strong> el lado exterior <strong>de</strong> la ceja izquierda (B’)<br />

Des<strong>de</strong> el punto c<strong>en</strong>tral <strong>de</strong> la ceja izquierda (C’)<br />

• Nariz:<br />

<br />

Des<strong>de</strong> el lado izquierdo <strong>de</strong> la nariz (F’)<br />

Des<strong>de</strong> el lado <strong>de</strong>recho <strong>de</strong> la nariz (F)<br />

• Boca:<br />

<br />

Des<strong>de</strong> el lado <strong>de</strong>recho <strong>de</strong> la boca (G)<br />

Des<strong>de</strong> el lado izquierdo <strong>de</strong> la boca (G’)<br />

• Barbilla:<br />

Des<strong>de</strong> el punto c<strong>en</strong>tral <strong>de</strong> la barbilla (H)<br />

Distancias a la horizontal:<br />

• Ojos:<br />

No ti<strong>en</strong>e s<strong>en</strong>tido (imág<strong>en</strong>es ya normalizadas (D≈D’≈E≈E’≈0))<br />

• Cejas:<br />

<br />

<br />

<br />

<br />

<br />

Des<strong>de</strong> el lado exterior <strong>de</strong> la ceja <strong>de</strong>recha (A)<br />

Des<strong>de</strong> el lado interior <strong>de</strong> la ceja <strong>de</strong>recha (C)<br />

Des<strong>de</strong> el punto c<strong>en</strong>tral <strong>de</strong> la ceja <strong>de</strong>recha (B)<br />

Des<strong>de</strong> el lado exterior <strong>de</strong> la ceja izquierda (A’)<br />

Des<strong>de</strong> el lado exterior <strong>de</strong> la ceja izquierda (B’)<br />

Des<strong>de</strong> el punto c<strong>en</strong>tral <strong>de</strong> la ceja izquierda (C’)<br />

• Nariz:<br />

<br />

Des<strong>de</strong> el lado izquierdo <strong>de</strong> la nariz (F’)<br />

Des<strong>de</strong> el lado <strong>de</strong>recho <strong>de</strong> la nariz (F)<br />

• Boca:<br />

<br />

Des<strong>de</strong> el lado <strong>de</strong>recho <strong>de</strong> la boca (G)<br />

Des<strong>de</strong> el lado izquierdo <strong>de</strong> la boca (G’)<br />

• Barbilla:<br />

<br />

Des<strong>de</strong> el punto c<strong>en</strong>tral <strong>de</strong> la barbilla (H)<br />

LUIS BLÁZQUEZ PÉREZ 38


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

Seguidam<strong>en</strong>te, se muestra una imag<strong>en</strong> (Figura 39) con las distancias marcadas.<br />

Figura 39. Distancias a la vertical (izquierda) y distancias a la horizontal (<strong>de</strong>recha).<br />

Los umbrales necesarios para <strong>de</strong>terminar si las medidas explicadas están d<strong>en</strong>tro <strong>de</strong> un rango<br />

correcto (media <strong>de</strong> todas las medidas <strong>de</strong> un mismo tipo ± umbral), se calculan, <strong>de</strong> forma<br />

automática, mediante una función, cuyos valores <strong>de</strong> <strong>en</strong>trada son el vector que conti<strong>en</strong>e todas<br />

las medidas <strong>de</strong> un mismo tipo, por ejemplo, los ángulos α <strong>de</strong> todos los usuarios registrados <strong>de</strong><br />

la base <strong>de</strong> datos, y el porc<strong>en</strong>taje, es <strong>de</strong>cir, el tanto por ci<strong>en</strong>to que se quiere eliminar <strong>de</strong> todas<br />

las medidas, porque se estiman incorrectas. El conjunto <strong>de</strong> medidas tomadas sigu<strong>en</strong> una<br />

distribución gaussiana, por tanto, el porc<strong>en</strong>taje se aplica a ambas colas <strong>de</strong> dicha distribución,<br />

eliminando los datos situados <strong>en</strong> las colas por <strong>de</strong>bajo <strong>de</strong>l valor elegido. Los valores <strong>de</strong> salida <strong>de</strong><br />

esta función, son los umbrales, tanto el inferior como el superior.<br />

El funcionami<strong>en</strong>to <strong>de</strong> dicha función, se basa <strong>en</strong> la obt<strong>en</strong>ción, y posterior normalización, <strong>de</strong>l<br />

histograma <strong>de</strong> cada uno <strong>de</strong> los vectores <strong>de</strong> datos, para po<strong>de</strong>r realizar una búsqueda <strong>de</strong> los<br />

valores <strong>de</strong>l histograma normalizado que sean m<strong>en</strong>ores o iguales al porc<strong>en</strong>taje introducido;<br />

realizándose <strong>en</strong> ambas colas <strong>de</strong>l histograma. En el caso <strong>de</strong> que el histograma solo t<strong>en</strong>ga una<br />

cola (por ejemplo la <strong>de</strong>recha), al umbral pert<strong>en</strong>eci<strong>en</strong>te a la cola que no existe (la izquierda) se<br />

le asigna un valor muy alto para que no sea restrictivo.<br />

En la Figura 40, se muestran los histogramas obt<strong>en</strong>idos para los ángulos α <strong>de</strong> todos los<br />

usuarios <strong>de</strong> la base <strong>de</strong> datos <strong>de</strong> MORPH, únicam<strong>en</strong>te raza europea, don<strong>de</strong> se pue<strong>de</strong> ver que el<br />

rango <strong>en</strong> el que se <strong>en</strong>cu<strong>en</strong>tran la mayor parte <strong>de</strong> los ángulos α <strong>de</strong> los usuarios registrados es ±<br />

5 grados, aproximadam<strong>en</strong>te. El signo que acompaña al ángulo α (+,-), indica que ceja es la que<br />

está más arriba, si<strong>en</strong>do la ceja izquierda si α es negativo, y la <strong>de</strong>recha <strong>en</strong> caso contrario (α<br />

positivo).<br />

LUIS BLÁZQUEZ PÉREZ 39


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

Histograma<br />

Histrograma normalizado<br />

Figura 40. Histogramas resultado para ángulos α.<br />

La recta <strong>de</strong> color rojo repres<strong>en</strong>tada <strong>en</strong> el histograma normalizado, indica la cota superior <strong>de</strong> los<br />

valores que son eliminados, es <strong>de</strong>cir, los valores <strong>de</strong>l histograma (azul) que se <strong>en</strong>cu<strong>en</strong>tran por<br />

<strong>de</strong>bajo <strong>de</strong> la línea roja (porc<strong>en</strong>taje indicado como argum<strong>en</strong>to <strong>de</strong> <strong>en</strong>trada, <strong>en</strong> este caso 5%),<br />

son eliminados porque se sal<strong>en</strong> <strong>de</strong> los valores habituales.<br />

A continuación, <strong>en</strong> la Figura 41, se muestran imág<strong>en</strong>es <strong>de</strong> la base <strong>de</strong> datos MORPH (europeos),<br />

que han fallado <strong>en</strong> alguna <strong>de</strong> las fases (<strong>en</strong> azul se muestran los puntos examinados, que dictan,<br />

mediante el umbral calculado anteriorm<strong>en</strong>te, si el punto característico está bi<strong>en</strong> marcado).<br />

LUIS BLÁZQUEZ PÉREZ 40


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

Fallo <strong>en</strong> fase 1 Fallo <strong>en</strong> fase 2 Fallo <strong>en</strong> fase 3<br />

Fallo <strong>en</strong> fase 4 Fallo <strong>en</strong> fase 5 Fallo <strong>en</strong> fase 6<br />

Figura 41. Ejemplo <strong>de</strong> imág<strong>en</strong>es que fallan <strong>en</strong> cada una <strong>de</strong> las fases <strong>de</strong>l <strong>de</strong>tector, para la base<br />

<strong>de</strong> datos MORPH<br />

4.5.6 Decisor<br />

Este bloque (Figura 42) elige, d<strong>en</strong>tro <strong>de</strong> las imág<strong>en</strong>es que han sido clasificadas como erróneas,<br />

pero no obstante corregibles, es <strong>de</strong>cir, las imág<strong>en</strong>es que no han pasado las fases tres, cuatro,<br />

y/o cinco, cual es el rasgos que se consi<strong>de</strong>ra mal marcado, para po<strong>de</strong>r c<strong>en</strong>trarse, más<br />

concretam<strong>en</strong>te, <strong>en</strong> la corrección <strong>de</strong> los puntos característico <strong>de</strong> ese único rasgo.<br />

Figura 42. Esquema <strong>de</strong>cisor.<br />

LUIS BLÁZQUEZ PÉREZ 41


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

Esta elección, se realiza <strong>de</strong> la sigui<strong>en</strong>te forma:<br />

1. Si la imag<strong>en</strong> errónea falla <strong>en</strong> la fase 3 (distancias), se consi<strong>de</strong>ra que el rasgo mal<br />

marcado es la boca.<br />

2. Si la imag<strong>en</strong> errónea falla <strong>en</strong> la fase 4 (ángulos), se consi<strong>de</strong>ra que los rasgos mal<br />

marcados son las ambas cejas.<br />

3. En caso <strong>de</strong> que la imag<strong>en</strong> errónea falle <strong>en</strong> la fase 5 (simetrías), hay que analizar la<br />

simetría <strong>de</strong>l rasgo que ha fallado.<br />

o Se consi<strong>de</strong>ra, <strong>en</strong> esta fase, que un rasgo ha fallado si ambas simetrías (tanto la<br />

horizontal como la vertical) <strong>de</strong> dicho rasgo están fuera <strong>de</strong>l umbral elegido.<br />

Como tanto la fase tres, la cuatro y la cinco no son excluy<strong>en</strong>tes, una imag<strong>en</strong> pue<strong>de</strong> fallar <strong>en</strong><br />

varios rasgos, o un mismo rasgo pue<strong>de</strong> fallar <strong>en</strong> varias fases (por ejemplo, la boca pue<strong>de</strong> fallar<br />

<strong>en</strong> la fase tres y <strong>en</strong> la fase cinco).<br />

A continuación (Figura 43) se muestran imág<strong>en</strong>es ejemplo (<strong>de</strong> la base <strong>de</strong> datos MORPH), las<br />

cuales han fallado <strong>en</strong> el marcado <strong>de</strong> algún rasgo (puntos <strong>en</strong> azul), y una imag<strong>en</strong> sin fallos, para<br />

que se pueda realizar una comparativa:<br />

Foto original sin ningún error Cejas mal marcadas Ojos mal marcados<br />

Nariz mal marcada Boca mal marcada Barbilla mal marcada<br />

Figura 43. Imág<strong>en</strong>es mal marcadas <strong>de</strong> MORPH.<br />

LUIS BLÁZQUEZ PÉREZ 42


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

4.6 Corrector <strong>de</strong> puntos característicos<br />

Después <strong>de</strong> la fase <strong>de</strong> <strong>de</strong>tección, las imág<strong>en</strong>es que se han clasificado como mal marcadas,<br />

pasan al corrector (Figura 44), mejorando <strong>de</strong> esta manera, el marcado automático <strong>de</strong> los<br />

puntos característicos <strong>de</strong> la cara.<br />

Figura 44. Bloque corrector <strong>de</strong> puntos faciales.<br />

Dicha corrección (Figura 45), no se realiza <strong>en</strong> todos los puntos característicos <strong>de</strong> la cara (lo que<br />

sería una pérdida <strong>de</strong> recursos y <strong>de</strong> tiempo) sino, exclusivam<strong>en</strong>te, <strong>en</strong> los puntos <strong>de</strong> los rasgos<br />

faciales que el <strong>de</strong>cisor ha sacado como erróneos. Para realizar la corrección rasgo a rasgo, lo<br />

i<strong>de</strong>al es segm<strong>en</strong>tar la imag<strong>en</strong> (extray<strong>en</strong>do los rasgos faciales <strong>de</strong> la cara), para acotar la región<br />

<strong>de</strong> interés y no marcar los puntos <strong>de</strong> un rasgo <strong>en</strong> toda la imag<strong>en</strong>, simplificando la tarea <strong>de</strong><br />

marcado/corrección automática.<br />

Figura 45. Funcionami<strong>en</strong>to corrector puntos característicos.<br />

LUIS BLÁZQUEZ PÉREZ 43


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

Para ello, se <strong>de</strong>sarrollan dos extractores <strong>de</strong> rasgos faciales: i) uno que está basado <strong>en</strong><br />

proporciones faciales, para <strong>en</strong>tornos no controlados, y ii) otro que se basa <strong>en</strong> un punto medio<br />

para <strong>en</strong>tornos controlados, o <strong>en</strong>tornos no controlados, pero previo paso <strong>de</strong> los puntos<br />

marcados por un corrector automático.<br />

4.6.1 Extractor <strong>de</strong> rasgos faciales por proporciones<br />

Como <strong>en</strong> el caso estudiado durante el proyecto, el marcado se realiza <strong>de</strong> forma automática<br />

mediante un programa comercial, el extractor utilizado es el que está basado <strong>en</strong> proporciones<br />

faciales [24,25,26,27], el cual solo <strong>de</strong>p<strong>en</strong><strong>de</strong> <strong>de</strong> las coord<strong>en</strong>adas <strong>de</strong>l c<strong>en</strong>tro <strong>de</strong> los ojos.<br />

Este segm<strong>en</strong>tador, basado <strong>en</strong> las proporciones <strong>de</strong> la cara, extrae los rasgos faciales <strong>de</strong> interés<br />

(las cejas, los ojos, la nariz, la boca, la barbilla, la fr<strong>en</strong>te y las orejas) <strong>de</strong> forma exacta pero no<br />

precisa, es <strong>de</strong>cir, localiza los rasgos pero no optimiza el segm<strong>en</strong>to c<strong>en</strong>trándolo ni alineándolo.<br />

A continuación, se explican, <strong>en</strong> la Tabla 9, las proporciones utilizadas (todas ellas <strong>de</strong>p<strong>en</strong>di<strong>en</strong>te<br />

<strong>de</strong> la distancia <strong>en</strong>tre el c<strong>en</strong>tro <strong>de</strong> los ojos (IPD), consi<strong>de</strong>rada i<strong>de</strong>al):<br />

Id Línea Proporción<br />

- Ancho IPD*5/2<br />

- Alto Ancho*3/2<br />

- C<strong>en</strong>tro (<strong>de</strong> la cara)<br />

(Coord<strong>en</strong>ada_x_pupila_<strong>de</strong>recha +<br />

Coord<strong>en</strong>ada_x_pupila_izquierda)/2<br />

S Izquierda C<strong>en</strong>tro+Ancho/2<br />

Q Derecha C<strong>en</strong>tro-Ancho/2<br />

R Arriba Coord<strong>en</strong>ada_y_pupila_<strong>de</strong>recha-Alto/2<br />

T Abajo Coord<strong>en</strong>ada_y_pupila_<strong>de</strong>recha+Alto/2<br />

H Labial (línea inferior continua) (3*Alto/4+2*Alto/3)/1.93<br />

G Línea discontinua inferior Alto/3<br />

B Línea discontinua superior 2*Alto/3<br />

A Línea discontinua superior Alto/4<br />

F Línea discontinua media superior Alto/2<br />

I Línea discontinua media inferior 3*Alto/4<br />

J Línea discontinua inferior 7*Alto/8<br />

D Línea ceja media (Lcm) (Alto/3+Alto/2)/2<br />

E Línea ceja inferior Lcm+4/3*(Lcm-abs((Lcm + Alto/2)/2))<br />

C Línea ceja superior Lcm-4/3*(Lcm-abs((Lcm + Alto/2)/2))<br />

K Línea <strong>de</strong>recha exterior Ancho/5<br />

L Línea <strong>de</strong>recha medio (pupila <strong>de</strong>recha) Coord<strong>en</strong>ada x pupila <strong>de</strong>recha<br />

M Línea <strong>de</strong>recha interior 2*Ancho/5<br />

P Línea izquierda exterior 3*Ancho/5<br />

O Línea izquierda medio (pupila izquierda) Coord<strong>en</strong>ada x pupila izquierda<br />

N Línea izquierda interior 4*Ancho/5<br />

Tabla 9. Tabla <strong>de</strong> proporciones (el color <strong>de</strong> la letra hace refer<strong>en</strong>cia al color <strong>de</strong> las líneas).<br />

LUIS BLÁZQUEZ PÉREZ 44


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

La sigui<strong>en</strong>te imag<strong>en</strong> (Figura 46) repres<strong>en</strong>ta las líneas explicadas <strong>en</strong> la tabla anterior.<br />

Figura 46. Proporciones faciales utilizadas.<br />

Este tipo <strong>de</strong> extractor ti<strong>en</strong>e como <strong>en</strong>trada únicam<strong>en</strong>te las coord<strong>en</strong>adas <strong>de</strong> los c<strong>en</strong>tros <strong>de</strong> los<br />

ojos, es <strong>de</strong>cir, muy útil para <strong>en</strong>tornos no controlados, don<strong>de</strong> se hace complicada la localización<br />

<strong>de</strong>l resto <strong>de</strong> puntos característicos <strong>de</strong> la cara.<br />

Aplicando este segm<strong>en</strong>tador sobre una imag<strong>en</strong> <strong>de</strong> la base <strong>de</strong> datos MORPH, el resultado que<br />

se g<strong>en</strong>era es el sigui<strong>en</strong>te (Figura 47).<br />

Fr<strong>en</strong>te<br />

Cara Ceja <strong>de</strong>recha Cejas Ceja izquierda<br />

Ojo <strong>de</strong>recho Ojos Ojo izquierdo<br />

Oreja <strong>de</strong>recha Nariz Oreja izquierda<br />

Boca<br />

Barbilla<br />

Figura 47. Resultado <strong>de</strong>l segm<strong>en</strong>tador basado <strong>en</strong> proporciones faciales.<br />

LUIS BLÁZQUEZ PÉREZ 45


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

4.6.2 Extractor <strong>de</strong> rasgos faciales por puntos<br />

Adicionalm<strong>en</strong>te, se introduce el <strong>de</strong>sarrollo <strong>de</strong> un extractor por puntos, <strong>de</strong>bido a su utilidad<br />

futura. El extractor por puntos, ti<strong>en</strong>e como salida imág<strong>en</strong>es normalizadas (los ojos, las cejas, la<br />

nariz, la boca, la fr<strong>en</strong>te y la barbilla), es <strong>de</strong>cir, todos los rasgos comunes <strong>de</strong> los usuarios <strong>de</strong> la<br />

base <strong>de</strong> datos (por ejemplo, todas las bocas), ti<strong>en</strong><strong>en</strong> el mismo tamaño y están<br />

c<strong>en</strong>tradas/alineadas <strong>en</strong> el punto medio <strong>de</strong> cada región <strong>de</strong> interés.<br />

Antes <strong>de</strong> explicar el procedimi<strong>en</strong>to, es preciso com<strong>en</strong>tar que los puntos se consi<strong>de</strong>ran i<strong>de</strong>ales y<br />

sin ningún error, ya que, o bi<strong>en</strong> anteriorm<strong>en</strong>te, se ha pasado el <strong>de</strong>tector y el corrector <strong>de</strong><br />

puntos, o bi<strong>en</strong> han sido marcados por un examinador humano manualm<strong>en</strong>te.<br />

Este segm<strong>en</strong>tador ti<strong>en</strong>e como <strong>de</strong>sv<strong>en</strong>taja que necesita como <strong>en</strong>trada, a<strong>de</strong>más <strong>de</strong> la imag<strong>en</strong>,<br />

todos los puntos característicos <strong>de</strong> la cara, que <strong>de</strong>limitan cada rasgo a extraer (<strong>en</strong> nuestro caso<br />

14 puntos, incluy<strong>en</strong>do el punto que marca el final <strong>de</strong> la cabeza <strong>de</strong>l usuario); sin embargo, su<br />

mayor v<strong>en</strong>taja es que la extracción <strong>de</strong>l rasgo se hace <strong>de</strong> una manera más certera y precisa, y<br />

las imág<strong>en</strong>es <strong>de</strong> las regiones faciales resultantes están normalizadas.<br />

Para realizar el extractor por puntos, primero se calcula el punto medio <strong>de</strong> los puntos<br />

característicos situados <strong>en</strong> los extremos <strong>de</strong> cada rasgo. Des<strong>de</strong> la coord<strong>en</strong>ada <strong>de</strong>l punto medio<br />

calculado anteriorm<strong>en</strong>te, se realiza un <strong>de</strong>splazami<strong>en</strong>to, tanto <strong>en</strong> s<strong>en</strong>tido horizontal como <strong>en</strong><br />

vertical, <strong>de</strong> ± un offset (<strong>de</strong>p<strong>en</strong>di<strong>en</strong>te <strong>de</strong> la distancia <strong>en</strong>tre ojos (IPD)), distinto para cada rasgo,<br />

pero el mismo para todos los usuarios, consigui<strong>en</strong>do <strong>de</strong> esta manera, que todos los rasgos<br />

comunes <strong>de</strong> los usuarios (por ejemplo, todas las narices) t<strong>en</strong>gan las mismas dim<strong>en</strong>siones y<br />

estén c<strong>en</strong>tradas/alineadas <strong>en</strong> el punto medio <strong>de</strong> cada región <strong>de</strong> interés. Finalm<strong>en</strong>te, se<br />

extra<strong>en</strong>, <strong>de</strong> la imag<strong>en</strong> original, cada uno <strong>de</strong> los rasgos característicos <strong>de</strong> la cara <strong>de</strong> forma<br />

individualizada.<br />

En la Tabla 10, se muestran los offsets (iguales para todos los usuarios para rasgos comunes)<br />

obt<strong>en</strong>idos, <strong>en</strong> píxeles, para las imág<strong>en</strong>es normalizadas.<br />

Rasgos facial Offset eje horizontal Offset eje vertical<br />

Fr<strong>en</strong>te IPD (x2) 2* IPD /3 (x2)<br />

Ceja <strong>de</strong>recha IPD /2 (x2) IPD /3 (x2)<br />

Ceja izquierda IPD /2 (x2) IPD /3 (x2)<br />

Ojo <strong>de</strong>recho IPD /3 (x2) IPD /3 (x2)<br />

Ojo izquierdo IPD /3 (x2) IPD /3 (x2)<br />

Nariz 2* IPD /4 (x2) IPD + IPD /3<br />

Boca 2* IPD /3 (x2) IPD /3 (x2)<br />

Barbilla 1.2* IPD (x2) IPD /2 (x2)<br />

Tabla 10. Offsets para las imág<strong>en</strong>es normalizadas, <strong>en</strong> píxeles.<br />

En la Figura 48, se muestra el resultado <strong>de</strong>l extractor es el sigui<strong>en</strong>te para un usuario <strong>de</strong> la base<br />

<strong>de</strong> datos MORPH.<br />

LUIS BLÁZQUEZ PÉREZ 46


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

Fr<strong>en</strong>te<br />

Imag<strong>en</strong> original<br />

Oreja<br />

<strong>de</strong>recha<br />

Ceja <strong>de</strong>recha<br />

Ojo <strong>de</strong>recho<br />

Ceja<br />

izquierda<br />

Ojo izquierdo<br />

Oreja<br />

izquierda<br />

Nariz<br />

Boca<br />

Barbilla<br />

Figura 48. Resultado segm<strong>en</strong>tador por puntos (<strong>ATVS</strong>).<br />

La principal difer<strong>en</strong>cia <strong>en</strong>tre ambos extractores <strong>de</strong> rasgos, es que el extractor por proporciones<br />

se pue<strong>de</strong> utilizar <strong>en</strong> cualquier <strong>en</strong>torno, controlado o no controlado, a partir <strong>de</strong> las pupilas<br />

únicam<strong>en</strong>te, y el <strong>de</strong> por puntos solam<strong>en</strong>te sirve para <strong>en</strong>tornos controlados y necesita todos los<br />

puntos característicos marcados, t<strong>en</strong>i<strong>en</strong>do mayor carga computacional.<br />

A continuación, <strong>en</strong> la Figura 49, se realiza una comparación <strong>en</strong>tre los dos segm<strong>en</strong>tadores<br />

explicados <strong>en</strong> las dos secciones anteriores (el usuario utilizado para este ejemplo pert<strong>en</strong>ece a<br />

la base <strong>de</strong> datos <strong>de</strong> MORPH).<br />

Por puntos<br />

Por proporciones<br />

Figura 49. Comparación resultado <strong>de</strong> ambos segm<strong>en</strong>tadores.<br />

Se observa que el segm<strong>en</strong>tador <strong>de</strong> la izquierda (por puntos), ti<strong>en</strong>e una mayor precisión y las<br />

imág<strong>en</strong>es sal<strong>en</strong> c<strong>en</strong>tradas y alineadas, mi<strong>en</strong>tras que con el otro extractor no ocurre lo mismo.<br />

LUIS BLÁZQUEZ PÉREZ 47


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

4.6.3 Máscaras <strong>de</strong> ruido<br />

Para mejorar los resultados <strong>de</strong>l marcador/corrector <strong>de</strong>sarrollado <strong>en</strong> el proyecto, se aplican<br />

máscaras, <strong>de</strong>p<strong>en</strong>di<strong>en</strong>do <strong>de</strong>l rasgo a examinar, se utilizan una u otra máscaras, afinando <strong>de</strong> esta<br />

manera el marcado y eliminando el posible ruido. Estas máscaras tapan las regiones <strong>de</strong> las<br />

imág<strong>en</strong>es que no nos interesan, <strong>de</strong>jando solo el rasgo <strong>en</strong> sí; <strong>de</strong> esta manera, se disminuye el<br />

posible error <strong>en</strong> el marcado.<br />

La máscara elíptica (Figura 50) se ha utilizado para los ojos, las cejas, la boca y la cara (aunque<br />

<strong>de</strong> distinta forma). Se pued<strong>en</strong> modificar los valores <strong>de</strong> <strong>en</strong>trada <strong>de</strong> la función que realiza la<br />

máscara para hacer más o m<strong>en</strong>os ancha la elipse o c<strong>en</strong>trarla <strong>en</strong> un punto <strong>en</strong> concreto.<br />

Cara<br />

Cejas<br />

Ojos<br />

Boca<br />

Figura 50. Máscaras elípticas.<br />

La máscara triangular se aplica a la nariz, tapando las mejillas, parte <strong>de</strong> los ojos y parte <strong>de</strong> las<br />

cejas mostradas <strong>en</strong> el segm<strong>en</strong>to extraído. Se pue<strong>de</strong> modificar el valor <strong>de</strong> <strong>en</strong>trada <strong>de</strong> la función<br />

que realiza la máscara para hacer más o m<strong>en</strong>os ancha la parte superior <strong>de</strong> la máscara, para<br />

que se pueda aplicar a todo tipo <strong>de</strong> narices (<strong>de</strong>lgadas, anchas…)<br />

Nariz fina Nariz ancha Nariz media<br />

Figura 51. Máscaras triangulares.<br />

Como <strong>en</strong> la práctica es muy difícil difer<strong>en</strong>ciar el tipo <strong>de</strong> narices sin los puntos característicos, la<br />

máscara triangular utilizada es la repres<strong>en</strong>tada bajo el título <strong>de</strong> nariz media (Figura 51).<br />

La última máscara <strong>de</strong>sarrollada para el proyecto, es la máscara <strong>de</strong> dos p<strong>en</strong>di<strong>en</strong>tes (Figura 52).<br />

Ésta se aplica a las mita<strong>de</strong>s <strong>de</strong> la cara (parte izquierda y <strong>de</strong>recha <strong>de</strong> la cara), tapando el fondo<br />

<strong>de</strong> la imag<strong>en</strong> (que está <strong>de</strong>trás <strong>de</strong> la cabeza), parte <strong>de</strong>l pelo y el cuello, mostrados <strong>en</strong> el<br />

segm<strong>en</strong>to extraído. Esto se realiza mediante dos rectas superpuestas con distintas p<strong>en</strong>di<strong>en</strong>te<br />

(una vertical y otra horizontal).<br />

LUIS BLÁZQUEZ PÉREZ 48


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

Se pued<strong>en</strong> modificar los valores <strong>de</strong> <strong>en</strong>trada <strong>de</strong> la función que realiza la máscara para modificar<br />

la p<strong>en</strong>di<strong>en</strong>te y el ancho <strong>de</strong> la parte superior e inferior <strong>de</strong> la <strong>de</strong> la recta vertical y vertical.<br />

Parte izquierda <strong>de</strong> la cara<br />

Parte <strong>de</strong>recha <strong>de</strong> la cara<br />

Figura 52. Máscaras dos p<strong>en</strong>di<strong>en</strong>tes.<br />

4.6.4 Realce, ecualización y umbralización<br />

Una vez localizado el segm<strong>en</strong>to <strong>de</strong>l rasgo, se aplican distintas operaciones explicadas a<br />

continuación:<br />

Realce (Figura 53)<br />

La función <strong>de</strong> matlab utilizada para realizar un realce <strong>en</strong> la imag<strong>en</strong> es J =imadjust (I, [LOW_IN;<br />

HIGH_IN], LOW_OUT; HIGH_OUT]), que asigna los valores <strong>de</strong> la imag<strong>en</strong> <strong>de</strong> int<strong>en</strong>sidad I a<br />

nuevos valores <strong>en</strong> J <strong>de</strong> manera que los valores <strong>en</strong>tre LOW_IN y HIGH_IN correspond<strong>en</strong> a los<br />

valores <strong>en</strong>tre LOW_OUT y HIGH_OUT. Los valores por <strong>de</strong>bajo <strong>de</strong> LOW_IN y por <strong>en</strong>cima <strong>de</strong><br />

HIGH_IN se recortan, es <strong>de</strong>cir, los valores <strong>en</strong>tre LOW_IN y LOW_OUT, y los valores <strong>en</strong>tre<br />

HIGH_IN y HIGH_OUT. Se pue<strong>de</strong> utilizar una matriz vacía ([]) para [LOW_IN; HIGH_IN] o para<br />

[LOW_OUT; HIGH_OUT] con el fin <strong>de</strong> especificar el valor pre<strong>de</strong>terminado <strong>de</strong> [0 1]. Si se omite<br />

el argum<strong>en</strong>to, [LOW_OUT; HIGH_OUT] <strong>de</strong>fecto [0 1].<br />

Imag<strong>en</strong> original Imag<strong>en</strong> <strong>de</strong> int<strong>en</strong>sidad Imag<strong>en</strong> realzada<br />

En el ejemplo anterior:<br />

- LOW_IN=0.3, HIGH_IN=0.7<br />

- LOW_OUT=0, HIGH_OUT=1<br />

Figura 53. Realce.<br />

Con estos valores se consigu<strong>en</strong> resaltar los rasgos faciales con respecto a la cara.<br />

LUIS BLÁZQUEZ PÉREZ 49


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

Ecualización (Figura 54)<br />

La ecualización mejora el contraste <strong>de</strong> imág<strong>en</strong>es mediante la transformación <strong>de</strong> los valores <strong>de</strong><br />

una imag<strong>en</strong> <strong>de</strong> int<strong>en</strong>sidad (imag<strong>en</strong> cuyos valores <strong>de</strong> píxeles correspond<strong>en</strong> a una escala <strong>de</strong><br />

grises), o los valores <strong>en</strong> el mapa <strong>de</strong> colores <strong>de</strong> una imag<strong>en</strong> in<strong>de</strong>xada, <strong>de</strong> manera que el<br />

histograma <strong>de</strong> la imag<strong>en</strong> <strong>de</strong> salida coinci<strong>de</strong> aproximadam<strong>en</strong>te con un histograma especificado.<br />

La función utilizada <strong>en</strong> matlab para la ecualización es J = histeq(I). Esta función <strong>de</strong>vuelve la<br />

transformación <strong>de</strong> escala <strong>de</strong> grises que asigna niveles <strong>de</strong> gris <strong>de</strong> la imag<strong>en</strong> <strong>de</strong> int<strong>en</strong>sidad I a<br />

niveles <strong>de</strong> gris <strong>de</strong> J.<br />

Imag<strong>en</strong> original Imag<strong>en</strong> <strong>de</strong> int<strong>en</strong>sidad Imag<strong>en</strong> ecualizada<br />

Umbralización (Figura 55)<br />

Figura 54. Ecualización.<br />

La umbralización es un caso particular <strong>de</strong>l realce, con la difer<strong>en</strong>cia <strong>de</strong> que <strong>en</strong> este caso,<br />

LOW_IN y HIGH_IN toman el mismo valor; <strong>de</strong>jando la imag<strong>en</strong> bimodal (blanco y negro).<br />

Imag<strong>en</strong> original Imag<strong>en</strong> <strong>de</strong> int<strong>en</strong>sidad Imag<strong>en</strong> umbralizada<br />

Figura 55. Umbralización.<br />

Se consigue con esto, optimizar para la última etapa <strong>de</strong> localización.<br />

LUIS BLÁZQUEZ PÉREZ 50


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

4.6.5 Barrido, localización y marcado <strong>de</strong> puntos<br />

Una vez extraído los segm<strong>en</strong>tos <strong>de</strong> interés <strong>de</strong> la cara, mediante el segm<strong>en</strong>tador basado <strong>en</strong><br />

proporciones faciales (<strong>de</strong>bido a que se utiliza una base <strong>de</strong> datos no i<strong>de</strong>al), y haber aplicado la<br />

máscara correspondi<strong>en</strong>te sobre estos, se proce<strong>de</strong> a la búsqueda <strong>de</strong> los nuevos puntos<br />

característicos <strong>de</strong> dicho rasgo.<br />

Para la localización <strong>de</strong> los puntos, se utiliza, como base, el mismo algoritmo, pero <strong>de</strong>p<strong>en</strong>di<strong>en</strong>do<br />

<strong>de</strong>l rasgo a estudiar, se añad<strong>en</strong> operaciones aparte para optimizar el resultado.<br />

El método básico y principal utilizado para la localización <strong>de</strong> puntos característicos <strong>de</strong> la cara,<br />

consiste <strong>en</strong> realizar un barrido vertical por toda la imag<strong>en</strong> (tal y como se muestra <strong>en</strong> la Figura<br />

56) hasta <strong>en</strong>contrar el punto <strong>de</strong> interés, ya que, estos puntos son los extremos <strong>de</strong>l rasgo (si se<br />

buscase un punto más bajo y más alto, por ejemplo para ver la altura <strong>de</strong>l rasgo, el barrido a<br />

utilizar sería el horizontal).<br />

Figura 56. Barrido vertical<br />

Como punto <strong>de</strong> partida, este algoritmo utiliza una imag<strong>en</strong> que ha sido tratada anteriorm<strong>en</strong>te,<br />

es <strong>de</strong>cir, no se utiliza la foto original, sino que se ha extraído el rasgo a estudiar, se ha realizado<br />

un realce <strong>de</strong> contraste (opcional, ya que no siempre es necesario), se han <strong>de</strong>tectado los bor<strong>de</strong>s<br />

y, finalm<strong>en</strong>te, se le ha aplicado la máscara correspondi<strong>en</strong>te. Posteriorm<strong>en</strong>te, el barrido<br />

comi<strong>en</strong>za <strong>de</strong>s<strong>de</strong> el primer píxel <strong>de</strong> la imag<strong>en</strong> obt<strong>en</strong>ida, situado <strong>en</strong> la esquina superior izquierda<br />

<strong>de</strong> ésta, y se comprueba si hay píxeles blancos <strong>en</strong> todas las filas columna a columna. Después,<br />

se analiza si <strong>en</strong> la columna a estudiar, hay alguna fila con su píxel <strong>en</strong> blanco; <strong>en</strong> caso negativo,<br />

se continúa con el barrido hasta que se <strong>en</strong>cu<strong>en</strong>tre la primera columna con píxeles blancos, <strong>en</strong><br />

caso afirmativo, el algoritmo <strong>de</strong> barrido ya ha <strong>en</strong>contrado un extremo <strong>de</strong>l rasgo a estudiar.<br />

El primer extremo <strong>de</strong>l rasgo a estudiar es el punto medio <strong>en</strong>tre todos los píxeles blancos<br />

<strong>en</strong>contrados <strong>en</strong> la columna. Este es el procedimi<strong>en</strong>to a seguir, para evitar que una impureza<br />

(<strong>en</strong> este caso, barba, bigote, arrugas…), <strong>de</strong>splace <strong>en</strong> exceso el punto a obt<strong>en</strong>er. Para obt<strong>en</strong>er el<br />

otro extremo <strong>de</strong>l rasgo, se voltea la imag<strong>en</strong>, obt<strong>en</strong>ida al principio, <strong>de</strong> izquierda a <strong>de</strong>recha<br />

(función matlab fliplr), y se repit<strong>en</strong> los mismos pasos explicados. El resultado <strong>de</strong> aplicar el<br />

algoritmo explicado sobre el ojo <strong>de</strong>recho <strong>de</strong> un usuario <strong>de</strong> la base <strong>de</strong> datos BioID, se muestra<br />

<strong>en</strong> la Figura 57.<br />

Ojo <strong>de</strong>recho Binarización Contorno Máscara Resultado<br />

Figura 57. Resultado algoritmo barrido vertical sobre ojo.<br />

LUIS BLÁZQUEZ PÉREZ 51


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

Este barrido vertical, se pue<strong>de</strong> aplicar ya que, <strong>de</strong>bido a la segm<strong>en</strong>tación, mediante el extractor<br />

por proporciones faciales pues estamos <strong>en</strong> un <strong>en</strong>torno no controlado, y a las máscaras<br />

aplicadas a cada uno <strong>de</strong> los rasgos, la parte <strong>de</strong> la cara a estudiar está muy restringida y<br />

optimizada al rasgo, eliminando todo tipo <strong>de</strong> ruido.<br />

Para mejorar esta localización, a<strong>de</strong>más <strong>de</strong>l barrido vertical, se realizan diversas operaciones<br />

adicionales, como:<br />

<br />

<br />

<br />

Realzar el contraste: se aplica cuando la iluminación <strong>de</strong> la imag<strong>en</strong> no es la a<strong>de</strong>cuada,<br />

ya sea porque es excesiva o escasa; también se aplica <strong>en</strong> pieles oscuras, como por<br />

ejemplo, las personas africanas.<br />

Ecualización <strong>de</strong>l histograma <strong>de</strong> la imag<strong>en</strong>: consiste <strong>en</strong> realizar una transformación que<br />

pret<strong>en</strong><strong>de</strong> obt<strong>en</strong>er para una imag<strong>en</strong> un histograma con una distribución uniforme. Es<br />

<strong>de</strong>cir, que exista el mismo número <strong>de</strong> píxeles para cada nivel <strong>de</strong> gris <strong>de</strong>l histograma <strong>de</strong><br />

una imag<strong>en</strong> monocroma.<br />

Eliminar impurezas, es <strong>de</strong>cir, un conjuntos <strong>de</strong> píxeles blancos (<strong>en</strong> una imag<strong>en</strong><br />

binarizada) <strong>de</strong> tamaño 1 o 2.<br />

Un caso especial, es la boca, ya que la obt<strong>en</strong>ción <strong>de</strong> los puntos característicos <strong>de</strong> este rasgo se<br />

hace muy complicada, por ejemplo, <strong>en</strong> g<strong>en</strong>te con barba, bigote, obesa, con piel ajada, con el<br />

labio h<strong>en</strong>dido…<br />

Por ello, a<strong>de</strong>más <strong>de</strong>l barrido vertical, se aplica a este rasgo otro método, repres<strong>en</strong>tado el<br />

resultado <strong>en</strong> la Figura 58, que consiste <strong>en</strong>, una vez obt<strong>en</strong>ido el segm<strong>en</strong>to <strong>de</strong> la cara a estudiar,<br />

es <strong>de</strong>cir, la boca, ecualizar el histograma <strong>de</strong> dicha imag<strong>en</strong>, para, posteriorm<strong>en</strong>te, binarizarla<br />

con un umbral muy bajo (0.2). Después, se dilata la imag<strong>en</strong> resultado una sola vez,<br />

aum<strong>en</strong>tando la cantidad <strong>de</strong> píxeles <strong>en</strong> blanco (con valor 1) <strong>de</strong> dicha imag<strong>en</strong>, se eliminan los<br />

píxeles interiores, estableciéndose un píxel a 0 (negro) si la totalidad <strong>de</strong> sus cuatro píxeles<br />

vecinos están conectados a 1 (blanco), <strong>de</strong>jando sólo los píxeles <strong>de</strong>l contorno <strong>de</strong> la imag<strong>en</strong>. En<br />

este paso se pued<strong>en</strong> obt<strong>en</strong>er más <strong>de</strong> un contorno (o líneas contorno), pues si la imag<strong>en</strong> es muy<br />

ruidosa y está ll<strong>en</strong>a <strong>de</strong> impurezas, se hace impracticable la obt<strong>en</strong>ción <strong>de</strong>l contorno. Para<br />

solucionar el problema <strong>de</strong> varios contornos, se etiquetan las líneas contorno obt<strong>en</strong>idas, cada<br />

una con un número. Este etiquetado se realiza <strong>de</strong> la sigui<strong>en</strong>te forma:<br />

<br />

<br />

Se establece un píxel a 1 si la totalidad <strong>de</strong> sus ocho píxeles vecinos están conectados y<br />

son <strong>de</strong> color blanco.<br />

Si no hay más píxeles (a<strong>de</strong>más <strong>de</strong> los etiquetados a 1) <strong>en</strong> toda la imag<strong>en</strong>, es que solo<br />

hay un contorno. En caso contrario, el nuevo píxel se etiqueta como 2, repitiéndose el<br />

paso anterior hasta que no haya píxeles <strong>en</strong> la imag<strong>en</strong> sin etiquetar.<br />

Los píxeles <strong>de</strong> color negro son etiquetados con el número 0.<br />

Como el vecindario es muy gran<strong>de</strong> (ocho píxeles), normalm<strong>en</strong>te va a haber un contorno<br />

gran<strong>de</strong>, y tal vez, varios <strong>de</strong> m<strong>en</strong>or tamaño. Este contorno único, o <strong>en</strong> su <strong>de</strong>fecto, el mayor, es<br />

eliminado <strong>de</strong> la imag<strong>en</strong> (poni<strong>en</strong>do sus píxeles a 0). Finalm<strong>en</strong>te, se le aplica una máscara<br />

elíptica. A esta imag<strong>en</strong> resultado, es a la que se le aplica el barrido vertical.<br />

LUIS BLÁZQUEZ PÉREZ 52


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

Boca Escala <strong>de</strong> grises Ecualización Binarización<br />

Dilatación Contorno <strong>Puntos</strong> interiores Resultado<br />

Figura 58. Resultado algoritmo barrido vertical + método especial para la boca.<br />

La imag<strong>en</strong> d<strong>en</strong>ominada “<strong>Puntos</strong> interiores”, <strong>en</strong> la Figura 58, es la que utiliza el algoritmo<br />

barrido vertical.<br />

Si no se combinas<strong>en</strong> ambos métodos, el resultado sería bastante peor, como se pue<strong>de</strong> ver <strong>en</strong><br />

la Figura 59.<br />

Método barrido vertical<br />

Combinación ambos métodos<br />

Figura 59. Comparativa puntos característicos <strong>de</strong> la boca<br />

Otro rasgo facial que pres<strong>en</strong>ta bastantes complicaciones es la barbilla (o m<strong>en</strong>tón), por lo que<br />

también se ha optado por combinar varios métodos para la obt<strong>en</strong>ción <strong>de</strong> su punto<br />

característico. El punto <strong>de</strong> la barbilla, a priori, es algo más complicado que el resto <strong>de</strong> puntos<br />

<strong>de</strong>bido a que no se aprecia un cambio brusco <strong>de</strong> luminancia y crominancia (<strong>de</strong>bajo <strong>de</strong> la<br />

barbilla está el cuello, que suele ser <strong>de</strong>l mismo color que la barbilla), <strong>en</strong> el caso <strong>de</strong> que se<br />

int<strong>en</strong>te localizar dicho punto mediante el color; y pue<strong>de</strong> <strong>en</strong>contrarse ocluida por la barba.<br />

El método utilizado para la obt<strong>en</strong>ción <strong>de</strong>l punto característico <strong>de</strong> la barbilla (explicado a<br />

continuación), es tolerante a las posibles oclusiones <strong>de</strong> la barba.<br />

Por ello, a<strong>de</strong>más <strong>de</strong>l método que consiste <strong>en</strong> realizar un barrido vertical, se aplica a este rasgo<br />

el sigui<strong>en</strong>te método matemático, el cual parte <strong>de</strong> la imag<strong>en</strong> normalizada y rotada. Al principio,<br />

se predice que el punto <strong>de</strong> la barbilla se va a <strong>en</strong>contrar a 1.69*distancia_<strong>en</strong>tre_ojos píxeles<br />

hacia abajo <strong>de</strong>s<strong>de</strong> las coord<strong>en</strong>adas “y” <strong>de</strong> las pupilas (son iguales la <strong>de</strong> ambas pupilas <strong>de</strong>bido a<br />

la rotación). Posteriorm<strong>en</strong>te, se realiza un tratami<strong>en</strong>to <strong>de</strong> la imag<strong>en</strong>; es <strong>de</strong>cir, se binariza y se<br />

le aplica una máscara elíptica. En la imag<strong>en</strong> obt<strong>en</strong>ida, se busca, <strong>en</strong> un vecindario <strong>de</strong> 17 x 9<br />

píxeles (alto y ancho respectivam<strong>en</strong>te) y c<strong>en</strong>trado <strong>en</strong> el punto predicho, los píxeles <strong>de</strong> color<br />

blanco, <strong>de</strong> la sigui<strong>en</strong>te manera:<br />

<br />

<br />

Se guardan los valores <strong>de</strong> todos los píxeles, que se <strong>en</strong>cu<strong>en</strong>tran d<strong>en</strong>tro <strong>de</strong>l vecindario,<br />

<strong>en</strong> una matriz.<br />

Para localizar exactam<strong>en</strong>te el punto buscado, se distingu<strong>en</strong> tres casos:<br />

o Si la matriz no conti<strong>en</strong>e ningún píxel cuyo valor es 1 (blanco), el punto buscado<br />

se manti<strong>en</strong>e <strong>en</strong> el punto predicho anteriorm<strong>en</strong>te.<br />

o Si la matriz solo conti<strong>en</strong>e píxeles con valor 1, es <strong>de</strong>cir, blancos, el punto final se<br />

convierte <strong>en</strong> el punto predicho más 8 píxeles.<br />

o Si la matriz ti<strong>en</strong>e píxeles <strong>de</strong> ambos valores, 0 y 1, la coord<strong>en</strong>ada y <strong>de</strong>seada es<br />

la media <strong>en</strong>tre todas las coord<strong>en</strong>adas “y” finales <strong>de</strong> cada columna. Estos<br />

puntos finales <strong>de</strong> cada columna, se <strong>en</strong>cu<strong>en</strong>tran mediante el barrido vertical.<br />

LUIS BLÁZQUEZ PÉREZ 53


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

La coord<strong>en</strong>ada “x” <strong>de</strong>l punto característico <strong>de</strong> la barbilla, se consi<strong>de</strong>ra que siempre está<br />

colocado <strong>en</strong> el punto medio que forman las pupilas <strong>de</strong> los ojos. A modo comparativo, <strong>en</strong> la<br />

Figura 60 se observa que el punto obt<strong>en</strong>ido final (color amarillo) está mejor localizado que el<br />

obt<strong>en</strong>ido <strong>de</strong> forma matemática (color rojo).<br />

Figura 60. Comparación punto característico <strong>de</strong> la barbilla.<br />

Finalm<strong>en</strong>te se aplica una <strong>de</strong>snormalización para que los puntos vuelvan a correspon<strong>de</strong>rse con<br />

la imag<strong>en</strong> original.<br />

Este paso consiste <strong>en</strong> hacer la rotación inversa realizada y escalar tanto las imág<strong>en</strong>es como los<br />

puntos, para obt<strong>en</strong>er una base <strong>de</strong> datos final idéntica a la original, salvo los puntos corregidos<br />

o los nuevos puntos obt<strong>en</strong>idos, como el punto que marca el final <strong>de</strong> la cabeza. La Figura 61<br />

muestra un ejemplo <strong>de</strong> imag<strong>en</strong> final pert<strong>en</strong>eci<strong>en</strong>te a un usuario africano <strong>de</strong> la base <strong>de</strong> datos<br />

MORPH con todos los puntos característicos, <strong>de</strong> interés, <strong>de</strong> la cara.<br />

Figura 61. <strong>Puntos</strong> característicos sobre un usuario <strong>de</strong> la base <strong>de</strong> datos MORPH.<br />

Finalm<strong>en</strong>te, <strong>de</strong>spués <strong>de</strong> aplicar el algoritmo completo, y la <strong>de</strong>snormalización, se obti<strong>en</strong>e la<br />

base <strong>de</strong> datos final (MORPH), mostrada a continuación <strong>en</strong> la Figura 62, don<strong>de</strong> hay una mejoría<br />

notable.<br />

Los puntos <strong>de</strong> color rojo, son las coord<strong>en</strong>adas <strong>de</strong> los puntos característicos <strong>de</strong> la cara dados<br />

por el programa comercial Luxand, mi<strong>en</strong>tras que los marcados <strong>en</strong> color azul, son los corregidos<br />

finales.<br />

LUIS BLÁZQUEZ PÉREZ 54


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

Cejas mal marcadas Barbilla mal marcada Nariz mal marcada<br />

Cejas mal marcadas Boca mal marcada Ojos y boca mal marcados<br />

Barbilla mal marcada Ojos y boca mal marcados Ojos mal marcados<br />

Barbilla mal marcada Nariz mal marcada Ojos mal marcados<br />

Figura 62. Base <strong>de</strong> datos MORPH corregida.<br />

LUIS BLÁZQUEZ PÉREZ 55


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

5. Experim<strong>en</strong>tos y resultados<br />

5.1 Evaluación <strong>de</strong>l r<strong>en</strong>dimi<strong>en</strong>to <strong>de</strong> sistemas biométricos<br />

Para evaluar las prestaciones o r<strong>en</strong>dimi<strong>en</strong>to <strong>de</strong> un sistema biométrico, se <strong>de</strong>b<strong>en</strong> analizar y<br />

valorar los sigui<strong>en</strong>tes parámetros estándares:<br />

<br />

<br />

<br />

FAR (False Reject Rate o falsos positivos): porc<strong>en</strong>taje <strong>de</strong> personas no autorizadas<br />

aceptadas por el sistema.<br />

FRR (False Reject Rate o falsos negativos): porc<strong>en</strong>taje <strong>de</strong> personas autorizadas no<br />

aceptadas por el sistema.<br />

EER (Equal Error Rate): los indicadores FAR y FRR son parámetros inversam<strong>en</strong>te<br />

proporcionales, y variarán <strong>en</strong> función <strong>de</strong> las condiciones prefijadas por el programa <strong>de</strong><br />

id<strong>en</strong>tificación biométrica. Si el algoritmo se va a utilizar <strong>en</strong> un sistema <strong>de</strong> seguridad, se<br />

ha <strong>de</strong> int<strong>en</strong>tar que el FAR sea lo más pequeño posible, aunque esto signifique el<br />

increm<strong>en</strong>to <strong>de</strong>l FRR. Se <strong>de</strong>be fijar un umbral que permita igualar estos dos factores,<br />

mom<strong>en</strong>to <strong>en</strong> el que se consi<strong>de</strong>ra óptimo el funcionami<strong>en</strong>to <strong>de</strong>l sistema. Este umbral se<br />

d<strong>en</strong>omina Equal Error Rate (Figura 63) y es el que <strong>de</strong>termina el po<strong>de</strong>r <strong>de</strong> id<strong>en</strong>tificación<br />

<strong>de</strong>l sistema.<br />

Figura 63. Equal Error Rate.<br />

Cuanto más bajo es el EER, se consi<strong>de</strong>ra más exacto el sistema.<br />

En el ámbito for<strong>en</strong>se, se realizan dos tipos <strong>de</strong> cotejos para comparar imág<strong>en</strong>es:<br />

o<br />

Morfológico: se realiza con el fin <strong>de</strong> efectuar la comparación <strong>de</strong> los rasgos faciales y<br />

corporales <strong>de</strong> una persona con respecto a otra que aparece <strong>en</strong> imág<strong>en</strong>es <strong>de</strong> ví<strong>de</strong>o,<br />

fotografías o imág<strong>en</strong>es digitalizadas. Igualm<strong>en</strong>te, señales particulares, pr<strong>en</strong>das <strong>de</strong><br />

vestir y accesorios que porte la persona <strong>en</strong> las imág<strong>en</strong>es suministradas. Una vez<br />

comparado cada uno <strong>de</strong> los rasgos morfológicos faciales, se establece el grado <strong>de</strong><br />

semejanza <strong>de</strong> acuerdo al porc<strong>en</strong>taje resultado (Tabla 11).<br />

LUIS BLÁZQUEZ PÉREZ 56


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

Porc<strong>en</strong>taje<br />

Grado <strong>de</strong> semejanza<br />

1% – 19% No hay semejanza<br />

20% - 39% Semejanza ligera<br />

40% - 59% Semejanza aproximada o aceptable<br />

60% - 79% Semejanza cercana<br />

80% - 100% Gran semejanza<br />

Tabla 11. Grado <strong>de</strong> semejanza.<br />

o<br />

Antropométrico: sirve para id<strong>en</strong>tificar a las personas mediante la obt<strong>en</strong>ción y<br />

clasificación <strong>de</strong> ciertas medias <strong>de</strong>l cuerpo humano. En España se efectuó por primera<br />

vez <strong>en</strong> el gobierno civil <strong>de</strong> Barcelona el 1 <strong>de</strong> agosto <strong>de</strong> 1895.<br />

Este último, es el utilizado por la Dirección G<strong>en</strong>eral <strong>de</strong> la Guardia Civil (DGGC) para la<br />

comparación <strong>de</strong> imág<strong>en</strong>es <strong>de</strong> bu<strong>en</strong>a calidad <strong>en</strong> la reseña fotográfica y <strong>en</strong> la id<strong>en</strong>tificación <strong>de</strong><br />

DNI.<br />

5.2 Análisis <strong>de</strong> características / puntos característicos<br />

Para la comparación <strong>de</strong> imág<strong>en</strong>es, se han utilizado distintos vectores <strong>de</strong> características, tanto<br />

con el uso <strong>de</strong> las SVMs como <strong>de</strong> las distancias euclí<strong>de</strong>as:<br />

<br />

DGGC<br />

Uno <strong>de</strong> los vectores <strong>de</strong> características utilizado <strong>en</strong> el proyecto, es el que emplea la DGGC para<br />

el cotejo antropométrico, <strong>en</strong> el ámbito for<strong>en</strong>se; explicado a continuación.<br />

<strong>Puntos</strong> a t<strong>en</strong>er <strong>en</strong> cu<strong>en</strong>ta:<br />

o<br />

o<br />

o<br />

o<br />

o<br />

o<br />

o<br />

Exocantio: punto más externo <strong>de</strong> la comisura externa <strong>de</strong> la h<strong>en</strong>didura parpebral<br />

(sinónimo: ectocantio).<br />

Endocantio: punto más externo <strong>de</strong>l canto interno <strong>de</strong> la h<strong>en</strong>didura parpebral<br />

(sinónimo: <strong>en</strong>tocantio).<br />

Alar: punto más alejado <strong>de</strong>l plano medio sagital situado sobre la aleta nasal.<br />

Subnasal: punto medio <strong>de</strong> la unión <strong>de</strong>l tabique nasal.<br />

Chelio: punto más lateral <strong>de</strong> la comisura labial.<br />

Estomio: punto <strong>de</strong> <strong>en</strong>cu<strong>en</strong>tro <strong>de</strong> la h<strong>en</strong>didura bucal con el plano medio-sagital.<br />

Gnatio: punto más bajo <strong>de</strong>l m<strong>en</strong>tón <strong>en</strong> la línea sagital.<br />

Otros puntos <strong>de</strong> interés:<br />

o<br />

C<strong>en</strong>tros pupilares, <strong>de</strong>recho e izquierdo.<br />

La elección <strong>de</strong> los puntos más idóneos se basa fundam<strong>en</strong>talm<strong>en</strong>te <strong>en</strong> la evitación <strong>de</strong><br />

subjetivida<strong>de</strong>s <strong>de</strong>rivadas <strong>de</strong> su variable colocación, los m<strong>en</strong>cionados son fácilm<strong>en</strong>te<br />

id<strong>en</strong>tificables para cualquier observador aún sin contar con formación <strong>en</strong> morfología facial.<br />

LUIS BLÁZQUEZ PÉREZ 57


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

Abreviaturas (Tabla 12):<br />

<strong>Puntos</strong><br />

Abreviaturas<br />

Exocantio ojo <strong>de</strong>recho<br />

EXD<br />

C<strong>en</strong>tro pupilar <strong>de</strong>recho<br />

CPD<br />

Endocantio ojo <strong>de</strong>recho<br />

END<br />

Endocantio ojo izquierdo<br />

ENI<br />

C<strong>en</strong>tro pupilar izquierdo<br />

CPI<br />

Exocantio ojo izquierdo<br />

EXI<br />

Alar <strong>de</strong>recho<br />

AD<br />

Alar izquierdo<br />

AI<br />

Subnasal<br />

SN<br />

Chelio <strong>de</strong>recho<br />

CHD<br />

Estomio<br />

ES<br />

Chelio izquierdo<br />

CHI<br />

Gnatio<br />

GN<br />

Tabla 12. <strong>Puntos</strong> característicos utilizados por la DGGC.<br />

En la Figura 64, se muestran los puntos (<strong>de</strong> color azul), las líneas verticales y horizontales<br />

pasantes por los planos imaginarios citados anteriorm<strong>en</strong>te:<br />

Figura 64. <strong>Puntos</strong> característicos utilizados por la DGGC.<br />

Una vez <strong>de</strong>limitados los puntos <strong>de</strong> interés, se calculan las medidas que se van a realizar y que<br />

se v<strong>en</strong> reflejadas <strong>en</strong> la fotografía inferior (Figura 65).<br />

LUIS BLÁZQUEZ PÉREZ 58


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

Figura 65. Mediciones a tomar.<br />

Las medidas a tomar <strong>en</strong> s<strong>en</strong>tido horizontal (amarillo) correspond<strong>en</strong> a:<br />

o<br />

o<br />

o<br />

CPD-CPI<br />

AD-AI<br />

CHD-CHI<br />

En s<strong>en</strong>tido vertical (azul) correspond<strong>en</strong> a:<br />

o<br />

o<br />

SN-ES<br />

ES-GN<br />

En diagonal (ver<strong>de</strong>) correspond<strong>en</strong> a:<br />

o<br />

o<br />

o<br />

o<br />

o<br />

o<br />

CPD-SN<br />

EXD-CHD<br />

EXI-CHI<br />

CPI-SN<br />

END-GN<br />

ENI-GN<br />

Con las distancias citadas anteriorm<strong>en</strong>te (11), se crea el vector <strong>de</strong> características.<br />

<br />

<strong>Puntos</strong> utilizados <strong>en</strong> el proyecto.<br />

Otro <strong>de</strong> los vectores <strong>de</strong> características utilizado <strong>en</strong> el proyecto, es el que se crea con las<br />

distancias <strong>en</strong>tre los puntos base y los <strong>de</strong>l proyecto.<br />

<strong>Puntos</strong> característicos faciales <strong>de</strong> interés:<br />

o<br />

o<br />

o<br />

o<br />

o<br />

o<br />

o<br />

CDE: Punto más externo <strong>de</strong> la ceja <strong>de</strong>recha<br />

CDI: Punto más interno <strong>de</strong> la ceja <strong>de</strong>recha<br />

CIE: Punto más externo <strong>de</strong> la ceja izquierda<br />

CII: Punto más interno <strong>de</strong> la ceja izquierda<br />

ODE: Punto más externo <strong>de</strong>l ojo <strong>de</strong>recho<br />

ODI: Punto más interno <strong>de</strong>l ojo <strong>de</strong>recho<br />

OIE: Punto más externo <strong>de</strong>l ojo izquierdo<br />

LUIS BLÁZQUEZ PÉREZ 59


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

o<br />

o<br />

o<br />

o<br />

o<br />

o<br />

OII: Punto más interno <strong>de</strong>l ojo izquierdo<br />

NOD: Punto más externo <strong>de</strong>l orificio nasal <strong>de</strong>recho<br />

NOI: Punto más interno <strong>de</strong>l orificio nasal izquierdo<br />

BLD: Punto más a la <strong>de</strong>recha <strong>de</strong> la boca<br />

BLI: Punto más a la izquierda <strong>de</strong> la boca<br />

M: Punto más bajo <strong>de</strong> la cara (barbilla)<br />

Los c<strong>en</strong>tros pupilares son puntos <strong>de</strong>p<strong>en</strong>di<strong>en</strong>tes:<br />

o<br />

o<br />

( )<br />

( )<br />

Abreviaturas (Tabla 13):<br />

<strong>Puntos</strong><br />

Ceja <strong>de</strong>recha exterior<br />

Ceja <strong>de</strong>recha interior<br />

Ceja izquierda exterior<br />

Ceja izquierda interior<br />

Ojo <strong>de</strong>recho exterior<br />

Ojo <strong>de</strong>recho interior<br />

Ojo izquierdo exterior<br />

Ojo izquierdo interior<br />

Nariz orificio <strong>de</strong>recho<br />

Nariz orificio izquierdo<br />

Boca lado <strong>de</strong>recho<br />

Boca lado izquierdo<br />

M<strong>en</strong>tón<br />

Tabla 13. <strong>Puntos</strong> <strong>de</strong> interés faciales.<br />

Abreviaturas<br />

CDE<br />

CDI<br />

CIE<br />

CII<br />

ODE<br />

ODI<br />

OIE<br />

OII<br />

NOD<br />

NOI<br />

BLD<br />

BLI<br />

M<br />

En la Figura 66, se muestran los puntos (<strong>de</strong> color amarillo) citados anteriorm<strong>en</strong>te (izquierda) y<br />

las distancias que compon<strong>en</strong> el vector <strong>de</strong> características (<strong>de</strong>recha).<br />

Figura 66. <strong>Puntos</strong> característicos <strong>de</strong> la cara <strong>de</strong> interés <strong>en</strong> el proyecto.<br />

LUIS BLÁZQUEZ PÉREZ 60


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

Las distancias (78) con las que se crea el vector <strong>de</strong> características, son las que hay <strong>de</strong>s<strong>de</strong> cada<br />

uno <strong>de</strong> los puntos, a los puntos restantes.<br />

<br />

Comparación<br />

En la Tabla 14, se muestran las longitu<strong>de</strong>s <strong>de</strong> los distintos vectores <strong>de</strong> características.<br />

Vectores<br />

Longitud/usuario<br />

DGGC 11<br />

<strong>Puntos</strong> proyecto 78<br />

FaceSDK 2 2145<br />

Tabla 14. Longitud vectores <strong>de</strong> características.<br />

Una vez obt<strong>en</strong>idos los vectores <strong>de</strong> características, se proce<strong>de</strong> a realizar una comparación <strong>de</strong><br />

dichos vectores que nos permite saber la probabilidad <strong>de</strong> coincid<strong>en</strong>cia <strong>en</strong>tre imág<strong>en</strong>es.<br />

Se han utilizado tres comparadores:<br />

Comparador <strong>de</strong>l sistema comercial FaceSDK<br />

El comparador <strong>de</strong>l sistema comercial FaceSDK se basa <strong>en</strong> la realización <strong>de</strong> un reconocimi<strong>en</strong>to<br />

antropométrico (por distancias) más un análisis <strong>de</strong> textura. El sistema cu<strong>en</strong>ta con el marcado<br />

<strong>de</strong> 66 puntos faciales.<br />

Distancias euclí<strong>de</strong>as<br />

Debido a la colaboración realizada, durante el <strong>de</strong>sarrollo <strong>de</strong>l proyecto fin <strong>de</strong> carrera, con la<br />

Dirección G<strong>en</strong>eral <strong>de</strong> la Guardia Civil (DGGC), se ha utilizado la distancia euclí<strong>de</strong>a <strong>en</strong>tre puntos<br />

característicos faciales como clasificador por semejanza con sus protocolos.<br />

La distancia euclí<strong>de</strong>a o euclidiana es la distancia “ordinaria” <strong>en</strong>tre dos puntos <strong>de</strong> un espacio<br />

euclí<strong>de</strong>o, la cual se <strong>de</strong>duce a partir <strong>de</strong>l Teorema <strong>de</strong> Pitágoras.<br />

En g<strong>en</strong>eral, la distancia euclidiana <strong>en</strong>tre los puntos ( ) y ( ),<br />

<strong>de</strong>l espacio euclí<strong>de</strong>o n-dim<strong>en</strong>sional, se <strong>de</strong>fine como:<br />

( ) √( ) ( ) ( ) √∑( )<br />

Clasificador SVM<br />

Se realizaron experim<strong>en</strong>tos utilizando las SVMs, pero se <strong>de</strong>scartaron al ver que los resultados<br />

g<strong>en</strong>erados no eran aceptables. Esto fue <strong>de</strong>bido a que las clases estaban <strong>de</strong>sbalanceadas y a la<br />

falta <strong>de</strong> datos.<br />

2 Se han realizado pruebas con este vector <strong>de</strong> características, formado por las distancias <strong>en</strong>tre los 66<br />

puntos característicos faciales marcados por el sistema comercial FaceSDK, pero se han <strong>de</strong>sechado<br />

<strong>de</strong>bido a los malos resultados obt<strong>en</strong>idos.<br />

LUIS BLÁZQUEZ PÉREZ 61


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

Se int<strong>en</strong>tó la utilización <strong>en</strong> los experim<strong>en</strong>tos <strong>de</strong> este clasificador, <strong>de</strong>bido a las múltiples<br />

v<strong>en</strong>tajas que pres<strong>en</strong>ta:<br />

o<br />

o<br />

o<br />

o<br />

o<br />

o<br />

o<br />

No hay problemas con mínimos locales (problema cuadrático).<br />

La solución óptima se pue<strong>de</strong> <strong>en</strong>contrar <strong>en</strong> tiempo polinómico.<br />

Pocos parámetros libres: C, el tipo <strong>de</strong> kernel y los parámetros <strong>de</strong>l kernel.<br />

Resultado estable (no <strong>de</strong>p<strong>en</strong><strong>de</strong> <strong>de</strong> valores iniciales aleatorios).<br />

Solución dispersa, sólo se ti<strong>en</strong><strong>en</strong> <strong>en</strong> cu<strong>en</strong>ta los vectores <strong>de</strong> soporte.<br />

Maximizar el marg<strong>en</strong> permite controlar la complejidad con in<strong>de</strong>p<strong>en</strong>d<strong>en</strong>cia <strong>de</strong>l número<br />

<strong>de</strong> dim<strong>en</strong>siones.<br />

Bu<strong>en</strong>as capacida<strong>de</strong>s <strong>de</strong> g<strong>en</strong>eralización.<br />

Con los experim<strong>en</strong>tos explicados a continuación, se muestra el alcance o pot<strong>en</strong>cial <strong>de</strong> cada uno<br />

<strong>de</strong> los bloques <strong>de</strong>sarrollados <strong>en</strong> el proyecto.<br />

El bloque corrector <strong>de</strong> puntos característicos <strong>de</strong> la cara, es utilizado <strong>en</strong> el experim<strong>en</strong>to<br />

0 como localizador <strong>de</strong> dichos puntos, con bastante bu<strong>en</strong> resultado.<br />

El bloque <strong>de</strong>tector es utilizado <strong>en</strong> la primera parte <strong>de</strong> los experim<strong>en</strong>tos 2 y 3.<br />

La combinación <strong>de</strong> los dos bloques anteriores, se utiliza <strong>en</strong> la segunda parte <strong>de</strong> los<br />

experim<strong>en</strong>tos 2 y 3, viéndose, como los resultados mejoran con su aplicación.<br />

El alcance <strong>de</strong> los comparadores se comprueba <strong>en</strong> el experim<strong>en</strong>to 1, ya que se<br />

comparan imág<strong>en</strong>es marcadas <strong>de</strong> forma manual, quitando los posibles fallos <strong>de</strong><br />

segm<strong>en</strong>tación.<br />

5.3 Experim<strong>en</strong>to 0: Marcado automático <strong>de</strong> puntos característicos <strong>en</strong><br />

<strong>en</strong>tornos controlados<br />

Este experim<strong>en</strong>to se realiza con la base <strong>de</strong> datos BioID, imág<strong>en</strong>es <strong>en</strong> escala <strong>de</strong> grises, <strong>en</strong><br />

<strong>en</strong>tornos <strong>de</strong>l mundo real con variaciones <strong>de</strong> iluminación, tamaños <strong>de</strong> cara y distintos fondos.<br />

Se va a realizar una comparación <strong>en</strong>tre los 13 puntos característicos marcados por David<br />

Cristinacce y Kola Babalola (estudiantes <strong>de</strong> doctorado <strong>en</strong> el <strong>de</strong>partam<strong>en</strong>to <strong>de</strong> Imaging Sci<strong>en</strong>ce<br />

and Biomedical Engineering at the University of Manchester – ISBE) <strong>de</strong> forma manual, y los<br />

puntos obt<strong>en</strong>idos <strong>de</strong>spués <strong>de</strong> aplicar el corrector explicado <strong>en</strong> la sección 4.6 Corrector <strong>de</strong><br />

puntos característicos (ya que se pue<strong>de</strong> aplicar como localizador <strong>de</strong> landmarks), que es <strong>de</strong><br />

forma automática, ahorrando, <strong>de</strong> esta forma, tiempo y recursos a la hora <strong>de</strong> realizar un<br />

marcado <strong>de</strong> puntos faciales.<br />

Con esta comparación (Figura 67), se quiere observar la calidad <strong>de</strong>l localizador <strong>de</strong> puntos<br />

característicos <strong>de</strong> la cara expuesto <strong>en</strong> este proyecto, justificando su utilización <strong>en</strong> el marcado<br />

<strong>de</strong> puntos <strong>en</strong> caso <strong>de</strong> error. El marcado se realiza a partir <strong>de</strong> los c<strong>en</strong>tros <strong>de</strong> los ojos, obt<strong>en</strong>idos<br />

<strong>de</strong>spués <strong>de</strong> realizar el pre-procesado <strong>de</strong> las pupilas, proporcionadas por un sistema comercial<br />

<strong>de</strong> marcado automático.<br />

LUIS BLÁZQUEZ PÉREZ 62


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

Marcado manual Marcado automático Comparación<br />

Figura 67. Resultados <strong>de</strong> marcado <strong>en</strong>tre los puntos proporcionados y el sistema <strong>de</strong>sarrollado<br />

<strong>en</strong> la base <strong>de</strong> datos BioID.<br />

Visualm<strong>en</strong>te, se observa que el localizador <strong>de</strong> puntos característicos ti<strong>en</strong>e un marg<strong>en</strong> <strong>de</strong> error<br />

pequeño; la tabla sigui<strong>en</strong>te (Tabla 15), muestra con exactitud el error, <strong>en</strong> píxeles, que hay<br />

<strong>en</strong>tre los puntos <strong>de</strong>l sistema propio y los <strong>de</strong>l sistema automático. Este error ha sido calculado<br />

como la distancia que hay <strong>en</strong>tre los puntos.<br />

LUIS BLÁZQUEZ PÉREZ 63


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

Rasgo facial Usuario 4 Usuario 1482 Usuario 1055<br />

Ceja <strong>de</strong>recha 2.38 píxeles 4.56 píxeles 5.25 píxeles<br />

Ceja izquierda 1.62 píxeles 2.74 píxeles 2.75 píxeles<br />

Ojo <strong>de</strong>recho 0.69 píxeles 2.94 píxeles 1.92 píxeles<br />

Ojo izquierdo 4.41 píxeles 2.95 píxeles 2.42 píxeles<br />

Nariz 2.19 píxeles 2.06 píxeles 2.59 píxeles<br />

Boca 3.69 píxeles 2.31 píxeles 4.29 píxeles<br />

Barbilla 0.73 píxeles 0.46 píxeles 0.22 píxeles<br />

Tabla 15. Error sistema manual vs sistema automático.<br />

En la Figura 68, se repres<strong>en</strong>ta el error medio <strong>de</strong> cada rasgo, para cada uno <strong>de</strong> los usuarios <strong>de</strong> la<br />

base <strong>de</strong> datos (hay que t<strong>en</strong>er <strong>en</strong> cu<strong>en</strong>ta, que aunque hay 1521 imág<strong>en</strong>es, realm<strong>en</strong>te solo<br />

exist<strong>en</strong> 23 usuarios, los cuales, ti<strong>en</strong><strong>en</strong> varias imág<strong>en</strong>es <strong>en</strong> la base <strong>de</strong> datos).<br />

Para los rasgos faciales con dos puntos característicos (cejas, ojos, nariz y boca), el error medio<br />

se ha calculado como la media <strong>de</strong> los errores <strong>de</strong> cada uno <strong>de</strong> los puntos obt<strong>en</strong>idos, ya que sí<br />

no, se da el caso <strong>de</strong> que una boca bi<strong>en</strong> marcada fr<strong>en</strong>te a una barbilla mal marcada, ti<strong>en</strong>e más<br />

error la boca, ya que se suman dos errores (uno por cada punto) mi<strong>en</strong>tras que la barbilla solo<br />

ti<strong>en</strong>e un error.<br />

Figura 68. Error medio, <strong>de</strong> cada rasgo facial, por usuario.<br />

Con la gráfica anterior, se pued<strong>en</strong> obt<strong>en</strong>er varias conclusiones:<br />

<br />

El rasgo facial <strong>en</strong> el cual ha sido más complicado la localización <strong>de</strong> sus puntos<br />

característicos, es la nariz. Esto es <strong>de</strong>bido a que, aunque es fácil <strong>en</strong>contrar los orificios<br />

nasales, <strong>en</strong> caras que están mirando hacia abajo, se hace imposible. En estos casos, se<br />

int<strong>en</strong>ta localizar el ancho <strong>de</strong> la nariz, pero al no t<strong>en</strong>er la nariz características estáticas,<br />

es <strong>de</strong>cir, misma forma, misma altura, mismo ancho…se produce un error mayor.<br />

LUIS BLÁZQUEZ PÉREZ 64


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

<br />

A<strong>de</strong>más, la comparación <strong>de</strong> los puntos obt<strong>en</strong>idos <strong>de</strong> la nariz se realiza con los <strong>de</strong> BioID,<br />

los cuales siempre se <strong>en</strong>cu<strong>en</strong>tran <strong>en</strong> los orificios nasales, por lo que el error, <strong>en</strong> los<br />

puntos localizados <strong>en</strong> el ancho <strong>de</strong> la nariz, no es exacto.<br />

La variabilidad <strong>de</strong>l ojo <strong>de</strong>recho es m<strong>en</strong>or que la <strong>de</strong>l ojo izquierdo, por lo tanto, el<br />

marcado produce m<strong>en</strong>or error <strong>en</strong> el primer caso.<br />

Si se examina a cada uno <strong>de</strong> los miembros <strong>de</strong> la base <strong>de</strong> datos, se pue<strong>de</strong> ver cuál es el usuario<br />

con mayor error medio. Esto se realiza <strong>en</strong> la sigui<strong>en</strong>te gráfica (Figura 69):<br />

Figura 69. Error medio <strong>de</strong> cada usuario.<br />

El usuario número tres, ti<strong>en</strong>e un error medio tan pequeño <strong>de</strong>bido a que solo ti<strong>en</strong>e dos<br />

fotografías <strong>en</strong> la base <strong>de</strong> datos. Los usuarios con mayor error, son personas con gafas, barba,<br />

pañuelos, es <strong>de</strong>cir, aquellas que pres<strong>en</strong>tan oclusiones o difer<strong>en</strong>tes poses faciales<br />

(expresiones).<br />

A parte <strong>de</strong> esto, algunos errores vi<strong>en</strong><strong>en</strong> dados porque los usuarios sal<strong>en</strong> tapándose algún rasgo<br />

facial a examinar, lo que hace imposible la correcta localización <strong>de</strong> puntos. En la Figura 70 se<br />

observan algunos ejemplos.<br />

Figura 70. Usuarios con rasgos faciales ocluidos.<br />

LUIS BLÁZQUEZ PÉREZ 65


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

Finalm<strong>en</strong>te, se muestra <strong>en</strong> la sigui<strong>en</strong>te tabla (Tabla 16) el error medio total <strong>de</strong> cada rasgo<br />

facial.<br />

Rasgo facial<br />

Error medio<br />

Ojo <strong>de</strong>recho<br />

2.06 (píxeles)<br />

Ojo izquierdo<br />

3.06 (píxeles)<br />

Ceja <strong>de</strong>recha<br />

2.29 (píxeles)<br />

Ceja izquierda<br />

2.54 (píxeles)<br />

Nariz<br />

4.36 (píxeles)<br />

Boca<br />

2.45 (píxeles)<br />

M<strong>en</strong>tón<br />

2.91 (píxeles)<br />

Tabla 16. Error medio <strong>de</strong> cada rasgo.<br />

Se concluye que el algoritmo pres<strong>en</strong>tado <strong>en</strong> el proyecto para la localización <strong>de</strong> los puntos<br />

característicos <strong>de</strong> la cara ti<strong>en</strong>e como mejor resultado el ojo <strong>de</strong>recho, y como peor resultado la<br />

nariz (aunque no es exacto este error), para la base <strong>de</strong> datos dada.<br />

5.4 Experim<strong>en</strong>to 1: Importancia <strong>de</strong> la segm<strong>en</strong>tación<br />

Este experim<strong>en</strong>to se realiza con la base <strong>de</strong> datos MORPH (<strong>en</strong>torno semicontrolado), marcada<br />

<strong>de</strong> manera automática por el sistema comercial FaceSDK; por tanto, se consi<strong>de</strong>ra un marcado<br />

no i<strong>de</strong>al, con error. Se ha seleccionado dicha base <strong>de</strong> datos <strong>de</strong>bido a su gran cantidad <strong>de</strong><br />

imág<strong>en</strong>es (más <strong>de</strong> 55.000 imág<strong>en</strong>es).<br />

En la Tabla 17, se muestra, <strong>de</strong> la base <strong>de</strong> datos MORPH, el número <strong>de</strong> imág<strong>en</strong>es que ti<strong>en</strong><strong>en</strong><br />

algún rasgos <strong>de</strong> la cara mal marcado (fases tres, cuatro y cinco), que ti<strong>en</strong><strong>en</strong> las pupilas mal<br />

posicionadas (fase dos) o <strong>en</strong> las que no se han podido <strong>en</strong>contrar los puntos característicos <strong>de</strong><br />

la cara, incluy<strong>en</strong>do pupilas (fase uno <strong>de</strong>l <strong>de</strong>tector); así como el número <strong>de</strong> imág<strong>en</strong>es totales y<br />

correctas.<br />

Hay que t<strong>en</strong>er <strong>en</strong> cu<strong>en</strong>ta, que solo las fases uno y dos son eliminatorias, es <strong>de</strong>cir, las imág<strong>en</strong>es<br />

que no pasan alguna <strong>de</strong> estas dos fases, o ambas, se consi<strong>de</strong>ran incorregibles y son<br />

<strong>de</strong>sechadas <strong>de</strong> la base <strong>de</strong> datos (las imág<strong>en</strong>es que fallan <strong>en</strong> las otras tres fases se consi<strong>de</strong>ran<br />

corregibles). Esto significa, que alguna <strong>de</strong> las imág<strong>en</strong>es pue<strong>de</strong> fallar <strong>en</strong> una, dos o tres <strong>de</strong> las<br />

fases tres, cuatro y cinco.<br />

Fase 1 (a) Fase 2 (b) Fase 3 (c) Fase 4 (d) Fase 5 (e) Correctas (f) Total (g)<br />

Africanos 29 2352 0 954 2155 37182 42589<br />

Asiáticos 0 10 4 2 1 137 154<br />

Europeos 4 1838 0 221 414 8098 10559<br />

Hispanos 1 52 80 29 77 1536 1769<br />

Otros 0 7 2 2 2 50 63<br />

Total 34 4259 86 1208 2649 47003 55134<br />

Tabla 17. Número <strong>de</strong> imág<strong>en</strong>es erróneas.<br />

LUIS BLÁZQUEZ PÉREZ 66


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

En la Tabla 18, se muestran los porc<strong>en</strong>tajes finales <strong>de</strong> las imág<strong>en</strong>es, cuyos puntos<br />

característicos <strong>de</strong> la cara han sido corregidos (porc<strong>en</strong>tajecorrección), y <strong>de</strong> las que han fallado <strong>en</strong><br />

las fases 1 y 2, es <strong>de</strong>cir, o no se ha localizado la cara <strong>en</strong> la imag<strong>en</strong>, o no se han localizado los<br />

ojos <strong>en</strong> la región <strong>de</strong> la cara a<strong>de</strong>cuada (porc<strong>en</strong>tajeerror). Dichos porc<strong>en</strong>tajes son calculados<br />

mediante las sigui<strong>en</strong>tes ecuaciones:<br />

( )<br />

( )<br />

( )<br />

Porc<strong>en</strong>tajecorrección (%) Porc<strong>en</strong>tajeerror (%) Porc<strong>en</strong>tajebi<strong>en</strong> (%)<br />

Africanos 7.10 % 5.59 % 87.31 %<br />

Asiáticos 4.54 % 6.49 % 88.97 %<br />

Europeos 5.86 % 17.44 % 76.70 %<br />

Hispanos 10.17 % 2.99 % 86.84 %<br />

Otros 9.52 % 11.11 % 79.37 %<br />

Tabla 18. Error <strong>de</strong> segm<strong>en</strong>tación<br />

Adicionalm<strong>en</strong>te, se ha añadido una cuarta columna (Porc<strong>en</strong>tajebi<strong>en</strong>) a la Tabla 18, que indica el<br />

número <strong>de</strong> imág<strong>en</strong>es que han sido marcadas por el sistema comercial <strong>de</strong> forma correcta. Este<br />

porc<strong>en</strong>taje se calcula restando al total <strong>de</strong> 100%, los dos porc<strong>en</strong>tajes obt<strong>en</strong>idos anteriorm<strong>en</strong>te<br />

(porc<strong>en</strong>tajecorrección y porc<strong>en</strong>tajeerror).<br />

El objetivo <strong>de</strong> la segm<strong>en</strong>tación es simplificar y/o cambiar la repres<strong>en</strong>tación <strong>de</strong> una imag<strong>en</strong> <strong>en</strong><br />

otra más significativa y más fácil <strong>de</strong> analizar. La segm<strong>en</strong>tación se usa tanto para localizar<br />

objetos como para <strong>en</strong>contrar los límites <strong>de</strong> estos d<strong>en</strong>tro <strong>de</strong> una imag<strong>en</strong>. En nuestro caso, la<br />

segm<strong>en</strong>tación ha sido aplicada a la cara, para extraer cada uno <strong>de</strong> los rasgos faciales <strong>de</strong> forma<br />

in<strong>de</strong>p<strong>en</strong>di<strong>en</strong>te, permiti<strong>en</strong>do <strong>de</strong> esta manera, una corrección <strong>de</strong>l marcado <strong>de</strong> puntos<br />

característicos más precisa. Como se pue<strong>de</strong> <strong>de</strong>ducir observando la Tabla 18, se consigue,<br />

mediante la segm<strong>en</strong>tación y los dos módulos <strong>de</strong>sarrollados <strong>en</strong> el proyecto (<strong>de</strong>tector y<br />

corrector), un aum<strong>en</strong>to medio <strong>de</strong>l 7.44 % <strong>de</strong> mejora <strong>en</strong> el marcado <strong>de</strong> puntos característicos<br />

<strong>de</strong> la cara, mostrando por tanto la utilización <strong>de</strong> estos tipos <strong>de</strong> módulos <strong>de</strong>sarrollados <strong>de</strong><br />

<strong>de</strong>tección/corrección que permit<strong>en</strong> afianzar los resultados.<br />

5.5 Experim<strong>en</strong>to 2: <strong>Reconocimi<strong>en</strong>to</strong> antropométrico.<br />

Este experim<strong>en</strong>to se realiza con la base <strong>de</strong> datos For<strong>en</strong>sic <strong>ATVS</strong>, marcada <strong>de</strong> forma manual por<br />

una persona (no experta <strong>en</strong> temas for<strong>en</strong>ses); por tanto, se consi<strong>de</strong>ra un marcado i<strong>de</strong>al, sin<br />

ningún error.<br />

5.5.1 Protocolo experim<strong>en</strong>tal<br />

Esta base <strong>de</strong> datos consta <strong>de</strong> 50 usuarios, con 3 imág<strong>en</strong>es por usuario (haci<strong>en</strong>do un total <strong>de</strong><br />

150 imág<strong>en</strong>es). Para este experim<strong>en</strong>to solo se usarán el conjunto <strong>de</strong> las fotografías que han<br />

sido capturadas a una distancia <strong>de</strong> 1 metro, con una cámara <strong>de</strong> gran calidad y una iluminación<br />

y flash a<strong>de</strong>cuados (<strong>en</strong>torno controlado).<br />

LUIS BLÁZQUEZ PÉREZ 67


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

Por cada usuario, se capturaron 4 imág<strong>en</strong>es por cada sesión, para replicar los protocolos<br />

for<strong>en</strong>ses. Se ha <strong>de</strong>cidido utilizar solo 1 imag<strong>en</strong> <strong>de</strong> la primera sesión para train y 2 <strong>de</strong> la segunda<br />

sesión para test. Por tanto, se ti<strong>en</strong>e un experim<strong>en</strong>to 1:2. Tanto las imág<strong>en</strong>es <strong>de</strong> train como las<br />

<strong>de</strong> test, están realizadas bajo las mismas condiciones.<br />

Aunque <strong>en</strong>tr<strong>en</strong>ar con una sola imag<strong>en</strong> es poco común (<strong>de</strong>bido a que el Error Equal Rate (EER)<br />

es muy gran<strong>de</strong>), se ha <strong>de</strong>cidido hacerlo <strong>de</strong> esta manera, ya que, <strong>en</strong> las situaciones don<strong>de</strong> es<br />

necesario el reconocimi<strong>en</strong>to facial (situaciones for<strong>en</strong>ses), solo se cu<strong>en</strong>ta con una imag<strong>en</strong> <strong>de</strong>l<br />

usuario.<br />

Se replica el protocolo for<strong>en</strong>se <strong>en</strong> que suel<strong>en</strong> t<strong>en</strong>er una imag<strong>en</strong> indubitada y varias dudosas.<br />

De manera que es un protocolo muy complejo puesto que, <strong>en</strong> reconocimi<strong>en</strong>to facial, la<br />

mayoría <strong>de</strong> sistemas funcionan mejor cuanto mayor sea el número <strong>de</strong> muestras <strong>de</strong><br />

<strong>en</strong>tr<strong>en</strong>ami<strong>en</strong>to.<br />

5.5.2 Resultados y conclusiones<br />

En esta segunda parte, se va a llevar a cabo el reconocimi<strong>en</strong>to <strong>de</strong> patrones propiam<strong>en</strong>te dicho.<br />

El reconocimi<strong>en</strong>to <strong>de</strong> patrones consiste <strong>en</strong> la construcción <strong>de</strong> un sistema <strong>de</strong> clasificación a<br />

partir <strong>de</strong> un conjunto <strong>de</strong> vectores <strong>de</strong> características.<br />

Los dos vectores <strong>de</strong> características (Figura 71) utilizados <strong>en</strong> este experim<strong>en</strong>to, están formados<br />

por medidas antropométricas, es <strong>de</strong>cir, las distancias que hay <strong>en</strong>tre <strong>de</strong>terminados puntos<br />

característicos <strong>de</strong> la cara. El primer vector, está compuesto por las 11 distancias propuestas<br />

por la DGGC, mi<strong>en</strong>tras que el segundo vector, está formado por las 78 distancias resultantes <strong>de</strong><br />

los 13 puntos estudiados durante el proyecto, más 4 <strong>de</strong> las distancias utilizadas por la DGGC<br />

que no contemplábamos <strong>en</strong> nuestro vector <strong>de</strong> características, <strong>de</strong>bido a que estas distancias<br />

<strong>de</strong>p<strong>en</strong>d<strong>en</strong> <strong>de</strong> puntos no característicos por sí mismos (<strong>de</strong>p<strong>en</strong>d<strong>en</strong> <strong>de</strong> otros puntos, como es el<br />

caso <strong>de</strong>l punto medio <strong>de</strong> la boca, la nariz y los c<strong>en</strong>tros <strong>de</strong> los ojos); haci<strong>en</strong>do un total <strong>de</strong> 82<br />

distancias.<br />

11 distancias DGGC 82 distancias <strong>ATVS</strong><br />

Figura 71. Vectores <strong>de</strong> características.<br />

LUIS BLÁZQUEZ PÉREZ 68


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

Después <strong>de</strong> obt<strong>en</strong>er los resultados <strong>de</strong> comparación <strong>de</strong> los vectores explicados anteriorm<strong>en</strong>te,<br />

se ha estudiado cuáles <strong>de</strong> las características <strong>de</strong> los preced<strong>en</strong>tes vectores son las más<br />

discriminantes para el reconocimi<strong>en</strong>to <strong>de</strong> patrones. Para dicho estudio, se ha utilizado el<br />

algoritmo SFFS (Sequ<strong>en</strong>tial Forward Floating Selection) [28] que empieza con el conjunto vacío<br />

y va incluy<strong>en</strong>do nuevas características por medio <strong>de</strong> un procedimi<strong>en</strong>to secu<strong>en</strong>cial hacia<br />

<strong>de</strong>lante, seguido por una serie <strong>de</strong> exclusiones condicionales <strong>de</strong> la peor característica <strong>en</strong> el<br />

nuevo subconjunto <strong>de</strong> características seleccionadas. Las características permanec<strong>en</strong> o son<br />

excluidas <strong>de</strong>l conjunto <strong>en</strong> función <strong>de</strong> su efectividad clasificadora. Se he escogido este método<br />

porque es mucho más rápido que otros algoritmos exist<strong>en</strong>tes, como el <strong>de</strong> ramificación y<br />

acotami<strong>en</strong>to, y su efici<strong>en</strong>cia computacional es aceptable.<br />

Estos resultados (Tabla 19) han sido obt<strong>en</strong>idos para tres tipos <strong>de</strong> marcados <strong>de</strong> puntos<br />

característicos <strong>de</strong> la cara: i) marcado manual, es <strong>de</strong>cir, una persona (no experta) ha marcado,<br />

una a una, las imág<strong>en</strong>es cont<strong>en</strong>idas <strong>en</strong> la base <strong>de</strong> datos; ii) marcado automático propio, es<br />

<strong>de</strong>cir, mediante el bloque corrector/marcador <strong>de</strong> puntos característicos <strong>de</strong> la cara, basado <strong>en</strong><br />

la segm<strong>en</strong>tación <strong>de</strong> la cara, se han marcado las imág<strong>en</strong>es; iii) marcado automático mediante<br />

un programa comercial (<strong>de</strong>spués <strong>de</strong> ser corregido por el bloque corrector, <strong>de</strong>sarrollado <strong>en</strong> el<br />

proyecto), es <strong>de</strong>cir, el programa marca los landmarks <strong>en</strong> las imág<strong>en</strong>es, sin recurrir a la<br />

segm<strong>en</strong>tación.<br />

11<br />

distancias<br />

(DGGC)<br />

82<br />

distancias<br />

Marcado manual<br />

EER<br />

original<br />

18.2 %<br />

13.2 %<br />

EER SFFS<br />

(9 dist.)<br />

16.3 %<br />

(15 dist.)<br />

8.69 %<br />

Marcado<br />

automático propio<br />

EER<br />

original<br />

31.9 %<br />

EER SFFS<br />

(4 dist.)<br />

22.7 %<br />

Marcado automático<br />

sistema comercial<br />

EER<br />

original<br />

40.9 %<br />

(15 dist.)<br />

27.9 %<br />

28.9 %<br />

17.0 %<br />

Tabla 19. Comparación EER<br />

EER SFFS<br />

(5 dist.)<br />

26.0 %<br />

(15 dist.)<br />

17.1 %<br />

Matcher<br />

comercial<br />

EER<br />

3 %<br />

Se observa <strong>en</strong> la Tabla 19, que los resultados <strong>de</strong> EER mejoran <strong>de</strong> manera consi<strong>de</strong>rable <strong>de</strong>spués<br />

<strong>de</strong> haber hecho una selección <strong>de</strong> características mediante el algoritmo SFFS. A<strong>de</strong>más, como es<br />

<strong>de</strong> esperar, el mejor resultado obt<strong>en</strong>ido es cuando se ha realizado un marcado manual, sin<br />

embargo, también es el método <strong>de</strong> marcado que más tiempo requiere. D<strong>en</strong>tro <strong>de</strong> los dos<br />

marcados automáticos propuestos, el que mejor EER final ti<strong>en</strong>e, aunque peor que el calculado<br />

con el marcado manual, es el <strong>de</strong>sarrollado <strong>en</strong> el proyecto, el cual está basado <strong>en</strong> la<br />

segm<strong>en</strong>tación <strong>de</strong> la cara <strong>en</strong> rasgos in<strong>de</strong>p<strong>en</strong>di<strong>en</strong>tes (a pesar <strong>de</strong> que el marcado con el sistema<br />

comercial ha sido mejorado con la aplicación <strong>de</strong>l bloque corrector). El tiempo invertido <strong>en</strong> este<br />

tipo <strong>de</strong> marcado, es bastante inferior al manual.<br />

Otra apreciación a t<strong>en</strong>er <strong>en</strong> cu<strong>en</strong>ta, es que el vector <strong>de</strong> características que mejor resultado ha<br />

obt<strong>en</strong>ido es el que está formado por las 82 distancias explicadas anteriorm<strong>en</strong>te. Esto es <strong>de</strong>bido<br />

a que las distancias utilizadas, y propuesta por la DGGC, no son las más discriminantes <strong>de</strong> la<br />

cara. En la Figura 72, se muestran las distancias más discriminativas <strong>de</strong> la cara, calculadas<br />

mediante el algoritmo SFFS, para los tres métodos <strong>de</strong> marcado propuestos y ambos dos<br />

vectores <strong>de</strong> características.<br />

LUIS BLÁZQUEZ PÉREZ 69


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

Marcado manual<br />

9 distancias discriminantes (DGGC) 15 distancias discriminantes (<strong>ATVS</strong>)<br />

Marcado automático propio<br />

4 distancias discriminantes (DGGC) 15 distancias discriminantes (<strong>ATVS</strong>)<br />

Marcado automático sistema comercial<br />

5 distancias discriminantes (DGGC) 15 distancias discriminantes (<strong>ATVS</strong>)<br />

Figura 72. Distancias más discriminantes <strong>de</strong> la cara.<br />

LUIS BLÁZQUEZ PÉREZ 70


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

Adicionalm<strong>en</strong>te, se ha comprobado el resultado g<strong>en</strong>erado por un sistema comercial <strong>de</strong>l estado<br />

<strong>de</strong>l arte, cuyo matcher combina distancias y textura. Como se observa <strong>en</strong> la Tabla 19 (última<br />

columna), los resultados mejoran sobre manera, pero los EERs obt<strong>en</strong>idos con el algoritmo<br />

<strong>de</strong>sarrollado durante el proyecto, no están muy alejados <strong>de</strong> los mismos.<br />

Lógicam<strong>en</strong>te, al t<strong>en</strong>er m<strong>en</strong>or precisión <strong>en</strong> el marcado <strong>de</strong> los puntos característicos <strong>de</strong> la cara,<br />

cuando se realiza <strong>de</strong> manera automática, el número <strong>de</strong> distancias discriminantes disminuye, al<br />

haber m<strong>en</strong>os ortogonalidad <strong>en</strong>tre ellas.<br />

En la Figura 73, se repres<strong>en</strong>ta el error <strong>de</strong> segm<strong>en</strong>tación medio <strong>de</strong> cada rasgo (marcado manual<br />

fr<strong>en</strong>te al marcado automático producido por el sistema comercial), para cado uno <strong>de</strong> los<br />

usuarios <strong>de</strong> la base <strong>de</strong> datos (hay que t<strong>en</strong>er <strong>en</strong> cu<strong>en</strong>ta, que aunque hay 150 imág<strong>en</strong>es,<br />

realm<strong>en</strong>te solo exist<strong>en</strong> 50 usuarios, los cuales, ti<strong>en</strong><strong>en</strong> 3 imág<strong>en</strong>es <strong>en</strong> la base <strong>de</strong> datos). Debido<br />

a este error <strong>de</strong> segm<strong>en</strong>tación, el EER es mejor (más bajo) <strong>en</strong> marcado manual que <strong>en</strong> marcado<br />

automático.<br />

Figura 73. Error <strong>de</strong> segm<strong>en</strong>tación <strong>ATVS</strong>.<br />

Para completar el experim<strong>en</strong>to, adicionalm<strong>en</strong>te se ha realizado un estudio (solo con los puntos<br />

obt<strong>en</strong>idos mediante el marcado manual) comparativo <strong>en</strong>tre rasgos faciales, es <strong>de</strong>cir, que<br />

rasgo, solo t<strong>en</strong>i<strong>en</strong>do <strong>en</strong> cu<strong>en</strong>ta las distancias <strong>en</strong>tre los puntos característicos <strong>de</strong>l rasgo a<br />

estudiar y el resto <strong>de</strong> landmarks, es más estable/discriminante. Los resultados mostrados <strong>en</strong> la<br />

Tabla 20, son referidos al reconocimi<strong>en</strong>to <strong>de</strong> los vectores <strong>de</strong> características (Figura 74) antes y<br />

<strong>de</strong>spués <strong>de</strong> utilizar el algoritmo <strong>de</strong> selección <strong>de</strong> características SFFS. La longitud <strong>de</strong> todos los<br />

vectores <strong>de</strong> características originales, antes <strong>de</strong> aplicar el algoritmo SFFS, es 23, exceptuando el<br />

<strong>de</strong>l m<strong>en</strong>tón, que es <strong>de</strong> 12 (<strong>de</strong>bido a que es el único rasgo facial compuesto por un único punto<br />

característico). La última columna <strong>de</strong> la Tabla 20, hace refer<strong>en</strong>cia al número <strong>de</strong> distancias<br />

discriminativas, obt<strong>en</strong>idas mediantes el algoritmo SFFS.<br />

LUIS BLÁZQUEZ PÉREZ 71


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

Rasgos faciales EER original (%) EER SFFS (%) Números <strong>de</strong><br />

distancias<br />

seleccionadas<br />

Ceja <strong>de</strong>recha 13.90 % 11.26 % 12<br />

Ceja izquierda 16.90 % 13.26 % 10<br />

Ojo <strong>de</strong>recho 14.20 % 9.18 % 12<br />

Ojo izquierdo 16.30 % 13.14 % 13<br />

Nariz 18.90 % 16.00 % 12<br />

Boca 16.90 % 16.00 % 15<br />

M<strong>en</strong>tón 25.34 % 21.79 % 5<br />

Tabla 20. Distancias por rasgos.<br />

Se observa que el m<strong>en</strong>tón es el rasgo m<strong>en</strong>os discriminativo, a través <strong>de</strong> la comparación<br />

mediante distancias <strong>en</strong>tre rasgos, <strong>de</strong> la cara; esto es <strong>de</strong>bido a que las distancias <strong>de</strong>l interior <strong>de</strong><br />

la cara muestran mayor estabilidad.<br />

Ceja <strong>de</strong>recha Ceja izquierda Ojo <strong>de</strong>recho<br />

Ojo izquierdo Nariz Boca<br />

LUIS BLÁZQUEZ PÉREZ 72


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

M<strong>en</strong>tón<br />

Figura 74. Vector características rasgos faciales.<br />

En la Figura 75, se muestran las distancias más discriminativas <strong>de</strong> cada rasgo, calculadas<br />

mediante el algoritmo SFFS, para el método <strong>de</strong> marcado manual.<br />

Ceja <strong>de</strong>recha Ceja izquierda Ojo <strong>de</strong>recho<br />

Ojo izquierdo Nariz Boca<br />

LUIS BLÁZQUEZ PÉREZ 73


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

M<strong>en</strong>tón<br />

Figura 75. Distancias más discriminantes <strong>de</strong> cada rasgo.<br />

5.6 Experim<strong>en</strong>to 3: Análisis <strong>de</strong>l po<strong>de</strong>r discriminante <strong>de</strong> cada rasgo facial<br />

para ambos tipos <strong>de</strong> extractores<br />

Para este experim<strong>en</strong>to se han utilizado dos bases <strong>de</strong> datos: i) Scface (<strong>en</strong>torno no controlado) y<br />

ii) For<strong>en</strong>sic <strong>ATVS</strong> (<strong>en</strong>torno controlado), ambas marcada <strong>de</strong> manual por una personal no<br />

experta <strong>en</strong> temas for<strong>en</strong>ses; por tanto, se consi<strong>de</strong>ra un marcado i<strong>de</strong>al, sin ningún error.<br />

En este experim<strong>en</strong>to se va a comprobar el pot<strong>en</strong>cial <strong>de</strong> los dos extractores <strong>de</strong> rasgos faciales<br />

<strong>de</strong>sarrollados <strong>en</strong> el proyecto (el basado <strong>en</strong> proporciones y el basado <strong>en</strong> puntos) <strong>en</strong> <strong>en</strong>tornos<br />

tantos controlados (For<strong>en</strong>sic <strong>ATVS</strong>) como <strong>en</strong> <strong>en</strong>tornos no controlados (Scface), y así po<strong>de</strong>r<br />

analizar el po<strong>de</strong>r discriminante <strong>de</strong> cada rasgo facial [29].<br />

Es importante m<strong>en</strong>cionar, que para los <strong>en</strong>tornos no controlados, como <strong>en</strong> el caso <strong>de</strong> la base <strong>de</strong><br />

datos Scface, se ha <strong>de</strong>sechado aplicar el reconocimi<strong>en</strong>to antropométrico <strong>de</strong>bido a que, como<br />

se muestra <strong>en</strong> el experim<strong>en</strong>to anterior, al aum<strong>en</strong>tar el error <strong>en</strong> el marcado <strong>de</strong> puntos<br />

característicos, aum<strong>en</strong>ta el error <strong>de</strong>l sistema. Tanto es así, que se realizaron experim<strong>en</strong>tos y<br />

este efecto se corroboró obt<strong>en</strong>i<strong>en</strong>do EERs <strong>de</strong>l 40%-48%. Adicionalm<strong>en</strong>te, también se probó el<br />

reconocimi<strong>en</strong>to antropométrico, pero <strong>en</strong> vez <strong>de</strong> utilizar las distancias euclí<strong>de</strong>as como<br />

clasificador, se utilizó el sistema <strong>de</strong> SVMs, pero <strong>de</strong>bido a la falta <strong>de</strong> datos <strong>de</strong> <strong>en</strong>tr<strong>en</strong>ami<strong>en</strong>to,<br />

los resultados no conseguían mejorar.<br />

5.6.1 Protocolo experim<strong>en</strong>tal<br />

La base <strong>de</strong> datos Scface (<strong>en</strong>torno no controlado) está formada por 130 usuarios. Esta base <strong>de</strong><br />

datos está compuesta por imág<strong>en</strong>es frontales con una calidad bu<strong>en</strong>a (imág<strong>en</strong>es utilizadas para<br />

<strong>en</strong>tr<strong>en</strong>ami<strong>en</strong>to), y por imág<strong>en</strong>es <strong>de</strong> CCTV <strong>de</strong> baja calidad a 3 distancias posibles (4.20 metros,<br />

2.60 metros y 1.20 metros). Para cada una <strong>de</strong> las distancias, se utilizan 5 cámaras <strong>de</strong> calidad<br />

variables. Por tanto, para el testeo se coge una imag<strong>en</strong> por usuario, distancia y cámara,<br />

quedando así, 5 imág<strong>en</strong>es por usuario. Por tanto, <strong>en</strong> este caso se ti<strong>en</strong>e un experim<strong>en</strong>to 1:5.<br />

LUIS BLÁZQUEZ PÉREZ 74


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

En este experim<strong>en</strong>to, se g<strong>en</strong>era un vector <strong>de</strong> <strong>en</strong>tr<strong>en</strong>ami<strong>en</strong>to y tres vectores <strong>de</strong> test, un vector<br />

por distancia (analizando adicionalm<strong>en</strong>te, el efecto <strong>de</strong> la distancia). Tanto las imág<strong>en</strong>es <strong>de</strong><br />

train como las <strong>de</strong> test, están realizadas bajo las mismas condiciones.<br />

La base <strong>de</strong> datos For<strong>en</strong>sic <strong>ATVS</strong> (<strong>en</strong>torno controlado) consta <strong>de</strong> 50 usuarios, con 3 imág<strong>en</strong>es<br />

por usuario (haci<strong>en</strong>do un total <strong>de</strong> 150 imág<strong>en</strong>es). Las fotografías han sido obt<strong>en</strong>idas a una<br />

distancia <strong>de</strong> 1 metro, con una cámara <strong>de</strong> gran calidad y una iluminación y flash a<strong>de</strong>cuados<br />

(<strong>en</strong>torno controlado).<br />

Por cada usuario, se separan las fotografías <strong>en</strong> train y test. La primera imag<strong>en</strong> <strong>de</strong> cada usuario<br />

se escoge para el <strong>en</strong>tr<strong>en</strong>ami<strong>en</strong>to (train), <strong>de</strong>jando las dos imág<strong>en</strong>es restantes para la realización<br />

<strong>de</strong>l test. Por tanto, se ti<strong>en</strong>e un experim<strong>en</strong>to 1:2. Tanto las imág<strong>en</strong>es <strong>de</strong> train como las <strong>de</strong> test,<br />

están realizadas bajo las mismas condiciones.<br />

Aunque <strong>en</strong>tr<strong>en</strong>ar con una sola imag<strong>en</strong> es poco común (<strong>de</strong>bido a que el Error Equal Rate (EER)<br />

es muy gran<strong>de</strong>), se ha <strong>de</strong>cidido hacerlo <strong>de</strong> esta manera, ya que, el proyecto está dirigido a un<br />

ámbito for<strong>en</strong>se, don<strong>de</strong> solo se cu<strong>en</strong>ta con una imag<strong>en</strong> <strong>de</strong>l usuario.<br />

Se replica el protocolo for<strong>en</strong>se <strong>en</strong> que suel<strong>en</strong> t<strong>en</strong>er una imag<strong>en</strong> indubitada y varias dudosas.<br />

De manera que es un protocolo muy complejo puesto que, <strong>en</strong> reconocimi<strong>en</strong>to facial, la<br />

mayoría <strong>de</strong> sistemas funcionan mejor cuanto mayor sea el número <strong>de</strong> muestras <strong>de</strong><br />

<strong>en</strong>tr<strong>en</strong>ami<strong>en</strong>to.<br />

5.6.2 Resultados<br />

En este apartado <strong>de</strong> resultados, se explican, <strong>en</strong> primer lugar, los resultados <strong>de</strong> segm<strong>en</strong>tación<br />

(don<strong>de</strong> se compara el marcado manual y el automático) <strong>de</strong> la base <strong>de</strong> datos <strong>de</strong> Scface, y <strong>en</strong><br />

segundo lugar, un análisis y una comparativa <strong>de</strong> los EERs resultantes <strong>de</strong> aplicar los extractores<br />

a cada rasgo facial (Figura 77), clasificándolos mediantes un sistema basado <strong>en</strong> PCA-SVM. En la<br />

Figura 76, se muestra el usuario <strong>de</strong> la base <strong>de</strong> datos <strong>ATVS</strong>, al cual se le aplica el extractor por<br />

puntos.<br />

Imag<strong>en</strong> original<br />

Figura 76. Usuario <strong>de</strong> la base <strong>de</strong> datos <strong>ATVS</strong><br />

LUIS BLÁZQUEZ PÉREZ 75


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

Fr<strong>en</strong>te<br />

Cara<br />

Ceja<br />

<strong>de</strong>recha<br />

Cejas<br />

Ceja<br />

izquierda<br />

Ojo<br />

<strong>de</strong>recho<br />

Ojos<br />

Ojo<br />

izquierdo<br />

Oreja<br />

<strong>de</strong>recha<br />

Nariz<br />

Oreja<br />

izquierda<br />

Mitad<br />

<strong>de</strong>recha<br />

cara<br />

Mitad<br />

izquierda<br />

cara<br />

Boca<br />

M<strong>en</strong>tón<br />

Figura 77. Rasgos faciales extraídos.<br />

En la primera parte, como he explicado anteriorm<strong>en</strong>te, se van a mostrar, <strong>en</strong> la Figura 78, los<br />

errores <strong>de</strong> segm<strong>en</strong>tación medios <strong>de</strong> cada rasgo (marcado manual fr<strong>en</strong>te al marcado<br />

automático producido por el sistema comercial), para cado uno <strong>de</strong> los usuarios que compon<strong>en</strong><br />

la base <strong>de</strong> datos Scface. Adicionalm<strong>en</strong>te, se comparará dicho error <strong>de</strong>p<strong>en</strong>di<strong>en</strong>do <strong>de</strong> la<br />

distancia a la que sea tomada la fotografía. Debido a que este error <strong>de</strong> segm<strong>en</strong>tación es muy<br />

alto, se imposibilita realizar un reconocimi<strong>en</strong>to antropométrico <strong>en</strong> este tipo <strong>de</strong> <strong>en</strong>tornos, ya<br />

que los EERs son inadmisibles.<br />

Scface (lejos)<br />

Errores <strong>de</strong> segm<strong>en</strong>tación<br />

Scface (distancia media)<br />

LUIS BLÁZQUEZ PÉREZ 76


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

Scface (cerca)<br />

Cara frontal Scface<br />

Figura 78. Error medio por rasgos y distancia.<br />

En esta segunda parte se va a llevar a cabo el reconocimi<strong>en</strong>to <strong>de</strong> patrones propiam<strong>en</strong>te dicho.<br />

El reconocimi<strong>en</strong>to <strong>de</strong> patrones consiste <strong>en</strong> la construcción <strong>de</strong> un sistema <strong>de</strong> clasificación a<br />

partir <strong>de</strong> un conjunto <strong>de</strong> vectores <strong>de</strong> características. En este caso, para analizar el po<strong>de</strong>r<br />

discriminante <strong>de</strong> los rasgos faciales, se usará un sistema PCA-SVM.<br />

Los vectores <strong>de</strong> características, están formados por los píxeles que compon<strong>en</strong> las regiones<br />

extraídas <strong>de</strong> la cara a estudiar, es <strong>de</strong>cir, la cara, las mita<strong>de</strong>s izquierda y <strong>de</strong>recha <strong>de</strong> la cara, la<br />

fr<strong>en</strong>te, las cejas (tanto <strong>de</strong> forma conjunta como separada), los ojos (tanto <strong>de</strong> forma conjunta<br />

como separada), las orejas (<strong>de</strong> forma individual), la nariz, la boca y la barbilla.<br />

Una vez se ti<strong>en</strong><strong>en</strong> dichos vectores <strong>de</strong> características, se hace uso <strong>de</strong> un clasificador, basado <strong>en</strong><br />

Máquinas <strong>de</strong> Vector Soporte (SVM) [30].<br />

Antes <strong>de</strong> la obt<strong>en</strong>ción <strong>de</strong> los resultados, lo primero que hay que estudiar es cuáles <strong>de</strong> las<br />

características <strong>de</strong> los preced<strong>en</strong>tes vectores son las más idóneas para el reconocimi<strong>en</strong>to <strong>de</strong><br />

patrones <strong>de</strong> textura, ya que <strong>en</strong> reconocimi<strong>en</strong>to <strong>de</strong> patrones ocurre lo que se conoce como<br />

“maldición <strong>de</strong> la dim<strong>en</strong>sionalidad” (Curse of Dim<strong>en</strong>sionality), la cual impone que el resultado<br />

<strong>de</strong> una clasificación no mejora necesariam<strong>en</strong>te con un increm<strong>en</strong>to <strong>de</strong>l número <strong>de</strong><br />

características. Para tamaños pequeños <strong>de</strong> muestra, el resultado <strong>de</strong>l clasificador mejora al<br />

agregar nuevas características hasta alcanzar un máximo, para luego <strong>de</strong>caer.<br />

Dado un número finito <strong>de</strong> ejemplos <strong>de</strong> <strong>en</strong>tr<strong>en</strong>ami<strong>en</strong>to, existe un número óptimo <strong>de</strong><br />

características necesarias para clasificar. Es crucial, para ello, adoptar un esquema <strong>de</strong> selección<br />

o extracción <strong>de</strong> características [31]. En este trabajo se ha escogido el esquema Principal<br />

compon<strong>en</strong>t analysis, PCA.<br />

Por tanto, para analizar el po<strong>de</strong>r discriminante <strong>de</strong> cada rasgo, se ha utilizado un sistema<br />

basado <strong>en</strong> PCA (para reducir dim<strong>en</strong>sionalida<strong>de</strong>s) más SVM (para clasificar los vectores <strong>de</strong><br />

características, con kernel lineal). De forma que así se confecciona el sistema final <strong>de</strong> PCA +<br />

SVM.<br />

LUIS BLÁZQUEZ PÉREZ 77


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

El algoritmo PCA es una técnica utilizada para reducir la dim<strong>en</strong>sionalidad <strong>de</strong> un conjunto <strong>de</strong><br />

datos; esto se consigue buscando la proyección según la cual, los datos qued<strong>en</strong> mejor<br />

repres<strong>en</strong>tados <strong>en</strong> términos <strong>de</strong> mínimos cuadrados. El número <strong>de</strong> dim<strong>en</strong>siones obt<strong>en</strong>idas con<br />

el PCA son 130, aproximadam<strong>en</strong>te don<strong>de</strong> la varianza <strong>de</strong> los autovalores es <strong>de</strong>l 95%.<br />

En la Figura 79, se repres<strong>en</strong>tan los resultados obt<strong>en</strong>idos para ambas bases <strong>de</strong> datos, Scface y<br />

For<strong>en</strong>sic <strong>ATVS</strong>, <strong>de</strong>spués <strong>de</strong> haber aplicado PCA a los vectores <strong>de</strong> características (fijando 130<br />

dim<strong>en</strong>siones) y ambos segm<strong>en</strong>tadores (el basado <strong>en</strong> proporciones faciales y el basado <strong>en</strong> el<br />

punto medio <strong>de</strong> cada rasgo facial, por separado).<br />

Entornos controlados<br />

For<strong>en</strong>sic <strong>ATVS</strong> (1 metro)<br />

Scface (4.20 metros)<br />

Entornos no controlados<br />

Scface (2.60 metros)<br />

Scface (1.20 metros)<br />

Figura 79. EER rasgos faciales mediante texturas para ambos segm<strong>en</strong>tadores ord<strong>en</strong>ados <strong>de</strong><br />

mejor a peor.<br />

LUIS BLÁZQUEZ PÉREZ 78


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

En la Tabla 21, se reseñan los mejores EERs obt<strong>en</strong>idos <strong>en</strong> cada caso, clasificados por<br />

segm<strong>en</strong>tador y bases <strong>de</strong> datos.<br />

Scface<br />

For<strong>en</strong>sic <strong>ATVS</strong><br />

Distancias 4.20 metros 2.60 metros 1.20 metros 1 metro<br />

Extractores <strong>Puntos</strong> Proporciones <strong>Puntos</strong> Proporciones <strong>Puntos</strong> Proporciones <strong>Puntos</strong> Proporciones<br />

EER (%) 30.09 % 24.71 % 27.17 % 22.63 % 28.96 % 21.41 % 3.79 % 3.18 %<br />

Tabla 21. EERs clasificados por segm<strong>en</strong>tador y bases <strong>de</strong> datos.<br />

5.6.3 Discusión<br />

Una vez <strong>de</strong>sarrollado el experim<strong>en</strong>to que ha vertido los resultados anteriorm<strong>en</strong>te reflejados y,<br />

realizado el oportuno y <strong>de</strong>tallado análisis <strong>de</strong> los mismos, se pue<strong>de</strong> <strong>de</strong>terminar <strong>en</strong> un primer<br />

lugar que el extractor basado <strong>en</strong> proporciones faciales, ti<strong>en</strong>e un funcionami<strong>en</strong>to similar que el<br />

extractor basado <strong>en</strong> los puntos medios <strong>de</strong> los rasgos faciales, <strong>en</strong> el mismo tipo <strong>de</strong> <strong>en</strong>torno.<br />

En segundo lugar y no por ello m<strong>en</strong>os importante, se observa que ambos segm<strong>en</strong>tadores<br />

ti<strong>en</strong><strong>en</strong> un mejor resultado <strong>en</strong> <strong>en</strong>tornos controlados que <strong>en</strong> <strong>en</strong>tornos no controlados, resultado<br />

no sorpr<strong>en</strong>d<strong>en</strong>te, <strong>de</strong>bido a que el marcado <strong>de</strong> puntos característicos <strong>en</strong> <strong>en</strong>tornos controlados<br />

es mucho más exacto.<br />

Otro punto a t<strong>en</strong>er <strong>en</strong> cu<strong>en</strong>ta es que, como se observa <strong>en</strong> la Figura 79 (<strong>en</strong>torno controlado),<br />

cuando se está <strong>en</strong> un <strong>en</strong>torno controlado y se <strong>en</strong>tr<strong>en</strong>a y testea el sistema con el mismo tipo <strong>de</strong><br />

imág<strong>en</strong>es, los mejores resultados se alcanzan con la cara completa. Esto es <strong>de</strong>bido a que la<br />

cara conlleva información discriminante, como la simetría <strong>en</strong>tre rasgos, expresiones o gestos<br />

<strong>de</strong> la cara, cicatrices, bigote, gafas, así como otras peculiarida<strong>de</strong>s que, analizando rasgo a<br />

rasgo, no se ti<strong>en</strong><strong>en</strong> <strong>en</strong> cu<strong>en</strong>ta.<br />

Finalm<strong>en</strong>te, cuando se observan los resultados obt<strong>en</strong>idos <strong>en</strong> <strong>en</strong>tornos no controlados, don<strong>de</strong><br />

el <strong>en</strong>tr<strong>en</strong>ami<strong>en</strong>to se hace con caras frontales <strong>de</strong> bu<strong>en</strong>a calidad y el testeo con imág<strong>en</strong>es <strong>de</strong><br />

webcam <strong>de</strong> baja calidad, se aprecian variaciones. En este caso, a mayor distancia, la parte <strong>de</strong> la<br />

fr<strong>en</strong>te adquiere un alto po<strong>de</strong>r discriminativo, y según se acercan los usuarios a la cámara, la<br />

boca o la nariz obti<strong>en</strong><strong>en</strong> los mejores resultados.<br />

LUIS BLÁZQUEZ PÉREZ 79


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

6. Conclusiones y trabajo futuro<br />

6.1 Conclusiones<br />

El proyecto aquí <strong>de</strong>sarrollado ha tratado <strong>de</strong> <strong>de</strong>scribir y analizar el estudio, <strong>de</strong>sarrollo,<br />

implantación y docum<strong>en</strong>tación <strong>de</strong> un conjunto <strong>de</strong> técnicas, basadas <strong>en</strong> docum<strong>en</strong>tación<br />

exist<strong>en</strong>te, que permit<strong>en</strong> el análisis facial tanto <strong>en</strong> <strong>en</strong>tornos controlados como <strong>en</strong> <strong>en</strong>tornos no<br />

controlados, utilizando para ello técnicas <strong>de</strong> estado <strong>de</strong>l arte basadas <strong>en</strong> puntos característicos<br />

<strong>de</strong> la cara. A<strong>de</strong>más <strong>de</strong> analizar el po<strong>de</strong>r discriminante <strong>de</strong> cada rasgo.<br />

Debido a que, actualm<strong>en</strong>te, el reconocimi<strong>en</strong>to facial está muy estudiado, se ha <strong>de</strong>cidido<br />

ori<strong>en</strong>tar el proyecto a la <strong>de</strong>tección y corrección <strong>de</strong> los puntos característicos <strong>de</strong> la cara, una<br />

cosa poco tratada. Como novedad, <strong>de</strong>cir que estos dos importantes bloques, se aplican a los<br />

rasgos faciales <strong>de</strong> forma individual, extraídos mediante la utilización <strong>de</strong> segm<strong>en</strong>tadores, <strong>en</strong> vez<br />

<strong>de</strong> a la cara como si fuese un único rasgo.<br />

En el <strong>de</strong>sarrollo <strong>de</strong> este sistema biométrico se ha propuesto un método <strong>de</strong> extracción <strong>de</strong><br />

características basado <strong>en</strong> la <strong>de</strong>tección <strong>de</strong> puntos característicos <strong>de</strong> la cara, seguido <strong>de</strong> la<br />

medida <strong>de</strong> distancias (11 <strong>en</strong> el caso <strong>de</strong> la DGGC y 82 <strong>en</strong> el caso <strong>de</strong> <strong>ATVS</strong>) <strong>en</strong>tre dichos puntos.<br />

Estas distancias forman el vector <strong>de</strong> características <strong>de</strong> cada imag<strong>en</strong>.<br />

Después se realizaron difer<strong>en</strong>tes experim<strong>en</strong>tos <strong>de</strong> verificación para evaluar el sistema<br />

<strong>de</strong>sarrollado. Cada experim<strong>en</strong>to se llevó a cabo bajo difer<strong>en</strong>tes condiciones relativas a los<br />

<strong>en</strong>tornos, calidad <strong>de</strong> imág<strong>en</strong>es y el número <strong>de</strong> imág<strong>en</strong>es <strong>de</strong> train y test. Cada experim<strong>en</strong>to se<br />

realizó cuatro veces: i) haci<strong>en</strong>do uso <strong>de</strong> las 11 características, ii) usando sólo el conjunto <strong>de</strong><br />

características más discriminativo (obt<strong>en</strong>ido mediante el algoritmo SFFS), iii) utilizando las 82<br />

características, y iv) usando sólo el conjunto <strong>de</strong> características más discriminativo (obt<strong>en</strong>ido<br />

mediante el algoritmo SFFS); exceptuando el relativo al po<strong>de</strong>r discriminante <strong>de</strong> cada rasgo, que<br />

se realizó una sola vez (con el vector <strong>de</strong> características <strong>de</strong> dim<strong>en</strong>sión 130 obt<strong>en</strong>ido mediante el<br />

PCA)<br />

Convi<strong>en</strong>e <strong>de</strong>jar pat<strong>en</strong>te, que los comparadores utilizados <strong>en</strong> el <strong>de</strong>sarrollo <strong>de</strong>l proyecto ti<strong>en</strong><strong>en</strong><br />

gran<strong>de</strong>s limitaciones, <strong>de</strong> hecho el SVM al t<strong>en</strong>er una sola imag<strong>en</strong> <strong>de</strong> <strong>en</strong>tr<strong>en</strong>ami<strong>en</strong>to, se produce<br />

un sobreajuste es <strong>de</strong>cir, el mo<strong>de</strong>lo apr<strong>en</strong>dido se ajusta <strong>de</strong>masiado a los datos <strong>de</strong><br />

<strong>en</strong>tr<strong>en</strong>ami<strong>en</strong>to, g<strong>en</strong>eralizando ina<strong>de</strong>cuadam<strong>en</strong>te a datos nuevos; <strong>de</strong> manera similar ocurre con<br />

el <strong>de</strong> Distancias Euclí<strong>de</strong>as con imág<strong>en</strong>es <strong>de</strong> mala calidad, don<strong>de</strong> es difícil marcar bi<strong>en</strong> los<br />

puntos, igual <strong>de</strong> manera manual que <strong>de</strong> manera automática, sin duda este clasificador falla.<br />

Los resultados obt<strong>en</strong>idos <strong>de</strong> EER <strong>en</strong> los experim<strong>en</strong>tos son <strong>de</strong> interés, <strong>de</strong>bido a que se han<br />

int<strong>en</strong>tado buscar situaciones reales, <strong>en</strong> las cuales solo se dispon<strong>en</strong> <strong>de</strong> una imag<strong>en</strong> <strong>de</strong><br />

<strong>en</strong>tr<strong>en</strong>ami<strong>en</strong>to por usuario, emulando la práctica for<strong>en</strong>se habitual.<br />

Los resultados obt<strong>en</strong>idos proporcionan información sobre la influ<strong>en</strong>cia que ti<strong>en</strong><strong>en</strong>, sobre el<br />

r<strong>en</strong>dimi<strong>en</strong>to <strong>de</strong>l sistema, i) las difer<strong>en</strong>tes condiciones m<strong>en</strong>cionadas, ii) la selección <strong>de</strong><br />

características, y iii) el efecto <strong>de</strong> la distancia habida a la hora <strong>de</strong> la obt<strong>en</strong>ción <strong>de</strong> imág<strong>en</strong>es:<br />

LUIS BLÁZQUEZ PÉREZ 80


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

<br />

<br />

<br />

<br />

<br />

<br />

El efecto <strong>de</strong> utilizar una base <strong>de</strong> datos obt<strong>en</strong>ida <strong>en</strong> <strong>en</strong>tornos no controlados empeora<br />

el r<strong>en</strong>dimi<strong>en</strong>to <strong>de</strong>l sistema.<br />

El efecto <strong>de</strong> <strong>en</strong>tr<strong>en</strong>ar con imág<strong>en</strong>es <strong>de</strong> gran calidad y testear con imág<strong>en</strong>es <strong>de</strong> baja<br />

calidad también reduce el r<strong>en</strong>dimi<strong>en</strong>to <strong>de</strong>l sistema <strong>de</strong> forma notable.<br />

Incorporar varios vectores <strong>de</strong> características con difer<strong>en</strong>tes poses para crear los<br />

mo<strong>de</strong>los <strong>de</strong> <strong>en</strong>tr<strong>en</strong>ami<strong>en</strong>to, es una forma <strong>de</strong> superar la falta <strong>de</strong> robustez fr<strong>en</strong>te a la<br />

variabilidad <strong>de</strong> pose <strong>en</strong>tre los datos <strong>de</strong> <strong>en</strong>tr<strong>en</strong>ami<strong>en</strong>to y <strong>de</strong> test.<br />

El uso <strong>de</strong> un mayor número <strong>de</strong> imág<strong>en</strong>es <strong>de</strong> <strong>en</strong>tr<strong>en</strong>ami<strong>en</strong>to y/o test al realizar los<br />

experim<strong>en</strong>tos <strong>de</strong> reconocimi<strong>en</strong>to, (i) disminuye el r<strong>en</strong>dimi<strong>en</strong>to <strong>de</strong>l sistema cuando se<br />

consi<strong>de</strong>ran todas las características (<strong>de</strong>bido al hecho <strong>de</strong> que t<strong>en</strong>er más datos <strong>de</strong><br />

<strong>en</strong>tr<strong>en</strong>ami<strong>en</strong>to/test implica mayor variabilidad <strong>en</strong>tre ellos <strong>en</strong> nuestros protocolos) y,<br />

(ii) lo aum<strong>en</strong>ta si se realiza la selección <strong>de</strong> características (como es <strong>de</strong> esperar).<br />

La selección <strong>de</strong> características mejora consi<strong>de</strong>rablem<strong>en</strong>te la el r<strong>en</strong>dimi<strong>en</strong>to <strong>de</strong><br />

verificación.<br />

Al aplicar la seleción <strong>de</strong> características, las curvas DET (gráficas que muestran el<br />

r<strong>en</strong>dimi<strong>en</strong>to <strong>de</strong> verificación) mejoran acercándose al orig<strong>en</strong> y t<strong>en</strong>i<strong>en</strong>do una p<strong>en</strong>di<strong>en</strong>te<br />

más negativa, dotando al sistema <strong>de</strong> una m<strong>en</strong>or (mejor) EER (Equal Error Rate, tasa <strong>de</strong><br />

igual error <strong>en</strong> verificación) y <strong>de</strong> una mayor seguridad (la probabilidad <strong>de</strong> falsa<br />

aceptación disminuye y la <strong>de</strong> falso rechazo aum<strong>en</strong>ta).<br />

Hablando <strong>de</strong> los rasgos faciales <strong>de</strong> manera individual, se observa que cuando se realiza un<br />

análisis <strong>de</strong> textura, los EERs varían <strong>en</strong>tre 3.18% y 3.79% (<strong>en</strong>tornos controlados) y 21.41% y<br />

30.09% (<strong>en</strong>tornos no controlados variando la distancia <strong>en</strong>tre 1.2 y 4.2 metros); mi<strong>en</strong>tras que<br />

cuando se realizan estudios antropométricos <strong>de</strong> éstos, los EERs varían <strong>en</strong>tre 9.18% y 21.75%<br />

(<strong>en</strong>tornos controlados). En <strong>en</strong>tornos incontrolados, los resultados rondan el 42%.<br />

Examinando los EERs <strong>en</strong> un <strong>en</strong>torno controlado, se observa que el mejor marcado es el manual<br />

(como era <strong>de</strong> esperar), con unos EERs que oscilan <strong>en</strong>tre 8.69% (82 características) y 16.3% (11<br />

características). El marcado automático, proporcionado por un sistema comercial llamado<br />

FaceSDK, ti<strong>en</strong>e como resultados unos EERs <strong>en</strong>tre el 17.1% (82 características) y 22.7% (11<br />

características). Mejorando estos resultados, se <strong>en</strong>cu<strong>en</strong>tra el marcado automático<br />

<strong>de</strong>sarrollado durante el proyecto, con EERs <strong>en</strong>tre el 17.0% (82 características) y 22.7% (11<br />

características).<br />

6.2 Trabajo futuro<br />

Como trabajo futuro, se propon<strong>en</strong> las sigui<strong>en</strong>tes líneas <strong>de</strong> investigación:<br />

<br />

<br />

La continuación <strong>de</strong>l estudio antropométrico sobre bases <strong>de</strong> datos mayores, para po<strong>de</strong>r<br />

analizar los resultados comprobando su pot<strong>en</strong>cial.<br />

El estudio <strong>de</strong>l efecto que ti<strong>en</strong>e el marcado <strong>de</strong> puntos, es <strong>de</strong>cir, repercusión <strong>de</strong> los<br />

errores cometidos sobre las tasas <strong>de</strong> error <strong>de</strong>l sistema <strong>de</strong>sarrollado.<br />

LUIS BLÁZQUEZ PÉREZ 81


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

<br />

<br />

<br />

El análisis <strong>de</strong>tallado <strong>de</strong>l po<strong>de</strong>r discriminante <strong>de</strong> cada rasgo facial (cara,fr<strong>en</strong>te, ojos,<br />

cejas, orejas, boca, nariz y m<strong>en</strong>tón) <strong>en</strong> gran<strong>de</strong>s poblaciones (necesario base <strong>de</strong> datos<br />

gran<strong>de</strong>)<br />

La adaptación <strong>de</strong>l sistema aquí <strong>de</strong>sarrollado para que opere, exclusivam<strong>en</strong>te, con<br />

imág<strong>en</strong>es reales <strong>de</strong> baja calidad obt<strong>en</strong>idas mediante un circuito cerrado <strong>de</strong> televisión<br />

(Scface dispone <strong>de</strong> este tipo <strong>de</strong> imág<strong>en</strong>es, pero <strong>en</strong> los experim<strong>en</strong>tos realizados,<br />

siempre se ha <strong>en</strong>tr<strong>en</strong>ado con imág<strong>en</strong>es <strong>de</strong> gran calidad).<br />

La fusión <strong>de</strong> algoritmos <strong>en</strong> el comparador, es <strong>de</strong>cir, combinar la score obt<strong>en</strong>ida<br />

mediante la realización <strong>de</strong> un estudio antropométrico y la score solución <strong>de</strong> realizar un<br />

análisis <strong>de</strong> texturas.<br />

LUIS BLÁZQUEZ PÉREZ 82


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

7. Refer<strong>en</strong>cias bibliogra ficas<br />

[1] http://www.frontex.europa.eu/assets/Publications/Research/Best_Practice_Technical_Gui<br />

<strong>de</strong>lines_for_Automated_Bor<strong>de</strong>r_Control_Systems.pdf<br />

[2] http://www.frontex.europa.eu/assets/Publications/Research/Best_Practice_Operational_<br />

Gui<strong>de</strong>lines_for_Automated_Bor<strong>de</strong>r_Control.pdf<br />

[3] A. K. Jain, A. Ross and S. Prabhakar, "Biometrics: A Tool for Information Security", IEEE<br />

Transactions on information for<strong>en</strong>sics and Security, Vol. 1, No. 2, pp. 125-143, June 2006.<br />

[4] Anil K. Jain, Ajay Kumar, "Biometrics of Next g<strong>en</strong>eration: An overview", to appear in<br />

‘Second G<strong>en</strong>eration Biometrics’ Springer, 2010.<br />

[5] R. C. Gonzalez, R. E. Woods, S. L. Eddins, “Digital Image Processing using Matlab”, Prince<br />

Hall, 2005.<br />

[6] Gert M. Beumer, “Face recognition, a landmark tale”, PhD Thesis, October 16 th 2009.<br />

[7] Asker M. Bazer, Raymond N.J. Veldhuis, and Gerrie H. Croon<strong>en</strong>, “Likelihood Ratio-Based<br />

Detection of <strong>Facial</strong> Features”, pp. 323-329, 2003.<br />

[8] G.M. Beumer, Q. Tao, A.M. Baz<strong>en</strong>, and R.N.J. Velhuis, “A landmark paper in face<br />

recognition”, 2006.<br />

[9] Efraty, B.; Huang, C.; Shah, S.K.; Kakadiaris, I.A.; , "<strong>Facial</strong> landmark <strong>de</strong>tection in<br />

uncontrolled conditions," Biometrics (IJCB), 2011 International Joint Confer<strong>en</strong>ce on , vol.,<br />

no., pp.1-8, 11-13 Oct. 2011.<br />

[10] Michal Uřičář, “Detector of facial landmark”, May 13, 2011.<br />

[11] O. Jesorsky, K. Kirchberg, R. Frischholz, Robust Face Detection Using the Hausdorff<br />

Distance. In J. Bigun and F. Smeraldi, editors, Audio and Vi<strong>de</strong>o based Person<br />

Auth<strong>en</strong>tication - AVBPA 2001, pages 90-95. Springer, 2001.<br />

[12] Karl Ricanek Jr and Tamirat Tesafaye, "MORPH: A Longitudinal Image Database of Normal<br />

Adult Age-Progression," IEEE 7th International Confer<strong>en</strong>ce on Automatic Face and Gesture<br />

Recognition, Southampton, UK, April 2006, pp 341-345.<br />

[13] Mislav Grgic, Kresimir Delac, Sonja Grgic, SCface - surveillance cameras face database,<br />

Multimedia Tools and Applications Journal, Vol. 51, No. 3, February 2011, pp. 863-879.<br />

[14] Alphonse Bertillon, Alphonse Bertillon's instructions for taking <strong>de</strong>scriptions for the<br />

id<strong>en</strong>tification of criminals, and others, by the means of anthropometric indications, 1889.<br />

[15] A. J. Goldstein, L. D. Harmon, and A. B. Lesk, “Id<strong>en</strong>tification of Human Faces”, Proc. IEEE,<br />

May 1971, Vol. 59, No. 5, 748-760.<br />

[16] L. Sirovich and M.Kirby, “A Low-Dim<strong>en</strong>sional Procedure for the Characterizacion of Human<br />

Faces”, J. Optical Soc. Am. A, 1987, Vol. 4, No. 3, 519-524.<br />

[17] M. A. Turk and A. P. P<strong>en</strong>tland, “Face Recognition Using Eig<strong>en</strong>faces”, Proc. IEEE, 1991, 586-<br />

591.<br />

LUIS BLÁZQUEZ PÉREZ 83


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

[18] Laur<strong>en</strong>z Wiskott, Jean-Marc Felloues, Norbert Krüger, Christoph Von Der Malsburg, “Face<br />

recognition by Elastic Bunch Graph Matching”. IEEE Transactions on Pattern Analysis and<br />

Machine Intellig<strong>en</strong>ce,vol. 19, no. 7, pp. 775-779, Julio <strong>de</strong> 1997.<br />

[19] T. Cootes, G. Edwards, and C. Taylor, “Active appearance mo<strong>de</strong>ls,” Computer Vision-<br />

ECCV’98, p. 484, 1998.<br />

[20] Aditya Abhyankar and Stephanie Schuckers. Active shape mo<strong>de</strong>ls for effective iris<br />

segm<strong>en</strong>tation. In SPIE 6202: Biometric Technology for Human Id<strong>en</strong>tification III, pages<br />

6202:H1–H10, 2006.<br />

[21] Klimpak B, Grgic M, Delac K (2006) Acquisition of a face database for vi<strong>de</strong>o surveillance<br />

research. Proceedings of the 48th international symposium ELMAR-2006 focused on<br />

multimedia signal processing and communications, Zadar, Croatia, pp 111–114.<br />

[22] www.luxand.com/download/Luxand_FaceSDK_Docum<strong>en</strong>tation.pdf<br />

[23] ISO/IEC JTC 1/SC 37 N 504. Biometric data interchange formats part 5: Face image, in ISO,<br />

2004.<br />

[24] Ye-P<strong>en</strong>g Guan, “Unsupervised human height estimation from a single image”. Vol.2, No. 6,<br />

425-430, 2009.<br />

[25] Yosh Jefferson, “<strong>Facial</strong> Beauty – Establishing a Universal Standar”.2003.<br />

[26] Hatice Gunes and Massimo Piccardi, “Assessing facial beauty through proportion analysis<br />

by image processing and supervised learning”, May, 2006.<br />

[27] Yosh Jefferson, Skeletal Types: key to unraveling the mistery of facial beauty and its<br />

significance. Published in “Journal of G<strong>en</strong>eral Orthodontics”, Volume 7, No. 2, June, 1996.<br />

[28] Luis Carlos Molina, Lluís Belanche, and Àngela Nebot. Feature selection algorithms:<br />

Asurvey and experim<strong>en</strong>tal evaluation. In Proceedings of the 2002 IEEE International<br />

Confer<strong>en</strong>ce on Data Mining, ICDM ’02, pages 306–, Washington, DC, USA, 2002. IEEE<br />

Computer Society.<br />

[29] Pedro Tomé, Luis Blázquez, Rubén Vera-Rodriguez, Julián Fierrez, Javier Ortega-García,<br />

Nicome<strong>de</strong>s Expósito y Patricio Lestón. “Un<strong>de</strong>rstanding the discrimination power of facial<br />

regions in for<strong>en</strong>sic casework”. International Workshop on Biometrics and For<strong>en</strong>sics<br />

(IWBF), Abril 4-5, 2013, Lisboa, Portugal.<br />

[30] Corinna Cortes and Vladimir Vapnik. "Support-Vector Networks". Machine Learning. Vol.<br />

20, Num. 3, pp. 273-297, September 1995.<br />

[31] P. Pudil, J. Novovicová, and J. Kittler. Floating Search Methods in Feature Selection.<br />

Pattern Recognition Letters, 15(11):1119 – 1125, 1994.<br />

LUIS BLÁZQUEZ PÉREZ 84


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

A. Presupuesto<br />

1) Ejecución material<br />

Compra <strong>de</strong> ord<strong>en</strong>ador personal (Software incluido) 2000 €<br />

Alquiler <strong>de</strong> impresora láser durante 6 meses 50 €<br />

Material <strong>de</strong> oficina 150 €<br />

Total <strong>de</strong> ejecución material 2200 €<br />

2) Gastos g<strong>en</strong>erales<br />

16 % sobre Ejecución Material 352 €<br />

3) B<strong>en</strong>eficio industrial<br />

6 % sobre Ejecución Material 132 €<br />

4) Honorarios Proyecto<br />

1500 horas a 15 € / hora 22500 €<br />

5) Material fungible<br />

Gastos <strong>de</strong> impresión 60 €<br />

Encua<strong>de</strong>rnación 200 €<br />

Total material fungible 260 €<br />

6) Subtotal <strong>de</strong>l presupuesto<br />

Subtotal presupuesto 24960 €<br />

7) I.V.A. aplicable<br />

21 % Subtotal Presupuesto 3993,6 €<br />

8) Total presupuesto<br />

Total presupuesto 28953,6 €<br />

Madrid, Enero 2013<br />

El Ing<strong>en</strong>iero Jefe <strong>de</strong> Proyecto<br />

Fdo.: Luis Blázquez Pérez<br />

Ing<strong>en</strong>iero Superior <strong>de</strong> Telecomunicación<br />

LUIS BLÁZQUEZ PÉREZ 85


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

B. Pliego <strong>de</strong> condiciones<br />

Este docum<strong>en</strong>to conti<strong>en</strong>e las condiciones legales que guiarán la realización, <strong>en</strong> este proyecto,<br />

<strong>de</strong> un <strong>Reconocimi<strong>en</strong>to</strong> <strong>Facial</strong> <strong>Basado</strong> <strong>en</strong> <strong>Puntos</strong> <strong>Característicos</strong> <strong>de</strong> la Cara <strong>en</strong> <strong>en</strong>tornos no<br />

controlados. En lo que sigue, se supondrá que el proyecto ha sido <strong>en</strong>cargado por una empresa<br />

cli<strong>en</strong>te a una empresa consultora con la finalidad <strong>de</strong> realizar dicho sistema. Dicha empresa ha<br />

<strong>de</strong>bido <strong>de</strong>sarrollar una línea <strong>de</strong> investigación con objeto <strong>de</strong> elaborar el proyecto. Esta línea <strong>de</strong><br />

investigación, junto con el posterior <strong>de</strong>sarrollo <strong>de</strong> los programas está amparada por las<br />

condiciones particulares <strong>de</strong>l sigui<strong>en</strong>te pliego.<br />

Supuesto que la utilización industrial <strong>de</strong> los métodos recogidos <strong>en</strong> el pres<strong>en</strong>te proyecto ha sido<br />

<strong>de</strong>cidida por parte <strong>de</strong> la empresa cli<strong>en</strong>te o <strong>de</strong> otras, la obra a realizar se regulará por las<br />

sigui<strong>en</strong>tes:<br />

Condiciones g<strong>en</strong>erales<br />

1. La modalidad <strong>de</strong> contratación será el concurso. La adjudicación se hará, por tanto, a<br />

la proposición más favorable sin at<strong>en</strong><strong>de</strong>r exclusivam<strong>en</strong>te al valor económico, <strong>de</strong>p<strong>en</strong>di<strong>en</strong>do <strong>de</strong><br />

las mayores garantías ofrecidas. La empresa que somete el proyecto a concurso se reserva el<br />

<strong>de</strong>recho a <strong>de</strong>clararlo <strong>de</strong>sierto.<br />

2. El montaje y mecanización completa <strong>de</strong> los equipos que interv<strong>en</strong>gan será realizado<br />

totalm<strong>en</strong>te por la empresa licitadora.<br />

3. En la oferta, se hará constar el precio total por el que se compromete a realizar la<br />

obra y el tanto por ci<strong>en</strong>to <strong>de</strong> baja que supone este precio <strong>en</strong> relación con un importe límite si<br />

este se hubiera fijado.<br />

4. La obra se realizará bajo la dirección técnica <strong>de</strong> un Ing<strong>en</strong>iero Superior <strong>de</strong><br />

Telecomunicación, auxiliado por el número <strong>de</strong> Ing<strong>en</strong>ieros Técnicos y Programadores que se<br />

estime preciso para el <strong>de</strong>sarrollo <strong>de</strong> la misma.<br />

5. Aparte <strong>de</strong>l Ing<strong>en</strong>iero Director, el contratista t<strong>en</strong>drá <strong>de</strong>recho a contratar al resto <strong>de</strong>l<br />

personal, pudi<strong>en</strong>do ce<strong>de</strong>r esta prerrogativa a favor <strong>de</strong>l Ing<strong>en</strong>iero Director, qui<strong>en</strong> no estará<br />

obligado a aceptarla.<br />

6. El contratista ti<strong>en</strong>e <strong>de</strong>recho a sacar copias a su costa <strong>de</strong> los planos, pliego <strong>de</strong><br />

condiciones y presupuestos. El Ing<strong>en</strong>iero autor <strong>de</strong>l proyecto autorizará con su firma las copias<br />

solicitadas por el contratista <strong>de</strong>spués <strong>de</strong> confrontarlas.<br />

7. Se abonará al contratista la obra que realm<strong>en</strong>te ejecute con sujeción al proyecto que<br />

sirvió <strong>de</strong> base para la contratación, a las modificaciones autorizadas por la superioridad o a las<br />

órd<strong>en</strong>es que con arreglo a sus faculta<strong>de</strong>s le hayan comunicado por escrito al Ing<strong>en</strong>iero Director<br />

<strong>de</strong> obras siempre que dicha obra se haya ajustado a los preceptos <strong>de</strong> los pliegos <strong>de</strong><br />

condiciones, con arreglo a los cuales, se harán las modificaciones y la valoración <strong>de</strong> las diversas<br />

unida<strong>de</strong>s sin que el importe total pueda exce<strong>de</strong>r <strong>de</strong> los presupuestos aprobados. Por<br />

consigui<strong>en</strong>te, el número <strong>de</strong> unida<strong>de</strong>s que se consignan <strong>en</strong> el proyecto o <strong>en</strong> el presupuesto, no<br />

podrá servirle <strong>de</strong> fundam<strong>en</strong>to para <strong>en</strong>tablar reclamaciones <strong>de</strong> ninguna clase, salvo <strong>en</strong> los casos<br />

<strong>de</strong> rescisión.<br />

LUIS BLÁZQUEZ PÉREZ 86


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

8. Tanto <strong>en</strong> las certificaciones <strong>de</strong> obras como <strong>en</strong> la liquidación final, se abonarán los<br />

trabajos realizados por el contratista a los precios <strong>de</strong> ejecución material que figuran <strong>en</strong> el<br />

presupuesto para cada unidad <strong>de</strong> la obra.<br />

9. Si excepcionalm<strong>en</strong>te se hubiera ejecutado algún trabajo que no se ajustase a las<br />

condiciones <strong>de</strong> la contrata pero que sin embargo es admisible a juicio <strong>de</strong>l Ing<strong>en</strong>iero Director <strong>de</strong><br />

obras, se dará conocimi<strong>en</strong>to a la Dirección, proponi<strong>en</strong>do a la vez la rebaja <strong>de</strong> precios que el<br />

Ing<strong>en</strong>iero estime justa y si la Dirección resolviera aceptar la obra, quedará el contratista<br />

obligado a conformarse con la rebaja acordada.<br />

10. Cuando se juzgue necesario emplear materiales o ejecutar obras que no figur<strong>en</strong> <strong>en</strong><br />

el presupuesto <strong>de</strong> la contrata, se evaluará su importe a los precios asignados a otras obras o<br />

materiales análogos si los hubiere y cuando no, se discutirán <strong>en</strong>tre el Ing<strong>en</strong>iero Director y el<br />

contratista, sometiéndolos a la aprobación <strong>de</strong> la Dirección. Los nuevos precios conv<strong>en</strong>idos por<br />

uno u otro procedimi<strong>en</strong>to, se sujetarán siempre al establecido <strong>en</strong> el punto anterior.<br />

11. Cuando el contratista, con autorización <strong>de</strong>l Ing<strong>en</strong>iero Director <strong>de</strong> obras, emplee<br />

materiales <strong>de</strong> calidad más elevada o <strong>de</strong> mayores dim<strong>en</strong>siones <strong>de</strong> lo estipulado <strong>en</strong> el proyecto, o<br />

sustituya una clase <strong>de</strong> fabricación por otra que t<strong>en</strong>ga asignado mayor precio o ejecute con<br />

mayores dim<strong>en</strong>siones cualquier otra parte <strong>de</strong> las obras, o <strong>en</strong> g<strong>en</strong>eral, introduzca <strong>en</strong> ellas<br />

cualquier modificación que sea b<strong>en</strong>eficiosa a juicio <strong>de</strong>l Ing<strong>en</strong>iero Director <strong>de</strong> obras, no t<strong>en</strong>drá<br />

<strong>de</strong>recho sin embargo, sino a lo que le correspon<strong>de</strong>ría si hubiera realizado la obra con estricta<br />

sujeción a lo proyectado y contratado.<br />

12. Las cantida<strong>de</strong>s calculadas para obras accesorias, aunque figur<strong>en</strong> por partida alzada<br />

<strong>en</strong> el presupuesto final (g<strong>en</strong>eral), no serán abonadas sino a los precios <strong>de</strong> la contrata, según las<br />

condiciones <strong>de</strong> la misma y los proyectos particulares que para ellas se form<strong>en</strong>, o <strong>en</strong> su <strong>de</strong>fecto,<br />

por lo que resulte <strong>de</strong> su medición final.<br />

13. El contratista queda obligado a abonar al Ing<strong>en</strong>iero autor <strong>de</strong>l proyecto y director <strong>de</strong><br />

obras así como a los Ing<strong>en</strong>ieros Técnicos, el importe <strong>de</strong> sus respectivos honorarios facultativos<br />

por formación <strong>de</strong>l proyecto, dirección técnica y administración <strong>en</strong> su caso, con arreglo a las<br />

tarifas y honorarios vig<strong>en</strong>tes.<br />

14. Concluida la ejecución <strong>de</strong> la obra, será reconocida por el Ing<strong>en</strong>iero Director que a<br />

tal efecto <strong>de</strong>signe la empresa.<br />

15. La garantía <strong>de</strong>finitiva será <strong>de</strong>l 4% <strong>de</strong>l presupuesto y la provisional <strong>de</strong>l 2%.<br />

16. La forma <strong>de</strong> pago será por certificaciones m<strong>en</strong>suales <strong>de</strong> la obra ejecutada, <strong>de</strong><br />

acuerdo con los precios <strong>de</strong>l presupuesto, <strong>de</strong>ducida la baja si la hubiera.<br />

17. La fecha <strong>de</strong> comi<strong>en</strong>zo <strong>de</strong> las obras será a partir <strong>de</strong> los 15 días naturales <strong>de</strong>l<br />

replanteo oficial <strong>de</strong> las mismas y la <strong>de</strong>finitiva, al año <strong>de</strong> haber ejecutado la provisional,<br />

procediéndose si no existe reclamación alguna, a la reclamación <strong>de</strong> la fianza.<br />

18. Si el contratista al efectuar el replanteo, observase algún error <strong>en</strong> el proyecto,<br />

<strong>de</strong>berá comunicarlo <strong>en</strong> el plazo <strong>de</strong> quince días al Ing<strong>en</strong>iero Director <strong>de</strong> obras, pues<br />

transcurrido ese plazo será responsable <strong>de</strong> la exactitud <strong>de</strong>l proyecto.<br />

LUIS BLÁZQUEZ PÉREZ 87


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

19. El contratista está obligado a <strong>de</strong>signar una persona responsable que se <strong>en</strong>t<strong>en</strong><strong>de</strong>rá<br />

con el Ing<strong>en</strong>iero Director <strong>de</strong> obras, o con el <strong>de</strong>legado que éste <strong>de</strong>signe, para todo relacionado<br />

con ella. Al ser el Ing<strong>en</strong>iero Director <strong>de</strong> obras el que interpreta el proyecto, el contratista<br />

<strong>de</strong>berá consultarle cualquier duda que surja <strong>en</strong> su realización.<br />

20. Durante la realización <strong>de</strong> la obra, se girarán visitas <strong>de</strong> inspección por personal<br />

facultativo <strong>de</strong> la empresa cli<strong>en</strong>te, para hacer las comprobaciones que se crean oportunas. Es<br />

obligación <strong>de</strong>l contratista, la conservación <strong>de</strong> la obra ya ejecutada hasta la recepción <strong>de</strong> la<br />

misma, por lo que el <strong>de</strong>terioro parcial o total <strong>de</strong> ella, aunque sea por ag<strong>en</strong>tes atmosféricos u<br />

otras causas, <strong>de</strong>berá ser reparado o reconstruido por su cu<strong>en</strong>ta.<br />

21. El contratista, <strong>de</strong>berá realizar la obra <strong>en</strong> el plazo m<strong>en</strong>cionado a partir <strong>de</strong> la fecha<br />

<strong>de</strong>l contrato, incurri<strong>en</strong>do <strong>en</strong> multa, por retraso <strong>de</strong> la ejecución siempre que éste no sea <strong>de</strong>bido<br />

a causas <strong>de</strong> fuerza mayor. A la terminación <strong>de</strong> la obra, se hará una recepción provisional previo<br />

reconocimi<strong>en</strong>to y exam<strong>en</strong> por la dirección técnica, el <strong>de</strong>positario <strong>de</strong> efectos, el interv<strong>en</strong>tor y el<br />

jefe <strong>de</strong> servicio o un repres<strong>en</strong>tante, estampando su conformidad el contratista.<br />

22. Hecha la recepción provisional, se certificará al contratista el resto <strong>de</strong> la obra,<br />

reservándose la administración el importe <strong>de</strong> los gastos <strong>de</strong> conservación <strong>de</strong> la misma hasta su<br />

recepción <strong>de</strong>finitiva y la fianza durante el tiempo señalado como plazo <strong>de</strong> garantía. La<br />

recepción <strong>de</strong>finitiva se hará <strong>en</strong> las mismas condiciones que la provisional, ext<strong>en</strong>diéndose el<br />

acta correspondi<strong>en</strong>te. El Director Técnico propondrá a la Junta Económica la <strong>de</strong>volución <strong>de</strong> la<br />

fianza al contratista <strong>de</strong> acuerdo con las condiciones económicas legales establecidas.<br />

23. Las tarifas para la <strong>de</strong>terminación <strong>de</strong> honorarios, reguladas por ord<strong>en</strong> <strong>de</strong> la<br />

Presid<strong>en</strong>cia <strong>de</strong>l Gobierno el 19 <strong>de</strong> Octubre <strong>de</strong> 1961, se aplicarán sobre el d<strong>en</strong>ominado <strong>en</strong> la<br />

actualidad “Presupuesto <strong>de</strong> Ejecución <strong>de</strong> Contrata” y anteriorm<strong>en</strong>te llamado ”Presupuesto <strong>de</strong><br />

Ejecución Material” que hoy <strong>de</strong>signa otro concepto.<br />

Condiciones particulares<br />

La empresa consultora, que ha <strong>de</strong>sarrollado el pres<strong>en</strong>te proyecto, lo <strong>en</strong>tregará a la empresa<br />

cli<strong>en</strong>te bajo las condiciones g<strong>en</strong>erales ya formuladas, <strong>de</strong>bi<strong>en</strong>do añadirse las sigui<strong>en</strong>tes<br />

condiciones particulares:<br />

1. La propiedad intelectual <strong>de</strong> los procesos <strong>de</strong>scritos y analizados <strong>en</strong> el pres<strong>en</strong>te<br />

trabajo, pert<strong>en</strong>ece por <strong>en</strong>tero a la empresa consultora repres<strong>en</strong>tada por el Ing<strong>en</strong>iero Director<br />

<strong>de</strong>l Proyecto.<br />

2. La empresa consultora se reserva el <strong>de</strong>recho a la utilización total o parcial <strong>de</strong> los<br />

resultados <strong>de</strong> la investigación realizada para <strong>de</strong>sarrollar el sigui<strong>en</strong>te proyecto, bi<strong>en</strong> para su<br />

publicación o bi<strong>en</strong> para su uso <strong>en</strong> trabajos o proyectos posteriores, para la misma empresa<br />

cli<strong>en</strong>te o para otra.<br />

3. Cualquier tipo <strong>de</strong> reproducción aparte <strong>de</strong> las reseñadas <strong>en</strong> las condiciones<br />

g<strong>en</strong>erales, bi<strong>en</strong> sea para uso particular <strong>de</strong> la empresa cli<strong>en</strong>te, o para cualquier otra aplicación,<br />

contará con autorización expresa y por escrito <strong>de</strong>l Ing<strong>en</strong>iero Director <strong>de</strong>l Proyecto, que actuará<br />

<strong>en</strong> repres<strong>en</strong>tación <strong>de</strong> la empresa consultora.<br />

LUIS BLÁZQUEZ PÉREZ 88


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

4. En la autorización se ha <strong>de</strong> hacer constar la aplicación a que se <strong>de</strong>stinan sus<br />

reproducciones así como su cantidad.<br />

5. En todas las reproducciones se indicará su proced<strong>en</strong>cia, explicitando el nombre <strong>de</strong>l<br />

proyecto, nombre <strong>de</strong>l Ing<strong>en</strong>iero Director y <strong>de</strong> la empresa consultora.<br />

6. Si el proyecto pasa la etapa <strong>de</strong> <strong>de</strong>sarrollo, cualquier modificación que se realice<br />

sobre él, <strong>de</strong>berá ser notificada al Ing<strong>en</strong>iero Director <strong>de</strong>l Proyecto y a criterio <strong>de</strong> éste, la<br />

empresa consultora <strong>de</strong>cidirá aceptar o no la modificación propuesta.<br />

7. Si la modificación se acepta, la empresa consultora se hará responsable al mismo<br />

nivel que el proyecto inicial <strong>de</strong>l que resulta el añadirla.<br />

8. Si la modificación no es aceptada, por el contrario, la empresa consultora <strong>de</strong>clinará<br />

toda responsabilidad que se <strong>de</strong>rive <strong>de</strong> la aplicación o influ<strong>en</strong>cia <strong>de</strong> la misma.<br />

9. Si la empresa cli<strong>en</strong>te <strong>de</strong>ci<strong>de</strong> <strong>de</strong>sarrollar industrialm<strong>en</strong>te uno o varios productos <strong>en</strong><br />

los que resulte parcial o totalm<strong>en</strong>te aplicable el estudio <strong>de</strong> este proyecto, <strong>de</strong>berá comunicarlo<br />

a la empresa consultora.<br />

10. La empresa consultora no se responsabiliza <strong>de</strong> los efectos laterales que se puedan<br />

producir <strong>en</strong> el mom<strong>en</strong>to <strong>en</strong> que se utilice la herrami<strong>en</strong>ta objeto <strong>de</strong>l pres<strong>en</strong>te proyecto para la<br />

realización <strong>de</strong> otras aplicaciones.<br />

11. La empresa consultora t<strong>en</strong>drá prioridad respecto a otras <strong>en</strong> la elaboración <strong>de</strong> los<br />

proyectos auxiliares que fuese necesario <strong>de</strong>sarrollar para dicha aplicación industrial, siempre<br />

que no haga explícita r<strong>en</strong>uncia a este hecho. En este caso, <strong>de</strong>berá autorizar expresam<strong>en</strong>te los<br />

proyectos pres<strong>en</strong>tados por otros.<br />

12. El Ing<strong>en</strong>iero Director <strong>de</strong>l pres<strong>en</strong>te proyecto, será el responsable <strong>de</strong> la dirección <strong>de</strong><br />

la aplicación industrial siempre que la empresa consultora lo estime oportuno. En caso<br />

contrario, la persona <strong>de</strong>signada <strong>de</strong>berá contar con la autorización <strong>de</strong>l mismo, qui<strong>en</strong> <strong>de</strong>legará<br />

<strong>en</strong> él las responsabilida<strong>de</strong>s que ost<strong>en</strong>te.<br />

LUIS BLÁZQUEZ PÉREZ 89


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

C. Publicaciones<br />

Durante la realización <strong>de</strong>l proyecto, se ha llevado a cabo una publicación, aceptada <strong>en</strong> el<br />

International Workshop on Biometrics and For<strong>en</strong>sics (IWBF), el cual se celebrará <strong>en</strong> Lisboa<br />

(Abril <strong>de</strong>l 2013).<br />

Title: Un<strong>de</strong>rstanding the Discrimination Power of <strong>Facial</strong> Regions in For<strong>en</strong>sic Casework.<br />

Authors: Pedro Tomé, Luis Blázquez, Rubén Vera-Rodriguez, Julián Fierrez, Javier Ortega-<br />

García, Nicome<strong>de</strong>s Expósito y Patricio Lestón.<br />

Published in: International Workshop on Biometrics and For<strong>en</strong>sics (IWBF), Abril 4-5, 2013,<br />

Lisboa, Portugal.<br />

LUIS BLÁZQUEZ PÉREZ 90


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

LUIS BLÁZQUEZ PÉREZ 91


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

LUIS BLÁZQUEZ PÉREZ 92


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

LUIS BLÁZQUEZ PÉREZ 93


RECONOCIMIENTO FACIAL BASADO EN PUNTOS CARACTERÍSTICOS DE LA CARA EN ENTORNOS NO CONTROLADOS<br />

LUIS BLÁZQUEZ PÉREZ 94

Hooray! Your file is uploaded and ready to be published.

Saved successfully!

Ooh no, something went wrong!