AdaBoost (boosting) v1.1

ADABOOST (BOOSTING) 

Lic. Diego Gabriel Suárez 

Santiago 

13 de octubre de 2016 1

CLASIFICADORES DÉBILES 

•En inglés son llamados weak learners, los cuales pueden ser clasificadores o 

predictores. 

•Son moderadamente precisos (simples y funcionan solo ligeramente mejor que una 

clasificación aleatoria). 

•Algunos ejemplos de ellos son [1] : 

• Stub 

• Histogramas 

• Naïve Bayes 

• Regresión logística 

• Decision stumps (o árboles de decisión poco profundos). 


BOOSTING 

•Fue propuesto por Freund y Schapire en 1989 [2] . 

•La idea del boosting es generar un clasificador muy preciso a partir de 

clasificadores débiles (weak) [3] o simples [2] , en lugar de tener un solo clasificador 

complejo [2] . 

•Por ejemplo, en lugar de entrenar una red neural grande, se entrenan varias 

pequeñas y se combina su salida con el fin de producir la salida final [2] . 

•El boosting es relacionado con otras técnicas, tales como el bootstrap y el bagging. 

Nota: A los clasificadores se les llaman también hipótesis. 


BOOSTING 

•Difiere del bagging en el sentido que no permite reemplazo (prueba de precisión 

estadística, deja los mejores clasificadores). 

•La clasificación final se realiza por un voto mayoritario (3 clasificadores). 


ESTRUCTURA DEL BOOSTING 

•H 1 (x), …, H M (x) son clasificadores débiles. 

•La decisión de clasificación de salida es 

dada por H (x) 

•Cada clasificador H m tiene una contribución 

α m asociada. 

H x = sign σ M 

m=1 

α m H m x 

Clasificadores 

débiles 

Combinación de 

clasificadores 

Figura: Diagrama del boosting [2] . 


BOOSTING (ALGORITMO) 

Entrada: 

•Conjunto de entrenamiento Z={z 1 , z 2 , …, z N }, con z i =(x i ,y i ). 

Salida: 

•H(x), un clasificador adecuado para el conjunto de entrenamiento. 

Paso 1 – Dibuja, sin reemplazo, L < N muestras del conjunto de entrenamiento Z, 

obteniendo Z *1 ; el entrenamiento con el clasificador H 1 sobre Z *1 

Paso 2 - Selecciona L 2 < N muestras de Z con la mitad de las muestras mal 

clasificadas por H 1 para obtener Z *2 ; entrena el clasificador débil H 2 en él. 


BOOSTING (ALGORITMO) 

Paso 3 – Selecciona todas las muestras de Z que H 1 y H 2 están en desacuerdo; 

entrena el clasificador débil H 3 usando estas muestras. 

Paso 4 – Se produce el clasificador final como un voto de tres clasificadores débiles. 

H x = sgn σ3 n=1 H n x 


BOOSTING 


VENTAJAS Y DESVENTAJAS 

1. Rápido. 

2. Simple (fácil para programar). 

3. No hay parámetros para sintonizar (que no sea el tiempo de parada). 

4. Demostrablemente efectivo, siempre y cuando podamos encontrar buenos 

clasificadores débiles. 


ADABOOST 

•Adaboost (adaptative boosting) es un nuevo algoritmo de boosting presentado por 

Freund y Schapire en el artículo “A Decision-Theoretic Generalization of On-Line 

Learning and an Application to Boosting” [1] en 1996. 

•El término Adaptive hace alusión a su principal diferencia con su predecesor. 

•Ambos algoritmos buscan crear un clasificador fuerte cuya base sea la combinación 

de clasificadores débiles h t (x). 


ADABOOST 

•AdaBoost propone entrenar una serie de clasicadores débiles de manera iterativa, 

de modo que cada nuevo clasicador o “weak learner" se enfoque en los datos que 

fueron erróneamente clasificados por su predecesor. 

•De esta manera el algoritmo se adapta y logra obtener mejores resultados 

•Puede haber AdaBoost binario y multiclase. 


ESTRUCTURA DEL ADABOOST 

Estructura 1 del AdaBoost [2] . 


ESTRUCTURA DEL ADABOOST 

Estructura 2 del AdaBoost [4] . 


ADABOOST (ALGORITMO) 

•Inicialmente, cuando T=1 (T=Tiempo) todos los ejemplos son igualmente 

probables. 

•En las siguientes iteraciones, es más probable seleccionar los ejemplos más 

difíciles (los que hacen fallar al clasificador). 

•Sea ε t el error asociado a h t 

•El valor de α t (peso) surge de intentar optimizar dicho error y es: 


ADABOOST (ALGORITMO) 

Algoritmo de AdaBoost [4] . 


ACTUALIZA LOS PESOS 

Actualización de pesos [2] . 


EJEMPLO DE ADABOOST 



0.1 

0.1 

0.1 

0.1 

0.1 

0.1 

0.1 

0.1 

0.1 

0.1 



0.1 

0.1 

0.1 

0.1 

0.1 

0.1 

0.1 

0.1 

0.1 

0.1 

Vertical or horizontal 

half planes (decision 

stumps) 

ε n = error 

α n = valor de confianza 

sign = obtiene el signo de un número 

ቐ 

−1 si número < 0, 

0 si número = 0, 

1 si número > 0. 



0.1 

0.1 

0.1 

0.1 

0.1 

0.1 

0.1 

0.1 

0.1 

0.1 

ε n = error 





0.1 

0.1 

0.1 

0.1 

0.1 

0.1 

0.1 

0.1 

0.1 

0.1 

ε n = error 





0.1 

0.1 

0.1 

0.1 

0.1 

0.1 

0.1 

0.1 

0.1 

0.1 

ε n = error 





0.153 

0.153 

0.07 0.153 

0.07 0.07 

0.07 

0.07 

0.07 

0.07 

ε n = error 





0.153 

0.153 

0.07 0.153 

0.07 0.07 

0.07 

0.07 

0.07 

0.07 

ε n = error 





0.153 

0.153 

0.07 0.153 

0.07 0.07 

0.07 

0.07 

0.07 

0.07 

ε n = error 





0.153 

0.153 

0.07 0.153 

0.07 0.07 

0.07 

0.07 

0.07 

0.07 

ε n = error 





ε n = error 





ε n = error 


sign = obtiene el signo de un 

número 



Por ejemplo 



Por ejemplo 

sign( (0,42*-1) + (0,65*1) + (0,92*1) ) = sign(1,15) = 1 



-1 1 1 

Por ejemplo 

sign( (0,42*-1) + (0,65*1) + (0,92*1) ) = sign(1,15) = 1 



-1 1 1 

Por ejemplo 

sign( (0,42*-1) + (0,65*1) + (0,92*1) ) = sign(1,15) = 1 



-1 1 1 

Por ejemplo 

sign( (0,42*-1) + (0,65*1) + (0,92*1) ) = sign(1,15) = 1 



-1 1 1 

Por ejemplo 

sign( (0,42*-1) + (0,65*-1) + (0,92*1) ) = sign(-0,15) = -1 



-1 1 1 

Por ejemplo 

sign( (0,42*-1) + (0,65*-1) + (0,92*1) ) = sign(-0,15) = -1 



-1 1 1 

Por ejemplo 

sign( (0,42*-1) + (0,65*1) + (0,92*-1) ) = sign(-0,69) = -1 



-1 1 1 

Por ejemplo 

sign( (0,42*-1) + (0,65*1) + (0,92*-1) ) = sign(-0,69) = -1 



-1 1 1 

Por ejemplo 

sign( (0,42*1) + (0,65*1) + (0,92*-1) ) = sign(0,15) = 1 



-1 1 1 

Por ejemplo 

sign( (0,42*1) + (0,65*1) + (0,92*-1) ) = sign(0,15) = 1 



-1 1 1 

Por ejemplo 

sign( (0,42*-1) + (0,65*1) + (0,92*1) ) = sign(1,15) = 1 

sign( (0,42*-1) + (0,65*-1) + (0,92*1) ) = sign(-0,15) = -1 

sign( (0,42*-1) + (0,65*1) + (0,92*-1) ) = sign(-0,69) = -1 

sign( (0,42*1) + (0,65*1) + (0,92*-1) ) = sign(0,15) = 1 


OTRO EJEMPLO CON ADABOOST 

13 de octubre de 2016 Clasificación con más objetos utilizando la técnica de AdaBoost [7] . 

41

VENTAJAS Y DESVENTAJAS 

Ventajas 

Simple y sencillo de programar. 

El único parámetro a establecer son las 

iteraciones. 

El clasificador débil no requiere conocimiento 

previo. 

Versátil y rápido. 

Desventajas 

Clasificadores débiles complejos pueden llevar a 

overtting. 

Clasificadores débiles demasiado débiles pueden 

producir un bajo margen y overtting. 

Es vulnerable al ruido. 

Ventajas y desventajas del AdaBoost [5,6] . 


APLICACIONES CON ADABOOST 

•Detección de rostros. 

•Reconocimiento de dígitos. 

Diversos trabajos en donde utilizaron AdaBoost [2] . 


VARIANTES DE ADABOOST 

Variantes del AdaBoost [2] . 


COMPARACIÓN ENTRE BOOSTING Y ADABOOST 

Característica Boosting AdaBoost 

Procesamiento de datos Muestreo al azar sin 

reemplazamiento 

Número de clasificadores 3 Hasta M 

Decisión Voto mayoritario Voto ponderado 

Tabla de comparación [2] . 

Ponderación (sin toma de 

muestras) 


REFERENCIAS BIBLIOGRÁFICAS 

[1] 

http://www.cs.cmu.edu/~10701/lecture/boosting.pdf 

[2] 

http://www.slideshare.net/kangdaeki/boosting 

[3] 

https://eva.fing.edu.uy/file.php/514/ARCHIVO/2008/TrabajosFinales2008/Nest 

orPaz2008_informe.pdf 

[4] 

http://jboost.sourceforge.net/presentations/BoostingLightIntro.pdf 

[5] 

http://www.robots.ox.ac.uk/~az/lectures/cv/adaboost_matas.pdf 

[6] 

http://catarina.udlap.mx/u_dl_a/tales/documentos/lmt/morales_s_aa/capitulo3.p 

df 

[7] 

http://srl.informatik.uni-freiburg.de/videos

AdaBoost (boosting) v1.1

Create successful ePaper yourself

Delete template?

Save as template?