Método de Naïve Bayes

Aprendizaje Supervisado
Clasificación Bayesiana
(Método de Naïve Bayes)

10
10
Modelo general de los métodos de Clasificación
|Id Reembolso Estado
Civil
Ingresos
Anuales
1 Sí Soltero 125K No
Fraude
Algoritmo de
Aprendizaje
2 No Casado 100K No
3 No Soltero 70K No
4 Sí Casado 120K No
Generar
el
Modelo
5 No
Divorcia
do
95K
Sí
6 No Casado 60K No
Tabla de Aprendizaje
Modelo
Id Reembolso Estado
Civil
Ingresos
Anuales
7 No Soltero 80K No
8 Si Casado 100K No
9 No Soltero 70K No
Tabla de Testing
Fraude
Evaluar
Aplicar
el
Modelo
Nuevos
Individuos

Definición de Clasificación
Dada una base de datos D = {t 1 , t 2 , … , t n } de tuplas o registros
(individuos) y un conjunto de clases C = {C 1 , C 2 , … , C m }, el
problema de la clasificación es encontrar una función f: D → C
tal que cada t i es asignada una clase C j .
f: D → C podría ser una Red Neuronal, un Árbol de Decisión, un
modelo basado en Análisis Discriminante, o una Red Beyesiana.

Ejemplo: Créditos en un Banco
Tabla de Aprendizaje
Variable
Discriminante
Con la Tabla de Aprendizaje se entrena (aprende) el modelo matemático de
predicción, es decir, a partir de esta tabla se calcula la función f de la definición
anterior.

Ejemplo: Créditos en un Banco
Tabla de Testing
Variable
Discriminante
• Con la Tabla de Testing se valida el modelo matemático de predicción, es decir, se
verifica que los resultados en individuos que no participaron en la construcción del
modelo es bueno o aceptable.
• Algunas veces, sobre todo cuando hay pocos datos, se utiliza la Tabla de
Aprendizaje también como de Tabla Testing.

Ejemplo: Créditos en un Banco
Nuevos Individuos
Variable
Discriminante
Con la Tabla de Nuevos Individuos se predice si estos serán o no buenos
pagadores.

Cálculo de Probabilidades
Tomado del libro: Probabilidad y estadística para ingenieros - R. Walpole, R. Myers

Probabilidad Condicional
Ejemplo: Se lanza un dado y se tienen los siguientes eventos:
A: Se observa un número impar.
B: Se observa un 1.
P(B)=1/6 pues solo hay un caso favorable {1} y hay 6 casos posibles {1,2,3,4,5,6}
P(B|A)=1/3 pues solo hay un caso favorable {1} y hay únicamente 3 casos posibles {1,3,5},
como ya ocurrió A el dado debe ser impar por lo que el universo de posibilidades se
reduce a los números impares.
Nótese que AB={1} por lo que P(AB)=1/6, además P(A)=3/6 pues hay 3 casos
favorables {1,3,5} y 6 casos posibles {1,2,3,4,5,6}.
Entonces:
ESTO SIEMPRE SE CUMPLE

Definición de Probabilidad Condicional

Teorema de la Probabilidad Total

Teorema de la Probabilidad Total

Ejemplo: Cierto artículo es manufacturado por tres fábricas, F1, F2, y F3. Se sabe que la
primera fábrica produce el doble que la segunda, y que la segunda fábrica produce igual
que la tercera. Se sabe además que el 2% de los artículos producidos por las dos
primeras fábricas son defectuosos, mientras que el 4% de los artículos producidos por la
tercera fábrica son defectuosos.
Si se colocan todos los artículos en una fila y se escoge uno al azar ¿cuál es la
probabilidad de que este artículo sea defectuoso
Solución: Sea S el espacio muestral completo y considere los siguientes eventos:
B={El artículo es defectuoso}
A 1 ={El artículo fue fabricado en F1}
A 2 ={El artículo fue fabricado en F2}
A 3 ={El artículo fue fabricado en F3}
Nótese que S = A 1 ∪ A 2 ∪ A 3 , entonces:
P B = P B A 1 P A 1 + P B A 2 P A 2 + P B A 3 P A 3
P B = 2
100 ∙ 1 2 + 2
100 ∙ 1 4 + 4
100 ∙ 1 4 = 5
200 = 0,025

Teorema de Naïve Bayes

Ejemplo: Siguiendo con el ejemplo anterior, supóngase que se escoge un artículo al azar
y que este resulta defectuoso. ¿Cuál es la probabilidad de que este artículo haya sido
producido en la primera fabrica
Solución: Deseamos calcular P(A 1 |B), usando el Teorema de Naïve Bayes, esto es:
P A 1 B = P(B|A 1) ∙ P(A 1 )
3
P(B|A j ) ∙ P(A j )
j =1
=
P(B|A 1 ) ∙ P(A 1 )
P B A 1 P A 1 + P B A 2 P A 2 + P B A 3 P A 3
P A 1 B =
2
100 ∙ 1 2
2
100 ∙ 1 2 + 2
100 ∙ 1 4 + 4
100 ∙ 1 4 = 5
200
= 0,01
0,025 = 0,4

Eventos Independientes

Ejemplo: Créditos en un Banco
Dada esta de Aprendizaje predecir para los siguientes
individuos si van a ser buenos o malos pagadores.

Ejemplo: Créditos en un Banco
Nuevos Individuos
• Se tiene una nueva fila de la base de datos t = (100,2,4,2,2,3,).
• El problema es: a partir de la tabla de aprendizaje y usando
Clasificación Bayesiana predecir si el individuo #100
corresponde a un buen pagador o a un mal pagador.
• Lo que se hace en estos caso es calcular P(Bueno|t) y P(Malo|t)
para determinar cuál es mayor, donde por bueno se entiende
que la variable BuenPagador=1 y por malo que BuenPagador=2.
• Hay que hacer los mismo con el #101 y el #102 TAREA.

Ejemplo de Clasificación Bayesiana
P Bueno t =
P(t|Bueno) ∙ P(Bueno)
P t Bueno ∙ P Bueno + P t Malo ∙ P Malo
P Bueno = 6 10 y P Malo = 4 10
Como t = (100,2,4,2,2,3,), este es un evento que corresponde realmente a 5 eventos
independientes, ser MontoCredito=2, IngresoNeto=4, CoeficienteCreditoAvaluo=2,
MontoCuota=2 y GradoAcademico=3. Así:
P t Bueno
= P (MontoCredito = 2) Bueno ∙ P IngresoNeto = 4 Bueno
∙ P CoeficienteCreditoAvaluo = 2 Bueno ∙ P (MontoCuota = 2 ) Bueno
∙ P (GradoAcademico = 3) Bueno = 2 6 ∙ 4 6 ∙ 2 6 ∙ 1 6 ∙ 1 6 = 16
7776 = 0,002.

Ejemplo de Clasificación Bayesiana
P t Malo
= P (MontoCredito = 2) Malo ∙ P IngresoNeto = 4 Malo
∙ P CoeficienteCreditoAvaluo = 2 Malo ∙ P (MontoCuota = 2 ) Malo
∙ P (GradoAcademico = 3) Malo = 0 4 ∙ 0 4 ∙ 0 4 ∙ 0 4 ∙ 0 4 = 0.
P Bueno t =
16
P(t|Bueno) ∙ P(Bueno)
P t Bueno ∙ P Bueno + P t Malo ∙ P Malo = 7776 ∙ 6
10
= 1
16
7776 ∙ 6
10 + 0 ∙ 4
10
Por lo que P Malo t = 0. Pero lo vamos a verificar:
P Malo t =
P(t|Malo) ∙ P(Malo)
P t Bueno ∙ P Bueno + P t Malo ∙ P Malo =
0 ∙
4
10
16
7776 ∙ 6
10 + 0 ∙ 4
10
Por lo que claramente el individuo #100 tiene una probabilidad máxima de ser un buen pagador.
= 0.

Naïve Bayes en R
Paquete ‘e1071’
## Instalación y carga
install.packages('e1071', dependencies = TRUE)
library(class)
library(e1071)

Ejemplo 1: IRIS.CSV
Ejemplo con la tabla de datos IRIS
IRIS Información de variables:
1.sepal largo en cm
2.sepal ancho en cm
3.petal largo en cm
4.petal ancho en cm
5.clase:
• Iris Setosa
• Iris Versicolor
• Iris Virginica

library(scatterplot3d)
> scatterplot3d(datos$p.ancho,datos$s.largo,datos$s.ancho)

library(rgl)
> D heatmap(D)

Ejemplo 1: iris.csv

Ejemplo 2:
Credit-Scoring
MuestraAprendizajeCredito2500.csv
MuestraTestCredito2500.csv

Descripción de Variables
MontoCredito
MontoCuota
1= Muy Bajo 1 =Muy Bajo
2= Bajo 2 =Bajo
3= Medio 3 =Medio
4= Alto 4 =Alto
IngresoNeto
GradoAcademico
1= Muy Bajo 1 =Bachiller
2= Bajo 2 =Licenciatura
3= Medio 3 =Maestría
4= Alto 4 =Doctorado
CoeficienteCreditoAvaluo BuenPagador
1= Muy Bajo 1 =NO
2= Bajo 2 =Si
3= Medio
4= Alto

Gracias….