Data - Oldemar Rodríguez Rojas

PF-3845 METODOS Y ALGORITMOSEN MINERIA DE DATOSDr. Oldemar RodríguezPostgrado en Computación e InformáticaUniversidad de Costa RicaPF-3808 Minería de DatosUniversidad de Costa RicaCapítulo 1IntroducciónPF-3808 Minería de DatosUniversidad de Costa Rica1

IntroducciónMinería de Datos versus EstadísticaLa estadística generalmente analiza muestras dedatos para luego hacer inferencia a toda la población,mientras que la minería de datos pretende buscarinformación útil usando toda la base datos.La estadística en la mayoría de los casos supone quelos datos se comportan de acuerdo a ciertasdistribuciones de probabilidad (normal, binomial,geométrica, Poisson, etc), mientras que la minería dedatos usa técnicas mucho más exploratorias quevienen de la IA, o del “Analyse des Données”.PF-3808 Minería de DatosUniversidad de Costa RicaIntroducciónMinería de Datos versus Análisis de Datos‣ Con el advenimiento de las computadoras, aproximadamente en1960, un nuevo concepto surgió del “matrimonio” entre lainformática y la estadística: El Análisis de Datos (conocido encomo: Analyse des Données - Exploratory Data Analysis).‣ Esta nueva manera de analizar los datos con un objetivodecisional usa mucho más la informática y los métodos analíticos(el análisis de factorial, la clasificación automática, ladiscriminación, etc.) que los métodos estadísticos clásicos, laspruebas de hipótesis, que parten de supuestos matemáticos muydifíciles de verificar en la práctica. (Ej. no se supone que los datossiguen cierta distribución de probabilidad – los datos se muestranpor si mismos).‣ A diferencia de la minería de datos, el análisis de datosusualmente no es automatizado, ni trata con volúmenes de datostan grandes.PF-3808 Minería de DatosUniversidad de Costa Rica5

Tareas de la Minería de Datos• “Clustering”: (clasificación no supervisada, aprendizajeno supervizado): Es similar a la clasificación, excepto quelos grupos no son predefinidos. El objetivo es particionaro segmentar un conjunto de datos o individuos en gruposque pueden ser disjuntos o no. Los grupos se formanbasados en la similaridad de los datos o individuos enciertas variables. Como los grupos no son dados a prioriel experto debe dar una interpretación de los grupos quese forman.• Métodos:– Clasificación Jerárquica (grupos disjuntos).– Nubes Dinámicas (grupos disjuntos).– Clasificación Piramidal (grupos NO disjuntos).PF-3808 Minería de DatosUniversidad de Costa RicaCluster AnalysisPF-3808 Minería de DatosUniversidad de Costa Rica9

The K-Means Clustering Method (nubes dinámicas)10 1098765432100 1 2 3 4 5 6 7 8 9 1098765432100 1 2 3 4 5 6 7 8 9 101098765432100 1 2 3 4 5 6 7 8 9 101098765432100 1 2 3 4 5 6 7 8 9 10PF-3808 Minería de DatosUniversidad de Costa RicaTareas de la Minería de Datos• Clasificación (discriminación): Mapea oasocia datos a grupos predefinidos(aprendizaje supervisado).– Encuentra modelos (funciones) que describeny distinguen clases o conceptos para futuraspredicciones.– Ejemplos: Credit scoring.– Métodos: Análisis discriminante, decision-tree,classification rule, neural networkPF-3808 Minería de DatosUniversidad de Costa Rica10

v3v5v8v1v2v4v6PF-3808 Minería de DatosUniversidad de Costa RicaTareas de la Minería de Datos• Descubrimiento de Factores (Análisis Factorial):– El análisis factorial es un nombre genérico que se da a una clase de métodosmultivariantes cuyo propósito p principal p es encontrar la estructura subyacenteen una tabla de datos (factores ocultos).– Generalmente hablando, aborda el problema de cómo analizar la estructurade las interrelaciones (correlaciones) entre un gran número de variables con ladefinición de una serie de dimensiones subyacentes comunes, conocidascomo factores.– Se puede considerar cada factor como una variable dependiente que esfunción del conjunto entero de las variables observadas.– El objetivo central es el resumen y la reducción de datos.• Métodos:– Análisis en Componentes Principales (ACP).– Análisis Factorial de Correspondencias simples y múltiples (AFC).– Análisis Canónico (AC).– Análisis Discriminante (AD).PF-3808 Minería de DatosUniversidad de Costa Rica11

Tabla de DatosComponentes100% de la información 80% 16% ……0.02%PF-3808 Minería de DatosUniversidad de Costa RicaPF-3808 Minería de DatosUniversidad de Costa Rica12

Tareas de la Minería de Datos• Regresión: Se usa una regresión para predecirlos valores ausentes de una variable basándoseen su relación con otras variables del conjunto dedatos.• Hay regresión lineal, no lineal, logística,logarítmica, univariada, multivariada, etc.PF-3808 Minería de DatosUniversidad de Costa RicaRegressionyY1Y1’y = x + 1X1xPF-3808 Minería de DatosUniversidad de Costa Rica13

Tareas de la Minería de Datos• Series de Tiempo: Una serie de tiempo correspondea un conjunto de observaciones hechas respecto auna variable en momentos equidistantes en eltiempo.• Pasos:1. X t : Serie de tiempo.2. Corregir errores sistemáticos.3. Transformaciones matemáticas.4. X t =Tendencia+Estacionalidad+Ciclos+E t .5. Para E t (Si no es un ruido blanco)1. Elegir el modelo (Box-Jenkings).1. ARMA(p,q) (AutoRegressive Moving Average)2. ARIMA(p,d,q) (AutoRegressive-Integrated Moving Average)2. Estimar parámetros.6. Pronósticos.PF-3808 Minería de DatosUniversidad de Costa RicaPF-3808 Minería de DatosUniversidad de Costa Rica14

Tareas de la Minería de Datos• Sumarización:– Los métodos de sumarización asignan los datos aconjuntos (individuos de segundo orden) que tienenasociadas descripciones.– Estos métodos permiten extraer o derivar datosrepresentativos de una base de datos.– Permite el análisis de conceptos.• Métodos:– Análisis de datos simbólicos.– Lógica difusa.– Interval Analysis.PF-3808 Minería de DatosUniversidad de Costa RicaTareas de la Minería de Datos• Asociación o Análisis de afinidad:– Conocido como “Link Analysis” se refiere aencontrar relaciones no evidentes en los datos.• Métodos:– Reglas de asociación (association rules) .– Análisis de Correlation y de Causalidad.PF-3808 Minería de DatosUniversidad de Costa Rica15

Tareas de la Minería de Datos• Descubrimiento de secuencias:– “Secuential analysis” es usado para descubrirsecuencias de patrones en los datos, estospatrones son similares a los encontrados conreglas de asociación pero tales relaciones sonbasadas en el tiempo.• Métodos:– Redes neuronales.– Series de tiempo.PF-3808 Minería de DatosUniversidad de Costa RicaData Mining: On What Kind of Data?• Relational databases• Data warehouses• Transactional databases• Advanced DB and information repositories– Object-oriented and symbolic databases– Spatial databases (location component, GeographicInformation Systems - GIS)– Time-series data and temporal data– Text databases and multimedia databases– Heterogeneous and legacy databases– www (web mining)PF-3808 Minería de DatosUniversidad de Costa Rica16

Steps of a KDD Process1. Learning the application domain:– Relevant prior knowledge and goals of application2. Creating a target data set: data selection3. Data cleaning and preprocessing: (may take 60% of effort!)4. Data reduction and transformation:– Find useful features, dimensionality/variable reduction, invariantrepresentation.5. Choosing functions (methods) of data mining– Summarization, classification, regression, association, clustering.6. Choosing the mining algorithm(s)7. Data mining: search for patterns of interest8. Pattern evaluation and knowledge presentation– visualization, transformation, removing redundant patterns, etc.9. Use of discovered knowledgePF-3808 Minería de DatosUniversidad de Costa RicaCiclo de un proyecto de minería de datos1. Recolectar los datos. Usualmente las compañiastienes muchas bases de datos que deben sercentralizadas.2. Limpieza y transformación de datos.3. Definir la meta del proyecto y así encontrar elmodelo adecuado.4. Escoger los algoritmos que permitan optimizar elmodelo.5. Generar reportes.6. Generar predicciones y/o “Scoring”.7. Aplicación de los resultados en el negocio.8. Actualización de los modelos. (calibraciónconstante de los modelos)PF-3808 Minería de DatosUniversidad de Costa Rica17

Data Mining and Business IntelligenceIncreasing potentialto supportbusiness decisionsMakingDecisionsEnd UserData PresentationVisualization TechniquesData MiningInformation DiscoveryData ExplorationStatistical Analysis, Querying and ReportingBusinessAnalystDataAnalystData Warehouses / Data MartsOLAP, MDAData SourcesPaper, Files, Information Providers, Database Systems, OLTPDBAPF-3808 Minería de DatosUniversidad de Costa RicaArchitecture of a Typical Data Mining SystemGraphical user interfacePattern evaluationData mining engineDatabase or datawarehouse serverData cleaning & data integrationFilteringKnowledge-baseDatabasesDataWarehousePF-3808 Minería de DatosUniversidad de Costa Rica18

Estándares en Minería de Datos• En Minería de Datos estamos como en Base de Datos hace 20años, es decir, se están haciendo esfuerzos por definirestándares.• OLE DB for DM: define un nuevo lenguaje para la minería dedatos que permite la creación de modelos, aprendizaje ypredicción. También define un modelo de datos para los métodosy algoritmos de minería de datos.• XML for Analysis: es otro estándar de la industria y está a cargodel “XML / A Council”. Así surge el lenguaje de consultas “querylanguage Data Mining eXtensions” (DMX) que permite consultasbasadas en XML a los servidores de Minería de Datos.• SQL MM: (SQL/ Multimedia for Data Mining) fue propuesto porIBM.• Java Data Mining API. Es un paquete JAVA para minería de datospropuesto por ORACLE. El objetivo es permitir a las aplicacionesJAVA con motores de minería de datos.• PMML, Crisp-DM, CMW (extensión de UML) y otros.PF-3808 Minería de DatosUniversidad de Costa Rica¿Qué es una Bodega de Datos?(Data Warehouse)• Una bodega de datos es una base dedatos orientada a consultas, comoresultado de un análisis extenso y de latransformación de datos de la empresa.• La bodega de datos se usa como puntode partida de un sistema de toma dedecisiones (tales como OLAP, DataLab).PF-3808 Minería de DatosUniversidad de Costa Rica19

¿Qué es una Bodega de Datos?(Data Warehouse)• Una bodega de datos tiene datosconsolidados y consistentes, orientadoshacia un tema, históricos y solamentede lectura.• Una bodega de datos podría ser elresumen un conjunto de bases de datosde una empresa.PF-3808 Minería de DatosUniversidad de Costa Rica¿Qué es una Bodega de Datos?(Data Warehouse)SimbólicasoNuméricasProceso deMinería de DatosPF-3808 Minería de DatosUniversidad de Costa Rica20

Bodega de Datos vrs BDRPF-3808 Minería de DatosUniversidad de Costa Rica¿Qué es un Mercado de Datos?(Data Mart)•Un Mercado de Datos (Data Mart) tienelas mismas características que unabodega de datos, pero a un nivel másrefinado, pues contiene informaciónmás detallada perteneciente a un solodepartamento de la empresa.PF-3808 Minería de DatosUniversidad de Costa Rica21

¿Cómo se construyen las Bodegas deDatos y los Mercados de Datos?• Para esto se sigue el manual “The DataWarehouse Toolkit”.• El objetivo es evitar inconsistencias yerrores en los datos.• Este proceso en muy difícil deautomatizar dada la gran cantidad deformatos de datos que existen en lasempresas.PF-3808 Minería de DatosUniversidad de Costa RicaMinería de Datos vrs OLAP¿Qué es Minería de Datos?• Son herramientas y técnicascuyo objetivo es extraerinformación valiosa de lasbodegas de datos (DataWarehouse) y de losmercados de datos (DataMart).• Busca grupos de clientes,segmentos, patrones etc.PF-3808 Minería de DatosUniversidad de Costa Rica22

Minería de Datos vrs OLAP¿Qué es OLAP?• OLAP (Online Analytical Processing)• OLAP es una tecnología que procesainformación de una bodega de datos enestructuras multidimensionales queproporcionan una respuesta rápida a consultascomplejas.• El objetivo de OLAP es resumir y organizargrandes cantidades de datos para seanalizados y evaluados rápidamente.PF-3808 Minería de DatosUniversidad de Costa Rica¿Qué es OLAP?PF-3808 Minería de DatosUniversidad de Costa Rica23

Modelo Estrella• Tabla de Hechos (fact table): Corresponde a loshechos del negocio. En general son valoresnuméricos y sumables lo que permitirá sumarizarlos millones de registros haciendo agregados.Debe estar altamente normalizada.• Tablas de Dimensiones (dimensions tables):Permiten describir los hechos desde diferentesángulos permitiendo análisis muy diversos. Engeneral, tienen una descripción textual muy clara.Generalmente no están normalizadas.PF-3808 Minería de DatosUniversidad de Costa RicaExample of Star Schematimetime_keydayday_of_the_weekmonthquarteryearMeasuresSales Fact Tabletime_keyitem_keylocation_keyunits_solddollars_soldavg_salesitemitem_keyitem_namebrandtypesupplier_typelocationlocation_keystreetcityprovince_or_streetcountryPF-3808 Minería de DatosUniversidad de Costa Rica24

PF-3808 Minería de DatosUniversidad de Costa RicaExample of Star Schematimetime_keydayday_of_the_weekmonthquarteryearSuppliersupplier_keysupplier_namesupplier_typeMeasuresSales Fact Tabletime_keyitem_keysupplier_keylocation_keyunits_solddollars_soldavg_salesitemitem_keyitem_namebrandtypesupplier_typelocationlocation_keystreetcityprovince_or_streetcountryPF-3808 Minería de DatosUniversidad de Costa Rica25

PF-3808 Minería de DatosUniversidad de Costa Rica• OLAP (On Line Analytical Processing) fueintroducido por E.F.Codd, en creador del modelorelacional l de bases de datos, en un artículo queescribió en 1994.• El fuerte del OLAP son los cálculos agregados osumarizados. Ej. ¿Cuáles son los 10 productosmás vendidos el último mes?• Mientras que el fuerte la Minería de Datos es labúsqueda de patrones ocultos. Ej. ¿Cuál es elperfil de los compradores de cámaras digitales?PF-3808 Minería de DatosUniversidad de Costa Rica26

Una Bodega de Datos (Data Warehouse) es un sistema que toma los datosde una compañía (de sus bases de datos y de otras fuentes de los datos) y lostransforma en una estructura adecuada para el Análisis de Datos. Se realizan a menudo algoritmos matemáticos en los datos previamenteorganizados para llevar más allá su utilidad para la toma decisiones en losnegocios. El análisis de los datos se ejecuta básicamente de dos formas. La primera requiere de una persona que investigue los datos paraencontrar las tendencias y patrones. Este método se conoce como “OnLine Analytical Processing” (OLAP.) La segunda forma utiliza algoritmos y métodos matemáticos paraescrudiñar los datos y buscar así las tendencias y patrones. Este métodose llama la Minería de Datos. Los Mercados de Datos (Data Mart) pueden pensarse de cómo Bodegas demini-datos y usualmente son parte de una Bodega de Datos más grande.Generalmente están orientados a un tema en particular.PF-3808 Minería de DatosUniversidad de Costa RicaPF-3808 Minería de DatosUniversidad de Costa Rica27

Definiciones importantes en Bodegas de Datos‣ Dos tipos tablas conforman una Bodega de datos: las Tablas de Hechos ylas Tablas de Dimensión.‣ Una Tablas de Hechos contiene típicamente los datos concernientes anegocios tales como las total de ventas, cantidad de las ventas, el númerode clientes, y las llaves foráneas de las Tablas de Dimensión.‣ Una llave foránea es un campo que liga la Tabla de Hechos con las Tablasde Dimensión‣ Las Tablas de Dimensión contienen la información detallada referente aun atributos específico co de la Tabla a de Hechos, como o los detalles es delproducto, del cliente, la información de la tienda, y así sucesivamente.PF-3808 Minería de DatosUniversidad de Costa RicaLa Tabla de Hechos La Tabla de Hechos tiene como meta extraer los datos más importantesdesde el punto de vista de la toma de decisiones para el negocio. Esta tabla se estructura de manera tal que facilite la manipulación numéricade los datos. Así esta tabla usualmente NO será una tabla normalizada. Más bien, los datos muchas veces son agregaciones de otros por lo que setienen muchos datos pre-calculados con el objetivo de facilitar y optimizar laconsulta.PF-3808 Minería de DatosUniversidad de Costa Rica28

Tablas de Dimensiones‣ La Tabla de Hechos típicamente tiene datos cuantitativos; por ejemplo, losdatos de transacción que muestran número de unidades vendidas en cada laventa y cantidad cobrada al cliente por la unidad vendida.‣ Mientras que las Tablas de Dimensión contienen la información detalladareferente a un atributos específico de la Tabla de Hechos, como los detalles delproducto, del cliente, la información de la tienda, y así sucesivamente.PF-3808 Minería de DatosUniversidad de Costa RicaDimensiones‣ Para Entender que significa un Cubo, que es el corazón de análisisOLAP, se debe entender la naturaleza de las dimensiones primero.‣ Un OLAP está basado en las Bases de Datos Multidimensionales, porqueliteralmente se hace un análisis de datos observando las relaciones entrelas diferentes dimensiones tales como: Tiempo, Ventas, Productos,Clientes, Empleados, Ubicación Geográfica o Cuentas.‣ Las dimensiones están basadas a menudo en jerarquías. Las jerarquíasson entidades lógicas que un usuario podría querer analizar. Cadajerarquía puede tener uno o más niveles.PF-3808 Minería de DatosUniversidad de Costa Rica29

Cubos Un cubo es una estructura de datos multidimensional en el que se puedeconsultar información para la toma de decisiones. Se pueden construir los cubos desde una o más tablas de hechos y susdimensiones. Un cubo dado normalmente tiene un tema dominante bajo el cual se quierehacer el análisis. Por ejemplo, se podría construir un cubo de las Ventas con elque se analizan las ventas por la región, o un cubo de Proceso de Llamada conque se analiza longitud de llamada.PF-3808 Minería de DatosUniversidad de Costa Rica En la siguiente Figura se muestra un cubo de Ventas de Cerveza. Considerela cara delantera del cubo que muestra números positivos. Este cubo tienetres dimensiones: i Tiempo, Línea del Producto, y Etd Estado dónded el producto fuevendido. Cada bloque del cubo se llama una celda y se identifica por un miembro encada dimensión. Por ejemplo, analice la celda de la esquina inferior-izquierda,la cual tiene los valores 4,784 y $98,399. Los valores indican el número deventas y el monto de las ventas. Esta celda se refiere a las ventas de Cervezainglesa (Ale) en el estado de Washington (WA) durante julio del 2005. Esto serepresenta como [WA, Ale, el Jul ' 05]. Si algunas celdas no tienen valor; esto es porque ningún dato está disponiblepara esas celdas en la tabla de hecho.PF-3808 Minería de DatosUniversidad de Costa Rica30

PF-3808 Minería de DatosUniversidad de Costa RicaEl esquema tipo EstrellaEste esquema se conoce así porque cuando se hace un diagrama entidadrelaciónde la tabla de hechos con las llaves foráneas más importantes deuna o más tablas de dimensión se tiene un esquema que parece unaestrella ¿cierto?PF-3808 Minería de DatosUniversidad de Costa Rica31

El esquema tipo Copo de Nieve (Snowflake)Hay que una extensión del Esquema Estrella conocido como el esquema del“Copo de Nieve”. Este tipo esquema es útil cuando una o más de tablas dedimensión son a su vez una tablas de hechos.PF-3808 Minería de DatosUniversidad de Costa Rica1. Cargar “SQL Server Business Intelligence Development Studio”PF-3808 Minería de DatosUniversidad de Costa Rica32

2. Crear un proyecto en BIDS (Business Intelligence Development Studio)File New ProjectPF-3808 Minería de DatosUniversidad de Costa RicaCarpetas de un proyecto:PF-3808 Minería de DatosUniversidad de Costa Rica33

3. Crear el “Data Source” (Conexión a la Base de Datos)PF-3808 Minería de DatosUniversidad de Costa Rica4. Crear el “Data Source View (DSV)” (Vistas Lógicas de las Tablas)PF-3808 Minería de DatosUniversidad de Costa Rica34

PF-3808 Minería de DatosUniversidad de Costa Rica5. Crear un Cubo usando el “Cube Wizard” (Método Botton-up,es decir se construye el cubo a partir de una base de datos)PF-3808 Minería de DatosUniversidad de Costa Rica35

PF-3808 Minería de DatosUniversidad de Costa Rica6. Desplegando y visualizando un CuboPF-3808 Minería de DatosUniversidad de Costa Rica36

Introducción a MDX (Multi-Dimensional eXpressions)‣ Así como SQL (Structured Query Language) es un lenguaje deconsultas para recuperar datos de las bases de datos relacionales,MDX (Multi-Dimensional eXpressions) es es un lenguaje de consultaspara recuperar datos de las bases de datos multi-dimensionalesi l(Cubos-OLAP).‣ MDX fue diseñado por Microsoft e introducido por primera vez en elBIDS 7.0 en 1998.‣ Members: Cada jerarquía de una dimensión contiene uno o más“Items” llamados los miembros. Ej.• [ Date ].[ Calendar ].[ Calendar Quarter ].[ Q1 CY 2004 ]PF-3808 Minería de DatosUniversidad de Costa Rica‣ CelIs (Celdas): Una Celda es una entidad de la que se pueden recuperardatos que corresponde a la intersección de los Miembros de dimensiones.PF-3808 Minería de DatosUniversidad de Costa Rica37

‣ Tuples (Tuplas): Una Tupla única identifica una celda o una sección de uncubo.‣ Ejemplos:• [Dim Product].[Large Photo].&[213]• [Dim Sales Territory].[Sales Territory Region].[Canada]‣ Sets (Conjuntos): Un Set es una colección de tuplas unidas por “and”.‣ Ejemplos:• ([ Date ].[ Calendar ].[ 2004 ].[ Hl CY 2004 ].[ Q1 CY 2004 ],[ Product ].[ Product Line ].[ Mountain ],[ Customer ].[ Country ].[ Australia ])PF-3808 Minería de DatosUniversidad de Costa Rica¿Dónde ejecutar un Query MDX? SSMS: SQL Server Management StudioPF-3808 Minería de DatosUniversidad de Costa Rica38

PF-3808 Minería de DatosUniversidad de Costa RicaPF-3808 Minería de DatosUniversidad de Costa Rica39

Ejemplo 1:SELECT [Measures].[Sales Amount] on COLUMNSFROM [Adventure Works DW]WHERE ([Dim Sales Territory].[Sales Territory Group].[Pacific],[Dim Promotion].[English Promotion Category].[Reseller])PF-3808 Minería de DatosUniversidad de Costa RicaEjemplo 2:SELECT [Measures].[Discount Amount - Fact Reseller Sales] onCOLUMNSFROM [Adventure Works DW]WHERE ([Dim Product].[Large Photo].&[213],[Dim Sales Territory].[Sales Territory Region].[Canada])])PF-3808 Minería de DatosUniversidad de Costa Rica40

Analizado Cuboscon Excel 2007PF-3808 Minería de DatosUniversidad de Costa RicaPaso 1: Establecer la conexión entre Excel y el BIDSPF-3808 Minería de DatosUniversidad de Costa Rica41

PF-3808 Minería de DatosUniversidad de Costa RicaPaso 2: Creando el cubo en Excel a través de una tabla dinámicaPF-3808 Minería de DatosUniversidad de Costa Rica42

PF-3808 Minería de DatosUniversidad de Costa RicaPF-3808 Minería de DatosUniversidad de Costa Rica43

Paso 3: Generando gráficosPF-3808 Minería de DatosUniversidad de Costa RicaGracias….PF-3808 Minería de DatosUniversidad de Costa Rica44