bodega de datos - Oldemar Rodríguez Rojas

PF-3845 METODOS Y ALGORITMOSEN MINERIA DE DATOSDr. Oldemar RodríguezPostgrado en Computación e InformáticaUniversidad de Costa Rica Capítulo 1Introducción 1

Introducción¿Qué es Minería de Datos?– Extracción de información o de patrones(no trivial, implícita, previamentedesconocida y potencialmente útil) degrandes bases de datos. Introducción¿Qué es Minería de Datos?– Es analizar datos para encontrar patronesocultos usando medios automatizados. 2

Introducción¿Qué es Minería de Datos?– La Minería de Datos es un proceso no elemental debúsqueda de relaciones, correlaciones,dependencias, asociaciones, modelos, estructuras,tendencias, clases (clusters), segmentos, los cualesque se obtienen de grandes juegos de datos, loscuales generalmente están almacenados en bases dedatos (relacionales o no).– Esta búsqueda se lleva a cabo utilizando métodosmatemáticos, estadísticos o algorítmicos. Introducción¿Qué es Minería de Datos?– Se considera la Minería de Datos como un elproceso, lo más automatizado posible, qué va de losdatos elementales disponibles en una Bodega deDatos a la decisión.– El objetivo principal de la Minería de Datos es crearun proceso automatizado que toma como punto departida los datos y cuya meta es la ayuda a la tomade decisiones. 3

IntroducciónMinería de Datos versus KDD (KnowledgeDiscovery in Databases)– Usualmente ambos términos sonintercambiables.KDD (Knowledge Discovery in Databases): Esel proceso de encontrar información y/opatrones útiles en los datos.Minería de Datos: es el uso de algoritmos paraextraer información y/o patrones derivados delproceso KDD. Minería de Datos: A KDD Process• La Minería de Datos:Es el centro del proceso de descubrimiento del conocimiento(KDD Process = Knowledge Discovery in Data Bases Process). 4

IntroducciónMinería de Datos versus EstadísticaLa estadística generalmente analiza muestras dedatos para luego hacer inferencia a toda la población,mientras que la minería de datos pretende buscarinformación útil usando toda la base datos.La estadística en la mayoría de los casos supone quelos datos se comportan de acuerdo a ciertasdistribuciones de probabilidad (normal, binomial,geométrica, Poisson, etc), mientras que la minería dedatos usa técnicas mucho más exploratorias quevienen de la IA, o del “Analyse des Données”. IntroducciónMinería de Datos versus Análisis de DatosCon el advenimiento de las computadoras, aproximadamente en1960, un nuevo concepto surgió del “matrimonio” entre lainformática y la estadística: El Análisis de Datos (conocido encomo: Analyse des Données - Exploratory Data Analysis).Esta nueva manera de analizar los datos con un objetivodecisional usa mucho más la informática y los métodos analíticos(el análisis de factorial, la clasificación automática, ladiscriminación, etc.) que los métodos estadísticos clásicos, laspruebas de hipótesis, que parten de supuestos matemáticos muydifíciles de verificar en la práctica. (Ej. no se supone que los datossiguen cierta distribución de probabilidad – los datos se muestranpor si mismos).A diferencia de la minería de datos, el análisis de datosusualmente no es automatizado, ni trata con volúmenes de datostan grandes. 5

La Minería de Datos: Confluencia de Múltiples Disciplinas "$ %&'# !" # Aplicaciones de la Minería de Datos• Retención de Clientes ¿Cuáles clientes se van irpara la competencia?• Patrones de Compra ¿Cuándo un cliente compraun producto cuál otro le podría interesar?• Detección de Fraude ¿Cuáles transacciones sonfraudulentas?• Manejo del Riesgo ¿A qué clientes les doy unpréstamo?• Segmentación de clientes ¿Quiénes son misclientes?• Predicción de Ventas ¿Cuánto voy a vender elpróximos mes? 7

Tareas de la Minería de Datos• Descriptivas:– OLAP (visualización).– “Clustering”.– Métodos Factoriales como ACP, AFC.• Predictivas:– Series de Tiempo.– Análisis Discriminante.– Regresión.– Árboles de Decisión. Tareas de la Minería de Datos• “Clustering”: (clasificación no supervisada, aprendizajeno supervizado): Es similar a la clasificación, excepto quelos grupos no son predefinidos. El objetivo es particionaro segmentar un conjunto de datos o individuos en gruposque pueden ser disjuntos o no. Los grupos se formanbasados en la similaridad de los datos o individuos enciertas variables. Como los grupos no son dados a prioriel experto debe dar una interpretación de los grupos quese forman.• Métodos:– Clasificación Jerárquica (grupos disjuntos).– Nubes Dinámicas (grupos disjuntos).– Clasificación Piramidal (grupos NO disjuntos). 8

Cluster Analysis The K-Means Clustering Method (nubes dinámicas)1098765432100 1 2 3 4 5 6 7 8 9 101098765432100 1 2 3 4 5 6 7 8 9 101098765432100 1 2 3 4 5 6 7 8 9 101098765432100 1 2 3 4 5 6 7 8 9 10 9

Tareas de la Minería de Datos• Clasificación (discriminación): Mapea oasocia datos a grupos predefinidos(aprendizaje supervisado).– Encuentra modelos (funciones) que describeny distinguen clases o conceptos para futuraspredicciones.– Ejemplos: Credit scoring.– Métodos: Análisis discriminante, decision-tree,classification rule, neural network v3v5v8v1v2v4v6 10

Tareas de la Minería de Datos• Descubrimiento de Factores (Análisis Factorial):– El análisis factorial es un nombre genérico que se da a una clase de métodosmultivariantes cuyo propósito principal es encontrar la estructura subyacenteen una tabla de datos (factores ocultos).– Generalmente hablando, aborda el problema de cómo analizar la estructurade las interrelaciones (correlaciones) entre un gran número de variables con ladefinición de una serie de dimensiones subyacentes comunes, conocidascomo factores.– Se puede considerar cada factor como una variable dependiente que esfunción del conjunto entero de las variables observadas.– El objetivo central es el resumen y la reducción de datos.• Métodos:– Análisis en Componentes Principales (ACP).– Análisis Factorial de Correspondencias simples y múltiples (AFC).– Análisis Canónico (AC).– Análisis Discriminante (AD). Tabla de DatosComponentes100% de la información 80% 16% …… 0.02% 11

Tareas de la Minería de Datos• Regresión: Se usa una regresión para predecirlos valores ausentes de una variable basándoseen su relación con otras variables del conjunto dedatos.• Hay regresión lineal, no lineal, logística,logarítmica, univariada, multivariada, etc. 12

RegressionyY1Y1’y = x + 1X1x Tareas de la Minería de Datos• Series de Tiempo: 1. X t : Serie de tiempo.2. Corregir errores sistemáticos.3. Transformaciones matemáticas.4. X t =Tendencia+Estacionalidad+Ciclos+E t .5. Para E t (Si no es un ruido blanco)1. Elegir el modelo (Box-Jenkings).1. ARMA(p,q) (AutoRegressive Moving Average)2. ARIMA(p,d,q) (AutoRegressive-Integrated Moving Average)2. Estimar parámetros.6. Pronósticos. 13

Tareas de la Minería de Datos• Sumarización:– Los métodos de sumarización asignan los datos aconjuntos (individuos de segundo orden) que tienenasociadas descripciones.– Estos métodos permiten extraer o derivar datosrepresentativos de una base de datos.– Permite el análisis de conceptos.• Métodos:– Análisis de datos simbólicos.– Lógica difusa.– Interval Analysis. 14

Tareas de la Minería de Datos• Asociación o Análisis de afinidad:– Conocido como “Link Analysis” se refiere aencontrar relaciones no evidentes en los datos.• Métodos:– Reglas de asociación (association rules) .– Análisis de Correlation y de Causalidad. Tareas de la Minería de Datos• Descubrimiento de secuencias:– “Secuential analysis” es usado para descubrirsecuencias de patrones en los datos, estospatrones son similares a los encontrados conreglas de asociación pero tales relaciones sonbasadas en el tiempo.• Métodos:– Redes neuronales.– Series de tiempo. 15

Data Mining: On What Kind of Data?• Relational databases• Data warehouses• Transactional databases• Advanced DB and information repositories– Object-oriented and symbolic databases– Spatial databases (location component, GeographicInformation Systems - GIS)– Time-series data and temporal data– Text databases and multimedia databases– Heterogeneous and legacy databases– www (web mining) Steps of a KDD Process1. Learning the application domain:– Relevant prior knowledge and goals of application2. Creating a target data set: data selection3. Data cleaning and preprocessing: (may take 60% of effort!)4. Data reduction and transformation:– Find useful features, dimensionality/variable reduction, invariantrepresentation.5. Choosing functions (methods) of data mining– Summarization, classification, regression, association, clustering.6. Choosing the mining algorithm(s)7. Data mining: search for patterns of interest8. Pattern evaluation and knowledge presentation– visualization, transformation, removing redundant patterns, etc.9. Use of discovered knowledge 16

Ciclo de un proyecto de minería de datos1. Recolectar los datos. Usualmente las compañiastienes muchas bases de datos que deben sercentralizadas.2. Limpieza y transformación de datos.3. Definir la meta del proyecto y así encontrar elmodelo adecuado.4. Escoger los algoritmos que permitan optimizar elmodelo.5. Generar reportes.6. Generar predicciones y/o “Scoring”.7. Aplicación de los resultados en el negocio.8. Actualización de los modelos. (calibraciónconstante de los modelos) Data Mining and Business IntelligenceIncreasing potentialto supportbusiness decisionsMakingDecisionsEnd UserData PresentationVisualization TechniquesData MiningInformation DiscoveryData ExplorationStatistical Analysis, Querying and ReportingBusinessAnalystDataAnalystData Warehouses / Data MartsOLAP, MDAData SourcesPaper, Files, Information Providers, Database Systems, OLTPDBA 17

Architecture of a Typical Data Mining System+ * &! & " ( ) *&Data cleaning & data integrationFiltering,)(DatabasesDataWarehouse Estándares en Minería de Datos• En Minería de Datos estamos como en Base de Datos hace 20años, es decir, se están haciendo esfuerzos por definirestándares.• OLE DB for DM: define un nuevo lenguaje para la minería dedatos que permite la creación de modelos, aprendizaje ypredicción. También define un modelo de datos para los métodosy algoritmos de minería de datos.• XML for Analysis: es otro estándar de la industria y está a cargodel “XML / A Council”. Así surge el lenguaje de consultas “querylanguage Data Mining eXtensions” (DMX) que permite consultasbasadas en XML a los servidores de Minería de Datos.• SQL MM: (SQL/ Multimedia for Data Mining) fue propuesto porIBM.• Java Data Mining API. Es un paquete JAVA para minería de datospropuesto por ORACLE. El objetivo es permitir a las aplicacionesJAVA con motores de minería de datos.• PMML, Crisp-DM, CMW (extensión de UML) y otros. 18

¿Qué es una Bodega de Datos?(Data Warehouse)• Una bodega de datos es una base dedatos orientada a consultas, comoresultado de un análisis extenso y de latransformación de datos de la empresa.• La bodega de datos se usa como puntode partida de un sistema de toma dedecisiones (tales como OLAP, DataLab). ¿Qué es una Bodega de Datos?(Data Warehouse)• Una bodega de datos tiene datosconsolidados y consistentes, orientadoshacia un tema, históricos y solamentede lectura.• Una bodega de datos podría ser elresumen un conjunto de bases de datosde una empresa. 19

¿Qué es una Bodega de Datos?(Data Warehouse)SimbólicasoNuméricasProceso deMinería de Datos Bodega de Datos vrs BDR 20

¿Qué es un Mercado de Datos?(Data Mart)• Un Mercado de Datos (Data Mart) tienelas mismas características que unabodega de datos, pero a un nivel másrefinado, pues contiene informaciónmás detallada perteneciente a un solodepartamento de la empresa. ¿Cómo se construyen las Bodegas deDatos y los Mercados de Datos?• Para esto se sigue el manual “The DataWarehouse Toolkit”.• El objetivo es evitar inconsistencias yerrores en los datos.• Este proceso en muy difícil deautomatizar dada la gran cantidad deformatos de datos que existen en lasempresas. 21

Minería de Datos vrs OLAP¿Qué es Minería de Datos?• Son herramientas y técnicascuyo objetivo es extraerinformación valiosa de lasbodegas de datos (DataWarehouse) y de losmercados de datos (DataMart).• Busca grupos de clientes,segmentos, patrones etc. Minería de Datos vrs OLAP¿Qué es OLAP?• OLAP (Online Analytical Processing)• OLAP es una tecnología que procesainformación de una bodega de datos enestructuras multidimensionales queproporcionan una respuesta rápida a consultascomplejas.• El objetivo de OLAP es resumir y organizargrandes cantidades de datos para seanalizados y evaluados rápidamente. 22

¿Qué es OLAP? Modelo Estrella• Tabla de Hechos (fact table): Corresponde a loshechos del negocio. En general son valoresnuméricos y sumables lo que permitirá sumarizarlos millones de registros haciendo agregados.Debe estar altamente normalizada.• Tablas de Dimensiones (dimensions tables):Permiten describir los hechos desde diferentesángulos permitiendo análisis muy diversos. Engeneral, tienen una descripción textual muy clara.Generalmente no están normalizadas. 23

Example of Star Schematimetime_keydayday_of_the_weekmonthquarteryearMeasuresSales Fact Tabletime_keyitem_keylocation_keyunits_solddollars_soldavg_salesitemitem_keyitem_namebrandtypesupplier_typelocationlocation_keystreetcityprovince_or_streetcountry 24

Example of Star Schematimetime_keydayday_of_the_weekmonthquarteryearSuppliersupplier_keysupplier_namesupplier_typeMeasuresSales Fact Tabletime_keyitem_keysupplier_keylocation_keyunits_solddollars_soldavg_salesitemitem_keyitem_namebrandtypesupplier_typelocationlocation_keystreetcityprovince_or_streetcountry 25

• OLAP (On Line Analytical Processing) fueintroducido por E.F.Codd, en creador del modelorelacional de bases de datos, en un artículo queescribió en 1994.• El fuerte del OLAP son los cálculos agregados osumarizados. Ej. ¿Cuáles son los 10 productosmás vendidos el último mes?• Mientras que el fuerte la Minería de Datos es labúsqueda de patrones ocultos. Ej. ¿Cuál es elperfil de los compradores de cámaras digitales? Una Bodega de Datos (Data Warehouse) es un sistema que toma los datosde una compañía (de sus bases de datos y de otras fuentes de los datos) y lostransforma en una estructura adecuada para el Análisis de Datos. Se realizan a menudo algoritmos matemáticos en los datos previamenteorganizados para llevar más allá su utilidad para la toma decisiones en losnegocios. El análisis de los datos se ejecuta básicamente de dos formas. La primera requiere de una persona que investigue los datos paraencontrar las tendencias y patrones. Este método se conoce como “OnLine Analytical Processing” (OLAP.) La segunda forma utiliza algoritmos y métodos matemáticos paraescrudiñar los datos y buscar así las tendencias y patrones. Este métodose llama la Minería de Datos. Los Mercados de Datos (Data Mart) pueden pensarse de cómo Bodegas demini-datos y usualmente son parte de una Bodega de Datos más grande.Generalmente están orientados a un tema en particular. 26

Definiciones importantes en Bodegas de Datos Dos tipos tablas conforman una Bodega de datos: las Tablas de Hechos ylas Tablas de Dimensión. Una Tablas de Hechos contiene típicamente los datos concernientes anegocios tales como las total de ventas, cantidad de las ventas, el númerode clientes, y las llaves foráneas de las Tablas de Dimensión. Una llave foránea es un campo que liga la Tabla de Hechos con las Tablasde Dimensión Las Tablas de Dimensión contienen la información detallada referente aun atributos específico de la Tabla de Hechos, como los detalles delproducto, del cliente, la información de la tienda, y así sucesivamente. 27

La Tabla de Hechos La Tabla de Hechos tiene como meta extraer los datos más importantesdesde el punto de vista de la toma de decisiones para el negocio. Esta tabla se estructura de manera tal que facilite la manipulación numéricade los datos. Así esta tabla usualmente NO será una tabla normalizada. Más bien, los datos muchas veces son agregaciones de otros por lo que setienen muchos datos pre-calculados con el objetivo de facilitar y optimizar laconsulta. Tablas de Dimensiones La Tabla de Hechos típicamente tiene datos cuantitativos; por ejemplo, losdatos de transacción que muestran número de unidades vendidas en cada laventa y cantidad cobrada al cliente por la unidad vendida. Mientras que las Tablas de Dimensión contienen la información detalladareferente a un atributos específico de la Tabla de Hechos, como los detalles delproducto, del cliente, la información de la tienda, y así sucesivamente. 28

Dimensiones Para Entender que significa un Cubo, que es el corazón de análisisOLAP, se debe entender la naturaleza de las dimensiones primero. Un OLAP está basado en las Bases de Datos Multidimensionales, porqueliteralmente se hace un análisis de datos observando las relaciones entrelas diferentes dimensiones tales como: Tiempo, Ventas, Productos,Clientes, Empleados, Ubicación Geográfica o Cuentas. Las dimensiones están basadas a menudo en jerarquías. Las jerarquíasson entidades lógicas que un usuario podría querer analizar. Cadajerarquía puede tener uno o más niveles. Cubos Un cubo es una estructura de datos multidimensional en el que se puedeconsultar información para la toma de decisiones. Se pueden construir los cubos desde una o más tablas de hechos y susdimensiones. Un cubo dado normalmente tiene un tema dominante bajo el cual se quierehacer el análisis. Por ejemplo, se podría construir un cubo de las Ventas con elque se analizan las ventas por la región, o un cubo de Proceso de Llamada conque se analiza longitud de llamada. 29

En la siguiente Figura se muestra un cubo de Ventas de Cerveza. Considerela cara delantera del cubo que muestra números positivos. Este cubo tienetres dimensiones: Tiempo, Línea del Producto, y Estado dónde el producto fuevendido. Cada bloque del cubo se llama una celda y se identifica por un miembro encada dimensión. Por ejemplo, analice la celda de la esquina inferior-izquierda,la cual tiene los valores 4,784 y $98,399. Los valores indican el número deventas y el monto de las ventas. Esta celda se refiere a las ventas de Cervezainglesa (Ale) en el estado de Washington (WA) durante julio del 2005. Esto serepresenta como [WA, Ale, el Jul ' 05]. Si algunas celdas no tienen valor; esto es porque ningún dato está disponiblepara esas celdas en la tabla de hecho. 30

El esquema tipo EstrellaEste esquema se conoce así porque cuando se hace un diagrama entidadrelaciónde la tabla de hechos con las llaves foráneas más importantes deuna o más tablas de dimensión se tiene un esquema que parece unaestrella ¿cierto? El esquema tipo Copo de Nieve (Snowflake)Hay que una extensión del Esquema Estrella conocido como el esquema del“Copo de Nieve”. Este tipo esquema es útil cuando una o más de tablas dedimensión son a su vez una tablas de hechos. 31

1. Cargar “SQL Server Business Intelligence Development Studio” 2. Crear un proyecto en BIDS (Business Intelligence Development Studio)File New Project 32

Carpetas de un proyecto: 3. Crear el “Data Source” (Conexión a la Base de Datos) 33

Adventureworks Sample DatabaseThe AdventureWorks sample databases are for the ficticious AdventureWorks-- a large, multinational manufacturing company. "The company manufacturesand sells metal and composite bicycles to North American, European and Asiancommercial markets. While its base operation is located in Bothell, Washingtonwith 290 employees, several regional sales teams are located throughout theirmarket base. In 2000, Adventure Works Cycles bought a small manufacturingplant, Importadores Neptuno, located in Mexico. Importadores Neptunomanufactures several critical subcomponents for the Adventure Works Cyclesproduct line. These subcomponents are shipped to the Bothell location for finalproduct assembly. In 2001, Importadores Neptuno became the solemanufacturer and distributor of the touring bicycle product group. Coming off asuccessful fiscal year, Adventure Works Cycles is looking to broaden its marketshare by targeting their sales to their best customers, extending their productavailability through an external Web site, and reducing their cost of salesthrough lower production costs." 4. Crear el “Data Source View (DSV)” (Vistas Lógicas de las Tablas) 34

5. Crear un Cubo usando el “Cube Wizard” (Método Botton-up,es decir se construye el cubo a partir de una base de datos) 35

6. Desplegando y visualizando un Cubo Introducción a MDX (Multi-Dimensional eXpressions) Así como SQL (Structured Query Language) es un lenguaje deconsultas para recuperar datos de las bases de datos relacionales,MDX (Multi-Dimensional eXpressions) es es un lenguaje de consultaspara recuperar datos de las bases de datos multi-dimensionales(Cubos-OLAP). MDX fue diseñado por Microsoft e introducido por primera vez en elBIDS 7.0 en 1998. Members: Cada jerarquía de una dimensión contiene uno o más“Items” llamados los miembros. Ej.• [ Date ].[ Calendar ].[ Calendar Quarter ].[ Q1 CY 2004 ] 37

CelIs (Celdas): Una Celda es una entidad de la que se pueden recuperardatos que corresponde a la intersección de los Miembros de dimensiones. Tuples (Tuplas): Una Tupla única identifica una celda o una sección de uncubo. Ejemplos:• [Dim Product].[Large Photo].&[213]• [Dim Sales Territory].[Sales Territory Region].[Canada] Sets (Conjuntos): Un Set es una colección de tuplas unidas por “and”. Ejemplos:• ([ Date ].[ Calendar ].[ 2004 ].[ Hl CY 2004 ].[ Q1 CY 2004 ],[ Product ].[ Product Line ].[ Mountain ],[ Customer ].[ Country ].[ Australia ]) 38

¿Dónde ejecutar un Query MDX? SSMS: SQL Server Management Studio 39

Ejemplo 1:SELECT [Measures].[Sales Amount] on COLUMNSFROM [Adventure Works DW]WHERE ([Dim Sales Territory].[Sales Territory Group].[Pacific],[Dim Promotion].[English Promotion Category].[Reseller]) 40

Ejemplo 2:SELECT [Measures].[Discount Amount - Fact Reseller Sales] onCOLUMNSFROM [Adventure Works DW]WHERE ([Dim Product].[Large Photo].&[213],[Dim Sales Territory].[Sales Territory Region].[Canada]) Analizado Cuboscon Excel 2007 41

Paso 1: Establecer la conexión entre Excel y el BIDS 42

Paso 2: Creando el cubo en Excel a través de una tabla dinámica 43

Paso 3: Generando gráficos 44

Gracias…. 45