UNIDAD ZACATENCO DEPARTAMENTO DE ... - Cinvestav

Índice de figuras
1.1. Resultados obtenidos de las consultas 1, 2 y 3 en Hadoop, Pig y Hive
con un log de 1GB. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
2.1. Ambiente de ejecución de MapReduce [1]. . . . . . . . . . . . . . . . 10
2.2. Flujo de datos en MapReduce [2]. . . . . . . . . . . . . . . . . . . . . 11
2.3. Componentes y subproyectos de Hadoop [2]. . . . . . . . . . . . . . . 13
2.4. Topología de un clúster Hadoop [3]. . . . . . . . . . . . . . . . . . . . 15
2.5. Interacción entre el JobTracker y TaskTracker [3]. . . . . . . . . . . . 16
2.6. Interacción de NameNode y DataNodes en HDFS [3]. Los números
entre paréntesis corresponden a los ids de los DataNodes. . . . . . . . 17
3.1. Arquitectura de hive [4]. . . . . . . . . . . . . . . . . . . . . . . . . . 31
3.2. Representación física de las estructuras de Hive en el sistema de
archivos HDFS. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.3. DAG de la consulta facebook. . . . . . . . . . . . . . . . . . . . . . . . 41
3.4. DAG y plan físico de la consulta facebook con la optimización de
reducción de la escritura a HDFS por medio de agregaciones parciales
en tareas reduce. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.5. DAG y plan físico de la consulta facebook con la optimización de sesgo
de datos en la operación GroupBy. . . . . . . . . . . . . . . . . . . . 47
3.6. Ejemplo de recorrido de un árbol con el algoritmo DFS. . . . . . . . . 51
3.7. Diagrama de actividad de una optimización en Hive. . . . . . . . . . 52
xiii