UNIDAD ZACATENCO DEPARTAMENTO DE ... - Cinvestav

More documents

Recommendations

Info

xvi ÍNDICE <strong>DE</strong> FIGURAS 6.3. Tiempo de ejecución del 1er. Grupo de experimentos con 8GB. . . . . 131 6.4. Tiempo de ejecución del 1er. Grupo de experimentos con 16GB. . . . 132 6.5. Tiempos de ejecución de la consulta q1c procesando 16GB de datos en 8, 16 y 20 nodos. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135 6.6. Tiempos de ejecución de las consultas q2c y q3c procesando 16GB en 8, 16 y 20 nodos. Obsérvese como se disminuye el tiempo de ejecución de las consultas de acuerdo al nivel de paralelismo. . . . . . . . . . . 136 6.7. Tiempos de ejecución de las consultas q2t y q3t procesando 16GB de datos en 8, 16 y 20 nodos. Obsérvese que los tiempos de ejecución de la tabla q2t no se disminuye conforme se aumentan los nodos, esto se debe a que la consulta procesa tablas con pocos datos y al parecer MapReduce no es escalable con pocos datos. Por lo otro lado, los tiempos de ejecución de la consulta q3t si se reducen conforme se aumentan nodos debido a que involucra tablas con una mayor cantidad de datos. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136 6.8. Tiempos de ejecución de las consultas q11t y q13t procesando 16GB de datos en 8, 16 y 20 nodos. Obsérvese que los tiempos de ejecución de ambas consultas no se disminuye conforme aumentan los nodos, esto se debe a que ambas consultas procesan tablas con pocos datos y al parecer MapReduce no es escalable con pocos datos. . . . . . . . . . . 137 6.9. Tiempo de ejecución de la consulta q1c con 16GB de datos de entrada de manera constante, 8 nodos, variando la cantidad de tareas reduce. 142 6.10. Tiempo de ejecución de la consulta q2c con 16GB de datos de entrada de manera constante, 8 nodos, variando la cantidad de tareas reduce. 142 6.11. Tiempo de ejecución de la consulta q3c con 16GB de datos de entrada de manera constante, 8 nodos, variando la cantidad de tareas reduce. 143 6.12. Tiempo de ejecución de la consulta q2t con 16GB de datos de entrada de manera constante, 8 nodos, variando la cantidad de tareas reduce. 143
ÍNDICE <strong>DE</strong> FIGURAS xvii 6.13. Tiempo de ejecución de la consulta q3t con 16GB de datos de entrada de manera constante, 8 nodos, variando la cantidad de tareas reduce. 144 6.14. Tiempo de ejecución de la consulta q11t con 16GB de datos de entrada de manera constante, 8 nodos, variando la cantidad de tareas reduce. 144 6.15. Tiempo de ejecución de la consulta q13t con 16GB de datos de entrada de manera constante, 8 nodos, variando la cantidad de tareas reduce. 145 A.1. DAG y plan físico de la consulta 2 de Chatziantoniou sin nuestra optimización. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158 A.2. Datos en las estructuras de datos que se utilizan en la entidad GraphWalker para la consulta 2 de Chatziantoniou. . . . . . . . . . . 159 A.3. DAG y plan físico de la consulta 11 de tpch sin nuestra optimización. 160 A.4. Datos en las estructuras de datos que se utilizan en la entidad GraphWalker para la consulta 11 del estudio TPC-H. . . . . . . . . . 161 A.5. Datos en las estructuras de datos que se utilizan en la entidad Dispatcher para la consulta 2 de Chatziantoniou. . . . . . . . . . . . 165 A.6. Datos en las estructuras de datos que se utilizan en la entidad Dispatcher para la consulta 11 del estudio de mercado TPC-H. . . . . 165 A.7. DAG y plan físico de la consulta 2 de Chatziantoniou con nuestra optimización. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174 A.8. DAG y plan físico de la consulta 11 del estudio de mercado TPC-H con nuestra optimización. . . . . . . . . . . . . . . . . . . . . . . . . 176 B.1. Diagrama de paquetes del optimizador de consultas HiveQL. . . . . . 178 B.2. Diagrama de clases que muestra las interfaces y clases base de cualquier optimización de consultas HiveQL en Hive. . . . . . . . . . . . . . . . 179 B.3. Diagrama de clases que muestra las clases que representan a los operadores Hive. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180
Page 1: Centro de Investigación y de Estud
Page 5: Abstract MapReduce is a programming
Page 8 and 9: viii AGRADECIMIENTOS Granados, Cint
Page 10 and 11: x ÍNDICE GENERAL 3.3.1. Lenguaje d
Page 12 and 13: xii ÍNDICE GENERAL C. Número de t
Page 14 and 15: xiv ÍNDICE DE FIGURAS 3.8. Formas
Page 18 and 19: xviii ÍNDICE DE FIGURAS B.4. Diagr
Page 20 and 21: xx ÍNDICE DE TABLAS C.4. Número d
Page 22 and 23: 2 gerencia para la toma de decision
Page 24 and 25: 4 (a) Consulta 1 (b) Consulta 2 (c)
Page 26 and 27: 6 Capítulo 1 los problemas plantea
Page 28 and 29: 8 Capítulo 2 1 map ( S t r i n g c
Page 30 and 31: 10 Capítulo 2 Figura 2.1: Ambiente
Page 32 and 33: 12 Capítulo 2 llamado master (ver
Page 34 and 35: 14 Capítulo 2 HBase, es una base d
Page 36 and 37: 16 Capítulo 2 Figura 2.5: Interacc
Page 38 and 39: 18 Capítulo 2 1 2 3 nombre de l
Page 40 and 41: 20 Capítulo 2 1 2 3 d f s . blo
Page 42 and 43: 22 Capítulo 2 1 public class Count
Page 44 and 45: 24 Capítulo 2 1 public class Map e
Page 46 and 47: 26 Capítulo 2 1 #! / usr / bin /en
Page 48 and 49: 28 Capítulo 2 reduce. MapReduce se
Page 50 and 51: 30 Capítulo 3 escribe programas cu
Page 52 and 53: 32 Capítulo 3 Las interfaces de us
Page 54 and 55: 34 Capítulo 3 Una vista es una “
Page 56 and 57: 36 Capítulo 3 a la tabla. Estructu
Page 58 and 59: 38 Capítulo 3 operador HiveQL (sel
Page 60 and 61: 40 Capítulo 3 status profiles los
Page 62 and 63: 42 Capítulo 3 columna de la tabla,
Page 64 and 65: 44 Capítulo 3 que cada tarea map r
Page 66 and 67:
46 Capítulo 3 Por ejemplo, en la c
Page 68 and 69:
48 Capítulo 3 Para que esta optimi
Page 70 and 71:
50 Capítulo 3 a la regla. Si dos o
Page 72 and 73:
52 Capítulo 3 la figura 3.7 y cons
Page 74 and 75:
54 Capítulo 3 son: (a) (b) (c) (d)
Page 76 and 77:
56 Capítulo 3 operador RS y el ope
Page 78 and 79:
58 Capítulo 3 Cinvestav Departamen
Page 80 and 81:
60 Capítulo 4 superiores de un DAG
Page 82 and 83:
62 Capítulo 4 Figura 4.1: Esquema
Page 84 and 85:
64 Capítulo 4 1 CREATE VIEW Q1V1 a
Page 86 and 87:
66 Capítulo 4 Figura 4.3: Plan fí
Page 88 and 89:
68 Capítulo 4 1 CREATE VIEW Q2V1 A
Page 90 and 91:
Page 92 and 93:
72 Capítulo 4 trabajos mapreduce c
Page 94 and 95:
74 Capítulo 4 Figura 4.7: DAG de l
Page 96 and 97:
Page 98 and 99:
78 Capítulo 4 1 create table q11 (
Page 100 and 101:
80 Capítulo 4 Figura 4.11: Plan f
Page 102 and 103:
82 Capítulo 4 al 29 de la rama B,
Page 104 and 105:
Page 106 and 107:
86 Capítulo 4 4.5. Eliminación de
Page 108 and 109:
Page 110 and 111:
90 Capítulo 4 las tareas map. La o
Page 112 and 113:
92 Capítulo 5 permite recorrer un
Page 114 and 115:
94 Capítulo 5 conforman el segundo
Page 116 and 117:
96 Capítulo 5 Figura 5.1: DAG de l
Page 118 and 119:
Page 120 and 121:
Page 122 and 123:
102 Capítulo 5 Figura 5.4: Nuestra
Page 124 and 125:
104 Capítulo 5 Figura 5.5: DAG de
Page 126 and 127:
106 Capítulo 5 o complejas que pue
Page 128 and 129:
108 Capítulo 5 operador FilterOper
Page 130 and 131:
110 Capítulo 5 Figura 5.6: DAG de
Page 132 and 133:
112 Capítulo 5 En resumen, elimina
Page 134 and 135:
Page 136 and 137:
116 Capítulo 5 (b) Posible abstrac
Page 138 and 139:
118 Capítulo 5 misma correlación.
Page 140 and 141:
120 Capítulo 6 disco duro. Los nod
Page 142 and 143:
122 Capítulo 6 secciones visitadas
Page 144 and 145:
124 Capítulo 6 Está constituido p
Page 146 and 147:
126 Capítulo 6 1 create table q 3
Page 148 and 149:
128 Capítulo 6 objetivo, las condi
Page 150 and 151:
130 Capítulo 6 8GB de datos para c
Page 152 and 153:
132 Capítulo 6 Figura 6.4: Tiempo
Page 154 and 155:
134 Capítulo 6 en las consultas de
Page 156 and 157:
136 Capítulo 6 (a) Tiempos de ejec
Page 158 and 159:
138 Capítulo 6 8, 16 y 20 nodos. O
Page 160 and 161:
140 Capítulo 6 como se observa en
Page 162 and 163:
Page 164 and 165:
Page 166 and 167:
146 Capítulo 6 Cinvestav Departame
Page 168 and 169:
148 2) reducción de la escritura a
Page 170 and 171:
150 mapreduce, donde el primer trab
Page 172 and 173:
152 Capítulo 7 no son redundantes,
Page 174 and 175:
154 Capítulo A consulta 11 del est
Page 176 and 177:
156 Capítulo A listEqualNodes: Es
Page 178 and 179:
158 Capítulo A Figura A.1: DAG y p
Page 180 and 181:
Page 182 and 183:
162 Capítulo A paso 14 en el códi
Page 184 and 185:
164 Capítulo A 5 TS2 = l i s t T S
Page 186 and 187:
166 Capítulo A < clave, valor > qu
Page 188 and 189:
168 Capítulo A son iguales porqué
Page 190 and 191:
170 Capítulo A el caso, entonces s
Page 192 and 193:
172 Capítulo A Obsérvese que: 1.
Page 194 and 195:
Page 196 and 197:
Page 198 and 199:
178 Figura B.1: Diagrama de paquete
Page 200 and 201:
180 Figura B.3: Diagrama de clases
Page 202 and 203:
182 interfaz. Figura B.5: Diagrama
Page 204 and 205:
184 Cinvestav Departamento de Compu
Page 206 and 207:
186 5 trabajos mapreduce, donde el
Page 208 and 209:
188 Tabla C.4: Número de trabajos
Page 210 and 211:
190 Tabla C.6: Número de trabajos
Page 212 and 213:
192 BIBLIOGRAF ÍA [10] Teradata. H
Page 214:
194 BIBLIOGRAF ÍA [29] Damianos Ch
show all

UNIDAD ZACATENCO DEPARTAMENTO DE ... - Cinvestav

Create successful ePaper yourself

Delete template?

Save as template?