UNIDAD ZACATENCO DEPARTAMENTO DE ... - Cinvestav

Introducción 3
Cloudera [16]. Actualmente, se utiliza en compañias como Yahoo, Facebook, Twitter,
Last.FM, Amazón, LinkedIn, entre otras. De hecho, las compañias como Netteza,
Teradata, Asterdata, Oracle, han integrado Hadoop en sus respectivas tecnologías.
Las ventajas de MapReduce son [4]:
Mayor escalabilidad (soporta miles de nodos).
Tolerancia a fallas a gran escala.
Flexibilidad en el manejo de datos no estructurados.
Las desventajas de MapReduce son [4]:
El desarrollo de programas en MapReduce no es fácil, especialmente para los
usuarios que no están familiarizados con funciones map y reduce, por tal motivo,
la productividad de los desarrolladores se ve disminuida.
Los programas generados son dificiles de mantener y adaptar a otros proyectos.
Por tal motivo en el 2010, Facebook desarrolló un framework que se ejecuta sobre
Hadoop llamado Hive. Hive es un Datawarehouse distribuido de código abierto sin
costo. Permite el procesamiento de datos estructurados y no estructurados a través de
un lenguaje de consultas parecido al SQL llamado HiveQL, que además de soportar
consultas SQL, permite incrustar código MapReduce como parte de la misma consulta
HiveQL. Hive compila las sentencias HiveQL a una serie de trabajos mapreduce que
se ejecutan en Hadoop.
Sin embargo, el rendimiento de Hive aun no es óptimo. En el año 2010, se realizó un
estudio donde se compara el rendimiento de Hive con Hadoop y Pig [17], otro
framework desarrollado sobre Hadoop para el procesamiento de grandes volúmenes
de datos.
El estudio tuvó como propósito comparar tres consultas implementadas en
Hadoop, Pig y Hive para procesar logs de un servidor web. Las consultas fueron:
Primera consulta: Determinar la cantidad de veces que aparece cada dirección
IP en el log.
Cinvestav Departamento de Computación