UNIDAD ZACATENCO DEPARTAMENTO DE ... - Cinvestav

Capítulo 3
Hive
En el Capítulo 2 vimos que Mapreduce no sólo oculta los detalles de la programación
paralela, sino que además lleva a cabo tolerancia a fallas y balance de carga de
manera transparente al usuario. Esta funcionalidad es esencial para procesar grandes
cantidades de datos en un tiempo razonable. La tolerancia a fallas, por ejemplo, evita
que en caso de que uno o más nodos fallen, no se tenga que ejecutar una aplicación
de nuevo desde el principio. A pesar de estos beneficios, el desarrollo de aplicaciones
mapreduce complejas (compuestas de uno o más pares de funciones map y reduce) no
es simple. Esto se debe en parte a que el modelo de programación de mapreduce no
es de uso general todavía, pero también a que no es tan intuitivo como otros modelos
de programación como memoria compartida y paso de mensajes.
Por lo anterior, se han desarrollado otras capas de software sobre mapreduce que
ofrecen un modelo de programación más simple e intuitivo. En particular, existen
esfuerzos para permitir el procesamiento de grandes volúmenes de información por
medio de sentencias SQL (OLAP) en lugar de escribir programas mapreduce.
Un primer enfoque, adaptó al ambiente MapReduce para poder implementar de
manera más sencilla las ideas de una sentencia SQL dentro de un programa mapreduce.
Ejemplos de este enfoque son los proyectos: MapReduce-Merge [19] y Hadoop++ [20].
Pig es un proyecto que toma las ventajas de las sentencias SQL y de un programa
mapreduce. El usuario ya no piensa en términos de funciones map y reduce, sino
29