UNIDAD ZACATENCO DEPARTAMENTO DE ... - Cinvestav

Capítulo 2
MapReduce
MapReduce es un modelo de programación y ambiente de ejecución desarrollado por
Google para procesar grandes cantidades de información del orden de Gigabytes,
Terabytes, Petabytes o Zettabytes, de manera paralela y distribuida en un clúster
conformado por nodos de uso general.
MapReduce es utilizado por muchas compañias para llevar acabo tareas de
inteligencia de negocios (del inglés Business Intelligence), como tendencias de
mercado, introducción de un nuevo producto, minería de datos, etcétera. Hadoop
es una versión libre y gratuita de MapReduce.
2.1. Modelo de programación de MapReduce
La programación paralela y distribuida es compleja, más aun si se requiere especificar
balance de carga y tolerancia a fallas. MapReduce es un middleware que se encarga de
estos aspectos. La programación en MapReduce es secuencial, el usuario solo debe de
especificar un programa mapreduce constituido por al menos una función map y una
función reduce [2] [3]. El ambiente MapReduce replica cada función en varios nodos
y ejecuta las réplicas en paralelo, realizando balance de carga y tolerancia a fallas de
ser necesario; todo esto de manera transparente al programador.
El código 2.1 muestra el pseudocódigo de un programa MapReduce que cuenta las
7