UNIDAD ZACATENCO DEPARTAMENTO DE ... - Cinvestav

Figura 2.2: Flujo de datos en MapReduce [2].
MapReduce 11
pares intermedios < clave, valor > con la misma clave, entonces se ejecuta una
función de partición que se encarga de enviar a través de la red, todos los pares
intermedios < clave, valor > con una misma clave a una sola tarea reduce. Con
esto se logra que las tareas reduce se empiecen a ejecutar tan pronto se tenga pares
intermedios < clave, valor > con una misma clave, sin necesidad de esperar a que
todas las tareas map terminen de ejecutarse. Una tarea reduce, como se observa en
la figura 2.2, está constituida por una operación “merge” y una réplica de la función
reduce. Como se observa en la figura 2.1 y en la figura 2.2, una tarea reduce recibe los
datos de diferentes nodos utilizando el recurso de red, entonces la operación “merge”
se encarga de crear la lista de valores asociada con una misma clave y ejecuta la
función reduce. Por último, la salida de cada función reduce se escribe en el sistema
de archivos distribuido (GFS). Posteriormente, si la tarea reduce es asignada a otro
conjunto de pares intermedios < clave, valor > asociados con una misma clave,
entonces los recibe y realiza el mismo procedimiento, en caso contrario finaliza su
ejecución. El número de conjuntos de pares intermedios < clave, valor > con diferente
clave que procesa cada tarea reduce depende del número de réplicas de tareas reduce
que se especifique [1].
La coordinación de las tareas map y reduce se lleva acabo a través de un proceso
Cinvestav Departamento de Computación