UNIDAD ZACATENCO DEPARTAMENTO DE ... - Cinvestav

muestra a continuación:
map(k1,v1) -> list (k2, v2)
reduce(k2,list(v2)) -> list (k3, v3)
MapReduce 9
Los datos de entrada se procesan por medio de una función map que lee el archivo
de entrada de manera iterativa a través de un par de parámetros llamados clave y valor
respectivamente (k1,v1 ). La clave y valor depende del tipo de archivo que se lee. Por
ejemplo, para un archivo de texto, por cada invocación de la función map se lee una
línea de datos y a la función se le envía como clave el desplazamiento en el archivo
correspondiente a la línea leída, y como valor la línea misma. En la sección Input
Formats del libro [2] se explican los diferentes tipos de clave y valor que se manejan
según el tipo de archivo de entrada. Por cada invocación de la función map se realiza
el procesamiento especificado y al final se puede emitir un par < clave, valor >
que formará parte de la lista list (k2, v2). El ambiente MapReduce se encarga de
agrupar en una lista todos los valores asociados con una misma clave (k2, list(v2)) e
invoca la función reduce por cada clave diferente. Por cada invocación de la función
reduce se realiza el procesamiento correspondiente y al final se puede emitir un par
< clave, valor > formando la lista de pares list (k3,v3) que es el resultado final del
procesamiento.
Nótese, que el dominio de las claves y valores de entrada de la función map
pueden ser de diferente al dominio de las claves y valores de salida de la función
reduce. Así mismo, las claves y valores de salida de la función map son del mismo
dominio que las claves y valores de entrada de la función reduce [1].
2.2. Ambiente de ejecución
Las funciones map y reduce se ejecutan de manera paralela y distribuida en un clúster.
El ambiente MapReduce replica las funciones map y reduce en los nodos del clúster
de tal manera, que las réplicas de ambas funciones se ejecutan al mismo tiempo en
nodos distintos (ver figura 2.1). Los datos de entrada a las réplicas de la función map
Cinvestav Departamento de Computación