UNIDAD ZACATENCO DEPARTAMENTO DE ... - Cinvestav

MapReduce 25
1 public class Reduce extends Reducer {
2 public void reduce ( Text key , I t e r a b l e values , Context
context ) throws IOException , InterruptedException {
3 int sum = 0 ;
4 // Suma l o s unos de cada p a l a b r a
5 for ( IntWritable val : v a l u e s ) {
6 sum += val . get ( ) ;
7 }
8 // Emite e l par
9 context . w r i t e ( key , new IntWritable (sum) ) ;
10 }
11 }
Código 2.8: Clase reduce en Hadoop para contar el número de veces que se repite una
palabra en varios archivos.
1 #! / usr / bin /env python
2 import sys
3 # La entrada v i e n e de l a entrada estándar
4 for l i n e in sys . s t d i n :
5 # d i v i d e l a l í n e a en p a l a b r a s
6 words = l i n e . s p l i t ( )
7 # Por cada p a l a b r a encontrada
8 for word in words :
9 # Imprime en l a s a l i d a estándar una cadena
10 # c o n s t i t u i d a por l a palabra , un c a r á c t e r t a b u l a d o r y un uno
11 print ’ %s \ t %s ’ % ( word , 1)
Código 2.9: Función map del programa mapreduce que cuenta las veces que las
palabras se repiten en varios archivos en Python (map.py).
hadoop jar cuenta.jar CountWords inputPathInHDFS outputPathInHDFS
Nótese que se pasó un directorio y MapReduce va a leer todos los archivos del
directorio. Se puede enviar un solo archivo.
2.4.2. Programa mapreduce escrito en Python
El “programa cuenta” se puede implementar a través de un programa mapreduce
escrito en Python. El código 2.9 presenta la función map y el código 2.10 presenta la
función reduce en Python.
Observe que la función map en Python es idéntica a la función map en Java.
Cinvestav Departamento de Computación