Actas JP2011 - Universidad de La Laguna

Actas XXII Jornadas de Paralelismo (JP2011) , La Laguna, Tenerife, 7-9 septiembre 2011Reduce se aplica sobre estas tuplas intermedias y hace laagrupación de los valores que tienen la misma clave.La Figura 2, representa un esquema del flujo de datos,para la ejecución de una aplicación de contar palabras enun texto, utilizando el paradigma MapReduce.Fig.3 Framework Hadoop.Fig. 2. Esquema MapReduce para la aplicación WordCount en unCluster Hadoop.III.HADOOPHadoop es un framework altamente configurabledesarrollado en el proyecto Apache y que implementaMapReduce inspirado en la propuesta de Google [1] [3].Es un sistema de código abierto, e implementado enJava. Otras implementaciones del paradigmaMapReduce, han aparecido en la literatura paradiferentes arquitecturas como Cell B.E [4], GPUs [5] yprocesadores multi-core [6].El framework Hadoop realiza de forma automática ladivisión y distribución de los archivos de entrada, laplanificación de los trabajos entre los nodos del entornoparalelo, el control de fallos de los nodos y gestiona lanecesidad de comunicación entre los nodos del cluster.Hadoop se ejecuta sobre un sistema de archivosdistribuidos, Hadoop Distributed File System – HDFS,que se soporta a su vez sobre el sistema de ficherosnativo, y donde la fiabilidad del sistema es obtenida porla replicación de datos, y la posibilidad de poder utilizarejecución especulativa de las tareas. Son utilizados dosdemonios para hacer la gestión de los datos: namenode ydatanode. La arquitectura de planificación de Hadoopobedece a un modelo master/worker: Job Tracker (en elnodo master) y Task Tracker (en los nodos Workers). Elplanificador de trabajos está diseñado en móduloscargables que permite la implementación de nuevaspolíticas de planificación de trabajos y la sustitución deestos módulos de planificación de manera sencilla. LaFigura 3 muestra la distribución del sistema en un nododel cluster.A. Hadoop Distributed File System – HDFSHDFS es el sistema de archivos distribuidosimplementado por Hadoop y se monta en el sistema dearchivos de cada máquina del cluster. Cuando se cargaun archivo en el sistema, HDFS hace la división delarchivo en bloques menores con tamaño definido por elgestor del sistema (por defecto de 64 MB) bajo un factorde replicación, también definido por el gestor delsistema. Esta replicación de cada bloque de archivoademás de permitir un mejor control de tolerancia afallos, aumenta la posibilidad de garantizar la localidadde datos, cuando Hadoop hace la distribución de tareasen el cluster. La Figura 4 presenta una distribución debloques de un fichero de entrada, a lo largo de los nodosdel cluster.Fig. 4 Distribución de datos en HDFS.JP2011-502