UNIDAD ZACATENCO DEPARTAMENTO DE ... - Cinvestav

MapReduce 17
Figura 2.6: Interacción de NameNode y DataNodes en HDFS [3]. Los números entre
paréntesis corresponden a los ids de los DataNodes.
representados por la numeración 4,5. El proceso NameNode mantiene los metadatos
del sistema HDFS que contiene la información de los directorios, en cuantos splits fue
divido un archivo, donde se encuentra cada split, etcétera. Por otra parte, los procesos
DataNodes se comunican entre ellos para realizar la réplica de datos, por ejemplo, del
splits 3 se tienen 3 réplicas una en el nodo 1, otra en el nodo 2 y una última en el
nodo 3. Esto asegura, que si un DataNode falla o es inaccesible en la red, se tenga
otra copia del mismo split en otro nodo y se pueda leer.
2.3.2. Configuración de Hadoop
Hadoop permite configurar el ambiente de ejecución de MapReduce y el sistema
de archivos distribuido HDFS. La configuración de Hadoop determina el modo de
ejecución y el desempeño de los programas mapreduce.
La configuración de Hadoop se realiza a través de archivos .xml y archivos de texto.
La estructura interna de un archivo de configuración .xml se observa en el código 2.2.
Cinvestav Departamento de Computación