Actas JP2011 - Universidad de La Laguna

Actas XXII Jornadas de Paralelismo (JP2011) , La Laguna, Tenerife, 7-9 septiembre 2011valores para cada clave, con el fin de disminuir lacantidad de datos para procesar y ahorrar espacio enmemoria. Cuando el buffer de la memoria alcanza undeterminado umbral de utilización disponible definidopor el usuario, estos datos deben ser enviados al disco,como se muestra en la figura 7. Antes de enviar los datosal disco se realizará una ordenación en las claves.Fig. 7. Flujo de datos en la fase Map.En la ejecución de la fase Reduce, cargamos los datosque están en el disco en los buffers de memoria de lastareas reduce. Cuando los datos están en la memoria, serealiza una agregación de todos los datos a través de unafunción merge. Si la cantidad de datos ocupa másespacio que la cantidad de memoria disponible, se envíanuevamente al disco después de la fusión.Después de combinar los datos en un conjunto, losdatos son enviados a las tareas Reduce, como se muestraen la figura 8. Los datos de entrada de las tareas Reduceestán ordenados por clave. La salida final de esta fase seescribe directamente en el disco.AGRADECIMIENTOSEl presente trabajo ha sido financiado por el MEC(Ministerio de Educación y Ciencia) mediante elproyecto con referencia TIN2007-64974.REFERENCIAS[1] J. Dean, S. Ghemawat, “MapReduce: simplified data processingon large clusters”, Commun. ACM, 2008.[2] T. White, “Hadoop: The Definitive Guide”, 2009.[3] B. He, W. Fang, Q. Luo, N. K. Govindaraju, T. Wang, “Mars: aMapReduce framework on graphics processors”, Proceedings ofthe 17th international conference on Parallel architectures andcompilation techniques, 2008.[4] R.M. Yoo, A. Romano, C. Kozyrakis, “Phoenix Rebirth:Scalable MapReduce on a Large-Scale Shared-Memory System”,Proceedings of the IEEE International Symposium on WorkloadCharacterization (IISWC), 2009.[5] Y. Mao, R. Morris, M.F. Kaashoek, “Optimizing MapReduce forMulticore Architectures”, MIT technical report MIT-CSAIL-TR-2010-020, 2010.[6] C. Ranger, R. Raghuraman, A. Penmetsa, G. Bradski,C.Kozyrakis, “Evaluating MapReduce for Multi-core andMultiprocessor Systems”, Proceedings of the 13th InternationalSymposium on High-Performance Computer Architecture, 2007.Fig. 8. Flujo de datos en la fase Reduce.V. CONCLUSIONESHemos propuesto un modelo que tiene como ideaprincipal el uso de los recursos en aplicacionesMapReduce bajo una arquitectura multi-core.La idea de este modelo, es evitar la saturación delrecurso de memoria, utilizando el disco comodispositivo auxiliar para el almacenamiento yordenación de las claves intermedias. Sabiendo que paraun conjunto de datos muy grandes, no siempre haymemoria disponible, la idea de utilizar el acceso al discode manera ordenada se convierte en una solución a teneren cuenta y a ser contrastada con el resto de alternativasexistentes.JP2011-254