Operaciones de comunicación

AT5128 – Arquitectura e Ingeniería de Computadores IIJuan Antonio Maestro (2004/05)Operaciones colectivas de comunicación• Patrones de comunicación habituales realizadospor algoritmos paralelos.• La eficiencia de los algoritmos depende de laimplementación óptima de estas operaciones.• Son válidas tanto para plataformas distribuidascomo para memoria compartida.• Muchas operaciones son estándar en la mayoríade librerías paralelas.

AT5128 – Arquitectura e Ingeniería de Computadores IIJuan Antonio Maestro (2004/05)Ejemplo: Operaciones en MPI

AT5128 – Arquitectura e Ingeniería de Computadores IIJuan Antonio Maestro (2004/05)Difusión Uno-a-Todos y Reducción Todos-a-Uno• Difusión Uno-a-Todos: Un dato, inicialmente en un soloprocesador, se distribuye al resto.• Reducción Todos-a-Uno: Distintos datos, en variosprocesadores, se combinan en uno solo. (¿Cómo?:Operador asociativo).

AT5128 – Arquitectura e Ingeniería de Computadores IIJuan Antonio Maestro (2004/05)Difusión en un anillo1•Los nodos destino de una etapa, se convierten en fuente en lasiguiente: minimización del tiempo de difusión.•Cuidado con la congestión de los enlaces.

AT5128 – Arquitectura e Ingeniería de Computadores IIJuan Antonio Maestro (2004/05)Reducción en un anilloReducción progresiva, a fin de evitar congestión de los enlaces.

AT5128 – Arquitectura e Ingeniería de Computadores IIJuan Antonio Maestro (2004/05)Difusión en una mallaDifusión en 4 etapas:•Primero, difusión en filainicial.•Segundo, difusión a lascolumnas en paralelo.

AT5128 – Arquitectura e Ingeniería de Computadores IIJuan Antonio Maestro (2004/05)Difusión en un hipercuboLa difusión en un hipercubo de dimensión d siempre seproduce en d etapas.

AT5128 – Arquitectura e Ingeniería de Computadores IIJuan Antonio Maestro (2004/05)Difusión en un hipercubo: Inicio fijoInicio: Procesador 0

AT5128 – Arquitectura e Ingeniería de Computadores IIJuan Antonio Maestro (2004/05)Difusión en un hipercubo: Inicio arbitrarioInicio: Procesador source

AT5128 – Arquitectura e Ingeniería de Computadores IIJuan Antonio Maestro (2004/05)Difusión y Reducción Todos-a-Todos• Extensión de las operaciones, en las que todoslos procesadores son a la vez fuente y destino.

AT5128 – Arquitectura e Ingeniería de Computadores IIJuan Antonio Maestro (2004/05)Difusión Todos-a-Todos para un anilloDifusión en un anillo de p nodosReducción en un anillo de p nodos

AT5128 – Arquitectura e Ingeniería de Computadores IIJuan Antonio Maestro (2004/05)Difusión Todos-a-Todos para una mallaLos nodos que se comunican en cada fase aparecenrecuadrados con línea punteada.Las filas y columna se tratan como arrays linealesindependientes. Aplicando el algoritmo anterior en dos etapas,se consigue la difusión.Difusión en una malla de p nodos

AT5128 – Arquitectura e Ingeniería de Computadores IIJuan Antonio Maestro (2004/05)Difusión Todos-a-Todos para un hipercuboDifusión en un hipercuboReducción en un hipercubo

AT5128 – Arquitectura e Ingeniería de Computadores IIJuan Antonio Maestro (2004/05)Reducción Total y Suma Acumulada•Reducción total:- Operación de Reducción Todos-a-Uno más DifusiónUno-a-Todos.- Se puede conseguir mediante Difusión Todos-a-Todos.- Distintas: Reducción Todos-A-Uno, Reducción Todos-a-Todos y Reducción Total.•Suma acumulada- Producción de sumas acumuladas en los nodosintermedios.- El nodo final almacena la suma total del conjunto.- Se puede conseguir mediante Difusión Todos-a-Todos.

AT5128 – Arquitectura e Ingeniería de Computadores IIJuan Antonio Maestro (2004/05)Ejemplo: Suma acumulada en hipercuboSuma acumulada en un hipercubo

AT5128 – Arquitectura e Ingeniería de Computadores IIJuan Antonio Maestro (2004/05)Dispersión y Agrupamiento• Dispersión: Varios datos almacenados en un úniconodo, se reparten entre distintos procesadores (un datopor procesador).• Agrupamiento: Varios datos almacenados en distintos• Agrupamiento: Varios datos almacenados en distintosprocesadores, se almacenan simultáneamente en unúnico nodo (sin combinarse).

AT5128 – Arquitectura e Ingeniería de Computadores IIJuan Antonio Maestro (2004/05)Operación de dispersión en un hipercuboDispersión en unhipercubo de 8 nodos

AT5128 – Arquitectura e Ingeniería de Computadores IIJuan Antonio Maestro (2004/05)Todos-a-Todos personalizada (Transposición)Comunicación personalizada Todos-a-TodosTransposición de una matriz4x4 usando cuatro procesos

AT5128 – Arquitectura e Ingeniería de Computadores IIJuan Antonio Maestro (2004/05)Todos-a-Todos personalizada en un anillo

AT5128 – Arquitectura e Ingeniería de Computadores IIJuan Antonio Maestro (2004/05)Todos-a-Todos personalizada en una mallaDistribución de datos alcomienzo de la primera faseDistribución de datos alcomienzo de la segunda fase

AT5128 – Arquitectura e Ingeniería de Computadores IIJuan Antonio Maestro (2004/05)Todos-a-Todos personalizada en un hipercubo

AT5128 – Arquitectura e Ingeniería de Computadores IIJuan Antonio Maestro (2004/05)Desplazamiento circular en una mallaq modpCompensación(de las columnasque han salidopor la derecha)⎢⎢⎣qp⎥⎥⎦Desplazamientocircular de 5posiciones

AT5128 – Arquitectura e Ingeniería de Computadores IIJuan Antonio Maestro (2004/05)Desplazamiento circular en un hipercubo• Construcción hipercubo porcódigo Gray reflejado.• Desplazamiento circular de5: 2 2 + 2 0 = 4 + 1.• 2 2 = 4: Dos desplazamientospor atajo hacia el “4”.• 2 0 = 1: Un desplazamientonormal incremental.

AT5128 – Arquitectura e Ingeniería de Computadores IIJuan Antonio Maestro (2004/05)ComplejidadComplejidad de las comunicaciones para pprocesadores y mensajes de tamaño m, enun hipercubo.