Granularidad y latencia

Sistemas de Multiprocesamiento - 5º
IAEI
Niveles de paralelismo y latencias
de comunicación
• Niveles de paralelismo.
• Granularidad o tamaño de grano.
• Latencia de comunicación.
• Particionado de los programas.
• Empaquetado de granos.
• Planificación (Scheduling)
27
Granularidad y latencia
• El tamaño de grano o granularidad mide la
cantidad de procesamiento necesaria en un
proceso.
• Medida sencilla: Número de instrucciones en un
grano (segmento de programa).
• El tamaño de grano se describe habitualmente
como fino, medio y grueso.
• La granularidad y la latencia están muy
relacionadas.
• Latencia: medida de tiempo por la carga añadida
de comunicación en el sistema.
28
Tema 2 1

¨
¦
¦
Sistemas de Multiprocesamiento - 5º
IAEI
Granularidad y latencia
• Granularidad gruesa: muchas instrucciones
secuenciales (no necesitan comunicación). El
proceso necesita poca comunicación.
• Granularidad fina: pocas instrucciones
secuenciales. El proceso necesita mucha
comunicación.
• Una medida de la granularidad en relación con
la latencia:
¦ §
=
¡£¢¥¤
¨ §©¨
¡£¢
29
Particionado de programas y planificación
• Los programas se pueden particionar en distintos
módulos concurrentes (se pueden ejecutar en
paralelo), estos módulos son los granos. El
particionado puede realizarse en distintos niveles
caracterizados por distintos tamaños de grano.
• La planificación (scheduling) consiste en asignar
en un orden determinado los granos a los
distintos procesadores.
• La planificación puede ser estática (antes de la
ejecución) o dinámica (en tiempo de ejecución
se puede modificar).
30
Tema 2 2

Sistemas de Multiprocesamiento - 5º
IAEI
Niveles de paralelismo
Mayor demanda de comunicacíones y de
planificación
!"$#%
!"$#©'
!"$#&
!"$#©(
!"$#*)
Trabajos o programas
Subprogramas, pasos de trabajos o
partes relacionadas de un programa
Procedimientos, subrutinas, tareas o
corrutinas
Bucles no recursivos o iteraciones
desplegadas
Instrucciones o sentencias
Grano grueso
Grano
medio Grano fino
Mayor grado de paralelismo
31
Nivel de instrucción o sentencia
• Grano fino. Menos de 20 instrucciones.
• Paralelismo de 2 a varios miles, dependiendo
del programa concreto.
• Media de paralelismo de 5 (raramente mayor de
7) en un programa ordinario.
• Para aplicaciones científicas se han medido de
500 a 3000 sentencias concurrentes en un
entorno ideal.
• Necesidad de un compilador con optimización.
32
Tema 2 3

Sistemas de Multiprocesamiento - 5º
IAEI
Nivel de bucle
• Operaciones iterativas en bucles.
• Un bucle típico contiene menos de 500
instrucciones.
• La construcción más optimizada para
ordenadores paralelos.
• Los bucles recursivos son difíciles de
paralelizar.
• Grano fino.
33
Nivel de procedimientos
• Grano medio.
• Típicamente menos de 2000 instrucciones.
• Detección de paralelismo más difícil que
en grano fino.
• Análisis de dependencias entre
procedimientos más complejo.
• Menores requerimientos de comunicación.
34
Tema 2 4

Sistemas de Multiprocesamiento - 5º
IAEI
Nivel de subprograma
• Grano medio o grueso.
• Miles de instrucciones.
• Los subprogramas pueden ser planificados para
diferentes procesadores.
• También es adecuado para su ejecución en
multicomputadores.
• No existen buenos compiladores. La
paralelización la realiza el diseñador de
algoritmos o el programador.
35
Nivel de programa
• Ejecución paralela de trabajos
esencialmente independientes en un
ordenador paralelo.
• Tamaño de grano: Puede haber millones
de instrucciones por programa.
• Apropiado para superordenadores con
pocos procesadores muy potentes.
• Gestionado por el sistema operativo.
36
Tema 2 5

Sistemas de Multiprocesamiento - 5º
IAEI
Niveles de paralelismo y granulometría
• En general, cuanto más fino sea el grano mayor
potencial de paralelismo pero mayor penalización
en comunicaciones y en planificación.
• El paralelismo masivo se suele explotar al nivel
de grano fino, como el paralelismo de datos en
ordenadores SIMD y MIMD.
• A menudo se utiliza la comunicación mediante
variables compartidas para procesamiento de
grano fino y medio.
• Los multicomputadores de paso de mensajes se
utilizan preferiblemente para grano medio y
grueso.
37
Latencia de comunicación
• La mejora de prestaciones en un
ordenador depende del equilibrado entre
la granularidad y la latencia.
• La latencia impone una limitación a la
escalabilidad en el tamaño de la máquina.
• La latencia de memoria aumenta al
hacerlo la capacidad de memoria.
38
Tema 2 6

Sistemas de Multiprocesamiento - 5º
IAEI
Latencia de comunicación
• Latencia en las comunicaciones
interprocesadores. En general, n tareas
comunicándose todas, unas con otras,
necesitan n(n-1)/2 enlaces de comunicación. La
complejidad crece cuadráticamente. Habrá un
valor límite del número de procesadores.
• La solicitud de comunicaciones puede limitar la
granularidad o el paralelismo. Se requiere un
compromiso entre comunicaciones y
granularidad.
39
Análisis mediante grafos de la
granularidad de programas
• Permite determinar el mejor tamaño de grano y
su correspondiente planificación (scheduling)
estática (no cambia en tiempo de ejecución).
• Nodos: unidad computacional.
• Tamaño de grano: nº ciclos máquina básicos
(procesador y memoria) para ejecutar el nodo.
• La latencia de comunicación entre nodos se
indica en el segmento de enlace. Es el retraso
total, incluyendo latencias de memoria de
comunicación entre los nodos.
40
Tema 2 7

Sistemas de Multiprocesamiento - 5º
IAEI
Planificación en función de la
latencia de comunicación
1: a = 4;
2: b = a × 5;
3: c = a + 7;
41
Duplicado de nodos en la planificación para
eliminar retraso de comunicación
1: a = 5;
2: b = a * 3;
3: c = a * 6;
4: d = b + c;
5: e = c / 3;
42
Tema 2 8

Sistemas de Multiprocesamiento - 5º
IAEI
Modelos de programación
• Las aplicaciones se escriben en un modelo
de programación concreto.
• Abstraen la arquitectura real de la
máquina.
• Caracterizados por la forma de realizar la
comunicación y la sincronización.
• Una arquitectura concreta admite
diferentes modelos pero será más proximo
a uno de ellos (tendrá mayor rendimiento).
43
Modelos de programación
• El usuario utiliza un modelo de
programación mediante las primitivas de
comunicación.
• Las primitivas software que utiliza el
usuario tendrán una mayor o menor
cercanía a las primitivas hardware reales.
• Tipos de modelos de programación:
– Modelo de memoria compartida.
– Modelo de paso de mensajes.
44
Tema 2 9

Sistemas de Multiprocesamiento - 5º
IAEI
Modelo de memoria compartida
• Adecuado para sistemas multiprocesadores.
• Comunicación implícita, se realiza mediante
variables compartidas.
• Facilita grano fino.
• Más fácil de programar.
• En arquitecturas con memoria distribuida es
más difícil de predecir y optimizar las
prestaciones.
45
Modelo de paso de mensajes
• Adecuado para multicomputadores.
• Habitualmente grano medio y grueso.
• Comunicación explícita.
• Más difícil de programar.
• En arquitecturas distribuidas es más fácil
de predecir y optimizar el rendimiento.
46
Tema 2 10

Sistemas de Multiprocesamiento - 5º
IAEI
Primitivas para memoria
compartida
47
Primitivas para paso de mensajes
48
Tema 2 11

Sistemas de Multiprocesamiento - 5º
IAEI
Pasos del proceso de
paralelización
• Descomposición del trabajo en tareas.
• Asignación de tareas a procesos.
• Organización del acceso a los datos, de la
comunicación y la sincronización. Aquí se tiene
en cuenta el modelo de programación.
• Mapeado: asignación de procesos (concepto
abstracto) a procesadores (recursos físicos). Se
tiene en cuenta la máquina real.
49
Tema 2 12