Modelo analÃtico de rendimiento

AT5128 – Arquitectura e Ingeniería de Computadores II 

Juan Antonio Maestro (2004/05) 

Modelo analítico de rendimiento 

Curso 2011-2012



Índice 

• Fuentes de overhead en programas paralelos. 

• Métricas de rendimiento para sistemas 

paralelos. 

• El efecto de la granularidad en el rendimiento. 

• Escalabilidad de los sistemas paralelos. 

• Tiempo de ejecución mínimo . 

• Análisis asintótico de programas paralelos.



Fuentes de overhead en programas paralelos 

• Existen fuentes de overhead que 

disminuyen el rendimiento 

óptimo: 

– Comunicaciones entre 

procesadores. 

– Procesadores ociosos: 

Desequilibrado de carga, 

sincronización, componentes 

serie. 

– Exceso de computación en 

algoritmos serie: algoritmos no 

óptimos. 

• Objetivo: Minimizar estos 

efectos.



Métricas de rendimiento para sistemas paralelos (I) 

• Tiempo de ejecución paralelo. 

– Tiempo empleado para resolver un problema en p 

procesadores: T p 

• Función de overhead total. 

– T o = p·T p - T s 

• Speed-up. 

– S = T s / T p (Límite teórico = p) 

– ¿Es posible obtener Speed-up’s superlineales 

(mayores que p)



Speed-up en algoritmo de suma 

• Tiempo de suma en sistema 

serie: T s = O(n). 

• Tiempo de suma en sistema 

paralelo: T p = O(log n). 

• S = O(n / log n). 

• Para calcular el Speed-up 

hay que considerar el mejor 

algoritmo serie que 

resuelva el problema.



Ejemplo de Speed-up superlineal 

Solución 

• Tiempo de búsqueda serie (primero en profundidad): T s = 14·t c 

• Tiempo de búsqueda paralelo (con 2 procesadores): T p = 5·t c 

• S = 14 / 5 = 2.8 > 2 !! Speed-up superlineal. 

• Algoritmo de búsqueda serie no óptimo. Si primero en anchura, 

S = 7 / 5 < 2 

• A menudo, el algoritmo de búsqueda serie óptimo depende de la 

solución.



Métricas de rendimiento para sistemas paralelos (II) 

• Eficiencia. 

– Speed-up conseguido por procesador: E = S / p 

• Coste (en términos de Trabajo). También llamado 

producto procesador-tiempo o trabajo. 

– Coste (o trabajo) = p·T p 

• Un sistema es óptimo en coste si el coste de resolver 

un problema en el sistema paralelo tiene el mismo 

crecimiento asintótico (en función del tamaño del 

problema) que el coste en el mejor sistema serie 

equivalente.



Sistemas óptimos en coste 

• Ejemplo (algoritmo de suma): 

– Coste paralelo: O(n·log n) 

– Coste serie: O(n). 

– No es óptimo en coste. El coste paralelo crece a 

mayor velocidad que el serie, en términos de n. 

• La eficiencia de un sistema óptimo en coste es 

O(1).



El efecto de la granularidad en el rendimiento 

• Utilizar el máximo número de procesadores 

que el algoritmo permita no suele ser factible. 

• Solución: Subescalar el sistema (aumentar la 

granularidad, y utilizar menos procesadores). 

• Si un sistema es óptimo en coste, sigue 

siéndolo tras subescalarlo. 

• Si un sistema no es óptimo en coste, puede o 

puede que no lo sea tras subescalarlo.



Ejemplo de subescalado (I) 

• Suma de n números con p procesadores (ambos potencias de 2). 

Fase 1 Fase 2 

Siempre hay log p fases, cada una de ellas con (n / p) pasos



Ejemplo de subescalado (II) 

Fase de agrupamiento 

• Tiempo fases iniciales: O((n/p)·log p) 

• Tiempo fase de agrupamiento: O(n/p) No hay comunicaciones. 

• TOTAL Tiempo paralelo: O((n/p)·log p) 

• TOTAL Coste paralelo (p·T p ): O(n·log p) 

Sigue sin ser 

• Coste serie: O(n) 

óptimo en coste



Ejemplo de subescalado (III): Mejora en la asignación 

• Fases (a): O(n/p) No hay comunicaciones. 

• Fases (b)-(d): O(log p). 

• TOTAL tiempo paralelo: O((n/p) + log p) → Coste: O(n + p·log p) 

• Si n/p (granularidad) suficientemente grande, n = Ω(p·log p), y por lo 

tanto, el coste paralelo es O(n). 

Ahora es óptimo en coste 

• Coste serie: O(n). 

• El algoritmo elegido es crítico para el rendimiento. 

• Subescalar el sistema hace que su rendimiento en tiempo disminuya, 

pero que su rendimiento en coste pueda ser óptimo.



Escalabilidad de los sistemas paralelos 

• A menudo, los algoritmos paralelos se testean y miden en problemas 

pequeños, para simplificar los procesos. 

• Sin embargo, estos algoritmos se usan para solucionar problemas a 

gran escala, y por lo tanto es necesario extrapolar su rendimiento 

cuando n es grande. 

• Este proceso no es trivial, y lleva muchas veces a engaño. 

Speed-up frente a n para tres 

métodos de cálculo de la 

Transformada Rápida de 

Fourier. ¿Cuál es mejor



Efecto de la escalabilidad en T o 

• T o crece al menos linealmente en función de p: 

– Cada proceso introduce una parte intrínsecamente 

lineal, que no puede ejecutarse en paralelo. Se produce 

desequilibrado de carga y hay más procesadores 

ociosos. 

– Las comunicaciones entre procesadores aumentan. 

• T o , en la mayoría de los casos, crece sub-linealmente 

en función del tamaño del problema (W): 

– Esto implica que, en proporción (aunque no en valor 

absoluto) T o sea menor cuanto mayor sea W.



Efecto de la escalabilidad en E 

• Ejemplo de suma de n números en p procesadores (última 

versión). Si el tiempo de comunicación y el de una 

operación aritmética es 1: 

n 

Sumas locales iniciales 

T p 

= + 2⋅log 

p 

p 

Sumas inter-procesador 

S 

E 

= 

n 

p 

= 

1+ 

n 

+ 2⋅log 

1 

2 p ⋅log 

n 

p 

p 

T o 

+ comunicaciones 

•Si crece p, disminuye E 

•Si crece el tamaño del 

problema (n), aumenta E



Efecto de la escalabilidad en E 

W fijo 

p fijo 

•¿Qué ocurre si se aumenta a la vez p y W 

•¿Podría mantenerse E constante



Variación de Speed-up y Eficiencia frente a p y n 

• El Speed-up se estabiliza con el incremento de p (la Eficiencia 

disminuye). 

• A p constante, el Speed-up (y la Eficiencia) aumentan con el tamaño 

del problema (W).



Sistema escalable 

• Si en un algoritmo la Eficiencia crece con el tamaño 

del problema y decrece con el número de 

procesadores, ¿qué ocurre si aumentamos ambos 

W(n) y p 

• Si la respuesta es que la Eficiencia se estabiliza y 

• Si la respuesta es que la Eficiencia se estabiliza y 

permanece constante, entonces el sistema paralelo 

se dice escalable.



Función de Isoeficiencia (I) 

T 

T 

o 

p 

( W , p) 

= p ⋅T 

−W 

El overhead es función del 

= 

W 

+ To 

( W , 

p 

p 

p) 

número de procesadores (p) y del 

tamaño del problema (W) 

S 

= 

W W 

= 

Tp W + T 

o 

⋅ p 

( W , p) 

E 

= 

S 

p 

= 

W 

W 

1 

= 

+ To ( W , p) 

1+ 

To 

( W , p) 

/ W



E 

T o 

W 

W 

1 

= 

1+ 

To ( W , p) 

/ W 

( W 

, 

p 

) 

− E 

= 1 

W E 

E 

= ⋅T 

( W , p) 

1− 

E 

K ⋅T 

Función de Isoeficiencia (II) 

Función de isoeficiencia 

•La función de isoeficiencia indica 

( cuánto tiene que aumentar W 

(tamaño del problema) para poder 

incluir más procesadores sin que la 

Eficiencia del sistema se resienta. 

= 

o 

o 

( W , p) 

•Cuanto menor sea la función de 

isoeficiencia, mejor, ya que el 

sistema es más escalable.



Función de Isoeficiencia: Ejemplo 

• La función T o para el algoritmo de suma de n números en p 

procesadores es aproximadamente 2p·log p, por lo que la 

función de isoeficiencia será: 

W 

= 

K 

⋅ 2 p ⋅log 

• La función de isoeficiencia es O(p·log p). 

• Si p = 16, entonces W = 128·K, pero para aumentar p al 

doble (p = 32), necesitamos W = 320·K para poder mantener 

la eficiencia constante. 

• Es decir, el tamaño del problema tiene que crecer en un 

factor de 2.5 para poder añadir el doble de procesadores. 

• Si no se cumple esta proporción, el sistema perderá 

eficiencia progresivamente. 

p



Función de Isoeficiencia dependiente de W 

• Lo habitual es que la función T o dependa tanto de p como W, 

lo cual complica el análisis. 

3/ 2 3/ 4 3/ 4 

• Ej.: T o 

= p + p ⋅W 

• Considerando sólo el primer término: 

W 

= 

K 

⋅ 

p 

3/ 2 

• Considerando sólo el segundo término: 

W 

= K ⋅ 

p 

3/ 4 

⋅W 

3/ 4 

→ W 

1/ 4 

• El orden de crecimiento es O(p 3/2 ) y O(p 3 ) respectivamente. 

• Si el tamaño del problema crece del orden de O(p 3 ), la 

eficiencia se mantiene constante, O(1). 

• Todo ritmo de crecimiento inferior hace que la eficiencia 

empeore al aumentar p. 

= 

K 

⋅ 

p 

3/ 4 

→ W 

= 

K 

4 

⋅ 

p 

3



Sistemas escalables y óptimos en coste 

• La propiedad de escalabilidad (isoeficiencia) está relacionada con los 

sistemas óptimos en coste. 

• Un sistema escalable se puede convertir en óptimo en coste si se eligen 

apropiadamente el número de procesadores, en función del tamaño del 

problema de entrada. 

• Sistema óptimo en coste si su coste, p·T p , no excede asintóticamente el 

crecimiento de W. 

W 

W 

W 

= Ω( 

p ⋅T 

= Ω( 

W 

= Ω( 

T 

o 

p 

) 

+ T 

o 

( W , p)) 

( W , p)) 

• Esta expresión coincide con la definición de isoeficiencia. Un sistema 

es óptimo en coste si su overhead, T o , no excede asintóticamente el 

crecimiento de W.



Tiempo de ejecución mínimo 

• Por mucho que aumente p, el mínimo T p está acotado. Si p 

es excesivamente grande, el tiempo de comunicación 

domina sobre el de computación, y T p empeora. 

• Ej.: Suma de n números con p procesadores. 

n 

Tp 

= 

+ 

2log 

p 

p 

d 

dp 

T 

p 

= 0 ⇒ − 

− n + 2 p = 

0 

n 

p 

2 

+ 

2 

p 

= 

0 

Si p es mayor que este 

valor, el rendimiento 

empeora 

p 

= 

n 

2 

⇒ 

T 

min 

p 

= 

2⋅log 

n



Análisis asintótico de programas paralelos 

Datos expresados en 

Orden de Magnitud 

(análisis asintótico) 

• ¿Qué algoritmo es mejor 

• ¿Es el Tiempo de ejecución una métrica significativa 

• ¿Hay algún algoritmo óptimo en coste

Modelo analÃ­tico de rendimiento

Create successful ePaper yourself

Delete template?

Save as template?

Modelo analÃtico de rendimiento