Le calcul parallèle - Le CETMEF

communication. Elle facilite la répartition de charge mais entraîne un surcoût important de communication
et laisse peu d'opportunités d'augmenter les performances.
Une granularité forte, à l'inverse, signifie qu'il y a relativement peu de communication en comparaison
avec les périodes de calcul. Cela laisse plus d'opportunités d'augmenter les performances mais la
répartition de la charge est beaucoup moins évidente à mettre en place.
Les limites des applications parallèles
La loi d'Amdahl montre que le gain maximum que l'on peut avoir lors que l'on développe une application
parallèle par rapport à la même application mais non parallèle est fonction du pourcentage du code qu'il
est possible de rendre parallèle.
Soit P le pourcentage de code parallélisable, le gain maximum est 1 / ( 1 - P )
Soit N le nombre de processeurs et S le pourcentage de code non parallèle, le gain est 1 / ( P/N + S)
On voit bien que plus on ajoute de processeurs, plus le gain sera élevé. Mais ceci n'est que la limite
théorique, elle ne prend pas en compte les problèmes soulevés par la mise en parallèle des calculs
(communications, synchronisations, dépendances, ...).
De plus, les applications parallèles sont plus complexes à développer. En effet, les exécutions
simultanées et les flots de données entre ces exécutions ne sont pas des plus faciles à appréhender.
Le choix de la technique dépend donc fortement du calcul à effectuer en fonction des propriétés de ce
dernier. Il faut trouver un compromis entre la communication entre les sites qui est souvent coûteuse et la
taille des données du calcul.
Les facteurs limitant la vitesse d'un calcul parallèle sont :
• Le démarrage de la tâche
• Les synchronisations
• Les communications des données
• Les limites fixées par le compilateur, les bibliothèques, les outils, le système d'exploitation.
Conclusion
Comme je l'ai dit à plusieurs reprises, la conception d'un système de calcul parallèle et distribué est très
fortement influencée par la ou les applications que devra faire fonctionner ce système. Mais une fois que
l'architecture matérielle a été choisie, il convient également de bien choisir les algorithmes qui seront
utilisés. En effet, certains mécanismes sont plus efficaces sur des architectures bien particulières.
Par exemple, une application programmée à l'aide de threads sera plus adaptée sur des processeurs à
mémoire partagée puisque les threads partagent le même espace mémoire.
Si le volume des données est trop important pour tenir dans la mémoire d'un des processeurs, il est plus
judicieux, si cela est possible, de la répartir sur les différents processeurs du système. Dans ce cas, les
systèmes à base de mémoire distribuée seront à privilégier pour mieux répartir le volume des données
entre les noeuds.
Par contre, il est intéressant de noter, que si l'on souhaite lancer une même application sur des volumes
limités de données différentes, les deux architectures peuvent convenir.
Donc, si le système de calcul est amené à faire fonctionner un panel d'applications diverses, il peut être
préférable de mélanger les deux types d'architecture mémoire et d'optimiser l'équilibrage de charge (et
donc la répartition de la charge de travail) sur les processeurs les plus adaptés à la tâche.
Conception d'un système à haute performance - Le calcul parallèle 6/6 Copyright © CETMEF 2004