Programmation PYTHON - Zenk - Security - Repository

Discussion
Exercices corrigés
CHAPITRE 11
Ajouté à la version 2.6, le module multiprocessing gère les processus aussi souplement
que des threads. Les API disponibles sont équivalentes aux API du module
threading. En outre, multiprocessing propose une classe Pool qui gère automatiquement
les processus et les tâches à réaliser.
Dans la fonction launch_work, une instance de Pool est créée et chaque URL à
traiter est passée à cette classe avec la requête de recherche.
Le travail consiste ensuite à programmer la fonction qui traite l’URL de manière
isolée sans se soucier de l’aspect multiprocessus. Une fois l’instance de classe Pool
remplie, chaque tâche est exécutée par l’appel get.
processed_url est un dictionnaire partagé entre les différents processus, qui liste les
URL déjà traitées, de manière à ne pas repasser par les mêmes pages.
La suite est une programmation classique, où les pages sont lues avec
urlllib2.urlopen et les logs émis avec logging. La lecture des pages n’est pas
décrite ici, car cette fonctionnalité est détaillée dans l’exercice 12.
Extension
La programmation parallèle est utile lors qu’un programme manipule des ressources
distantes, comme des pages web. Mais si ce modèle accélère grandement les traitements,
pour un volume conséquent de données, il atteint ses limites car il n’est pas
possible de lancer une quantité infinie de processus sur la même machine.
Le fait d’isoler le travail de recherche dans une fonction unique permet assez facilement
de passer à des modèles distribués plus robustes. Le programme ci-avant peut
par exemple évoluer vers un programme qui s’exécute en parallèle sur plusieurs
machines (appelés nœuds). Dans ce modèle, le pool devient le nœud maître, et
l’ensemble est appelé cluster. Le nœud maître envoie des travaux indépendants à
chaque nœud du cluster et récupère les résultats.
L’algorithme le plus célèbre de modèle distribué de ce type est MapReduce (http://
fr.wikipedia.org/wiki/MapReduce) de Google. Côté implémentation, la plus célèbre est
Hadoop en Java. Notons que quelques implémentations existent en Python, comme
Disco (http://discoproject.org/).
371