Programmation PYTHON - Zenk - Security - Repository

Exercices corrigés
CHAPITRE 11
appelé producer-consumer. Le principe de ce design pattern est de fournir à l’application
une file d’attente pour les traitements : chaque traitement à exécuter en tâche de
fond est ajouté dans la file d’attente et un ou plusieurs threads, nommés workers, se
chargent de la tâche.
En plus de rendre l’interface à l’utilisateur, cette parallélisation multiple accélère le
traitement.
Exercice 9 : Un web spider rapide
Description
L’objectif de cet exercice est de mettre en place le modèle producteur-consommateur,
présenté dans l’extension de l’exercice précédent, en utilisant des processus.
Le programme doit lancer en parallèle 4 processus en charge de trouver des pages web
qui contiennent un mot. Le système est amorcé avec une dizaine de pages que les processus
visitent. À chaque page visitée, le processus suit les liens et visite au maximum
50 pages. Si une page a déjà été visitée par un autre processus, elle ne le sera pas de nouveau.
Un système de journal doit aussi afficher les URL scannées au fur et à mesure.
Points abordés
Les modules multiprocessing, urllib2 et module logging.
Solution
Producteur-consommateur
#!/usr/bin/python
# -*- coding: ISO-8859-15 -*import
os
import urllib2
import sys
import logging
from multiprocessing import Pool
from multiprocessing import TimeoutError
from multiprocessing import Manager
processed_urls = Manager().dict()
# mise en place du logger
logger = logging.getLogger('WebLogger')
logger.setLevel(logging.INFO)
369