Programmation PYTHON - Zenk - Security - Repository

378
La bibliothèque standard
TROISIÈME PARTIE
Discussion
return valeur
def download(self, filename=None):
"""Récupère la page web et les pièces dépendantes"""
self._count = 0
self._media = {}
scheme, netloc, path, query, fragment = urlsplit(self.url)
self.urlbase = '%s://%s' % (scheme, netloc)
logging.info('Récupération de %s' % self.url)
try:
content = self._get_content(self.url)
except urllib2.URLError:
logging.info("Impossible de lire l'url %s" % self.url)
raise
# création d'un sous-dossier
if not os.path.exists('_files'):
os.mkdir('_files')
# parcours de la page pour remplacer et télécharger
# les images
parser = PageParser(self._media_needed)
content = parser.parse(content)
# sauvegarde de la page
if filename is None:
filename = path.split('/')[-1]
if filename == '':
filename = '%s.htlm' % netloc
with open(filename, 'w') as f:
f.write(content)
logging.info('Fichier "%s" créé' % os.path.basename(filename))
if __name__ == '__main__':
if len(sys.argv) != 2:
print('Utilisation: %s ' % sys.argv[0])
sys.exit(0)
url = sys.argv[1]
my_page = WebPage(url)
my_page.download()
La classe PageParser dérive de sgmlib.SGMLParser qui est un simple parseur
SGML, compatible avec tout texte contenant des balises. Ce parseur a été choisi
pour ne pas souffrir des restrictions des parseurs HTML classiques comme