Programmation PYTHON - Zenk - Security - Repository

376
La bibliothèque standard
TROISIÈME PARTIE
Les liens ne sont pas suivis et laissés tels quels.
Points abordés
urllib2, SGMLParser, création de fichiers.
Solution
Aspirateur
#!/usr/bin/python
# -*- coding: utf8 -*import
sys
import os
import urllib2
import logging
from urlparse import urlsplit
from urlparse import urlunsplit
from os.path import join
from HTMLParser import HTMLParser
from sgmllib import SGMLParser
class PageParser(SGMLParser):
"""Parse une page web et collecte ses liens
"""
def __init__(self, on_attribute_visited, tags_to_remove=('base',)):
SGMLParser.__init__(self)
self.on_attribute_visited = on_attribute_visited
self.tags_to_remove = tags_to_remove
def unknown_starttag(self, tag, attrs):
if tag.lower() in self.tags_to_remove:
return None
final_tag = ''
self._result.append(final_tag)
def unknown_endtag(self, tag):
if tag.lower() in self.tags_to_remove:
return None
self._result.append('' % tag)
def parse(self, data):
self._result = []
self.feed(data)