Python para todos

Interactuar con webs
Veamos cómo añadir nuestras propias cabeceras utilizando como
ejemplo la cabecera User-Agent. El User-Agent es una cabecera que
sirve para identificar el navegador y sistema operativo que estamos
utilizando para conectarnos a esa URL. Por defecto urllib2 se identifica
como “Python-urllib/2.5”; si quisiéramos identificarnos como un
Linux corriendo Konqueror por ejemplo, usaríamos un código similar
al siguiente:
ua = “Mozilla/5.0 (compatible; Konqueror/3.5.8; Linux)”
h = {“User-Agent”: ua}
r = urllib2.Request(“http://www.python.org”, headers=h)
f = urllib2.urlopen(r)
print f.read()
Para personalizar la forma en que trabaja urllib2 podemos instalar un
grupo de manejadores (handlers) agrupados en un objeto de la clase
OpenerDirector (opener o abridor), que será el que se utilice a partir de
ese momento al llamar a urlopen.
Para construir un opener se utiliza la función build_opener a la que se
le pasa los manejadores que formarán parte del opener. El opener se
encargará de encadenar la ejecución de los distintos manejadores en el
orden dado. También se puede usar el constructor de OpenerDirector,
y añadir los manejadores usando su método add_handler.
Para instalar el opener una vez creado se utiliza la función install_opener,
que toma como parámetro el opener a instalar. También
se podría, si sólo queremos abrir la URL con ese opener una sola vez,
utilizar el método open del opener.
urllib2 cuenta con handlers que se encargan de manejar los esquemas
disponibles (HTTP, HTTPS, FTP), manejar la autenticación, manejar
las redirecciones, etc.
Para añadir autenticación tendríamos que instalar un opener que incluyera
como manejador HTTPBasicAuthHandler, ProxyBasicAuthHandler,
HTTPDigestAuthHandler y/o ProxyDigestAuthHandler.
Para utilizar autenticación HTTP básica, por ejemplo, usaríamos
99