Estratègies d'èxit per a una empresa en línea - Universitat Oberta de ...

Exploració
Estratègies d'èxit per a una empresa en línia
El robot, també anomenat spider o web crawler, és un programa dedicat 24h al dia a recórrer
Internet obtenint la informació rellevant per al cercador de cadascuna de les pàgines
que visita. Com a primer pas, tot robot parteix d’una llista d'URLs coneguda. La mateixa pot
ser produïda pel conjunt d'usuaris que ha donat d'alta el seu lloc al cercador. Després es tria
una URL de la llista, i s'obté el corresponent document de la web.
Els enllaços presents al document obtingut són agregats a la llista d'URL pendents, després
d'això es continua amb la següent URL de la llista. La manera com aquests enllaços són
agregats a la llista determina en gran part el comportament de la cerca del robot, destacant
les polítiques de “primer en profunditat” i les de “primer en amplada”.
Recuperació
La informació a recuperar varia d'un sistema a un altre. Alguns emmagatzemen tot el document,
mentre que altres es limiten al títol, i les primeres n línies o paraules.
Quan es té la informació de la pàgina, aquesta s'ha d'analitzar i condensar, per permetre
tant la seva organització, ponderació i posterior presentació als usuaris del sistema. La part
del sistema encarregada de realitzar aquesta tasca és el motor d'indexació, i ho fa en base
als algorismes de recuperació d’informació (Information Retrieval - IR).
L’algorisme de IR varia segons el motor de cerca, però en general es basen en els termes, la
seva posició en el conjunt del text, la densitat dels termes, termes a la URL, etc. Aquests
algorismes es van actualitzant per tal de millorar els resultats i evitar abusos en el posicionament
per part de pàgines de poca qualitat i amb interessos econòmics propis.
Figura 4-2.- Funcionament general d'un cercador
UOC – Universitat Oberta de Catalunya | Carolina Gutiérrez 41