Formato PDF - mtc-m17:80 - Inpe

• A página pode ser indexada e as URLs constantes na página podem ser utilizadaspara serem seguidas pelo robô....• A página não pode ser indexada e as URLs constantes na página não podem serutilizadas para serem seguidas pelo robô.Em linhas gerais definem-se duas possibilidades distintas quanto às regras de indexação:permissão ou não para indexação completa da página. Porém em alguns casos onde não hápermissão para a indexação, existem regras explícitas que permitem que o rastejador visite asURLs presentes na página.Caso a regra não autorize a indexação da página nem a seqüência dos links, o geocolaboradorenvia para o servidor WS a confirmação da visita e encerra o processo. Caso aregra não autorize a indexação, mas autorize a seqüência dos links, o geo-colaborador extraitodas as URLs da página e as envia para o servidor WS. Estas URLs serão armazenadashierarquicamente no BD para serem visitadas posteriormente. Caso a página estejadisponível para indexação, é iniciada a extração do conteúdo das tags title, description,keywords, href, src e de todas as palavras do corpo da página.Antes de executar as análises sobre as URLs presentes na página, URLs relativas sãoconvertidas em URLs absolutas. Essa conversão é necessária, pois URLs relativas não64