Formato PDF - mtc-m17:80 - Inpe

More documents

Recommendations

Info

sustentável do mecanismo de busca à medida que novos usuários colaboradores inserem-seao projeto, e pela redução de investimentos necessários para a aquisição e manutenção deinfra-estrutura.Muitos projetos que utilizam o tempo ocioso de computadores de usuários conseguemagregar milhares de colaboradores, aumentando significativamente sua capacidade. Dentreesses projetos destacam-se o BOINC - Berkeley Open Infrastructure for Network Computing((Anderson, 2004)), Seti@Home ((Anderson et al., 2002), Predictor@Home ((Taufer et al.,2005)) e Globus Project ((Foster; Kesselman, 1998)).No GeoDiscover, os colaboradores contribuem no rastreamento do ciberespaço, procurandopor arquivos geográficos e coletando páginas Web, e na execução da análise sintática daspáginas coletadas em busca de evidências de arquivos geográficos. A Figura 3-6 apresenta ofluxo de atividades executadas pelos colaboradores.O processo para a descoberta de dados geográficos é iniciado quando o computador de umcolaborador está ocioso. O módulo gerenciador do colaborador, denominado geocolaborador,solicita uma lista de URLs para serem visitadas. O servidor de Web service(WS) envia um lista ordenada de URLs para o colaborador, que dispara o rastejador paraencontrar os sítios indicados e recuperar o conteúdo HTML das páginas encontradas. Para aanálise do conteúdo HTML das páginas Web foi criado um repositório de palavras geointeressantesque serão identificadas no contexto da página.Ao encontrar a página Web, o rastejador verifica a existência de protocolos de exclusão derobôs 9 . Não havendo restrições para a indexação da página, o processo de download éiniciado e o conteúdo HTML é transferido para o módulo geo-colaborador. O geocolaboradorrecebe os arquivos HTML e inicia a análise do contexto em busca de conteúdogeográfico.Finalizada a análise sintática, e caso encontre páginas com indícios de arquivos geográficosou encontre explicitamente arquivos geográficos, o geo-colaborador envia todo o conteúdo8 Nesta tese utilizamos o termo “colaborador” para designar os computadores de usuários que auxiliam noprocesso de descoberta de páginas geo-interessantes.9 O arquivo robots.txt explicita regras de indexação do sítio no qual ele está inserido e também regras para autilização dos links para os quais o sítio aponta (www.robotstxt.org).54
da página para o servidor WS. Caso contrário, enviará para o servidor WS somente as URLsencontradas na página para que possam ser visitadas posteriormente. No final do processo, oconteúdo HTML capturado é descartado e o ciclo é reiniciado com o rastreamento de umanova página.SolicitaURL / HashRecebeURL / HashDispara rastejadorVisitaPágina WebSolicitaDadosEnviaDadosDownloadHTMLExecutaParserGeoNãoExisteServidor WSLoopEnviaConteúdoEnviaURLsEnviaDadosDescartaHTMLEnviaDadosFigura 3-6 – Fluxo de tarefas do usuário colaborador.A análise sintática dos conteúdos HTML adotada pelo GeoDiscover é um processocomplexo que inclui a identificação de contexto geográfico na página, o respeito ao códigode ética dos rastejadores, a conversão de URLs relativas em URLs absolutas e o envio dedados para o servidor WS. A análise sintática será discutida em detalhes na seção 3.6.55
Page 2 and 3:
Publicado por:esta página é respo
Page 4:
681.3.06Silva, F. R. G.GeoDiscover
Page 9: A meus pais,Maria Ermelinda Gibotti
Page 13: RESUMODados geográficos estão sen
Page 17 and 18: SUMÁRIOLISTA DE FIGURAS ..........
Page 19 and 20: LISTA DE FIGURAS2-1 - Processo de r
Page 21: LISTA DE TABELAS3-1 - Termos que co
Page 25 and 26: CAPÍTULO 1INTRODUÇÃODesde sua or
Page 27 and 28: E quanto aos dados geográficos? A
Page 29 and 30: • Desenvolvimento de um protótip
Page 31 and 32: CAPÍTULO 2FUNDAMENTAÇÃO TEÓRICA
Page 33 and 34: Um dos maiores usos de recuperaçã
Page 35 and 36: A estrutura básica de um mecanismo
Page 37 and 38: (Heydon; Najork, 1999) propôs uma
Page 39 and 40: Já stopwords são palavras que car
Page 41 and 42: fornecidas pelo usuário e compará
Page 43 and 44: O cenário ideal seria alcançar a
Page 45 and 46: desses dados. Atualmente, reconheci
Page 47 and 48: descreve um shape com uma lista de
Page 49: nome ou categoria. Os resultados da
Page 52 and 53: Figura 3-1 - Visão conceitual do m
Page 54 and 55: Os arquivos geo-interessantes não
Page 58 and 59: Para se tornar um colaborador, o us
Page 60 and 61: • Busca explícita de arquivos co
Page 62 and 63: Figura 3-8 - Fluxo tarefas realizad
Page 64 and 65: VerificaRegras IndexIndex okNo inde
Page 66 and 67: • A página pode ser indexada e a
Page 68 and 69: palavras existentes neste texto sã
Page 70 and 71: Para aumentar a eficiência no proc
Page 72 and 73: TR 11 - tempo mínimo de revisitaTa
Page 74 and 75: Figura 3-10 - Priorização de URLs
Page 76 and 77: 3.8.3 Texto-âncora e texto-âncora
Page 78 and 79: • Nos resultados da busca. Para a
Page 80 and 81: sintático. O principal benefício
Page 82 and 83: campo é comparado com os termos de
Page 85 and 86: CAPÍTULO 4IMPLEMENTAÇÃO E AVALIA
Page 87 and 88: lugares e com o texto-âncora do li
Page 89 and 90: são disponibilizadas informações
Page 91 and 92: • Palavras extraídas da página
Page 93 and 94: auto-apontamentos são desconsidera
Page 95 and 96: produtores de dados indexados em re
Page 97 and 98: sem prejudicar a precisão, que tam
Page 99 and 100: Para a avaliação da funcionalidad
Page 101 and 102: Consulta AmpliadaPrecisão1,000,900
Page 103 and 104: CAPÍTULO 5CONCLUSÕES E TRABALHOS
Page 105 and 106: A hipótese de trabalho adotada par
Page 107 and 108:
REFERÊNCIAS BIBLIOGRÁFICASAbitebo
Page 109 and 110:
Cheong, F.-C. Internet agents: spid
Page 111 and 112:
Guarino, N.; Giaretta, P. Ontologie
Page 113 and 114:
Page, L.; Brin, S.; Motwani, R.; Wi
show all

Formato PDF - mtc-m17:80 - Inpe

Create successful ePaper yourself

Delete template?

Save as template?