Dimensões e características da Web brasileira: um estudo ... - CGI.br

20<br />
capítulo 1<br />
Os DesafiOs técnicOs para O estuDO Da Web brasileira<br />
Dimensões e características da Web brasileira: um estudo do .gov.br<br />
nos dedicar ao projeto. Não tínhamos ideia, contudo, do tamanho do desafio<br />
ao qual nos proporíamos, principalmente em seus aspectos técnicos.<br />
A forma como é constituída a Web, por si só, traz diversas dificuldades.<br />
Por exemplo, não há realmente uma “Web brasileira”; a World Wide Web,<br />
como o próprio nome diz, é uma rede de alcance mundial. Limitar o escopo<br />
do estudo foi o primeiro dos desafios. O que faríamos? Consideraríamos a<br />
linguagem das páginas? Se o fizéssemos, haveria a dificuldade em si, de<br />
identificar o idioma, e o risco de considerarmos sítios dos demais países lusófonos.<br />
Consideraríamos, então, a geolocalização dos servidores utilizados<br />
para hospedar a Web? Sabíamos de antemão que uma grande percentagem<br />
dos domínios “.br” estavam hospedados fora do país. Decidimos considerar<br />
apenas a Web formada pelos domínios “.br”, conscientes de que há sítios<br />
nacionais hospedados em outros domínios que ficariam fora do estudo. Para<br />
minimizar o problema, consideramos no estudo os sítios sob outros domínios<br />
encontrados por meio de um redirecionamento a partir de uma URL que<br />
apontasse para um “.br”.<br />
A Web é uma rede cujos conteúdos estão interligados através de documentos<br />
de hipertexto. Seu estudo é possível por um processo de análise e coleta<br />
sucessiva das páginas, a partir de um conjunto de sítios previamente conhecidos.<br />
Essa busca é feita de forma automática por um programa de computador<br />
normalmente chamado de crawler, coletor, ou batedor. Nem toda a Web está<br />
interligada, contudo, embora a maior parte dela esteja: há “ilhas” de tamanhos<br />
variados sem ligação com o restante da rede. isso significa que o conjunto<br />
inicial de sítios a partir dos quais a pesquisa é feita influencia o resultado,<br />
e encontrar o conjunto adequado, geralmente o mais completo possível, é um<br />
passo importante. Na coleta do “.gov.br”, por exemplo, a situação ideal seria<br />
conhecermos os domínios registrados diretamente sob o “.gov.br”, mais os<br />
domínios registrados sob as siglas das unidades federativas, como “.sp.gov.br”.<br />
Os primeiros estão sob responsabilidade do Governo Federal, e obtivemos a<br />
base; os demais são responsabilidade dos Governos Estaduais e contamos com<br />
o apoio da ABEP (Associação Brasileira de Entidades Estaduais de TiCs) em sua<br />
obtenção. Ainda assim, apenas 8 unidades federativas haviam nos enviado os<br />
dados na época da coleta, obrigando-nos a, paliativamente, complementar os<br />
dados usando sítios encontrados em buscadores Web.<br />
Há também armadilhas para o processo de coleta: sítios com um número<br />
infinito de páginas, geradas dinamicamente. Elementos simples, como um<br />
calendário gerado automaticamente no sítio, podem criar situações desse<br />
gênero. Limites de tamanho e profundidade têm de ser estabelecidos, com o<br />
risco de impedirem a coleta de partes de sítios maiores que estes.