METODOLOGIA DE MINERAÇÃO DE DADOS PARA ANÁLISE DO ...

4. Gera_navegacao_total_memoria.py: gera um arquivo onde cada linha contémtodas as navegações (independentemente de data e hora) para cada combinaçãodistinta de IP/agente. Adicionalmente, gera um arquivo com todas as páginasacessadas e contidas no log consolidado;5. Gera_uri_stem_distintos.py: retira do arquivo de páginas acessadas (gerado noprograma anterior) todas as duplicidades, gerando um arquivo de páginasdistintas;6. Checa_uri_stem_valido.py: acessa o site que está sendo analisado e verifica ostatus de cada página distinta encontrada. Grava um arquivo de páginas válidas,excluindo as páginas restritas, as de testes e as fora do contexto da análise;7. Calcula_tempo_sessao.py: lê o arquivo de navegações por IP/agente,identificando as sessões pelo método de intervalo máximo (time-out). O tempoutilizado neste programa foi de 30 minutos. As sessões geradas são gravadasnum arquivo distinto;8. Exclui_uri_stem_irrelevantes.py: consulta o arquivo de páginas válidas e excluitodas as sessões (do arquivo anterior) que possuem alguma página inválida;9. Gera_sessao_transposta.py: como o Clementine trabalha com dois formatos dedados (tabular ou transacional), é necessário transformar as sessões consolidadasnum destes formatos. No formato tabular os itens são representados por flags,onde cada flag indica a presença ou não de um item específico. No formatotransacional cada item está numa linha, juntamente com a identificação docliente e tempo do evento. O formato utilizado por este programa é otransacional. Como resultado, é gravado um arquivo com os seguintes campos:identificação da sessão, quantidade de segundos desde o início da sessão, tempode visitação em segundos, página visitada;71