METODOLOGIA DE MINERAÃÃO DE DADOS PARA ANÃLISE DO ...

More documents

Recommendations

Info

saida.write(dado2 + '\n')gravado = gravado + 1dado1 = dado2except IndexError:print 'Fim da lista...'breakentrada.close()else:print 'Arquivo ' + arqin + ' nao encontrado...'entrada.close()saida.close()print ' 'print '--- Agente -----------------'print 'Lidos = ', totalprint 'Gravados (distintos) = ', gravadoprint 'Repetidos = ', repetidoprint '----------------------------'print 'Fim...'print time.strftime("%a, %d %b %Y %H:%M:%S", time.localtime())178
Elimina_navegacao_robots.py 6import stringimport os.pathimport timeprint time.strftime("%a, %d %b %Y %H:%M:%S", time.localtime())print 'Elimina logs gerados por robots...'print '----------------------------------'#le arquivo de configuracao (diretorio de trabalho)arqconf = 'Configuracao.txt'entradaconf = open(arqconf)if os.path.isfile(arqconf):for line in entradaconf:diretorio = line[0:len(line)-1]breakelse:print 'Arquivo de configuracao nao encontrado...'entradaconf.close()arqin = diretorio + '\Trabalho\\robots_ag_distintos.log'entrada = open(arqin)tab_ag = []total = 0if os.path.isfile(arqin):for line in entrada:total = total + 1if total % 50000 == 0:print totaltab_ag.append(line[0:len(line)-1])else:print 'Arquivo ' + arqin + ' nao encontrado...'entrada.close()print 'Inicio sort...'tab_ag.sort()tab_ag.reverse()print 'Fim sort...'print str(total) + ' robots_ag distintos carregados em memoria'total = 0gravado = 0robot = 0arqin = diretorio + '\Log\emagrecendo.log'arqout1 = diretorio + '\Trabalho\emagrecendo_sem_robots.log'saida1 = open(arqout1, 'w')arqout2 = diretorio + '\Trabalho\ip_agent.log'saida2 = open(arqout2, 'w')6 O programa anterior gera uma lista de agentes que acessaram o arquivo robots.txt, indicando, àprincípio, que é um robot. Entretanto, há alguns deles que acessam este arquivo porque estão embutidosem ferramentas de busca (por exemplo, MSIECrawler e Girafabot). Assim, antes de se executar esteprograma, é necessário excluir manualmente estes agentes do arquivo de entrada.179
Page 1 and 2:
METODOLOGIA DE MINERAÇÃO DE DADOS
Page 4 and 5:
AgradecimentosAo Prof. Nelson, por
Page 6 and 7:
Abstract of Thesis presented to COP
Page 8 and 9:
4.2 Nova abordagem ................
Page 10 and 11:
Índice de figurasFigura 1.1 - Tipo
Page 12 and 13:
Figura 6.32 - Estatísticas dos int
Page 14 and 15:
Índice de tabelasTabela 1.1 - Defi
Page 16 and 17:
& KOWALCZYK, 2005, SPILIOPOULOU et
Page 18 and 19:
• Os dados de perfil de usuário
Page 20 and 21:
LIU et al. (2002) onde, através de
Page 22 and 23:
1.5 Termos e definiçõesNa estrutu
Page 24 and 25:
No capítulo 3 são apresentadas as
Page 26 and 27:
Figura 2.1 - Diagrama simplificado
Page 28 and 29:
BRANDMAN et al. (1999) fazem um est
Page 30 and 31:
Conteúdo Campo Definiçãoshasta04
Page 32 and 33:
Esta fase de pré-processamento, ju
Page 34 and 35:
owser dos usuários e têm a funç
Page 36 and 37:
2.3.2 Descobrimento de padrõesUma
Page 38 and 39:
• A => C (suporte = 50%, confian
Page 40 and 41:
2.3.2.4 ClassificaçãoUma tarefa d
Page 42 and 43:
2.5 FerramentasAs ferramentas 3 par
Page 44 and 45:
pacote quanto de serviço. Seus pre
Page 46 and 47:
O projeto WebSIFT (Web Site Informa
Page 48 and 49:
as associações existentes entre p
Page 50 and 51:
às propriedades específicas do we
Page 52 and 53:
Capítulo 3ComportamentoO comportam
Page 54 and 55:
• usar procedimentos objetivos na
Page 56 and 57:
3.1.1 Behaviorismo RadicalNenhum pe
Page 58 and 59:
organismo não é nem gerente nem i
Page 60 and 61:
Neste diagrama, o S D indica o est
Page 62 and 63:
Todos estes processos são respons
Page 64 and 65:
científica dos séculos 16 e 17, a
Page 66 and 67:
(software) e o cérebro um meio fí
Page 68 and 69:
No caso da web, esta usabilidade en
Page 70 and 71:
Capítulo 4MetodologiaQuando se tra
Page 72 and 73:
Além disso, TANASA (2005) enumera
Page 74 and 75:
4.2 Nova abordagemPara que a técni
Page 76 and 77:
Web Usage Mining não se preocupam
Page 78 and 79:
propósito distinto para cada usuá
Page 80 and 81:
Apesar dos padrões encontrados pos
Page 82 and 83:
Capítulo 5ValidaçãoPara validar
Page 84 and 85:
5.1 Pré-processamentoPara o tratam
Page 86 and 87:
10. Associacao_uri_stem.py: avalia
Page 88 and 89:
Para cada conjunto neste grupo, o C
Page 90 and 91:
• Seqüência máxima em memória
Page 92 and 93:
Capítulo 6Estudo de caso 1O primei
Page 94 and 95:
6.1 Características dos acessosCom
Page 96 and 97:
Figura 6.4 - Atividades por dia da
Page 98 and 99:
Utilizando o critério de time-out
Page 100 and 101:
Figura 6.6 - Histograma do tamanho
Page 102 and 103:
Figura 6.9 - Histograma de tempo en
Page 104 and 105:
Ordem Página Qtde1 /2004/index.sht
Page 106 and 107:
Figura 6.11 - Resultado do cálculo
Page 108 and 109:
Figura 6.13 - Regras obtidasAs pág
Page 110 and 111:
classificar e rotular os grupos de
Page 112 and 113:
Para a análise dos intervalos (qua
Page 114 and 115:
Este caso é um exemplo de bom func
Page 116 and 117:
Também faz parte deste detalhament
Page 118 and 119:
Este é um exemplo onde as duas pá
Page 120 and 121:
As estatísticas do tempo total de
Page 122 and 123:
com o especialista, como este tempo
Page 124 and 125:
As estatísticas do tempo total de
Page 126 and 127:
Apesar da confiança baixa (16%), e
Page 128 and 129:
Na Figura 6.30 estão apresentadas
Page 130 and 131:
As estatísticas mostradas na Figur
Page 133 and 134:
6.12 Outras hipótesesAlém das hip
Page 135 and 136:
Capítulo 7Estudo de caso 2O segund
Page 137 and 138:
Figura 7.2 - Página principal em p
Page 139 and 140:
Figura 7.5 - Acessos por hora do di
Page 141 and 142: Na Tabela 7.1 são mostradas a quan
Page 143 and 144: Figura 7.9 - Histograma de tempo en
Page 145 and 146: A página de tarifas, escolhida com
Page 147 and 148: Página/hotelbucsky/tarifa.htm/hote
Page 149 and 150: 7.6 Detalhamento dos padrõesDescob
Page 151 and 152: Nesta regra, conforme mostrado na F
Page 153 and 154: Ainda referente à regra R1, també
Page 155 and 156: Suporte=18%63%24Probabilidadedestas
Page 157 and 158: Mediana = 58Figura 7.18 - Histogram
Page 159 and 160: 7.9 Análise da regra R3Na Figura 7
Page 163 and 164: Suporte=53%53%Probabilidadedesta p
Page 167 and 168: • As páginas do site parecem est
Page 169 and 170: adequadas ao negócio, surjam hipó
Page 171 and 172: • Estudar a utilização de tempo
Page 173 and 174: Referências bibliográficasAGRAWAL
Page 175 and 176: COOLEY, R., MOBASHER, B., SRIVASTAV
Page 177 and 178: FRIAS-MARTINEZ, E., KARAMCHETI, V.,
Page 179 and 180: LIU, B., ZHAO, K., YI, L., 2002,
Page 181 and 182: PERKOWITZ, M., ETZIONI, O., 1997,
Page 183 and 184: SRIKANT, R., AGRAWAL, R., 1996, “
Page 185 and 186: Apêndice AReferências de ferramen
Page 187 and 188: Seleciona_log.py (emagrecendo.com.b
Page 189 and 190: Seleciona_log.py (hotelbucsky.com.b
Page 191: Gera_robots_distintos.pyimport stri
Page 195 and 196: Gera_navegacao_total_memoria.pyimpo
Page 197 and 198: Gera_uri_stem_distintos.pyimport st
Page 199 and 200: Checa_uri_stem_valido.py 7import st
Page 201 and 202: i = (j * 3) + 3d2 = string.splitfie
Page 203 and 204: entrada = open(arqin)for line in en
Page 205 and 206: h2 = string.splitfields(rec[k+1], '
Page 207 and 208: for j in range(0,10-len(rec[2])):re
Page 209 and 210: Conta_uri_stem_sessao_transposta.py
Page 211 and 212: Tempo_associacao.py 8import stringi
Page 213 and 214: Intervalo_associacao.pyimport strin
Page 215 and 216: print ' 'else:print 'Arquivo ' + ar
Page 217 and 218: Figura C.1 - Página “/2004/bal_v
Page 219 and 220: Figura C.3 - Página “/2004/rec_e
Page 221 and 222: Apêndice DPáginas do hotelbucsky.
Page 223 and 224: Figura D.2 - Página “/hotelbucsk
Page 225 and 226: Figura D.4a - Página “/hotelbucs
Page 227 and 228: Figura D.4c - Página “/hotelbucs
Page 229: Figura D.5 - Página “/hotelbucsk
show all

METODOLOGIA DE MINERAÃÃO DE DADOS PARA ANÃLISE DO ...

You also want an ePaper? Increase the reach of your titles

Delete template?

Save as template?

METODOLOGIA DE MINERAÃÃO DE DADOS PARA ANÃLISE DO ...