METODOLOGIA DE MINERAÃÃO DE DADOS PARA ANÃLISE DO ...

More documents

Recommendations

Info

Calcula_tempo_sessao.pyimport stringimport os.pathimport timeimport datetimeprint time.strftime("%a, %d %b %Y %H:%M:%S", time.localtime())print 'Calcula tempo de permanencia e separa sessoes geradas...'print '--------------------------------------------------------'#le arquivo de configuracao (diretorio de trabalho)arqconf = 'Configuracao.txt'entradaconf = open(arqconf)if os.path.isfile(arqconf):for line in entradaconf:diretorio = line[0:len(line)-1]breakelse:print 'Arquivo de configuracao nao encontrado...'entradaconf.close()timeout = 1800 #tempo maximo de inatividade para ser considerado da mesma sessaodeltamin = 1 #tempo minimo a ser considerado entre duas solicitacoes de paginastotal = 0gravado = 0arqin = diretorio + '\Trabalho\\navegacao_total.log'arqout = diretorio + '\Trabalho\\sessao.log'saida = open(arqout, 'w')repeticoes = ['/2004/index.shtml']print ' 'print 'arqin: ', arqinprint 'arqout: ', arqoutprint ' 'if os.path.isfile(arqin):entrada = open(arqin)for line in entrada:total = total + 1if total % 10000 == 0:print totalline = line[0:len(line)-1]rec = string.splitfields(line, ' ')qtde = int(rec[0])ip = rec[1]agente = rec[2]head = rec[1]+' '+rec[2]d1 = string.splitfields(rec[3], '-')h1 = string.splitfields(rec[4], ':')data1 = datetime.datetime(int(d1[0]),int(d1[1]),int(d1[2]),int(h1[0]),int(h1[1]),int(h1[2]))linha = head+' '+rec[3]+' '+rec[4]+' '+rec[5]if qtde > 1:for j in range(1, qtde):186
i = (j * 3) + 3d2 = string.splitfields(rec[i], '-')h2 = string.splitfields(rec[i+1], ':')data2 = datetime.datetime(int(d2[0]),int(d2[1]),int(d2[2]),int(h2[0]),int(h2[1]),int(h2[2]))delta = data2 - data1if delta.days < 0 or delta.seconds < 0: print 'Erro: inconsistencia de datas!!!'if delta.days > 0 or delta.seconds > timeout:saida.write(linha + '\n')gravado = gravado + 1linha = head + ' ' + rec[i] + ' ' + rec[i+1] + ' ' + rec[i+2]else:if rec[i-1] rec[i+2]:if delta.seconds < deltamin:rec[i-1] = rec[i+2]else:linha = linha + ' ' + rec[i] + ' ' + rec[i+1] + ' ' + rec[i+2]else:if rec[i-1] not in repeticoes: #elimina repeticoes indesejadasif delta.seconds < deltamin:rec[i-1] = rec[i+2]else:linha = linha + ' ' + rec[i] + ' ' + rec[i+1] + ' ' + rec[i+2]data1 = data2saida.write(linha + '\n')gravado = gravado + 1else:saida.write(linha + '\n')gravado = gravado + 1entrada.close()else:print 'Arquivo ' + arqin + ' nao encontrado...'saida.close()print '--------------------------'print 'Lidos = ', totalprint 'Gravados = ', gravadoprint ''print 'Sucesso...'print time.strftime("%a, %d %b %Y %H:%M:%S", time.localtime())187
Page 1 and 2:
METODOLOGIA DE MINERAÇÃO DE DADOS
Page 4 and 5:
AgradecimentosAo Prof. Nelson, por
Page 6 and 7:
Abstract of Thesis presented to COP
Page 8 and 9:
4.2 Nova abordagem ................
Page 10 and 11:
Índice de figurasFigura 1.1 - Tipo
Page 12 and 13:
Figura 6.32 - Estatísticas dos int
Page 14 and 15:
Índice de tabelasTabela 1.1 - Defi
Page 16 and 17:
& KOWALCZYK, 2005, SPILIOPOULOU et
Page 18 and 19:
• Os dados de perfil de usuário
Page 20 and 21:
LIU et al. (2002) onde, através de
Page 22 and 23:
1.5 Termos e definiçõesNa estrutu
Page 24 and 25:
No capítulo 3 são apresentadas as
Page 26 and 27:
Figura 2.1 - Diagrama simplificado
Page 28 and 29:
BRANDMAN et al. (1999) fazem um est
Page 30 and 31:
Conteúdo Campo Definiçãoshasta04
Page 32 and 33:
Esta fase de pré-processamento, ju
Page 34 and 35:
owser dos usuários e têm a funç
Page 36 and 37:
2.3.2 Descobrimento de padrõesUma
Page 38 and 39:
• A => C (suporte = 50%, confian
Page 40 and 41:
2.3.2.4 ClassificaçãoUma tarefa d
Page 42 and 43:
2.5 FerramentasAs ferramentas 3 par
Page 44 and 45:
pacote quanto de serviço. Seus pre
Page 46 and 47:
O projeto WebSIFT (Web Site Informa
Page 48 and 49:
as associações existentes entre p
Page 50 and 51:
às propriedades específicas do we
Page 52 and 53:
Capítulo 3ComportamentoO comportam
Page 54 and 55:
• usar procedimentos objetivos na
Page 56 and 57:
3.1.1 Behaviorismo RadicalNenhum pe
Page 58 and 59:
organismo não é nem gerente nem i
Page 60 and 61:
Neste diagrama, o S D indica o est
Page 62 and 63:
Todos estes processos são respons
Page 64 and 65:
científica dos séculos 16 e 17, a
Page 66 and 67:
(software) e o cérebro um meio fí
Page 68 and 69:
No caso da web, esta usabilidade en
Page 70 and 71:
Capítulo 4MetodologiaQuando se tra
Page 72 and 73:
Além disso, TANASA (2005) enumera
Page 74 and 75:
4.2 Nova abordagemPara que a técni
Page 76 and 77:
Web Usage Mining não se preocupam
Page 78 and 79:
propósito distinto para cada usuá
Page 80 and 81:
Apesar dos padrões encontrados pos
Page 82 and 83:
Capítulo 5ValidaçãoPara validar
Page 84 and 85:
5.1 Pré-processamentoPara o tratam
Page 86 and 87:
10. Associacao_uri_stem.py: avalia
Page 88 and 89:
Para cada conjunto neste grupo, o C
Page 90 and 91:
• Seqüência máxima em memória
Page 92 and 93:
Capítulo 6Estudo de caso 1O primei
Page 94 and 95:
6.1 Características dos acessosCom
Page 96 and 97:
Figura 6.4 - Atividades por dia da
Page 98 and 99:
Utilizando o critério de time-out
Page 100 and 101:
Figura 6.6 - Histograma do tamanho
Page 102 and 103:
Figura 6.9 - Histograma de tempo en
Page 104 and 105:
Ordem Página Qtde1 /2004/index.sht
Page 106 and 107:
Figura 6.11 - Resultado do cálculo
Page 108 and 109:
Figura 6.13 - Regras obtidasAs pág
Page 110 and 111:
classificar e rotular os grupos de
Page 112 and 113:
Para a análise dos intervalos (qua
Page 114 and 115:
Este caso é um exemplo de bom func
Page 116 and 117:
Também faz parte deste detalhament
Page 118 and 119:
Este é um exemplo onde as duas pá
Page 120 and 121:
As estatísticas do tempo total de
Page 122 and 123:
com o especialista, como este tempo
Page 124 and 125:
As estatísticas do tempo total de
Page 126 and 127:
Apesar da confiança baixa (16%), e
Page 128 and 129:
Na Figura 6.30 estão apresentadas
Page 130 and 131:
As estatísticas mostradas na Figur
Page 133 and 134:
6.12 Outras hipótesesAlém das hip
Page 135 and 136:
Capítulo 7Estudo de caso 2O segund
Page 137 and 138:
Figura 7.2 - Página principal em p
Page 139 and 140:
Figura 7.5 - Acessos por hora do di
Page 141 and 142:
Na Tabela 7.1 são mostradas a quan
Page 143 and 144:
Figura 7.9 - Histograma de tempo en
Page 145 and 146:
A página de tarifas, escolhida com
Page 147 and 148:
Página/hotelbucsky/tarifa.htm/hote
Page 149 and 150: 7.6 Detalhamento dos padrõesDescob
Page 151 and 152: Nesta regra, conforme mostrado na F
Page 153 and 154: Ainda referente à regra R1, també
Page 155 and 156: Suporte=18%63%24Probabilidadedestas
Page 157 and 158: Mediana = 58Figura 7.18 - Histogram
Page 159 and 160: 7.9 Análise da regra R3Na Figura 7
Page 163 and 164: Suporte=53%53%Probabilidadedesta p
Page 167 and 168: • As páginas do site parecem est
Page 169 and 170: adequadas ao negócio, surjam hipó
Page 171 and 172: • Estudar a utilização de tempo
Page 173 and 174: Referências bibliográficasAGRAWAL
Page 175 and 176: COOLEY, R., MOBASHER, B., SRIVASTAV
Page 177 and 178: FRIAS-MARTINEZ, E., KARAMCHETI, V.,
Page 179 and 180: LIU, B., ZHAO, K., YI, L., 2002,
Page 181 and 182: PERKOWITZ, M., ETZIONI, O., 1997,
Page 183 and 184: SRIKANT, R., AGRAWAL, R., 1996, “
Page 185 and 186: Apêndice AReferências de ferramen
Page 187 and 188: Seleciona_log.py (emagrecendo.com.b
Page 189 and 190: Seleciona_log.py (hotelbucsky.com.b
Page 191 and 192: Gera_robots_distintos.pyimport stri
Page 193 and 194: Elimina_navegacao_robots.py 6import
Page 195 and 196: Gera_navegacao_total_memoria.pyimpo
Page 197 and 198: Gera_uri_stem_distintos.pyimport st
Page 199: Checa_uri_stem_valido.py 7import st
Page 203 and 204: entrada = open(arqin)for line in en
Page 205 and 206: h2 = string.splitfields(rec[k+1], '
Page 207 and 208: for j in range(0,10-len(rec[2])):re
Page 209 and 210: Conta_uri_stem_sessao_transposta.py
Page 211 and 212: Tempo_associacao.py 8import stringi
Page 213 and 214: Intervalo_associacao.pyimport strin
Page 215 and 216: print ' 'else:print 'Arquivo ' + ar
Page 217 and 218: Figura C.1 - Página “/2004/bal_v
Page 219 and 220: Figura C.3 - Página “/2004/rec_e
Page 221 and 222: Apêndice DPáginas do hotelbucsky.
Page 223 and 224: Figura D.2 - Página “/hotelbucsk
Page 225 and 226: Figura D.4a - Página “/hotelbucs
Page 227 and 228: Figura D.4c - Página “/hotelbucs
Page 229: Figura D.5 - Página “/hotelbucsk
show all

METODOLOGIA DE MINERAÃÃO DE DADOS PARA ANÃLISE DO ...

Create successful ePaper yourself

Delete template?

Save as template?

METODOLOGIA DE MINERAÃÃO DE DADOS PARA ANÃLISE DO ...