geração (semi)automática de metadados - Universidad Autónoma ...

3.2 Módulo de Inteligência
Figura 2. Tela de cadastro na base de textos
Conferência IADIS Ibero-Americana WWW/Internet 2007
Neste módulo, os documentos da base de textos serão processados para permitir a recuperação
da melhor resposta possível, sempre que o conteúdo da base e a pergunta estejam no
idioma português. Os passos envolvidos no processamento dos documentos são descritos a
seguir.
1. Limpeza dos índices: no caso de existência de índices antigos é feita uma limpeza na
estrutura, pois a cada processo de mineração de texto é feita uma releitura de toda a
base de textos. O tempo de processamento está diretamente relacionado ao tamanho
da base de textos anterior e configuração de hardware/software que se está utilizando.
2. Leitura das stopwords: neste passo ocorre a leitura de todos os documentos existentes
na base de textos. O tempo para este processamento está diretamente ligado
ao tamanho da base de textos e da configuração de hardware/software que se está
utilizando.
3. Leitura dos documentos: neste passo ocorre a leitura de todos os documentos existentes
na base de textos. O tempo para este processamento está diretamente ligado
ao tamanho da base de textos e da configuração de hardware/software que se está
utilizando. Para cada documento:
4. Limpeza de pontos e símbolos: o documento é varrido à procura de caracteres que
estão na faixa de 1 a 31 e de 127 a 191, além da procura pelos símbolos, por exemplo:
\ . ? ; * ( " ) - < > = + / % | & ˆ ˜
5. Limpeza do texto: já com o documento sem pontuação e outros símbolos, todas as
stopwords encontradas no texto são eliminadas. É importante ressaltar a importância
de uma boa lista de stopwords, pois do contrário, palavras sem significado para
pesquisa serão indexadas.
6. Indexação do texto: este é o passo final do algoritmo. Neste ponto, o documento
tornou-se um conjunto finito de palavras com significado para nosso contexto (a
pergunta feita pelo aluno). Para realizar a indexação, a primeira ação é verificar
47