Evaluación de Reglas de Asociación en Text Mining Utilizando ...

(“target concepts”), en el sentido tradicional de Text Mining. Con el fin de evaluar los
patrones descubiertos, se utiliza una estrategia basada en cálculo de “fitness” a partir de
múltiples objetivos, los que se integran para generar valores de evaluación a través de una
estrategia basada en SPEA (Strengh Pareto Evolutionary Algorithm) [43].
La evaluación de patrones se lleva a cabo utilizando seis métricas de evaluación. Por
un lado, las cuatro primeras consideran información semántica para asegurar que las hipótesis
generadas sean coherentes y plausibles. Por otro lado, buscan medir criterios más subjetivos
de las hipótesis por medio de las métricas de interés, relevancia, simplicidad y novedad.
1) Estructura: mide la información retórica a nivel de discurso que contienen las hipótesis
y busca responder a la pregunta ¿Qué tan buena es la estructura de la hipótesis?.
2) Cohesión: mide la asociación entre una acción de predicativa con algún rol retórico
específico, esta interrogante nace debido a que algunas relaciones de predicados tiene una
probabilidad mayor de estar asociadas con algunos roles retóricos.
3) Coherencia: mide cómo los elementos de la hipótesis actual se relacionan a cada una de
las otras de forma semánticamente coherente.
4) Interés: mide el grado de disimilaridad semántica entre los elementos de una hipótesis.
5) Relevancia: mide el grado de explicación del conocimiento descubierto,
específicamente evalúa la semántica de una hipótesis con respecto a su cercanía a los
conceptos objetivos definidos por el “usuario” para entregar más información de las
relaciones desconocidas entre estos conceptos.
6) Novedad: determina el grado de “plausibilidad” de una hipótesis que ha sido producida
recordando la calidad de la inferencia de esta hipótesis en el momento de su creación.
El modelo de evaluación es aplicado con un corpus de documentos de un cierto
dominio, a partir del cual se genera un conjunto de las mejores hipótesis. Posteriormente se
realiza la evaluación automática de hipótesis que se compara con la evaluación llevada a cabo
por expertos humanos en el dominio específico.
La evaluación experimental del modelo muestra que el rendimiento de éste es
comparable al de los expertos. Así, el modelo es efectivo en términos de descubrir patrones de
“calidad” de forma independiente del dominio y con resultados superiores a otros modelos
que utilizan ontologías o bases de datos léxicas.
A diferencia de los otros trabajos, este enfoque es independiente del dominio y no
requiere de una fuente de conocimiento externa, por lo tanto podría aplicarse en distintos
dominios sin la necesidad de grandes modificaciones. Al no depender de una fuente de
conocimiento siempre va a evaluar el grado de interés de las reglas de acuerdo a sus
características, lo cual no ocurre en los otros dos enfoques debido a que si una palabra de la
regla no se encuentra definida, la evaluación es diferente a las que si aparecen en su fuente de
conocimiento.
44