Aprendizagem Estrutural de Redes Bayesianas Utilizando Métrica ...

Aprendizagem Estrutural de Redes Bayesianas
Utilizando Métrica MDL Modificada
Resumo—Redes Bayesianas são ferramentas que descrevem distribuições
de probabilidade através de uma representação gráfica.
Tais redes manipulam incertezas existentes em sistemas do
mundo real. A partir da última década, surgiu um interesse especial
no aprendizado das estruturas dessas redes a partir de um
conjunto de dados; entretanto, o aprendizado da sua estrutura é
um problema NP – Difícil, o que demanda a utilização de algoritmos
de busca heurísticos. Muitos desses algoritmos são baseados
em métricas de pontuação para estimar o modelo. Este trabalho
procura realizar o aprendizado estrutural através do uso do
algoritmo de busca K-2 com uma modificação na medida MDL
como métrica de pontuação, utilizando-se a rede ALARM, que é
um benchmark padrão, para geração dos resultados. Os resultados
demonstraram que a métrica de pontuação com parâmetros
mais restritivos, ou seja, que selecionam estruturas de redes mais
simples, apresentam resultados superiores àqueles menos restritivos
e que a métrica MDL modificada retorna melhores resultados
que a métrica MDL original.
Palavras-chave—Redes Bayesianas, MDL, Aprendizagem Estrutural,
Métrica de Pontuação, K-2, ALARM.
C
I. INTRODUÇÃO
om a evolução das técnicas de fabricação, os computadores
tornaram-se ferramentas de uso cotidiano, possibilitando
o armazenamento de uma enorme quantidade de
informação sobre os diferentes ramos de atividade humana.
Essa evolução técnica implicou um aumento da competitividade
entre as empresas, e tornou-se necessário para a sobrevivência
das mesmas a adoção de mecanismos que pudessem
classificar e analisar as informações armazenadas e, assim,
auxiliar a tomada de decisões por parte das empresas [1]. Todo
esse processo fez ressurgir o interesse dos pesquisadores
em técnicas de aprendizagem de máquina, como: árvores de
decisão, redes neurais, sistemas especialistas e redes Bayesianas.
Por representarem o formalismo semântico da probabilidade
(probabilidade conjunta) de uma forma compacta e clara
aos olhos humanos (estrutura gráfica) e trabalharem com in-
Manuscrito recebido em 23 de outubro, 2006.
Aderson Cleber Pifer é aluno de doutorado no Departamento de Engenharia
da Computação e Automação da Universidade Federal do Rio Grande do
Norte, Natal, Brasil (e-mail: acpifer@dca.ufrn.br).
Luiz Affonso Guedes é professor no Departamento de Engenharia da
Computação e Automação da Universidade Federal do Rio Grande do Norte,
Natal, Brasil (e-mail: affonso@dca.ufrn.br).
A. C. Pifer e L. A. Guedes
certezas em sistemas inteligentes do mundo real, as redes Bayesianas
passaram a desempenhar um papel importante em
uma vasta área de aplicações a partir da década de noventa
[2], [3]. Entre as principais áreas de aplicação, pode-se destacar:
industrial (sistemas de diagnósticos de falhas e predição),
militar (localização automática de alvos) e comercial (recuperação
de informações e análise do mercado financeiro).
Rede Bayesiana é um par ( G , θ ) , onde G é um grafo dirigido
acíclico e θ é um conjunto particular de parâmetros. Esse
conjunto de parâmetros θ especifica as distribuições de probabilidade
condicional associadas às variáveis representadas em
G . O grafo dirigido acíclico G é também conhecido como
estrutura da Rede Bayesiana [4].
Em muitas situações reais, não há o conhecimento prévio
dos parâmetros e da estrutura de rede que compõem os conjuntos
de dados e, portanto, a utilização do conhecimento de
especialistas humanos para descrever a estrutura da rede Bayesiana
torna-se restrita. Para esses casos, o aprendizado automático
baseado em um conjunto de dados apresenta-se como
uma solução interessante. Este trabalho tem como objetivo
explorar justamente o aprendizado da estrutura da rede Bayesiana
utilizando-se um algoritmo de busca baseado em pontuação
e na métrica MDL com a função de penalização modificada
por um parâmetro que fortalece ou enfraquece a função
de penalização logarítmica.
Este artigo encontra-se organizado da seguinte maneira: na
segunda seção, são introduzidas as formas de aprendizagem
estrutural das redes Bayesianas a partir de um conjunto de
dados e discutida a contribuição deste trabalho na métrica de
pontuação MDL. A terceira seção apresenta os resultados práticos
obtidos com a métrica MDL e sua modificação para a
rede ALARM. Na quarta seção, são discutidos os resultados
obtidos e sugeridos trabalhos futuros.
II. APRENDIZAGEM DE REDE BAYESIANA
Conceitualmente, os algoritmos de aprendizagem de redes
Bayesianas estão divididos em:
• Aprendizagem Paramétrica: Refere-se ao aprendizado
das distribuições de probabilidade condicional,
conjunto θ de parâmetros da definição de redes Bayesianas
[4];
• Aprendizagem da Estrutura: Refere-se ao aprendizado
do grafo dirigido acíclico, ou seja, define quais
arestas orientadas ligando os vértices devem ser adicionadas
ao grafo.

O aprendizado dos parâmetros θ é trivial se for conhecida a
estrutura da rede ótima para o conjunto de dados completo
conhecido, pois recai-se em um problema de maximização da
função de verossimilhança, ou seja, a minimização da Entropia
de Kullback-Leibler [5], [6].
Já o aprendizado da estrutura de redes Bayesianas pode ser
separado em duas principais correntes. A primeira fundamenta-se
em selecionar a rede que melhor define os dados com
base em uma medida de pontuação como as Métricas Bayesianas,
Medidas de Informação ou MDL [6], [7], [8]. Essa abordagem
é conhecida como algoritmos de aprendizagem baseados
em pontuação. A segunda corrente procura selecionar a
estrutura da rede Bayesiana baseando-se no conceito de dseparação
apresentado por [9]. Essa abordagem procura identificar
as relações de independência condicional existentes
entre os vértices através do uso de testes estatísticos como
Chi-quadrado e Informação Mútua e, então, a partir dessas
relações de independência condicional, encontrar a estrutura
da rede de crença. Métodos existentes dentro dessa abordagem
são chamados de algoritmos baseados em restritores ou baseados
em CI (independência condicional) [5]. Neste trabalho,
utilizá-se a abordagem baseada em pontuação.
Segundo [10], toda forma de aprendizagem de redes Bayesianas
baseadas em pontuação é composta por dois elementos:
um algoritmo de busca e uma métrica de pontuação, os quais
estão descritos a seguir.
A. Algoritmo de Busca K-2
Descrito em [6], o algoritmo K-2 é um método de busca gulosa
que procura maximizar a qualidade da estrutura da rede
Bayesiana. O algoritmo inicializa com uma estrutura simples
contendo apenas os vértices da rede. Considerando-se que os
vértices estejam preordenados, o algoritmo, a cada passo, adiciona
ao conjunto de pais π ( x i ) do vértice analisado x o i
vértice antecessor Anc ( x que conduza ao máximo incre-
i )
mento na medida de qualidade adotada, realizando este passo
sucessivamente enquanto ocorrer um aumento na medida de
qualidade ou até que a rede esteja completamente conectada.
B. Métricas de Pontuação
Uma medida de qualidade Q( B s | D,
ξ ) é um critério pelo
qual se pode ordenar um conjunto de todas as redes de crença
possíveis por sua qualidade, onde B é a estrutura da rede
s
Bayesiana, D é o conjunto de dados e ξ é informação a priori.
Ou seja, o objetivo do uso da métrica é encontrar a rede
que possui a mais alta qualidade, isto é, aquela rede de crença
que descreva da melhor forma possível o conjunto de dados
D e a informação a priori ξ conhecidos, tornando a aprendizagem
estrutural da rede Bayesiana um problema de maximização
de uma função. Para que uma métrica de pontuação seja
efetiva, é necessário que ela possua algumas propriedades, as
quais estão descritas a seguir [10], [11]:
1. Equivalência de peso para redes isomorfas. Ou seja,
Q( B s | D,
ξ ) = Q(
B | D,
ξ ) para redes que repre-
i
s j
sentem o mesmo modelo de dependência.
2. Redes cujos especialistas definam como mais prováveis
devem apresentar valores de qualidade maiores
do que aquelas definidas como menos prováveis.
3. Redes que representem um Mapa-Perfeito devem ter
valores maiores do que as que não representam.
4. Redes que representem um I-Mapa Mínimo devem
ter valores mais altos do que aquelas que representem
um I-Mapa. Se todas as relações de independência
presentes no grafo através do conceito de dseparação
estão presentes no modelo de dependência,
este grafo é dito um I-Mapa do modelo de dependência.
5. Em caso de igualdade nas propriedades anteriores,
uma rede que possua um menor número de parâmetros
em suas probabilidades condicionais é preferível
àquela que possui um número maior de parâmetros.
6. Redes Bayesianas que representem as informações
contidas no conjunto de dados retornam valores maiores
que redes de crença que contradigam as informações
contidas nos dados.
Considerando-se as propriedades apresentadas anteriormente,
define-se que uma medida de qualidade deve ser formada
por três componentes (descritas na equação 1):
onde:
Q priori
( B s ) = ( f ( I ), g ( D),
h(
Complex )) (1)
• f ( I : Representa a informação a priori que se
priori )
tem sobre a rede Bayesiana. A função retorna uma
probabilidade alta para as prováveis redes definidas
pelos especialistas e valores de probabilidade baixos
para aquelas que são pouco prováveis. Este termo
tem seu peso depreciado à medida que o número de
amostras do conjunto de dados aumenta. Usualmente,
quando não se tem conhecimento prévio sobre quais
redes são mais prováveis, utiliza-se a distribuição uniforme
para representá-lo.
• g (D ) : Este termo define o grau de representatividade
dos dados com a estrutura de rede avaliada. Estruturas
de redes Bayesianas que representam o conjunto
de dados retornam valores mais altos e aquelas estruturas
que não estão de acordo com a informação
apresentada pelo conjunto de dados retornam valores
mais baixos.
• h(Complex
) : Este termo tem por função penalizar
redes que apresentam um grau de complexidade maior
do que estruturas de redes mais simples. Assim,
estruturas que possuam um número menor de arestas
interligando seus vértices e/ou parâmetros, desde que
satisfaçam o modelo de dependência, são mais desejáveis
e apresentam probabilidades maiores do que
aquelas que possuam um número alto de arestas e/ou

parâmetros. Desse modo, o objetivo deste termo é
diminuir a complexidade no cálculo de inferências.
De acordo com [10], existe na literatura basicamente três
grupos classificatórios de medidas de qualidade:
• Medidas Bayesianas de Qualidade.
• Medidas de Informação de Qualidade.
• MDL – Tamanho Mínimo de Descrição (inglês: Minimum
Description Length).
As medidas Bayesianas de qualidade necessitam de uma especificação
quanto ao modelo de distribuição a priori, tanto
para a estrutura da rede de crença quanto para os parâmetros.
Infelizmente, esse tipo de informação nem sempre está disponível,
fazendo com que suposições sobre o modelo de distribuições
sejam necessárias, como ocorrido em [6], [12] e [13].
Assim como as métricas Bayesianas, as medidas de qualidade
baseadas na Teoria da Informação procuram selecionar
entre as estruturas de rede possíveis aquela que melhor se adapte
ao conjunto de dados, porém, elas não necessitam nenhum
tipo de informação sobre o modelo de distribuição a
priori. A equação 2 descreve a métrica de informação de forma
generalizada por:
P(
B , D)
= log( P(
B )) +
(2)
onde:
s
• ( s ) : Descreve a informação a priori da estrutura
de rede, ou seja, .
B P
f ( I priori )
n qi
ri
⎛
•
N ijk ⎞
∑∑∑N
⎜ ⎟
ijk log : É a entropia condicio-
⎜ ⎟
i = 1 j = 1 k = 1 ⎝ N ij ⎠
nal para redes Bayesianas, ou seja, o termo g(D)
.
• f (N ) : É uma função de penalização não negativa.
Esta função tem por objetivo penalizar estruturas
de rede que necessitam um número maior de parâmetros
para determinar sua probabilidade conjunta.
n
∑
i=
1
−
• q ( −1)
: É o número de termos de probabili-
i ri
s
f ( N)
n
∑
i=
1
n q r
ijk
N ⎜
ijk log
⎜
i = 1 j = 1 k = 1 N ij ⎠
i i
∑∑∑
q
i ( ri
−1)
⎛ N
dade independentes associado à função de probabilidade
conjunta. Este termo, conjuntamente associado
com f (N ) ,remonta o termo h(Complex
) .
• n : Número de variáveis aleatórias (vértices).
• r : Valores que a variável pode assumir.
i
x i
• q : Valores que o conjunto de pais da variável
i
x i
pode assumir.
⎝
⎞
• N : É o número de ocorrências de uma instância
ijk
de x com o valor determinado do conjunto pai.
i
• = .
i r
N N
ij
∑
k = 1
ijk
• N : É o número total de amostras pertencentes ao
conjunto de dados D .
Substituindo a função de penalização por f ( N)
= 1,
obtém-se
o Critério de Informação de Akaike (AIC - inglês: Akaike
Information Criterion) [14]; caso f ( N)
= 0 , o critério
obtido é o de máxima verossimilhança e, quando
f ( N)
= ( 1/
2)
log( N)
, tem-se o Critério de Informação
Bayesiano (BIC – inglês: Bayesian Information Criterion)
[15], correspondendo à equação 3 da métrica MDL [10], [11].
C. Métrica MDL
Bouckaert [7] propõe em seu trabalho a utilização da métrica
MDL, cuja origem é fundamentada na Teoria de Codificação
como uma medida de qualidade para a escolha da estrutura de
rede. O princípio básico consiste em reduzir ao máximo o número
de elementos necessários para representar uma mensagem,
baseando-se em sua probabilidade de ocorrência. Assim,
mensagens mais freqüentes são representadas por códigos
menores e as mensagens menos freqüentes, por códigos maiores.
No caso do aprendizado estrutural de redes Bayesianas, a
idéia básica é encontrar a estrutura de rede que melhor descreva
o conjunto de dados, utilizando o mínimo de elementos
possíveis para calcular a probabilidade conjunta da rede de
crença, reduzindo dessa maneira o esforço computacional necessário
no cálculo das inferências. Essa métrica é definida
pela equação 2 com a função de penalização sendo:
1
f ( N)
= log( N)
(3)
2
O segundo termo da equação 2 é máximo quando o desconhecimento
sobre a estrutura de rede é máximo e mínimo
quando se tem o completo conhecimento sobre a estrutura de
rede. Por isso, ao se adicionar vértices ao conjunto de pais de
um determinado vértice, o termo de entropia da equação diminui,
pois o modelo de distribuição de probabilidade passa a ser
descrito com uma maior precisão. Por outro lado, o terceiro
termo da equação, que representa o erro introduzido pela estimação
de todas as probabilidades requeridas [16], indica que
estruturas de redes com um número reduzido de arcos são
preferíveis àquelas com um número maior de arcos. A soma
resultante do segundo e do terceiro termo garante que a rede
com maior índice de qualidade será aquela que possuir uma
estrutura balanceada com a contribuição de ambos os termos.
Além do trabalho de Bouckaert [7], Bacchus [17] e Suzuki
[18] também utilizam o princípio de descrição mínima (MDL)
no aprendizado de estrutura de redes Bayesianas, porém, abordando
diferentes algoritmos de busca.

D. MDL Modificada
Bouckaert, em [7], demonstra que a medida de qualidade
MDL é mais restritiva que a métrica de Cooper-Herskovits K-
2, apresentando um maior número de arestas ausentes. Analisando-se
a métrica MDL, equação 3, verifica-se que o termo
de penalização é dependente do número de amostras e que sua
composição com o termo de entropia condicional define o
número “médio” de elementos necessários para representar o
conjunto de dados. A partir de um determinado tamanho, as
distribuições representadas pelo conjunto de dados não sofrem
mais alterações e, por conseqüência, a entropia condicional
para um mesmo conjunto de pais estabiliza. Considerando-se
que o termo de penalização continua aumentando em função
do tamanho do conjunto de dados, ele faz com que a rede seja
representada por um número menor de arestas do que o necessário.
De maneira a controlar o efeito do tamanho de amostras
no termo de penalização, propõe-se neste trabalho substituir a
função de penalização por:
onde:
c
f ( N)
= log( N )
(4)
• c : É uma constante que define a influência do tamanho
do conjunto de dados na representação da estrutura
da rede.
III. RESULTADOS
Nesta seção, são apresentados e comparados os resultados
obtidos com a métrica de pontuação MDL modificada, descrita
na seção II-C, com diferentes parâmetros de pontuação. O
algoritmo escolhido para avaliar o desempenho de cada uma
das métricas foi o K-2. Os parâmetros utilizados na função de
penalização f (N ) foram os seguintes:
c
• f ( N)
= log( N ) com c = 0,
500 , geram-se os
resultados correspondentes à métrica MDL para
comparação.
c
• f ( N)
= log( N ) com c = 0,
125 , c = 0,
250 ,
c = 0,
375 , c = 0,
625 e c = 0,
750 , verifica-se
o efeito do fortalecimento ou do enfraquecimento da
função de penalização no aprendizado estrutural das
redes Bayesianas.
Esses parâmetros foram avaliados no sistema ALARM, que
é um benchmark bastante difundido na literatura de redes Bayesianas.
O algoritmo e as métricas foram implementados em
ambiente Linux com a linguagem de programação C++. Para a
avaliação das métricas com os respectivos parâmetros, foram
gerados através da ferramenta Netica da Norsys
(http://www.norsys.com) cinco conjuntos de dados para cada
uma das duas redes Bayesianas analisadas, tendo os respectivos
tamanhos de amostras: 1000, 2000, 3000, 5000 e 10000.
Os resultados obtidos são comparados com a rede de benchmark
original através do número de arcos extras e ausentes,
da diferença simétrica, da entropia cruzada (entropia de Kullback-Leibler)
e através da medida de Informação Mútua. A
diferença simétrica δ entre dois conjuntos de dados é um conjunto
cujos elementos pertencem a um dos dois conjuntos,
mas não a ambos. No caso de redes Bayesianas, tem-se que a
diferença simétrica δ entre o modelo original da rede de crença
e o modelo estimado é definida pela equação 5 [13], [19]:
onde:
δ =
n
∑
i=
1
( π x ( Bs ) ∪π
x ( Bm
)) \ ( π x ( Bs
) ∩π
x ( B
i
i
i
i
m
))
(5)
• π x ( Bs
) : É o conjunto de pais do vértice x na es-
i
i
trutura de rede estimada.
• π x ( Bm
) : É o conjunto de pais do vértice x na es-
i
i
trutura de rede do modelo original.
Para as medidas de entropia Kullback-Leibler, no caso de
redes Bayesianas, tem-se que [13], [19], [20]:
H(
p,
q)
=
n q r
i=
1
i i
P(
xi
= k,
π i = j)
log
j=
1 k= 1 Q(
xi
= k,
πi
= j)
i i
∑∑∑
P(
x = k,
π = j)
(6)
O cálculo das medidas de Informação Mútua é realizado através
da equação 7 com o objetivo de comparar a quantidade
de informação compartilhada entre as variáveis para os conjuntos
de dados utilizados.
onde:
P(
x , x )
I(
x , x ) =
(7)
i
j
r r
i j
P(
xi
, x j ) log
k=
1 k= 1 P(
xi
) P(
x j )
j i
∑∑
• r : É o número de possíveis ocorrências de .
i
x i
• r : É o número de possíveis ocorrências de .
j
j x
• ( xi,
x j ) : É a probabilidade conjunta de e . x
P x i j

• P( xi
) : É a probabilidade marginal de x . i
• ( x j ) : É a probabilidade marginal de . x
P j
A. Rede Bayesiana ALARM
A rede Bayesiana ALARM é composta por 37 variáveis, 46
arcos e 752 parâmetros. Foi inicialmente descrita por [21] para
o monitoramento de pacientes em centros de tratamento intensivo
(CTI). Cada um dos vértices pertencentes à rede representa
variáveis de monitoramento do paciente compostas por
parâmetros binários, ternários ou quaternários. Neste estudo,
adotou-se o preordenamento sugerido por [6].
A Tabela I demonstra os resultados obtidos para a rede Bayesiana
ALARM, aplicando-se a medida de qualidade MDL
modificada com uma constante c para diferentes números de
amostra. Fazendo-se uma análise dos dados da Tabela I e de
sua representação gráfica (Fig.1, Fig.2 e Fig.3), constata-se
que, apesar da piora nas distribuições ocorridas na geração do
conjunto de dados com 3000 amostras, estas não afetam o
aprendizado da rede para os parâmetros mais restritivos.
TABELA I
NÚMERO DE ARESTAS EXTRAS (E) E AUSENTES (A) COM DIFERENTES PARÂ-
METROS E DIFERENTES NÚMEROS DE AMOSTRA PARA A REDE ALARM COM A
MÉTRICA MDL MODIFICADA.
Amostras
0,125 0,250
Parâmetros(c)
0,375 0,500 0,625 0,750
E 26 6 2 1 1 1
1000 A 1 3 3 4 5 8
δ 27 9 5 5 6 9
E 18 5 1 1 1 1
2000 A 1 3 3 3 3 4
δ 19 8 4 4 4 5
E 15 5 3 2 1 1
3000 A 1 2 2 3 3 3
δ 16 7 5 5 4 4
E 12 3 1 1 1 1
5000 A 0 1 2 3 3 3
δ 12 4 3 4 4 4
E 11 3 2 2 1 1
10000 A 0 0 1 2 2 2
11 3 3 4 3 3
δ
A partir da Fig.1, que descreve a relação entre o número de
arestas extras e o tamanho da amostra, verifica-se a ocorrência
de picos somente para as curvas referentes aos parâmetros
c = 0,
375 e com 3000 amostras. Aprofundando-se
nas relações causadoras dos picos na curva, constata-se que
essas relações já se encontravam presentes para os parâmetros
c = 0,
125 e desde os resultados obtidos com 1000
amostras, demonstrando certa robustez dos parâmetros a pequenas
variações nas distribuições dos parâmetros θ. Ao se
analisar os resultados mostrados na Fig.2, que representa a
relação entre o número de arcos ausentes e o número de amostras,
percebe-se que, diferentemente da Fig.1, em nenhuma
das curvas existiu a geração de um vale ou um pico entre as
amostras.
Fig.1 Relação de arcos extras por número de amostras para métrica MDL
modificada.
Fig.2 Relação de arcos ausentes por número de amostras para métrica MDL
modificada.
Fig.3 Relação de erros (arcos extras mais arcos ausentes) encontrados por número
de amostras para métrica MDL modificada.

Percebe-se também através da Fig.3, com a exceção da curva
para c = 0,
125 , que a medida MDL modificada aproximase
mesmo com um número menor de amostras da estrutura
original da rede, porém, comparando-se os resultados finais,
estes não são tão satisfatórios quanto os apresentados em [6].
A Tabela II apresenta o resultado do cálculo da entropia
cruzada para as redes obtidas com a medida de qualidade
MDL modificada. Os números em itálico indicam os piores
resultados encontrados para cada conjunto de amostras, ao
passo que os resultados em negrito indicam os melhores valores
para cada conjunto.
TABELA II
ENTROPI A CRUZADA ENTRE O MODELO ORIGINAL DA REDE ALARM E O
ENCONTRADO PELAS MÉTRICAS COM DIFERENTES PARÂMETROS.
Parâme-
Amostras
tros(c) 1000 2000 3000 5000 10000
0,125 321,48 133,68 151,70 151,96 118,77
0,250 72,51 51,16 58,47 49,21 28,79
0,375 12,80 13,32 32,13 7,25 19,90
0,500 5,02 13,32 27,26 16,09 21,98
0,625 5,81 13,32 14,12 16,09 9,19
0,750 10,04 13,67 14,12 16,09 9,19
Considerando-se o conjunto de dados compostos por 1000,
2000 e 3000, a métrica MDL modificada com parâmetros mais
restritivos foi a que melhor apresentou resultados em dois dos
três conjuntos de dados e, visto que o conjunto de 2000 amostras
apresenta distribuições dos parâmetros mais próximas da
rede original e que seus resultados de entropia são bem próximos
da melhor métrica para esse conjunto de amostras, temse
a confirmação da robustez da métrica MDL modificada
para um conjunto de dados menos representativo. Um outro
ponto a se destacar na medida de qualidade MDL modificada
é quando o parâmetro de ajuste é para 5000 e
10000 amostras. Verificando-se a Tabela I, percebe-se a remoção
de uma aresta ausente, porém, em contrapartida, um
arco extra é adicionado, ficando nítido que, no geral, a adição
de arestas inexistentes é mais prejudicial à estrutura da rede de
crença que a perda de uma aresta.
A Tabela III ilustra as arestas extras e ausentes encontradas
pelos diferentes parâmetros e métricas para a rede ALARM
com um conjunto de dados de 10000 amostras. Analisando-a,
é possível perceber que cinco arestas repetem-se com mais
freqüência para as diferentes configurações das métricas. Uma
análise detalhada através da entropia de Shannon (fator de
normalização), do princípio de Informação Mútua e do funcionamento
dos parâmetros nas métricas permite as seguintes
conclusões sobre esses arcos:
• Apesar de os vértices 15 e 35 possuírem uma relação
direta de causa/efeito com o vértice 22 no modelo original,
esses não são adicionados à estrutura da rede
com parâmetros mais restritivos.
• Comparando-se a quantidade de informação do vértice
22 que é repassada ao vértice 15 com a quantidade
de informação dos demais pais π ( x i ) que é individualmente
repassada e observando-se a heurística de
adição de pais ao vértice do algoritmo K-2, tem-se
que a relação dos vértices 22→15 é mais fraca que a
relação 35→15. Portanto, o algoritmo seleciona inicialmente
a relação mais forte.
• No passo seguinte, a existência de um parâmetro
mais restritivo na métrica exige um ganho mais significativo
na qualidade local da rede. Como isso não
ocorre, a aresta não é adicionada à estrutura da rede
Bayesiana. O mesmo princípio ocorre com a aresta
22→35.
TABELA III
RELAÇÃO DAS ARESTAS AUSENTES E EXTRAS PARA A REDE ALARM.
Parâmetros(c) Ausentes
12→24; 12→28;
12→7; 18→23;
Extras
0,125
18→30; 19→21;
19→10; 19→31;
26→30; 30→29;
13→35
-
0,250
12→28; 13→35;
18→30
-
0,375 12→28; 13→35 22→15
0,500 12→28; 13→35 22→15; 22→35
0,625 13→35 22→15; 22→35
0,750 13→35 22→15; 22→35
De maneira similar, tem-se que os vértices 12 e 18 transmitem
muito pouca informação aos vértices 28 e 30, respectivamente.
No entanto, o enfraquecimento na propriedade de busca
por redes mais simples gerado pelos parâmetros permite
que haja um aumento na qualidade local da rede e, portanto, a
adição das arestas às estruturas da rede. Verificando-se novamente
a Tabela III, percebe-se que a ligação entre os vértices
13 e 35 está presente independentemente dos parâmetros e
métrica utilizados. Através do cálculo da Informação Mútua,
demonstra-se que muito da informação de 13 é transmitida a
35 em um conjunto de dados de 10000 amostras, o que resulta
na ligação dos vértices na rede Bayesiana obtida, sendo o tamanho
do conjunto de dados insuficiente para refletir a relação
de independência condicional existente entre os vértices
13 e 35.
IV. CONCLUSÃO
Este trabalho teve como objetivo apresentar, através da análise
do comportamento dos parâmetros que compõem as redes
Bayesianas, uma alteração no termo de penalização da métrica
MDL de forma a realizar um “ajuste fino” no aprendizado de
estruturas dessas redes a partir de dados completos.
Através da investigação na rede Bayesiana ALARM, foi
possível comprovar que as redes geradas a partir do conjunto
de dados completos representativo de 10000 amostras, utilizando-se
o algoritmo K-2, em geral foram próximas à estrutura
de rede original para ambas as métricas com os diferentes
parâmetros, à exceção da medida MDL modificada com parâmetro
c = 0,
125 , que apresenta uma redução excessiva na
penalização. Com isso, pode-se concluir que o algoritmo K-2
é um método eficiente para aprendizagem da estrutura de rede
a partir de dados completos, confirmando assim as conclusões
de [6], [7], [20], [22].

Utilizando-se os parâmetros da entropia cruzada, verifica-se
que a métrica MDL modificada apresenta resultados superiores
à métrica MDL quando o conjunto de dados é significativo
(ex.: 10000) e resultados similares quando o conjunto de amostras
é pouco significativo.
Também é possível notar que a métrica MDL modificada
retorna resultados satisfatórios no aprendizado mesmo com
um conjunto de dados pouco representativo.
Recorrendo-se novamente à Tabela II de entropia cruzada,
percebe-se que é preferível utilizar parâmetros mais restritivos
àqueles que relaxam a métrica, com resultados que condizem
com [23]. Uma outra característica verificada com o uso dos
parâmetros e o número de amostras foi o funcionamento da
inclusão de arcos extras e ausentes. Percebeu-se que a inclusão
de arestas extras, dadas as características das distribuições,
ocorre com uma freqüência muito maior que a inclusão de
arestas ausentes. Portanto, a adoção de um único hiperparâmetro
mais restritivo e/ou menos restritivo em todos os parâmetros
da rede de crença, para a adição de uma aresta ausente ou
remoção de arestas extras, pode resultar num modelo de rede
indesejável (ex.: c = 0,
125 ).
Essa mesma característica permite concluir, através da análise
da entropia cruzada, que a adição de arestas extras afeta
de maneira muito mais negativa a estrutura de rede Bayesiana
do que a perda de alguns arcos ausentes que possuem relação
fraca entre seus vértices.
Dados os resultados da Fig.1, Fig.2 e Fig.3, é possível perceber
que o aumento no número de amostras resulta em uma
melhora na distribuição dos parâmetros no conjunto de dados
e, por conseqüência, há uma redução no número de erros das
estruturas obtidas pelas diferentes métricas. Comparando-se a
métrica MDL modificada com a MDL, a primeira apresentou
resultados similares ou superiores aos da métrica MDL e
IMDL, esta última descrita em [19].
Considerando-se os resultados promissores obtidos através
da métrica MDL modificada, pretende-se realizar pesquisas
futuras de forma a tentar estabelecer um valor ótimo para a
constante para cada um dos parâmetros da rede de crença.
Um outro estudo seria encontrar uma relação matemática entre
da métrica Heckerman-Geiger e c , baseando-se para
isso na relação do logaritmo da métrica Cooper-Herskovits
com a métrica MDL descrita por [7]. Uma última sugestão de
pesquisa com a constante c seria verificar o comportamento
da métrica no treinamento de classificadores Bayesianos, visto
que a função de penalização da métrica MDL não corresponde
de maneira adequada a esse tipo de classificador [24], [25].
REFERÊNCIAS
[1] Usama M. Fayyad, “Data Mining and Knowledge Discovery: Making
Sense Out of Data”, IEEE Intelligent Systems Vol.11 pp.20-25, 1996.
[2] John Binder and Daphne Koller and Stuart Russell and Keiji Kanazawa,
“Adaptive Probabilistic Networks with Hidden Variables”, Springer Netherlands
Vol.29 pp.213-244, 1997.
[3] Nir Friedman and Moises Goldszmidt and David Heckerman and Stuart
Russel, “Challenge: Where is the Impact of Bayesian Networks in Learning?”,
In Proceedings of the 15th International Joint Conference on Artificial
Intelligence, Nagoya, Japan – pp.10-15, 1997.
[4] Robert Castelo and Tomás Kocka, “On Inclusion-Drive Learning of
Bayesian Networks”, Machine Learning Research Vol.4 pp.527-574,
2003.
[5] Jie Cheng and Russel Greiner, “Learning Bayesian Belief Network
Classifiers: Algorithms and System”, Proceedings of the 14 th Biennial
Conference of the Canadian Society on Computational Studies of Intelligence:
Advances in Artificial Intelligence, Ottawa, Canada – Springer-
Verlag Vol.2056 pp.141-151, 2001.
[6] Gregory F. Cooper and Edward Herskovits, “A Bayesian Method for the
Induction of Probabilistic Networks from Data”, Knowledge Systems
Laboratory – Stanford University, 1993.
[7] Remco R. Bouckaert, “Probabilistic Network Construction Using the
Minimum Description Length Principle”, RUU-CS-94-27 Utrecht University,
1994.
[8] David Heckerman, “A Tutorial on Learning With Bayesian Networks”,
MSR-TR-95-06 Microsoft Research, 1996.
[9] Judea Pearl, “Probabilistic Reasoning in Intelligent Systems: Networks
of Plausible Inference”, Morgan Kaufmann, 1988.
[10] Enrique Castillo and José Manuel Gutiérrez and Ali S. Hadi, “Sistemas
Expertos y Modelos de Redes Probabilísticas”, Academia Española de
Ingeniería – Madrid, 1998.
[11] José Miguel Puerta Callejón, “Métodos Locales y Distribuidos para la
Construcción de Redes de Creencia Estáticas y Dinámicas”, Universidad
de Granada, 2001.
[12] Wray Buntine, “Theory refinement on Bayesian Networks”, Proc. 7th
Conf. Uncertainty in Artificial Intelligence, Los Angeles, USA – pp.52-
60, 1991.
[13] David Heckerman and Dan Geiger and David M. Chickering, “Learning
Bayesian Networks: The Combination of Knowledge and Statistical Data”,
Microsoft Corporation, 1994.
[14] H. Akaike, “A New Look at the Statistical Model Identification”, IEEE
Transactions on Automatic Control Vol.19 pp.716-723, 1974.
[15] G. Schwarz, “Estimating the dimension of a model”, Annals of Statistics
Vol.6 pp.461-464, 1978.
[16] Remco Ronaldus Bouckaert, “Bayesian belief networks: from construction
to inference”, Utrecht University, 1995.
[17] Wai Lam and Fahiem Bacchus, “Learning Bayesian Belief Networks An
approach based on the MDL Principle”, Computational Intelligence
Vol.10 pp.269-293, 1994.
[18] J. Suzuki, “A construction of Bayesian networks from databases based
on the MDL principle”, Proceedings of the 9th Conference on Uncertainty
in Artificial Intelligence, Washington, D.C, USA pp.266-273, 1993.
[19] Zheng Yun and Kwoh Chee Keong, “Improved MDL Score for Learning
of Bayesian Networks”, Proceedings of the International Conference on
Artificial Intelligence in Science and Technology – AISAT, Hobart,
Australia – pp.98-103, 2004.
[20] Shulin Yang and Kuo-Chu Chang, “Comparison of Score Metrics for
Bayesian Network Learning, IEEE Transactions on Systems, Man and
Cybernetics Vol.32 pp.419-428, 2002.
[21] I.A. Beinlich and H.J. Suermondt and R.M. Chavez and G.F. Cooper,
“The ALARM monitoring system: A case study with two probabilistic
inference techniques for belief networks”, Proceedings of the Second
European Conference on Artificial Intelligence in Medical Care, London,
UK – Springer-Verlag pp.247-256, 1989.
[22] Jackson P. Matsuura and Takashi Yoneyama, “Redes Bayesianas e Aprendizagem
Aplicadas à Detecção de Falhas em Sistemas Dinâmicos”,
XV Congresso Brasileiro de Automática, Gramado, Brasil, 2004.
[23] Christian Borgelt and Rudolf Kruse, “An Empirical Investigation of K2
Metric”, Symbolic and Quantitative Approaches to Reasoning with Uncertainty:
6th European Conference, Toulouse, France – Springer Berlin
pp.240-251, 2001.
[24] Tim Van Allen and Russ Greiner, “Model Selection Criteria for Learning
Belief Nets: An Empirical Comparison”, Proceedings of 17 th International
Conference on Machine Learning, Stanford University, USA
pp. 1047-1054, 2000.
[25] Daniel Grossman and Pedro Domingos, “Learning Bayesian network
classifiers by maximizing conditional likelihood”, Proceedings of the
twenty-first international conference on Machine learning, Banff, Alberta,
Canada – ACM Press Vol.69 pp.46-53, 2004.

Aderson Cleber Pifer graduou-se em Ciência da Computação pela Pontifícia
Universidade Católica do Paraná em 1996 e obteve o título de mestre em
Engenharia Elétrica pela Universidade Federal do Rio Grande do Norte, Brasil,
em 2006. Encontra-se atualmente trabalhando em seu doutorado em Engenharia
Elétrica pela Universidade Federal do Rio Grande do Norte, Brasil.
Seus principais interesses incluem Modelos Gráfico-Probabilísticos para Automação
Industrial.
Luiz Affonso Guedes graduou-se em Engenharia Elétrica pela Universidade
Federal do Pará em 1987 e doutorou-se em Engenharia da Computação pela
Universidade Estadual de Campinas, Brasil, em 1999. Desde 2003, é professor
associado do Departamento de Engenharia da Computação e Automação da
Universidade Federal do Rio Grande do Norte, Brasil. Seus principais interesses
incluem Linguagens de Programação em Alto Nível para Automação
Industrial e Sistemas de Comunicação para Aplicações Industriais.