ENTROPIA DE GRAFOS Sumário 1. Introduç˜ao 2 Parte I. Entropia ...

ENTROPIA DE GRAFOS 9conjuntos estáveis de G t necessários para cobrir U. Isto é, o número de codewords necessáriospara codificar U é o número cromático χ(G t [U]). Portanto, o desempenho da melhorcodificação de U élg χ(G t [U]).tFinalmente, podemos apresentar a definição de entropia de grafos dada originalmente porKörner [12]. Seja G um grafo e p uma distribuição de probabilidade sobre V (G). A entropiade G com relação a p é definida comoH(G, p) := limt→∞min{1t lg χ(Gt [U]): U ⊆ V (G t ), p(U) > 1 − ε}.Para mostrar que essa é uma fórmula válida, é necessário provar que o limite existe e éindependente de ε ∈ (0, 1). Körner fez isso mostrando que a expressão acima é equivalente auma fórmula computável que será apresentada na subseção seguinte.Uma idéia intuitiva para a entropia de grafos é a seguinte: suponha que G é o grafo desímbolos de um conjunto finito V e que p é uma distribuição de probabilidade sobre V .Então, o número médio de bits necessários em uma codificação ótima para as palavras em V té tH(G, p).3.2. Uma caracterização alternativa. Nesta subseção apresentamos uma caracterizaçãode entropia de grafos dada por Körner [12]. Para isso, revisamos alguns conceitos básicos deentropia de variáveis aleatórias.Vamos definir um conceito bastante usado em teoria da informação: a entropia de umavariável aleatória, que é um valor diretamente relacionado à quantidade de informação contidana variável aleatória em questão.Seja p uma distribuição de probabilidade sobre um conjunto V . A entropia de p é definidacomoH(p) := ∑ p v lg 1 .p vv∈VConsideramos 0 lg 1 0 = 0 lg 0 = 0 e x lg 1 0= ∞ para todo x > 0.Definimos a entropia de uma variável aleatória X como H(X) := H(dist(X)). Podemosdizer que a entropia de X é uma medida da incerteza de X. Em outras palavras, a entropiade X pode ser interpretada como a quantidade de informação contida em X.Sejam X e Y variáveis aleatórias que tomam seus valores em conjuntos V e U, respectivamente.A entropia conjunta entre X e Y é definida comoH(X, Y ) := ∑ ∑p xy lg 1 ,p xyx∈V y∈Uonde p xy := P[X = x, Y = y].A entropia condicional de X dado Y é definida comoH(X | Y ) := ∑ ∑P[Y = y]H(X y ),x∈V y∈Uonde X y := (X | Y = y). A entropia condicional de X dado Y pode ser interpretada comoa quantidade de informação contida em X mas não em Y . A seguir provamos uma relaçãonatural entre a entropia conjunta e a entropia condicional.Lema 3.1 Sejam X e Y variáveis aleatórias. EntãoH(X, Y ) = H(X) + H(Y | X).