fábio palácio de azevedo fundamentos epistemológicos da teoria da ...

d) H(i;j) = H(i) + Hi(j). A entropia total é igual à entrada mais o ruído.e) H(i;j) = H(j) – Hj(i). A informação total ou se manifesta na saída ouse perde.Se o processo for ergódico, as probabilidades P(i) da expressão daentropia tornam-se probabilidades condicionais Pi(j). Por exemplo:H = - ∑ Pi(j) Log Pi(j)é a quantidade média de informação adquirida após a identificação dapróxima letra em qualquer seqüência ergódica.A quantidade média de informação conseguida em toda aseqüência é, assim, dada pelo somatório de somatórios:H = ∑ {- ∑ Pi(j) Log Pi(j) . P(i)}, ondeP(i) é um fator de ponderação.Em processos ergódicos podemos ir além e investigar a estruturatrigrama, utilizando a probabilidade condicional Pij(k). Ao investigarmosdependências seqüenciais de ordem ‘n’ é possível mostrar que, se ‘n’ ésuficientemente grande, H desaparece. Isso significa que o conhecimentode toda a influência intersimbólica de uma seqüência ergódica esgota aincerteza a ela associada, tornando-a 100% previsível.A entropia H possui algumas propriedades, das quais podemosenumerar as seguintes:a) H varia em função de P(i) (ou de Pi{j}) e de ‘n’. Se sãoeqüiprováveis os elementos (P(i) é constante), então H cresceexponencialmente com n;b) Sua unidade matemática (bit) tem propriedades aditivas. Issosignifica que, se uma escolha é dividida em escolhas sucessivas,a incerteza do conjunto é a soma ponderada das incertezas dosconjuntos menores;c) H é máximo com P(i) iguais, caso em que I = H;__41__