Livro CI 2008

V Curso de Inverno
Um pouquinho de história
A história da Teoria da Informação remonta aos idos de 1928, quando Ralph Hartley,
no artigo “Transmission of information”, apresenta uma formula para a quantificação de
informação, o qual ressalta que o fator importante nesse processo é a habilidade do receptor
em selecionar símbolos em um dado vocabulário. Então, tendo W símbolos disponíveis, a
quantidade de informação H em uma dada seleção é H = logW. Hartley estava interessado
em comparar a capacidade de transmissão de diversos sistemas elétricos de
telecomunicação.
Durante a segunda Guerra Mundial, Claude Shannon trabalhava com criptografia e
sistemas de controle e automação no Bell Lab, nos Estados Unidos. Com o fim da guerra, e
com muitas idéias advindas de seu trabalho com criptografia, Shannon desenvolveu a
importante e controversa (ao menos na sua aplicabilidade em biologia) teoria da informação
em 1948, com a publicação de um artigo, A Methematical Theory of Communication
(Shannon,1948). Esse artigo foi publicado em forma de tese em 1949, com uma pequena
alteração no titulo (a qual, sinceramente, faz toda a diferença), para The Mathematical
Theory of Communication (Shannon & Weaver, 1949).
Tá, chega de enrolação e fala logo da Teoria
Shannon, logo no começo de seu artigo, inicia sua linha de raciocínio dizendo que o
principal problema da comunicação é reproduzir num ponto exatamente ou da maneira mais
próxima possível, uma mensagem que foi selecionada e enviada de outro ponto, e que a
verdadeira mensagem é uma que é escolhida de um conjunto de mensagens possíveis.
Então, o sistema tem que operar sobre qualquer seleção possível, e não com a que vai
realmente ser escolhida uma vez que essa é desconhecida no momento anterior à
mensagem ser enviada, ou seja, não é possível prever qual é a mensagem que será
transmitida. Isso só será conhecido no momento da recepção (Shannon, 1948).
A partir disso, vemos que, para Shannon, comunicação é um processo probabilístico,
e que para problemas de engenharia (com os quais ele estava preocupado), o significado e
veracidade das mensagens não importavam. Portanto, a teoria da informação está
relacionada com a redução da incerteza do receptor, pois a mensagem tem uma
probabilidade de fazer com que o receptor mude de estado, depois da transmissão da
mensagem, narrando algum evento.
Imagine, então, um sistema como o da figura 1, onde se tem uma fonte de
informação que produz uma mensagem, ou seqüência de mensagens, as quais serão
transmitidas pelo... Adivinha só? Se estiver olhando a figura e falou transmissor, acertou.
Esse transmissor enviará um sinal para o receptor, por um canal, que nada mais é do que o
meio pelo qual essa mensagem é enviada (sejam letras que se concatenam formando
palavras, ou variação de voltagem, ou traços e pontos de código Morse, etc.). O receptor
tem o papel de receber (porque isso me soa redundante?), e reconstruir a mensagem
118