Lecture 1 - æ­¦æ±‰å¤§å­¦ä¿¡å·å¤„ç†ç ”ç©¶å®¤

信 息 论 与 编 码 理 论
杨 文
通 信 工 程 系

信 息 论 基 础 的 重 要 性
• 信 息 论 是 信 息 科 学 和 技 术 的 基 本 理 论 , 信 息 科
学 大 厦 的 地 基 ;
• 没 有 信 息 论 的 基 础 , 从 事 通 信 与 信 息 领 域 的 研
究 和 创 新 是 不 可 能 的 事 情 ;
• 总 之 , 信 息 论 是 高 层 次 信 息 技 术 人 才 必 不 可 少
的 基 础 知 识 。

课 程 类 型 : 专 业 选 修 课
学 时 : 54
教 材 :《 信 息 论 与 编 码 理 论 》, 王 育 民 , 李 晖 , 梁 传 甲 ,
高 等 教 育 出 版 社 , 2009
参 考 教 材 :
1 >(Elements of Information Theory, 英 文
影 印 ),Thomas M.Cover, Joy A.Thomas , 清 华 大 学 出 版 社 ,2003
2《>(The Theory of Information and
Coding, 英 文 影 印 版 )( 第 2 版 ), Robert J.McEliece, 电 子 工 业 出 版 社 ,
2005.3
考 核 : 平 时 成 绩 30%( 作 业 、 考 勤 、 期 中 测 验 )
期 末 考 试 70%( 闭 卷 )

上 课 地 点 、 时 间 :
星 期 二 , 第 8-10 节 (14:55-17:25 AM), 测 绘 校 区 ,
附 3-301 (Every week 1-18)
答 疑 地 点 、 时 间 :
地 点 : 教 学 实 验 大 楼 十 楼 信 号 处 理 实 验 室 -1008;
时 间 : 星 期 四 ,2:30-5:00,PM
其 它 答 疑 方 式 :
• 电 子 邮 件 :yangwen@whu.edu.cn;
• 办 公 电 话 :027-68778181

Here you
can find me!
E-mail:yangwen@whu.edu.cn
Tel(O):027-68778181

课 程 基 本 内 容
• ch1 绪 论
• ch2 信 息 量 和 熵
• ch3 离 散 信 源 无 失 真 编 码
• ch4 信 道 及 信 道 容 量
• ch5 信 道 编 码 定 理
• ch6 线 性 分 组 码
• ch7 卷 积 码
• ch9 限 失 真 信 源 编 码

教 学 目 标
• 充 分 理 解 、 熟 练 掌 握 教 材 的 内 容
熟 练 掌 握 基 本 的 信 息 理 论 概 念 和 定 理
熟 练 掌 握 通 信 与 信 息 工 程 中 基 本 研 究 对 象 的 数 学 描
述
• 通 过 学 习 和 习 题 练 习 , 具 备 一 定 的 解 决 问 题 分
析 问 题 的 能 力
• 掌 握 一 定 的 科 学 思 想 方 法 ( 用 信 息 论 的 思 想 和
观 点 )

学 习 方 法
• 本 课 程 以 概 率 论 为 基 础 , 数 学 推 导 较 多 , 学 习
时 要 把 注 意 力 集 中 到 概 念 的 理 解 上 , 不 过 分 追 求
数 学 细 节 的 推 导 。
• 学 习 时 一 定 要 从 始 至 终 注 意 基 本 概 念 的 理 解 ,
不 断 加 深 概 念 的 把 握 。
• 注 意 理 解 各 个 概 念 的 “ 用 处 ”, 结 合 其 他 课 程
理 解 它 的 意 义 , 而 不 要 把 它 当 作 数 学 课 来 学 习 ,
提 倡 独 立 思 考 , 注 重 思 考 在 学 习 中 的 重 要 性 。

对 学 习 者 的 要 求
• 三 个 重 要 环 节
课 前 预 习
课 上 认 真 听 讲
课 后 认 真 复 习 消 化 、 作 业
• 经 常 进 行 阶 段 复 习
掌 握 知 识 的 窍 诀 : 反 复 思 维 实 践
• 欢 迎 大 家 及 时 提 出 反 馈 意 见 , 以 便 更 好 的 进 行
互 动 教 学 。

其 他 约 定
• 不 得 迟 到 、 早 退 、 缺 课 , 有 事 请 假
• 上 课 时 请 关 闭 手 机
• 作 业 不 得 用 纸 片 信 纸 之 类 , 必 须 使 用 作 业 本
• 迟 交 的 作 业 及 纸 片 做 的 作 业 恕 不 修 改 , 只 作 记
录

计 分 方 式
• 期 终 考 试 成 绩 占 70%
• 平 时 成 绩 占 20%(
平 时 作 业 10 %+ 考 勤 10%)
作 业 : 一 次 不 交 扣 1 分 , 无 故 缺 席 一 次 扣 1 分 , 迟 到
一 次 扣 0.5 分
手 机 声 响 扣 1 分
严 重 违 反 课 堂 纪 律 , 视 情 节 轻 重 扣 分
• 期 中 考 核 占 10%

信 息 论 与 编 码 理 论
Claude E. Shannon
(1916/04/30-2001/02/26)

伟 大 的 科 学 家 - 香 农
• “ 通 信 的 基 本 问 题 就 是 在 一 点 重 新 准 确 地 或 近
似 地 再 现 另 一 点 所 选 择 的 消 息 ”。
• 这 是 数 学 家 香 农 (Claude E.Shannon) ) 在 他
的 惊 世 之 著 《 通 信 的 数 学 理 论 》 中 的 一 句 名 言 。
正 是 沿 着 这 一 思 路 他 应 用 数 理 统 计 的 方 法 来 研
究 通 信 系 统 , 从 而 创 立 了 影 响 深 远 的 信 息 论 。

Shannon 的 主 要 贡 献
Copy from lectures of Prof. Wang Yumin

Shannon 一 生 写 了 127 篇 文 章 [1], 与 我 们 当 今 有
些 发 文 数 百 篇 的 年 轻 学 者 相 比 实 在 有 点 少 , 但 他 的
每 篇 文 章 都 极 富 洞 察 力 , 为 我 们 提 供 了 全 新 的 新 思
想 , 很 多 文 章 都 开 辟 了 崭 新 的 研 究 方 向 !
• 1938 年 发 表 《 继 电 器 和 开 关 电 路 的 符 号 分 析 》
一 文 曾 获 电 气 和 电 子 工 程 师 学 会 (IEEE) 的 Alfred
Noble 奖 , 是 20 世 纪 中 的 一 篇 最 重 要 也 是 最 为 著 名 的
硕 士 论 文 , 成 为 数 字 电 路 设 计 的 一 个 里 程 碑 。 这 篇
文 章 是 在 1937 年 成 文 的 , 当 时 他 还 是 MIT 的 一 名 学
生 。 在 这 篇 文 章 他 告 诉 人 们 :“ 如 果 我 们 有 一 天 能
发 明 计 算 机 , 要 使 它 能 够 思 索 的 话 , 一 定 会 是 采 用
二 元 码 和 串 在 一 起 的 开 关 , 并 应 用 布 尔 (Boole) 逻
辑 系 统 实 现 的 结 果 。”

• 1940 年 的 博 士 论 文 《An Algebra for Theoretical
Genertics》[1,[3]], 是 数 字 控 制 系 统 和 计 算 机 科 学
的 先 驱 工 作 。
• 1948 年 发 表 的 《 通 信 的 数 学 理 论 》 文 章 [7], 创
建 了 信 息 论 , 这 是 一 篇 20 世 纪 少 有 的 几 篇 对 科 学 和 工
程 , 乃 至 对 人 类 社 会 发 展 产 生 了 重 要 影 响 著 作 , 是 可
与 牛 顿 力 学 相 媲 美 的 不 朽 之 作 , 也 是 他 最 重 要 的 科 学
贡 献 。 这 使 他 成 为 信 息 论 之 父 , 时 年 仅 32 岁 。 作 为 数
学 家 , 他 为 数 学 开 辟 了 一 个 工 程 应 用 的 新 领 域 。 这 篇
文 章 虽 然 在 1947 年 完 成 , 但 至 今 仍 然 闪 烁 着 智 慧 的 光
芒 , 它 将 照 耀 人 类 今 后 的 数 个 世 纪 。

“ 通 信 的 基 本 问 题 是 在 彼 地 精 确 地 或 近 似 地 重 现
此 地 所 选 的 消 息 ”, 这 句 话 将 通 信 的 本 质 表 述 得 多 么
清 晰 ! 它 所 给 出 的 信 道 容 量 方 程 (C = Wlog2(1+ S/N),
W: 信 道 带 宽 ,S/N: 信 噪 比 ,C: 信 道 容 量 ), 指 出
了 通 过 信 道 实 现 错 误 概 率 为 零 时 可 传 输 的 最 大 信 息 速
率 , 即 Shannon 极 限 , 这 是 一 个 罕 见 的 、 漂 亮 、 简 洁 而
又 有 效 的 理 论 结 果 。
著 名 信 息 论 和 编 码 理 论 教 授 Robert G. Gallager 曾
说 过 :“Shannon 发 现 了 在 所 有 通 信 中 最 基 本 的 元 素 就
是 二 元 数 字 ”。“ 这 的 确 是 他 的 发 现 , 从 此 萌 发 了 整
个 通 信 领 域 的 ( 数 字 化 ) 革 命 ”。

这 篇 著 作 一 发 表 就 在 通 信 工 程 界 引 起 了 极 大
反 响 , 财 富 (Fortune) 杂 志 立 即 称 此 理 论 为 : 一
个 人 的 最 杰 出 和 最 令 人 为 之 骄 傲 的 创 造 , 一 个 伟 大
的 、 能 够 迅 速 而 深 刻 地 改 变 人 们 对 于 世 界 看 法 的 科
学 理 论 。Shannon 为 通 信 工 程 师 们 点 亮 了 灯 塔 , 为
他 们 的 探 索 指 明 了 工 作 的 方 向 。
应 当 指 出 , 这 篇 文 章 发 表 后 曾 遭 受 到 某 数 学 家
的 抨 击 , 责 难 Shannon 的 一 些 结 果 未 经 证 明 , 在 数
学 上 不 严 格 , 靠 不 大 住 。

Shannon 对 此 评 论 说 ,“ 我 不 喜 欢 他 的 评 论 ,
他 并 未 仔 细 看 这 篇 文 章 , 你 可 以 将 每 一 小 的 推 断 都
一 行 一 行 地 用 数 学 写 写 出 来 , 或 者 你 可 以 假 定 读 者
已 明 白 了 你 所 讲 的 。 我 确 信 我 是 正 确 的 , 我 清 楚 地
知 道 我 所 做 的 , 它 给 出 的 所 有 结 果 都 恰 好 是 正 确
的 。”
今 天 , 这 一 理 论 已 被 广 泛 地 应 用 , 从 空 间 探 测 、
卫 星 通 信 、 无 线 移 动 通 信 , 到 硬 盘 驱 动 器 、 光 盘 存
储 等 。 信 息 论 的 应 用 已 远 远 超 出 了 通 信 领 域 , 从 基
因 学 、 分 子 生 物 学 、 神 经 系 统 、 脑 科 学 到 心 理 学 、
艺 术 、 音 乐 、 社 会 学 、 语 言 学 、 经 济 学 , 甚 至 庭 院
设 计 。

• 1949 年 发 表 了 “Programming a computer for
playing chess,”[1,[54]] 这 也 是 人 工 智 能 的 一 个 先
驱 工 作 。1965 年 他 曾 应 邀 赴 莫 斯 科 参 加 一 个 工 程 会
议 , 并 顺 便 会 见 了 多 次 获 国 际 象 棋 世 界 冠 军 、 电 器
工 程 师 Mikhail Botvinnik, 一 起 对 弈 和 讨 论 了 计 算 机
编 程 下 棋 。1980 年 Shannon 还 作 为 特 邀 贵 宾 参 加 了 在
奥 地 利 Linzjuxingde 国 际 计 算 机 象 棋 冠 军 赛 , 贝 尔 实
验 室 的 “Belle” 获 得 了 冠 军 , 已 接 近 象 棋 大 师 水 平 。
1997 年 IBM 造 出 了 “ 深 蓝 ” 计 算 机 , 装 入 了 计 算 机 程
序 chatterbot ALICE, 并 战 胜 了 俄 国 国 际 象 棋 大 师 和
世 界 冠 军 Garry Kasparov。

这 是 人 类 第 一 次 用 自 己 制 造 的 机 器 在 智 能 上 ( 更 确
切 地 说 是 在 下 国 际 象 棋 的 能 力 上 ) 战 胜 了 自 己 。
• 1950 年 他 构 建 了 老 鼠 走 迷 宫 机 器 Theseus,1951
年 发 表 的 《Presentation of a maze solving machine》
[1,[70]], 是 一 篇 计 算 机 学 习 的 先 驱 著 作 。 这 也 是
人 工 智 能 的 一 个 先 驱 工 作 。
• 1953 年 Shannon 曾 构 建 了 “ 心 灵 阅 读 (Mind
reading)” 机 [1,[73]], 可 通 过 观 察 、 记 忆 和 分 析
对 方 过 去 所 选 硬 币 的 正 、 反 面 的 图 样 , 试 图 猜 测 对
方 下 一 次 可 能 选 择 。 这 是 一 种 博 弈 游 戏 。Shannon 的
阅 读 机 曾 和 贝 尔 的 同 事 , 这 种 机 器 的 发 明 人 D. W.
Hagelbarger 进 行 对 弈 , 并 赢 得 胜 利 。

• 与 E. F. Moore 合 作 研 究 , 用 增 加 接 点 的 冗
余 度 来 提 高 继 电 器 电 路 可 靠 性 [1,[88]-[90]],
这 一 研 究 与 有 扰 信 道 传 信 问 题 密 切 相 关 。
• 1956 年 与 J. 麦 卡 锡 合 编 的 著 名 论 文 集 《 自
动 机 研 究 》[1,[37]] 是 自 动 机 理 论 方 面 的 重
要 文 献 。

•1959 年 发 表 的 《Coding theorems for a discr
ete source with fidelity criterion》 文 章 [1,[11
8] 创 建 了 率 失 真 理 论 , 在 连 续 消 息 和 离 散 消
息 之 间 架 上 了 一 座 桥 梁 , 从 而 给 数 字 化 提 供
了 一 个 基 础 和 有 效 的 工 具 。
• 1960 年 发 表 的 《Two-way communication
channel》 文 章 [1,[119]], 创 建 了 多 用 户 信 息
论 。

• Shannon 曾 提 出 将 信 息 论 用 在 生 物 系 统 , 在 他 看
来 , 机 器 的 和 生 命 的 事 物 是 有 共 同 性 的 , 当 你 问 他 是
否 能 思 考 时 , 他 会 回 答 说 ; 我 是 一 个 机 器 , 你 是 一 个
机 器 , 我 们 都 能 思 考 , 对 吗 ? 今 天 , 生 命 信 息 论 已 有
不 少 研 究 了 [4]。
• Shannon 还 做 过 将 信 息 论 用 于 最 佳 投 资 策 略 问 题
的 研 究 , 他 认 为 股 票 市 场 是 一 种 “ 受 扰 信 号 ”, 与 时
间 序 列 相 关 联 , 问 题 是 要 通 过 适 当 选 择 和 调 整 证 卷 投
资 组 合 , 使 效 用 函 数 达 到 极 大 值 。
• 1966 年 获 美 国 国 家 科 学 奖 章 , 由 前 总 统 Lyndon
B. 约 翰 逊 颁 发 。

为 了 表 彰 Shannon 的 伟
大 功 绩 , IEEE Information
Society 的 25 名 成 员 于 2000
年 10 月 6 日 在 Shannon 的 儿
童 时 代 的 老 家 Michigan 的
Gaylord 举 行 了 Shannon 塑
像 的 落 成 典 礼 。

Claude Elwood Shannon
Father of Information Theory ,Electrical engineer,
Mathematician, and native son of Gaylord. His creation
of information theory, the mathematical theory of comm
unication, in the 1940s and 1950s inspired the revolutio
nary advances in digital communications and informati
on storage that have shaped the modern world.
This statue was donated by the Information Theory
Society of the Institute of Electrical and Electronics Eng
ineers, whose members follow gratefully in his footstep
s.
Dedicated October 6, 2000
Edgene Daub, Sculptor

Shannon 虽 然 已 于 2001 年 辞 世 , 但 正 如 信 息 论
著 名 教 授 Richard Blahut 博 士 的 题 词 所 说 的 , 它 所
留 给 人 类 的 思 想 会 永 远 留 在 人 类 的 脑 海 中 , 激 励 我
们 的 子 孙 们 。
“ 在 我 看 来 , 两 三 百 年 之 后 , 当 人 们 回 过 头 来 看
我 们 的 时 候 , 他 们 可 能 不 会 记 得 谁 曾 是 美 国 的 总 统 。
他 们 也 不 会 记 得 谁 曾 是 影 星 或 摇 滚 歌 星 。 但 是 仍 然
会 知 晓 Shannon 的 名 字 。 学 校 里 仍 然 会 教 授 信 息
论 。”(Dr. Richard Blahut, Oct. 6, 2000, Gaylord,
Michigan)

1 概 论
1.1 信 息 的 一 般 概 念
1.2 信 息 的 分 类
1.3 信 息 论 的 起 源 、 发 展 及 研 究 内 容

1.1 信 息 的 一 般 概 念
(1) 当 代 文 明 的 三 大 支 柱
(2) 信 息 是 什 么 ?
(3) 香 农 和 维 纳 对 信 息 的 定 义
(4) 信 息 的 定 义 和 性 质

(1) 当 代 文 明 的 三 大 支 柱
信 息 科 学 、 材 料 科 学 和 能 源 科 学 一 起 被 称 为 当 代 文
明 的 “ 三 大 支 柱 ”。 是 科 学 历 史 上 三 个 最 重 要 的 基 本 概 念 。
• 没 有 物 质 的 世 界 是 虚 无 的 世 界 ;
• 没 有 能 源 的 世 界 是 死 寂 的 世 界 ;
• 没 有 信 息 的 世 界 是 混 乱 的 世 界 。

(2) 信 息 是 什 么 ?
1 从 通 信 谈 起 - 通 信 系 统 的 基 本 概 念
2 信 息 科 学 的 有 关 概 念
信 息 与 消 息 和 信 号 的 区 别
各 种 信 息 的 概 念
信 息 的 直 观 认 识

1 通 信 系 统 的 基 本 概 念
• 从 通 信 谈 起 :
‣ 通 信 的 目 的 是 传 输 信 息 , 即 传 递 消 息 。
‣ 近 代 的 通 信 特 指 “ 电 通 信 ”。
‣ 通 信 系 统 的 主 要 任 务 是 借 助 电 信 号 这 种 载 体 来 传 输
消 息 。
‣ 信 息 (Information)、 消 息 (Message)、 信 号
(Signal) 就 成 为 人 们 最 常 使 用 的 3 个 基 本 术 语
‣ 它 们 的 确 切 定 义 及 基 本 含 义 是 什 么 ?

1 通 信 系 统 的 基 本 概 念
信 源 信 道 信 宿
最 简 单 的 通 信 系 统 模 型
三 个 基 本 单 元 : 信 源 (Source)、 信 道
(Channel) 和 信 宿 (Destination)。

1 通 信 系 统 的 基 本 概 念
• 信 源 是 提 供 消 息 的 人 、 设 备 或 事 物 。
打 电 话 时 人 发 出 的 声 音
因 特 网 上 计 算 机 系 统 中 制 作 好 的 可 供 浏 览 的 网
页
广 播 、 电 视 发 送 的 节 目 信 号
天 体 天 电 信 号
• 人 们 最 感 兴 趣 的 是 信 源 给 出 的 消 息 。
• 消 息 是 由 符 号 、 文 字 、 数 字 、 语 声 、 图 像
等 组 成 的 序 列 。

1 通 信 系 统 的 基 本 概 念
消 息 通 常 具 有 如 下 特 征 :
(1) 消 息 可 以 产 生 、 传 递 和 获 取
消 息 是 客 观 的 、 可 感 知 的 , 但 它 看 不 见 、 摸 不 着
传 递 要 借 助 于 载 体 ( 或 媒 质 ), 用 载 体 传 送 , 从 载 体 中 取 出
载 体 是 消 息 的 物 理 体 现 , 如 :
• 在 纸 上 写 字 ,
• 用 磁 带 、 光 碟 、 存 储 器 等 记 录 语 音 、 图 像 、 数 据
最 值 得 研 究 的 载 体 是 电 的 、 磁 的 、 光 的 载 体 , 这 就 是 各 类 信 号
信 号 是 一 种 载 体 , 是 消 息 的 物 理 体 现 , 它 使 消 息 能 够 看 得 见 ,
变 得 具 体 化
人 们 通 过 时 域 、 频 域 及 各 种 变 换 域 来 研 究 信 号 的 波 形 、 频 谱 等
结 构 , 构 成 比 较 完 善 的 信 号 理 论

1 通 信 系 统 的 基 本 概 念
(2) 消 息 是 有 内 容 的
消 息 的 内 容 是 客 观 存 在 的
对 消 息 的 接 受 者 来 说 , 消 息 有 新 、 旧 或 已 知 、 未 知
之 分 , 有 用 、 无 用 及 有 大 用 、 小 用 之 别
客 观 存 在 的 消 息 , 对 不 同 的 接 收 者 来 说 , 其 性 质 、
作 用 不 同
促 使 人 们 去 研 究 消 息 的 内 涵 以 及 人 的 主 观 判 断 等
主 观 因 素 , 从 而 产 生 了 信 息 理 论 及 其 各 种 分 支 。

1 通 信 系 统 的 基 本 概 念
• 消 息 从 信 源 通 过 信 道 到 信 宿 , 如 何 有 效 、 可 靠 地 传 输 ,
是 通 信 系 统 要 解 决 的 根 本 问 题 。
先 说 有 效 性 (Validity)
• 消 息 若 在 信 源 中 先 去 粗 取 精 , 则 必 能 提 高 通 信 的 有 效 性
• 对 数 字 通 信 来 说 , 即 信 源 编 码 (Source Coding) 要 解 决 的 主
要 问 题
再 说 可 靠 性 (Reliability)
• 信 宿 对 接 收 到 的 “ 消 息 ” 若 能 够 进 行 判 断 、 评 估 , 去 伪 存 真 的
处 理 , 则 必 能 提 高 通 信 的 可 靠 性
• 对 数 字 通 信 来 说 , 信 道 编 码 (Channel Coding) 的 主 要 任 务
就 是 解 决 这 个 问 题

1 通 信 系 统 的 基 本 概 念
信 息 理 论 最 初 就 是 从 解 决 通 信 系 统 的 有 效
性 和 可 靠 性 而 发 展 起 来 的 , 从 信 源 、 信 道 、
信 宿 的 特 性 入 手 , 逐 步 发 展 成 应 用 极 为 广
泛 的 新 兴 学 科 —— 信 息 科 学
为 此 , 本 章 首 先 给 出 信 源 、 信 道 、 信 宿 的 比 较
确 切 的 定 义 , 然 后 再 讨 论 信 息 的 涵 义

1 通 信 系 统 的 基 本 概 念
• 信 源 :
消 息 的 源 , 通 常 指 向 通 信 系 统 提 供 消 息 的 人 、 设 备 或 事
物 。
信 源 输 出 的 是 以 符 号 形 式 出 现 的 具 体 消 息 , 它 载 荷 信 息 。
信 源 输 出 的 消 息 有 多 种 形 式 :
• 例 如 , 从 消 息 在 时 间 上 和 幅 度 上 的 分 布 情 况 这 一 角 度 , 可 分 为
离 散 信 源 (Discrete Source) 和 连 续 信 源 (Continuous
Source)。
• 前 者 指 信 源 发 出 的 消 息 在 时 间 和 幅 度 上 都 是 离 散 分 布 的 , 如 字
母 、 文 字 、 数 字 等 符 号 组 成 的 符 号 序 列 或 单 个 符 号
• 后 者 指 在 时 间 和 幅 度 上 都 是 连 续 分 布 的 , 如 话 音 、 图 像 等 。

1 通 信 系 统 的 基 本 概 念
• 信 道 :
传 递 消 息 的 通 道 , 广 义 上 是 指 从 信 源 到 信 宿 间
传 递 物 理 信 号 的 媒 质 和 设 施 。
信 道 的 种 类 很 多 , 如 电 信 中 常 用 的 架 空 明 线 、
同 轴 电 缆 、 波 导 、 光 纤 、 传 输 电 磁 波 的 空 间 等
都 是 信 道 。
也 可 以 从 信 道 的 性 质 或 其 传 送 的 信 号 情 况 来 分
类 , 例 如 : 无 干 扰 信 道 和 有 干 扰 信 道 、 恒 参 信
道 和 变 参 信 道 、 离 散 信 道 (Discrete Channel)
和 连 续 信 道 (Continuous Channel)、 单 用 户
信 道 和 多 用 户 信 道 等 。

1 通 信 系 统 的 基 本 概 念
• 信 宿 :
消 息 传 递 的 对 象 , 即 接 收 消 息 的 人 、 设 备
或 事 物 。 根 据 实 际 需 要 , 信 宿 接 收 的 消 息 , 其
形 式 可 以 与 信 源 发 出 相 同 , 也 可 以 不 同 。 当 两
者 形 式 不 同 时 , 存 在 一 个 映 射 关 系 。

2 信 息 科 学 的 有 关 概 念
信 息 的 一 般 含 义 及 定 义
• 从 通 信 的 实 质 意 义 来 讲 , 如 果 信 宿 收 到 的 消 息 是 已
知 的 , 则 等 于 没 有 收 到 任 何 消 息
• 因 此 , 人 们 更 感 兴 趣 的 是 消 息 中 所 包 含 的 未 知 的 成
分 , 用 概 率 论 的 术 语 来 说 , 就 是 具 有 不 确 定 性 的 成
分 。 消 息 中 这 种 未 知 的 或 不 确 定 的 成 分 , 通 常 被 称
为 消 息 中 所 包 含 的 信 息 。
• 由 此 看 来 , 通 信 中 的 信 息 、 消 息 和 信 号 是 紧 密 相 联
的 :
• 通 信 系 统 传 输 的 是 信 号 , 信 号 是 消 息 的 载 体 , 消 息
中 的 未 知 成 分 是 信 息 。

2 信 息 科 学 的 有 关 概 念
信 息 的 一 般 含 义 及 定 义
• 教 科 书 对 消 息 和 信 号 有 明 确 的 定 义
• 但 如 何 给 信 息 下 定 义 始 终 是 个 困 扰 大 家 的 问 题 。
• 我 国 的 《 辞 海 》 对 信 息 作 了 如 下 解 释 :
信 息 : 通 信 系 统 传 输 和 处 理 的 对 象 , 泛 指 消 息 和 信 号 的 具 体 内
容 和 意 义 。 通 常 须 通 过 处 理 和 分 析 来 提 取 。 信 息 、 物 质 和 能 量
被 称 为 系 统 的 三 大 要 素 。 信 息 和 物 质 的 量 值 与 信 息 的 随 机 性 有
关 , 如 在 接 收 端 无 法 预 估 消 息 或 信 号 中 所 蕴 含 的 内 容 或 意 义 ,
即 预 估 的 可 能 性 越 小 , 信 息 量 就 越 大 。
• 此 解 释 首 先 肯 定 了 信 息 、 消 息 和 信 号 的 密 不 可 分 性

2 信 息 科 学 的 有 关 概 念
• 《 科 学 技 术 大 系 》 将 这 三 者 合 在 一 起 加 以 说 明 :
信 息 · 消 息 · 信 号 :
信 息 是 认 识 主 体 ( 人 、 生 物 、 机 器 ) 所 感 受 的 或 所 表 达
的 事 物 运 动 的 状 态 和 运 动 状 态 变 化 的 方 式 。 信 息 是 人 们
在 适 应 外 部 世 界 和 控 制 外 部 世 界 的 过 程 中 , 同 外 部 世 界
进 行 交 换 的 内 容 。 信 息 的 特 征 为 :
• 接 收 者 在 收 到 信 息 之 前 , 对 它 的 内 容 是 不 知 道 的 , 所 以 信 息 是
新 知 识 、 新 内 容 ;
• 信 息 是 能 使 认 识 某 一 事 物 的 未 知 性 或 不 确 定 性 减 少 的 有 用 知 识 ;
• 信 息 可 以 产 生 , 也 可 以 消 失 , 同 时 信 息 可 以 被 携 带 、 贮 存 及 处
理 ;
• 信 息 是 可 以 量 度 的 , 信 息 量 有 多 少 的 差 别 。

2 信 息 科 学 的 有 关 概 念
消 息 是 指 包 含 有 信 息 的 语 言 、 文 字 和 图 像 等 。
• 消 息 中 的 不 确 定 成 分 是 信 息 。
• 在 通 信 中 , 消 息 是 指 担 负 着 传 送 信 息 任 务 的 单 个 符 号 或
符 号 序 列 。
• 这 里 的 符 号 包 括 文 本 、 数 据 、 语 言 、 图 形 和 图 像 等 。
• 消 息 是 具 体 的 , 它 载 荷 信 息 , 但 它 不 是 物 理 性 的 。
信 号 是 消 息 的 物 理 体 现 , 为 了 在 信 道 上 传 输 消 息 ,
就 必 须 把 消 息 加 载 到 具 有 某 种 物 理 特 征 的 信 号 上
去 。
• 信 号 是 信 息 的 载 荷 子 或 载 体 , 它 是 物 理 性 的 。
• 在 近 代 通 信 中 信 号 往 往 是 电 信 号 和 光 信 号 。

2 信 息 科 学 的 有 关 概 念
• 应 该 说 , 以 上 两 种 解 释 都 具 有 代 表 性 和 一 定 的 权
威 性 , 都 力 图 对 信 息 给 出 正 确 及 全 面 的 定 义 。 然
而 , 信 息 科 学 还 在 飞 速 发 展 , 人 们 对 信 息 也 不 断
赋 予 新 的 内 涵 , 对 信 息 的 理 解 不 但 要 考 虑 信 息 理
论 发 展 的 历 史 , 也 要 考 虑 它 的 将 来 , 因 此 ,
‣ 正 确 及 全 面 地 理 解 它 的 涵 义 远 比 记 住 它 的 定 义 重
要 。
• 为 此 , 先 讨 论 信 息 科 学 的 有 关 概 念 及 信 息 理 论 研
究 的 主 要 内 容 , 再 回 过 头 来 看 看 这 些 定 义 , 也 许
会 有 更 深 的 理 解 。

2 信 息 科 学 的 有 关 概 念
信 息 与 消 息 和 信 号 的 区 别
• 消 息 : 是 指 包 含 有 信 息 的 语 言 、 文 字 和 图 像 等 ,
可 表 达 客 观 物 质 运 动 和 主 观 思 维 活 动 的 状 态 。
‣ 信 息 必 须 依 附 于 一 定 的 物 质 形 式 存 在 , 这 种 运 载 信 息 的 物
质 , 称 为 信 息 载 体 。
‣ 消 息 中 包 含 信 息 , 是 信 息 的 载 体 。
‣ 同 一 信 息 可 用 不 同 的 消 息 形 式 来 载 荷 。
‣ 一 则 消 息 也 可 载 荷 不 同 的 信 息 , 可 能 包 含 丰 富 的 信 息 , 也
可 能 包 含 很 少 的 信 息 。
‣ 消 息 和 信 息 既 有 区 别 又 有 联 系 。

2 信 息 科 学 的 有 关 概 念
- 信 息 与 消 息 和 信 号 的 区 别
• 信 号 : 把 消 息 变 换 成 适 合 信 道 传 输 的 物 理 量 , 这 种
物 理 量 称 为 信 号 ( 如 电 信 号 、 光 信 号 、 声 音 信 号 等 )。
‣ 信 号 携 带 着 消 息 , 它 是 消 息 的 运 载 工 具 。
‣ 信 号 携 带 信 息 , 但 不 是 信 息 本 身 。
‣ 同 一 信 息 可 用 不 同 的 信 号 来 表 示 。
‣ 同 一 信 号 也 可 表 示 不 同 的 信 息 。

2 信 息 科 学 的 有 关 概 念
- 各 种 信 息 的 概 念
• 信 息 是 信 息 论 中 最 基 本 、 最 重 要 的 概 念 , 它 是 一 个 既 抽 象
又 复 杂 的 概 念 。
• 信 息 的 概 念 是 在 实 践 中 产 生 , 以 前 一 直 被 看 作 是 消 息 的 同
义 词 。
• 信 息 的 概 念 十 分 广 泛 , 不 同 的 定 义 在 上 百 种 以 上 。
‣ 信 息 是 事 物 之 间 的 差 异 ;
‣ 信 息 是 事 物 联 系 的 普 遍 形 式 ;
‣ 信 息 是 物 质 的 普 遍 属 性 。
‣ ……
• 数 学 家 认 为 : 信 息 是 使 概 率 分 布 发 生 改 变 的 东 西 。
• 哲 学 家 认 为 : 信 息 是 物 质 的 意 识 成 分 按 完 全 特 殊 的 方 式 融 合 起 来
的 产 物 。

2 信 息 科 学 的 有 关 概 念
- 信 息 的 直 观 认 识
第 一 个 重 要 概 念 : 信 道 上 传 送 的 是 随 机 变 量 的 值 。
注 意 :
• 这 就 是 说 , 我 们 在 收 到 消 息 之 前 , 并 不 知 道 消
息 的 内 容 。 否 则 消 息 是 没 有 必 要 发 送 的 。
• 消 息 随 机 变 量 有 一 个 概 率 分 布 。
• 消 息 随 机 变 量 的 一 个 可 能 取 值 就 称 为 一 个 事 件 。

2 信 息 科 学 的 有 关 概 念
- 信 息 的 直 观 认 识
第 二 个 重 要 概 念 : 事 件 发 生 的 概 率 越 小 , 此 事 件 含
有 的 信 息 量 就 越 大 。( 不 太 可 能 发 生 的 事 件 竟 然
发 生 了 , 令 人 震 惊 )
例 事 件 “ 中 国 足 球 队 5:0 力 克 韩 国 足 球 队 ” 含 有 的
信 息 量 大 。( 小 概 率 事 件 发 生 了 , 事 件 信 息 量 大 )
例 事 件 “ 中 国 足 球 队 0:1 负 于 韩 国 足 球 队 ” 含 有 的
信 息 量 小 。( 大 概 率 事 件 发 生 了 , 事 件 信 息 量 小 )

2 信 息 科 学 的 有 关 概 念
- 信 息 的 直 观 认 识
第 三 个 重 要 概 念 : 消 息 随 机 变 量 的 随 机 性 越 大 ,
此 消 息 随 机 变 量 含 有 的 信 息 量 就 越 大 。
例 消 息 随 机 变 量 X=“ 中 国 足 球 队 与 巴 西 足 球 队 比 赛 的 结 果 ”,
则 消 息 随 机 变 量 X 含 有 的 信 息 量 小 。
( 随 机 性 小 , 可 预 见 性 大 , 因 此 该 消 息 随 机 变 量 含 有 的 信 息
量 小 。)
例 消 息 随 机 变 量 X=“ 意 大 利 足 球 队 与 德 国 足 球 队 比 赛 的 结
果 ”, 则 消 息 随 机 变 量 X 含 有 的 信 息 量 大 。
( 随 机 性 大 , 可 预 见 性 小 , 因 此 该 消 息 随 机 变 量 含 有 的 信 息
量 大 。)

2 信 息 科 学 的 有 关 概 念
- 信 息 的 直 观 认 识
第 四 个 重 要 概 念 : 两 个 消 息 随 机 变 量 的 相 互 依 赖 性 越
大 , 它 们 的 互 信 息 量 就 越 大 ( 这 里 指 的 是 绝 对 值
大 )。
例 X= 武 汉 明 日 平 均 气 温 , Y= 黄 陂 明 日 平 均 气 温 ,Z= 北 京
明 日 平 均 气 温 ,W= 迈 阿 密 明 日 平 均 气 温 。 则
X 与 Y 互 信 息 量 大 ,
X 与 Z 互 信 息 量 小 得 多 ,
X 与 W 互 信 息 量 几 乎 为 0。

(3) 香 农 和 维 纳 对 信 息 的 定 义
• 香 农 : 创 立 了 信 息 论 , 但 并 没 有 给 出 信 息 的 确 切 定 义 , 他 认 为 “ 信
息 是 事 物 运 动 状 态 或 存 在 方 式 的 不 确 定 性 的 描 述 ”。
• 维 纳 : 信 息 论 的 创 始 人 之 一 , 把 人 与 外 部 环 境 交 换 信 息 的 过 程 看 作
是 一 种 广 义 的 通 信 过 程 。 后 来 才 认 识 到 “ 信 息 既 不 是 物 质 又 不 是 能
量 , 信 息 就 是 信 息 ”。 即 信 息 是 独 立 于 物 质 和 能 量 之 外 存 在 于 客 观
世 界 的 第 三 要 素 。

(4) 信 息 的 定 义 和 性 质
1 如 何 定 义 信 息
2 “ 本 体 论 ” 层 次
3 “ 认 识 论 ” 层 次
4 香 农 信 息 论 及 其 性 质

1 如 何 定 义 信 息
• 各 种 信 息 定 义 的 差 异 : 侧 面 不 同 、 详 略 不 同 、 抽 象 程 度 不
同 、 概 括 层 次 高 低 不 同 。
• 根 据 不 同 的 条 件 、 区 分 不 同 的 层 次 , 可 以 给 信 息 下 不 同 的
定 义 。
http://www.survivor99.com/lcg/books/GIT/GY/

2 “ 本 体 论 ” 层 次
• 最 高 层 次 是 最 普 遍 的 层 次 , 也 是 无 约 束 条 件 的 层 次 。 在 这
个 层 次 上 定 义 的 信 息 是 最 广 义 的 信 息 , 使 用 范 围 也 最 广 。
• 每 引 入 一 个 条 件 , 定 义 的 层 次 就 降 低 一 点 , 使 用 的 范 围 就
变 窄 一 点 。
• “ 本 体 论 ” 层 次 定 义 : 信 息 是 该 事 物 运 动 的 状 态 及 其 变 化
方 式 。

3 “ 认 识 论 ” 层 次
• 认 识 论 层 次 : 站 在 认 识 主 体 的 立 场 上 。 即 信 息 是 认 识 主 体
( 生 物 或 机 器 ) 所 感 知 的 或 所 表 述 的 相 应 事 物 运 动 状 态 及
其 变 化 方 式 。
• 虽 然 认 识 论 比 本 体 论 的 层 次 要 低 一 些 , 所 定 义 信 息 的 使 用
范 围 也 要 窄 一 些 , 但 是 信 息 概 念 的 内 涵 比 本 体 论 要 丰 富 得
多 。
• 全 信 息 : 同 时 考 虑 外 在 形 式 / 语 法 信 息 、 内 在 含 义 / 语 义 信 息 、
效 用 价 值 / 语 用 信 息 , 称 为 全 信 息 。
‣ 语 法 信 息 : 事 物 运 动 状 态 和 状 态 改 变 的 方 式 ;
‣ 语 义 信 息 : 事 物 运 动 状 态 和 方 式 的 具 体 含 义 ;
‣ 语 用 信 息 : 事 物 运 动 状 态 和 方 式 及 其 含 义 对 观 察 者 的 效 用 。

3 “ 认 识 论 ” 层 次
• 认 识 论 层 次 的 信 息 是 同 时 考 虑 语 法 信 息 、 语 义 信
息 和 语 用 信 息 的 全 信 息 。
• 本 体 论 信 息 是 第 一 位 的 , 认 识 论 信 息 是 第 二 位 的 。
前 者 从 纯 客 观 的 立 场 来 定 义 信 息 , 后 者 从 认 识 主
体 的 立 场 来 定 义 信 息 。
• 一 般 而 言 , 在 人 类 所 及 的 有 限 时 空 中 , 本 体 论 信
息 与 认 识 论 信 息 之 间 存 在 着 交 互 作 用 和 互 相 转 化
的 关 系 , 其 过 程 与 人 类 认 识 和 改 造 世 界 的 过 程 是
一 致 的 。

4 香 农 信 息 论 及 其 性 质
• 香 农 信 息 论 层 次 : 考 虑 事 物 运 动 状 态 及 其 变 化 方 式 的 外 在
形 式 , 实 际 上 研 究 的 是 语 法 信 息 。
• 信 息 的 定 义 : 是 对 事 物 运 动 状 态 和 变 化 方 式 的 表 征 , 它 存
在 于 任 何 事 物 之 中 , 可 以 被 认 识 主 体 ( 生 物 或 机 器 ) 获 取
和 利 用 。
• 信 息 的 抽 象 性 和 重 要 性
• 信 息 的 5 条 主 要 特 征
• 信 息 的 11 条 重 要 性 质

• 信 息 的 抽 象 性 和 重 要 性
‣ 抽 象 性 : 信 息 本 身 既 看 不 见 , 又 摸 不 着 , 没 有 气 味 、 没
有 颜 色 、 没 有 形 状 、 没 有 大 小 、 没 有 重 量 ……, 它 是 非 常
抽 象 的 东 西 。
‣ 重 要 性 : 信 息 在 信 息 化 程 度 越 来 越 高 的 社 会 中 将 起 到 越
来 越 重 要 的 作 用 , 是 比 物 质 和 能 量 更 为 宝 贵 的 资 源 , 全 面
掌 握 信 息 的 概 念 , 正 确 、 及 时 、 有 效 地 利 用 信 息 , 能 够 为
人 类 创 造 更 多 的 财 富 。

Information has “meaning”
Information
Structure

• 信 息 的 5 条 主 要 特 征
‣ 信 息 来 源 于 物 质 , 又 不 是 物 质 本 身 ; 它 从 物 质 的 运 动 中 产
生 出 来 又 可 以 脱 离 物 质 而 相 对 独 立 地 存 在 。
‣ 信 息 来 源 于 精 神 世 界 , 但 又 不 局 限 于 精 神 领 域 。
‣ 信 息 与 能 量 息 息 相 关 , 但 又 与 能 量 有 本 质 的 区 别 。
‣ 信 息 具 有 知 识 的 本 性 , 但 又 比 知 识 的 内 含 更 广 泛 。
‣ 信 息 可 以 被 认 识 主 体 获 取 和 利 用 。

• 信 息 的 11 条 重 要 性 质
‣ 存 在 的 普 遍 性 : 信 息 存 在 于 自 然 界 、 人 类 社 会 , 其 本 质 是 运 动 和 变 化 的 。
哪 里 有 事 物 的 运 动 变 化 , 哪 里 就 会 产 生 信 息 。 它 处 处 存 在 , 它 既 区 别 于 物 质
和 能 量 , 又 与 物 质 和 能 量 有 相 互 依 存 的 关 系 。
‣ 有 序 性 : 要 使 一 个 系 统 从 无 序 变 为 有 序 , 必 须 从 外 界 获 取 信 息 。
‣ 相 对 性 : 同 一 个 事 物 , 不 同 的 观 察 者 获 得 的 信 息 量 可 能 不 同 。
‣ 可 度 量 性 : 信 息 的 多 少 用 信 息 量 表 示 。
‣ 可 扩 充 性
‣ 可 存 储 、 传 输 与 携 带 性
‣ 可 压 缩 性 : 信 息 论 研 究 的 主 要 问 题 之 一 。
‣ 可 替 代 性 : 可 替 代 劳 力 、 资 本 、 物 质 材 料 、 时 间 。
‣ 可 扩 散 性 : 可 在 短 时 间 内 较 大 范 围 扩 散 开 。
‣ 可 共 享 性 : 没 有 信 息 的 共 享 性 就 没 有 人 类 社 会 的 发 展 和 进 步 。
‣ 时 效 性 : 信 息 是 有 “ 寿 命 ” 的 。

1.2 信 息 的 分 类
• 信 息 的 定 性 认 识 和 定 量 认 识 。
• 信 息 是 一 种 非 常 复 杂 的 的 研 究 对 象 , 信 息 分 类 有 许 多 不 同
的 准 则 和 方 法 。
(1) 信 息 的 分 类
(2) 我 们 研 究 的 内 容
(3) 香 农 信 息 论 的 缺 陷

(1) 信 息 的 分 类
• 按 照 信 息 性 质 : 语 法 信 息 、 语 义 信 息 、 语 用 信 息 ;
• 按 照 观 察 过 程 : 实 在 信 息 、 先 验 信 息 、 实 得 信 息 ;
• 按 照 信 息 地 位 : 客 观 信 息 、 主 观 信 息 ;
• 按 照 信 息 作 用 : 有 用 信 息 、 无 用 信 息 、 干 扰 信 息 ;
• 信 息 逻 辑 意 义 : 真 实 信 息 、 虚 假 信 息 、 不 定 信 息 ;
• 信 息 传 递 方 向 : 前 馈 信 息 、 反 馈 信 息 ;
• 信 息 生 成 领 域 : 宇 宙 信 息 、 自 然 信 息 、 社 会 信 息 、 思 维 信 息 ;
• 信 息 应 用 部 门 : 工 业 信 息 、 农 业 信 息 、 军 事 信 息 、 政 治 信 息 、 科 技 信 息
文 化 信 息 、 经 济 信 息 、 市 场 信 息 、 管 理 信 息 ;
• 按 照 信 息 来 源 : 语 声 信 息 、 图 像 信 息 、 文 字 信 息 、 数 据 信 息 、
计 算 机 信 息 ;
• 信 息 载 体 性 质 : 语 声 信 息 、 图 像 信 息 、 文 字 信 息 、 电 磁 信 息 、 光 学 信 息
生 物 信 息 ;
• 携 带 信 息 的 信 号 性 质 : 连 续 信 息 、 离 散 信 息 、 半 连 续 信 息 。

(2) 我 们 研 究 的 内 容
• 最 重 要 的 分 类 方 法 是 按 照 信 息 性 质 的 分 类
• 信 息 性 质 分 类 的 三 个 基 本 类 型
语 义 信 息
明 晰 信 息
连 续 信 息
模 糊 信 息
语 法 信 息
明 晰 信 息
离 散 信 息
模 糊 信 息
语 用 信 息
• 按 照 事 物 的 运 动 方 式 , 信 息 可 进 一 步 分 为 概 率 信 息 、 偶 发
信 息 、 确 定 信 息 、 模 糊 信 息 ; 还 可 以 分 为 有 限 状 态 和 无 限
状 态 。 香 农 信 息 论 主 要 研 究 语 法 信 息 中 的 概 率 信 息 。

(3) 香 农 信 息 论 的 缺 陷
1 香 农 定 义 信 息 的 出 发 点 是 假 定 事 物 状 态 可 以 用 一 个 经 典
集 合 论 为 基 础 的 概 率 模 型 来 描 述 。 实 际 存 在 的 某 些 事 物 运
动 状 态 要 寻 找 一 个 合 适 的 概 率 模 型 往 往 是 非 常 困 难 的 。 某
些 情 况 下 , 这 一 模 型 不 一 定 存 在 。
2 香 农 定 义 信 息 的 度 量 没 有 考 虑 收 信 者 的 主 观 性 和 主 观 意
义 , 也 撇 开 了 信 息 的 具 体 含 义 、 具 体 用 途 、 重 要 程 度 和 引
起 的 后 果 等 元 素 。 这 就 与 实 际 情 况 不 完 全 一 致 。
香 农 信 息 的 定 义 和 度 量 是 科 学 的 , 能 反 映 信 息 的 某 些
本 质 ; 但 却 是 有 缺 陷 的 、 有 局 限 的 。 这 样 , 它 的 适 用 范 围
会 受 到 严 重 影 响 。

1.3 信 息 论 的 起 源 、 发 展 及 研 究 内 容
(1) 信 息 传 输 手 段 的 五 次 重 大 变 革
(2) 信 息 论 的 形 成 和 发 展
(3) 信 息 论 的 研 究 对 象 、 目 的 和 内 容
(4) 香 农 信 息 论 的 科 学 体 系
(5) 本 课 程 的 内 容
(6) 信 息 科 学 的 发 展

(1) 信 息 传 输 手 段 的 五 次 重 大 变 革
1 语 言 产 生 : 人 们 用 语 言 准 确 地 传 递 感 情 和 意 图 , 使 语 言 成 为 传
递 信 息 的 重 要 工 具 。
2 文 字 产 生 : 人 类 开 始 用 书 信 的 方 式 交 换 信 息 , 使 信 息 传 递 的 准
确 性 大 为 提 高 。
3 发 明 印 刷 术 : 使 信 息 能 大 量 存 储 和 大 量 流 通 , 并 显 著 扩 大 了 信
息 的 传 递 范 围 。
4 发 明 电 报 电 话 : 开 始 了 人 类 电 信 时 代 , 通 信 理 论 和 技 术 迅 速
发 展 。 这 一 时 期 还 诞 生 了 无 线 电 广 播 和 电 视 。 更 深 入 的 问 题 : 如 何 定
量 研 究 通 信 系 统 中 的 信 息 , 怎 样 更 有 效 、 更 可 靠 传 递 信 息 ?
5 计 算 机 与 通 信 结 合 : 促 进 了 网 络 通 信 的 发 展 , 宽 带 综 合 业 务
数 字 网 的 出 现 , 给 人 们 提 供 了 除 电 话 服 务 以 外 的 多 种 服 务 , 使 人 类 社
会 逐 渐 进 入 了 信 息 化 时 代 。

(2) 信 息 论 的 形 成 和 发 展
• 1948 年 : 信 息 论 学 科 诞 生 :1948 年 , 香 农 发 表 论 文 “A mathematical
theory of communication”。 同 时 维 纳 提 出 了 最 佳 滤 波 理 论 , 成 为 信 息 论 的 一 个
重 要 分 支 。
• 五 十 年 代 : 信 息 论 在 学 术 界 引 起 了 巨 大 反 响 。
1959 年 : 香 农 为 各 种 信 源 编 码 的 研 究 奠 定 基 础 : 发 表 论 文 “Coding
theorems for a discrete source with a fidelity criterion”, 数 据 压 缩 理 论 与 技 术 成
为 信 息 论 的 重 要 分 支 。
• 六 十 年 代 : 信 道 编 码 技 术 有 较 大 进 展 。 信 道 编 码 成 为 信 息 论 重 要 分 支 。
1961 年 : 香 农 的 重 要 论 文 “ 双 路 通 信 信 道 ” 开 拓 了 多 用 户 信 息 理 论 的 研 究 。
• 七 十 年 代 : 有 关 信 息 论 的 研 究 , 从 点 对 点 间 的 单 用 户 通 信 推 广 到 多
用 户 系 统 的 研 究 。 密 码 学 成 为 信 息 论 重 要 分 支 。 信 息 安 全 的 重 要 性 。
• 目 前 的 发 展

(2) 信 息 论 的 形 成 和 发 展
• 信 息 论 的 创 始 人
信 息 科 学 的 创 立 是 以 信 息 理 论 ( 简 称 信 息
论 ) 的 建 立 为 标 志 的 。
• 美 国 科 学 家 香 农 (C. E. Shannon) 在 1948 年
和 1949 年 先 后 发 表 的 两 篇 文 章 “The
mathematical theory of communication” 和
“Communication in the presence of noise”,
奠 定 了 信 息 论 的 基 础 。
• 香 农 在 这 两 篇 论 文 中 , 讨 论 了 信 息 的 度 量 、 信
息 特 征 、 信 息 传 输 速 率 、 信 道 容 量 、 干 扰 对 信
息 传 输 的 影 响 等 问 题 , 全 部 理 论 建 立 在 信 息 是
可 以 度 量 的 基 础 上 , 但 他 没 有 给 出 信 息 的 定 义 ,
只 是 提 出 问 题 , 分 析 问 题 , 得 出 结 论 。

(2) 信 息 论 的 形 成 和 发 展
美 国 另 一 科 学 家 维 纳 (N. Wiener) 出 版 了
“Extrapolation, Interpolation and
Smoothing of Stationary Time Series” 和
“Control Theory” 这 两 本 名 著 。
• 维 纳 是 控 制 论 领 域 的 专 家 , 重 点 讨 论 微 弱 信 号
的 检 测 理 论 , 并 形 成 了 信 息 论 的 一 个 分 支 。
• 他 对 信 息 作 了 如 下 定 义 : 信 息 是 人 们 在 适 应 外
部 世 界 和 控 制 外 部 世 界 的 过 程 中 , 同 外 部 世 界
进 行 交 换 的 内 容 的 名 称 。

(2) 信 息 论 的 形 成 和 发 展
信 息 是 不 是 物 质 ? 有 没 有 能 量 的 属 性 ? 与 物 质 、
能 量 的 关 系 是 什 么 ?
Shannon 和 Wiener 没 有 给 出 上 述 问 题 的 解 答 , 随
着 信 息 理 论 向 通 信 以 外 的 学 科 特 别 是 向 社 会 科 学
领 域 的 渗 透 , 人 们 为 了 弄 清 这 些 问 题 进 行 了 很 多
研 究 , 但 直 到 现 在 也 还 没 有 定 论 。

(2) 信 息 论 的 形 成 和 发 展
一 般 认 为 信 息 论 的 创 始 人 是 香 农 和 维
纳 , 但 由 于 香 农 的 贡 献 更 大 , 所 以 更 多
的 人 认 为 香 农 更 合 适 。
• 维 纳 , 美 国 数 学 家 , 控 制 论 的 创 始 人 。1894
年 11 月 26 日 生 于 密 苏
里 州 的 哥 伦 比 亚 ,1964
年 3 月 18 日 卒 于 斯 德 哥 尔 摩 。
• 维 纳 在 其 50 年 的 科 学 生 涯 中 , 先 后 涉 足 哲 学 、 数 学 、 物 理 学 和 工
程 学 , 最 后 转 向 生 物 学 , 并 且 在 各 个 领 域 中 都 取 得 了 丰 硕 的 成 果 ,
称 得 上 是 恩 格 斯 颂 扬 过 的 、 本 世 纪 多 才 多 艺 和 学 识 渊 博 的 科 学 巨
人 。 他 一 生 发 表 论 文 240 多 篇 , 著 作 14 本 , 自 传 两 本 《 昔 日 神 童 》
和 《 我 是 一 个 数 学 家 》。
• 维 纳 的 主 要 成 果 有 八 个 方 面 : 建 立 维 纳 测 度 、 引 进 巴 拿 赫 — 维 纳
空 间 、 位 势 理 论 、 发 展 调 和 分 析 、 发 现 维 纳 — 霍 普 夫 方 法 、 提 出
维 纳 滤 波 理 论 、 开 创 维 纳 信 息 论 、 创 立 控 制 论 。

• 目 前 的 发 展
‣ 香 农 信 息 论 :
• 信 息 概 念 的 深 化 ;
• 网 络 信 息 理 论 和 多 重 相 关 信 源 编 码 理 论 的 发 展 和 应 用 ;
• 通 信 网 的 一 般 信 息 理 论 研 究 ;
• 信 息 率 失 真 理 论 的 发 展 及 其 在 数 据 压 缩 和 图 像 处 理 中 的 应 用 ;
• 信 息 论 在 大 规 模 集 成 电 路 中 的 应 用 ;
• 磁 记 录 信 道 的 研 究 等 。
‣ 纠 错 码 理 论 : 在 工 程 方 面 应 用 及 最 优 编 码 方 法 研 究 。
‣ 维 纳 信 息 论 : 对 量 子 检 测 和 估 计 理 论 、 非 参 数 检 测 和 估 计 理 论 以
及 非 线 性 检 测 与 估 计 理 论 的 研 究 。

(3) 信 息 论 研 究 的 对 象 、 目 的 和 内 容
1 信 息 论 研 究 的 对 象 和 目 的
2 信 息 论 研 究 的 内 容
3 香 农 和 维 纳 理 论 的 区 别

1 信 息 论 研 究 的 对 象 和 目 的
• 研 究 对 象 : 信 息 论 是 一 门 应 用 概 率 论 、 随 机 过 程 、 数 理
统 计 和 近 世 代 数 的 方 法 , 来 研 究 广 义 的 信 息 传 输 、 提 取 和
处 理 系 统 中 一 般 规 律 的 工 程 学 科 。

• 研 究 目 的 : 它 的 主 要 目 的 是 提 高 信 息 系 统 的 可 靠 性 、 有
效 性 和 安 全 性 以 便 达 到 系 统 最 优 化 。

2 信 息 论 的 研 究 内 容
• 信 息 论 要 回 答 的 一 些 最 基 本 的 理 论 问 题 :
什 么 是 信 息 ? 如 何 度 量 ?
在 给 定 的 信 道 中 , 信 息 传 输 有 没 有 极 限 ?
信 息 能 否 被 压 缩 和 恢 复 ? 极 限 条 件 是 什 么 ?
从 实 际 环 境 中 ( 如 干 扰 、 噪 声 ) 抽 取 信 息 , 极 限 条 件 是
什 么 ?
在 允 许 一 定 失 真 (Distortion) 的 条 件 下 , 信 息 能 否 被
更 大 程 度 地 压 缩 ? 极 限 条 件 是 什 么 ?
设 计 什 么 样 的 系 统 才 能 达 到 上 述 极 限 ?
现 实 中 , 接 近 极 限 的 设 备 是 否 存 在 ?

2 信 息 论 的 研 究 内 容
• 信 息 论 的 成 功 就 在 于 首 先 对 这 些 问 题 给 出
了 明 确 的 回 答 , 这 就 是 信 息 量 、 信 道 容 量 、
熵 (Entropy)、 信 息 率 失 真 函 数 、
Shannon 的 三 个 定 理 和 Shannon 公 式 等 。
• 事 实 上 , 回 答 上 述 问 题 只 是 信 息 论 要 解 决
的 问 题 中 的 一 部 分 , 是 建 立 在 Shannon 研
究 成 果 的 基 础 上 , 被 称 为 Shannon 信 息 论
或 狭 义 信 息 论 。

2 信 息 论 的 研 究 内 容
• 信 息 论 基 础 : 也 称 狭 义 信 息 论 / 经 典 信 息 论 / 香 农 信 息 论 。 主 要
研 究 信 息 测 度 、 信 道 容 量 、 信 息 率 失 真 函 数 , 与 这 三 个 概 念 相 对 应 的
香 农 三 定 理 , 信 源 编 码 , 信 道 编 码 。
• 一 般 信 息 论 : 主 要 研 究 信 息 传 输 和 处 理 问 题 。 除 香 农 基 本 理 论
之 外 , 还 包 括 噪 声 理 论 、 信 号 滤 波 和 预 测 、 统 计 检 测 和 估 计 理 论 、 调
制 理 论 。 后 一 部 分 内 容 以 维 纳 为 代 表 。
• 广 义 信 息 论 : 是 一 门 综 合 性 的 新 型 学 科 - 信 息 科 学 。 至 今 没 有
严 格 的 定 义 。 凡 是 能 够 用 广 义 通 信 系 统 模 型 描 述 的 过 程 或 系 统 , 都 能
用 信 息 基 本 理 论 来 研 究 。 不 仅 包 括 一 般 信 息 论 的 内 容 , 还 包 括 如 医 学 、
生 物 学 、 心 理 学 、 遗 传 学 、 神 经 生 理 学 、 语 言 学 、 语 义 学 、 社 会 学 、
经 济 管 理 中 有 关 信 息 的 问 题 。 反 过 来 , 所 有 研 究 信 息 的 识 别 、 控 制 、
提 取 、 变 换 、 传 输 、 处 理 、 存 储 、 显 示 、 价 值 、 作 用 和 信 息 量 的 大 小
的 一 般 规 律 以 及 实 现 这 些 原 理 的 技 术 手 段 的 工 程 学 科 , 都 属 于 广 义 信
息 论 的 范 畴 。

2 信 息 论 的 研 究 内 容
狭 义 信 息 论
• 狭 义 信 息 论 主 要 总 结 了 Shannon 的 研 究 成
果 , 因 此 又 称 为 Shannon 信 息 论 。
在 信 息 可 以 度 量 的 基 础 上 , 研 究 如 何 有 效 、 可
靠 地 传 递 信 息 。
• 有 效 、 可 靠 地 传 递 信 息 必 然 贯 穿 于 通 信 系
统 从 信 源 到 信 宿 的 各 个 部 分 ,
• 狭 义 信 息 论 研 究 的 是 收 、 发 端 联 合 优 化 的
问 题 , 而 重 点 在 各 种 编 码 。
• 它 是 通 信 中 客 观 存 在 的 问 题 的 理 论 提 升 。

2 信 息 论 的 研 究 内 容
一 般 信 息 论
• 研 究 从 广 义 的 通 信 引 出 的 基 础 理 论 问 题 :
Shannon 信 息 论 ;
Wiener 的 微 弱 信 号 检 测 理 论 。
• 微 弱 信 号 检 测 又 称 最 佳 接 收 。
• 是 为 了 确 保 信 息 传 输 的 可 靠 性 , 研 究 如 何 从 噪 声 和 干 扰 中 接
收 信 道 传 输 的 信 号 的 理 论 。
• 主 要 研 究 两 个 方 面 的 问 题 : 从 噪 声 中 去 判 决 有 用 信 号 是 否 出
现 和 从 噪 声 中 去 测 量 有 用 信 号 的 参 数 。
• 该 理 论 应 用 近 代 数 理 统 计 的 方 法 来 研 究 最 佳 接 收 的 问 题 , 系
统 和 定 量 地 综 合 出 存 在 噪 声 和 干 扰 时 的 最 佳 接 收 机 结 构 。

2 信 息 论 的 研 究 内 容
一 般 信 息 论
• 这 里 的 “ 接 收 机 ” 只 是 对 受 到 噪 声 与 干 扰 “ 淹 没 ” 及
破 坏 的 信 号 进 行 数 学 处 理 , 主 要 目 的 是 将 其 设 计 为
“ 最 佳 ”。
• 所 谓 “ 最 佳 ” 总 是 同 某 些 特 定 的 假 设 条 件 及 某 个 准 则
相 联 系 的 , 因 此 这 里 的 最 佳 接 收 机 是 在 给 定 条 件 下 ,
能 够 最 好 满 足 所 给 准 则 的 接 收 机 。 在 通 信 系 统 中 常 用
的 有 最 小 差 错 准 则 、 最 大 似 然 准 则 最 小 均 方 误 差 准 则
等 。
• 信 号 检 测 具 体 又 分 为 确 知 信 号 的 检 测 和 具 有 随 机 信 号
参 量 的 信 号 的 检 测 等 , 其 重 点 在 接 收 端 , 研 究 如 何 从
干 扰 中 提 取 信 息 。

2 信 息 论 的 研 究 内 容
一 般 信 息 论
除 此 之 外 , 一 般 信 息 论 的 研 究 还 包 括 : 噪 声 理
论 、 信 号 滤 波 与 预 测 、 统 计 检 测 与 估 计 理 论 、
调 制 理 论 、 信 号 处 理 与 信 号 设 计 理 论 等 。
可 见 它 总 结 了 Shannon 和 Wiener 以 及 其 他 学
者 的 研 究 成 果 , 是 广 义 通 信 中 客 观 存 在 的 问 题
的 理 论 提 升 。

2 信 息 论 的 研 究 内 容
广 义 信 息 论
• 无 论 是 狭 义 信 息 论 还 是 一 般 信 息 论 , 讨 论 的 都 是 客 观 问 题 。
然 而 从 前 面 给 出 的 例 子 可 知 , 当 讨 论 信 息 的 作 用 、 价 值 等
问 题 时 , 必 然 涉 及 到 主 观 因 素 。
• 广 义 信 息 论 研 究 包 括 所 有 与 信 息 有 关 的 领 域 , 如 : 心 理 学 ,
遗 传 学 , 神 经 生 理 学 , 语 言 学 , 社 会 学 等 。
• 因 此 , 有 人 对 信 息 论 的 研 究 内 容 进 行 了 重 新 界 定 , 提 出 从
应 用 性 、 实 效 性 、 意 义 性 或 者 从 语 法 、 语 义 、 语 用 方 面 来
研 究 信 息 , 分 别 与 事 件 出 现 的 概 率 、 含 义 及 作 用 有 关 , 其
中 意 义 性 、 语 义 、 语 用 主 要 研 究 信 息 的 意 义 和 对 信 息 的 理
解 , 即 信 息 所 涉 及 的 主 观 因 素 。

2 信 息 论 的 研 究 内 容
广 义 信 息 论
• 广 义 信 息 论 从 人 们 对 信 息 特 征 的 理 解 出 发 , 从 客 观 和
主 观 两 个 方 面 全 面 地 研 究 信 息 的 度 量 、 获 取 、 传 输 、
存 储 、 加 工 处 理 、 利 用 以 及 功 用 等 , 理 论 上 说 是 最 全
面 的 信 息 理 论 , 但 由 于 主 观 因 素 过 于 复 杂 , 很 多 问 题
本 身 及 其 解 释 尚 无 定 论 , 或 者 受 到 人 类 知 识 水 平 的 限
制 目 前 还 得 不 到 合 理 的 解 释 , 因 此 广 义 信 息 论 目 前 还
处 于 正 在 发 展 的 阶 段 。

3 香 农 和 维 纳 理 论 的 区 别
• 香 农 理 论 : 香 农 研 究 的 对 象 是 从 信 源 到 信 宿 之 间 的 全 过
程 , 是 收 、 发 端 联 合 最 优 化 问 题 , 其 重 点 是 放 在 编 码 。 他
指 出 , 只 要 在 传 输 前 后 对 消 息 进 行 适 当 的 编 码 和 译 码 , 就 能 保 证 在 干
扰 的 存 在 下 , 最 佳 地 传 送 和 准 确 或 近 似 地 再 现 消 息 。 为 此 发 展 了 信 息
测 度 理 论 、 信 道 容 量 理 论 和 编 码 理 论 。
• 维 纳 理 论 : 维 纳 研 究 的 重 点 是 在 接 收 端 。 研 究 一 个 信 号
如 果 在 传 输 过 程 中 被 某 些 因 素 ( 如 噪 声 、 非 线 性 失 真 等 )
所 干 扰 时 , 在 接 收 端 怎 样 把 它 恢 复 、 再 现 , 从 干 扰 中 提 取
出 来 。 在 此 基 础 上 , 创 立 了 最 佳 线 性 过 滤 理 论 ( 维 纳 滤 波 器 )、 统
计 检 测 与 估 计 理 论 、 噪 声 理 论 。

(4) 香 农 信 息 论 的 科 学 体 系

(5) 本 课 程 的 内 容
• 信 息 论 基 础 — 香 农 信 息 论 。
• 主 要 包 括
‣ 信 息 测 度 - 信 源 熵
‣ 信 道 容 量
‣ 信 息 率 失 真 函 数
‣ 香 农 三 定 理 : 无 失 真 信 源 编 码 定 理
信 道 编 码 定 理
限 失 真 信 源 编 码 定 理
‣ 信 源 编 码
‣ 信 道 编 码

(6) 信 息 科 学 的 发 展
• 信 息 科 学 已 成 为 世 界 各 国 最 优 先 发 展 的 科 学 之
一 。
• 在 我 国 , 信 息 科 学 更 是 受 到 前 所 未 有 的 重 视 ,
这 对 信 息 科 学 工 作 者 来 说 都 是 极 大 的 鼓 舞 。
• 本 小 节 将 对 信 息 科 学 发 展 的 背 景 、 信 息 科 学 的
定 义 及 含 义 、 信 息 与 通 信 工 程 一 级 学 科 、 信 息
产 业 和 国 家 信 息 基 础 结 构 作 简 单 介 绍 , 以 使 读
者 明 确 信 息 理 论 与 信 息 科 学 的 关 系 , 增 强 学 习
信 息 理 论 的 主 动 性 和 自 觉 性 。

(6) 信 息 科 学 的 发 展
• 信 息 科 学 的 定 义 及 迅 速 发 展 的 背 景
信 息 科 学 是 研 究 信 息 的 获 取 、 存 储 、 传 输 、
加 工 处 理 和 利 用 等 内 容 的 技 术 科 学 。
它 与 数 学 、 物 理 、 材 料 、 生 命 、 心 理 等 基 础
学 科 以 及 众 多 技 术 学 科 交 叉 形 成 新 领 域 , 是
发 展 和 更 新 最 为 迅 速 的 技 术 科 学 研 究 领 域 之
一 。
信 息 科 学 与 其 它 科 学 技 术 交 叉 将 派 生 出 大 量
的 新 概 念 、 新 构 思 、 新 技 术 和 边 缘 学 科 。
其 核 心 是 现 代 通 信 加 信 息 技 术 。

(6) 信 息 科 学 的 发 展
• 国 家 信 息 基 础 结 构
亦 称 “ 信 息 高 速 公 路 ”, 是 一 个 具 有 大 容 量 、
高 速 度 的 电 子 数 据 传 输 系 统 , 最 早 由 美 国 联
邦 政 府 引 导 工 业 界 提 出 并 逐 步 建 立 , 简 称 NII
(National Information Infrastructure)。
它 以 现 代 信 息 技 术 为 基 础 , 以 光 导 纤 维 网 络
为 骨 干 , 连 接 全 美 的 学 校 、 研 究 机 构 、 企 业 、
图 书 馆 、 实 验 室 乃 至 每 个 家 庭 , 使 人 们 共 享
丰 富 的 信 息 资 源 。

(6) 信 息 科 学 的 发 展
一 般 认 为 ,NII 由 通 信 网 、 计 算 机 、 各 种 终
端 设 备 、 信 息 和 人 等 5 个 基 本 部 分 组 成 , 它
的 主 要 特 点 是 :
• 能 以 极 快 的 速 度 高 度 准 确 地 传 送 数 字 化 的 音 像 ;
• 以 新 的 方 式 存 储 、 传 输 和 处 理 大 量 的 数 据 ;
• 是 一 个 开 放 的 系 统 , 通 过 现 有 的 电 话 线 、 有 线
电 视 接 口 或 其 它 通 用 接 口 , 进 入 每 个 人 的 生 活
以 共 享 信 息 资 源 。

(6) 信 息 科 学 的 发 展
• 信 息 产 业
信 息 产 业 在 世 界 范 围 内 正 在 由 先 导 产 业 逐 步 变
为 主 导 产 业 。
从 微 观 上 看 , 表 现 为 单 位 产 品 的 价 格 构 成 中 ,
能 源 和 材 料 的 消 耗 减 少 而 信 息 技 术 和 信 息 服 务
的 比 重 上 升 ;
从 宏 观 上 看 , 表 现 为 国 民 生 产 总 值 (GDP) 中
信 息 产 业 所 占 的 比 重 增 加 。
一 个 国 家 信 息 产 业 的 发 展 水 平 将 是 衡 量 该 国 社
会 经 济 总 体 发 展 和 现 代 化 程 度 的 重 要 标 志 之 一 。

(6) 信 息 科 学 的 发 展
• 信 息 与 通 信 工 程 一 级 学 科
九 十 年 代 中 期 , 国 家 在 进 行 科 学 研 究 的
学 科 规 划 和 调 整 时 , 将 工 程 学 科 原 来
100 多 个 一 级 学 科 调 整 为 31 个 , 但 却 将
原 来 的 “ 电 子 与 信 息 系 统 ” 调 整 为 “ 信
息 与 通 信 工 程 ” 和 “ 电 子 科 学 与 技 术 ”
两 个 一 级 学 科 。
信 息 与 通 信 工 程 下 设 “ 通 信 与 信 息 系 统 ”
和 “ 信 号 与 信 息 处 理 ” 两 个 二 级 学 科 。

(6) 信 息 科 学 的 发 展
• 信 息 理 论 是 信 息 科 学 的 基 础
• 强 调 用 数 学 语 言 来 描 述 信 息 科 学 中 的 共 性
问 题 及 解 决 方 案
• 这 些 共 性 问 题 分 别 集 中 在 狭 义 信 息 论 、 一
般 信 息 论 和 广 义 信 息 论 中

(6) 信 息 科 学 的 发 展
与
其
它
学
科
的
联
系

概 率 论 回 顾
随 机 变 量 X , Y分 别 取 值 于 集 合 { x , x , x , , x }
和 { y , y , y , , y }:
1 2
i
m
1 2
(1) 0 p( x ), p( y ), p( x / y ), p( y / x ), p( x y ) 1
i j i j j i i j
n m n
(2) p( x ) 1, p( y ) 1, p( x / y ) 1,
i j i j
i1 j1 i1
m m n
p( y / x ) 1, p( x y ) 1
j i i j
j1 j1 i1
i
n

概 率 论 回 顾
n
(3) p( x y ) p( y ), p( x y ) p( x )
i j j i j i
i1 j1
(4) p( x y ) p( x ) p( y / x ) p( y ) p( x / y )
(5) 当 X与 Y相 互 独 立 时 , p( y / x ) p( y ),
p( x / y ) p( x ), p( x y ) p( x ) p( y )
p( xi y
j
) p( xi y
j
)
(6) p( xi / y
j
) , p( y
j
/ xi
)
n
m
p( x y ) p( x y )
m
i j i j i j i j
j i j
i j i i j i j
i j i j
i1 j1

Suggested Reading
• Rafael Capurro,Birger Hjørland,"The Concept of
Information",Annual Review of Information Science and
Technology Ed. B. Cronin, Vol. 37 (2003) Chapter 8, pp. 343-
411.
http://www.db.dk/bh/publ_uk.htm
• Robert M. Losee, "A Discipline Independent Definition of
Information", J. of the American Society for Information
Science 48 (3) 1997, 254-269.
http://ils.unc.edu/~losee/b5/book5.html
• "Doubts about the concept of information"- An elementary
derivation of the Shannon entropy formula ,
http://okmij.org/ftp/Computation/limits-of-information.html
• 鲁 晨 光 著 ,>, 中 国 科 技 大 学 出 版 社 , 1993· 合 肥
http://www.survivor99.com/lcg/books/GIT/GY/

思 考 题
一 位 朋 友 很 不 赞 成 “ 通 信 的 目 的 是 传 送 信 息 ”
及 “ 消 息 中 未 知 的 成 分 才 算 是 信 息 ” 这 些 说 法 。
他 举 例 说 : 我 多 遍 地 欣 赏 梅 兰 芳 大 师 的 同 一 段
表 演 , 百 看 不 厌 , 大 师 正 在 唱 的 正 在 表 演 的 使
我 愉 快 , 将 要 唱 的 和 表 演 的 我 都 知 道 , 照 你 们
的 说 法 电 视 里 没 给 我 任 何 信 息 , 怎 么 能 让 我 接
受 呢 ? 请 从 信 息 论 的 角 度 对 此 做 出 解 释 。

Thank you!