幻灯片1

第
三
章
信
道
容
量
“ 如 果 我 们 只 做 能
力 范 围 以 内 的 事 ,
则 永 远 没 有 进 步 。”。
- 爱 迪 生
2006-10-18 1

第
三
章
信
道
容
量
第 三 章 信 道 容 量
内 容 提 要
信 道 对 于 信 息 率 的 容 纳 并 不 是 无 限 制 的
, 它 不 仅 与 物 理 信 道 本 身 的 特 性 有 关 , 还 与
信 道 输 入 信 号 的 统 计 特 性 有 关 , 它 有 一 个 极
限 值 , 即 信 道 容 量 , 信 道 容 量 是 有 关 信 道 的
一 个 很 重 要 的 物 理 量 。 这 一 章 研 究 信 道 , 研
究 在 信 道 中 传 输 的 每 个 符 号 所 携 带 的 信 息 量
, 并 定 义 信 道 容 量 。
2006-10-18 2

第
三
章
信
道
容
量
3 信 道 容 量
• 信 道 的 功 能 : 以 信 号 形 式 传 输 和 存 储 信 息 。
• 信 道 传 输 信 息 的 速 率 : 与 物 理 信 道 本 身 的 特 性 、 载 荷 信 息 的 信 号 形 式
和 信 源 输 出 信 号 的 统 计 特 性 有 关 。
• 信 道 容 量 研 究 内 容 : 在 什 么 条 件 下 , 通 过 信 道 的 信 息 量 最 大 。
3.1 信 道 的 数 学 模 型 和 分 类
3.2 单 符 号 离 散 信 道 的 信 道 容 量
3.3 多 符 号 离 散 信 道
3.4 多 用 户 信 道
3.5 连 续 信 道
3.6 信 道 编 码 定 理
2006-10-18 3

第
三
章
信
道
容
量
引 言
• 什 么 是 信 道 ?
信 道 是 传 送 信 息 的 载 体 —— 信 号 所 通 过 的 通 道 。 信 息 是 抽 象
的 , 信 道 则 是 具 体 的 。 比 如 : 二 人 对 话 , 二 人 间 的 空 气 就 是
信 道 ; 打 电 话 , 电 话 线 就 是 信 道 ; 看 电 视 , 听 收 音 机 , 收 、
发 间 的 空 间 就 是 信 道 。
• 信 道 的 作 用
在 信 息 系 统 中 信 道 主 要 用 于 传 输 与 存 储 信 息 , 而 在 通 信 系 统
中 则 主 要 用 于 传 输 。
• 研 究 信 道 的 目 的
在 通 信 系 统 中 研 究 信 道 , 主 要 是 为 了 描 述 、 度 量 、 分 析 不 同
类 型 信 道 , 计 算 其 容 量 , 即 极 限 传 输 能 力 , 并 分 析 其 特 性 。
2006-10-18 4

第
三
章
信
道
容
量
3.1 信 道 的 数 学 模 型 和 分 类
(1) 一 般 信 道 的 数 学 模 型
(2) 信 道 的 分 类
(3) 实 际 的 信 道
2006-10-18 5

第
三
章
信
道
容
量
(1) 一 般 信 道 的 数 学 模 型
1 信 道 的 输 入 输 出 关 系
2 一 般 信 道 的 数 学 模 型
2006-10-18 6

第
三
章
信
道
容
量
1 信 道 的 输 入 输 出 关 系
• 信 号 在 信 道 中 传 输 会 引 入 噪 声 或 干 扰 , 它 使 信 号
通 过 信 道 后 产 生 错 误 和 失 真 ;
• 信 道 的 输 入 和 输 出 之 间 一 般 不 是 确 定 的 函 数 关
系 , 而 是 统 计 依 赖 关 系 ;
• 知 道 了 信 道 的 输 入 信 号 、 输 出 信 号 以 及 它 们 之 间
的 依 赖 关 系 , 信 道 的 全 部 特 性 就 确 定 了 。 一 般 来
说 , 输 入 和 输 出 信 号 都 是 广 义 的 时 间 连 续 的 随 机 信 号 , 可
用 随 机 过 程 来 描 述 。
2006-10-18 7

第
三
章
信
道
容
量
2 一 般 信 道 的 数 学 模 型
• 信 道 的 一 般 数 学 模 型 如 图 3.1.1 所 示
• 数 学 模 型 的 数 学 符 号 表 示 {X P(Y/X) Y}
• 实 际 信 道 带 宽 总 是 有 限 的 , 所 以 输 入 和 输 出 信 号 总 可 以 分
解 成 随 机 序 列 来 研 究 。 随 机 序 列 中 每 个 随 机 变 量 的 取 值 可 以 是 可
数 的 离 散 值 , 也 可 以 是 不 可 数 的 连 续 值 。
2006-10-18 8

第
三
章
信
道
容
量
(2) 信 道 的 分 类
1 根 据 输 入 输 出 随 机 信 号 的 特 点 分 类
2 根 据 输 入 输 出 随 机 变 量 个 数 的 多 少 分 类
3 根 据 输 入 输 出 个 数 分 类
4 根 据 信 道 上 有 无 干 扰 分 类
5 根 据 信 道 有 无 记 忆 特 性 分 类
2006-10-18 9

第
三
章
信
道
容
量
1 根 据 输 入 输 出 随 机 信 号 的 特 点 分 类
• 离 散 信 道 : 输 入 、 输 出 随 机 变 量 都 取 离 散 值 。
• 连 续 信 道 : 输 入 、 输 出 随 机 变 量 都 取 连 续 值 。
• 半 离 散 / 半 连 续 信 道 : 输 入 变 量 取 离 散 值 而 输
出 变 量 取 连 续 值 , 或 反 之 。
2006-10-18 10

第
三
章
信
道
容
量
2 根 据 输 入 输 出 随 机 变 量 个 数 的 多 少 分 类
• 单 符 号 信 道 : 输 入 和 输 出 端 都 只 用 一 个 随 机 变 量
来 表 示 。
• 多 符 号 信 道 : 输 入 和 输 出 端 用 随 机 变 量 序 列 / 随 机
矢 量 来 表 示 。
2006-10-18 11

第
三
章
信
道
容
量
3 根 据 输 入 输 出 个 数 分 类
• 单 用 户 信 道 : 只 有 一 个 输 入 和 一 个 输 出 的 信 道 。
• 多 用 户 信 道 : 有 多 个 输 入 和 多 个 输 出 的 信 道 。
2006-10-18 12

第
三
章
信
道
容
量
4 根 据 信 道 上 有 无 干 扰 分 类
• 有 干 扰 信 道 : 存 在 干 扰 或 噪 声 或 两 者 都 有 的 信
道 。 实 际 信 道 一 般 都 是 有 干 扰 信 道 。
• 无 干 扰 信 道 : 不 存 在 干 扰 或 噪 声 , 或 干 扰 和 噪
声 可 忽 略 不 计 的 信 道 。 计 算 机 和 外 存 设 备 之 间 的 信 道
可 近 似 看 作 是 无 干 扰 信 道 。
2006-10-18 13

第
三
章
信
道
容
量
5 根 据 信 道 有 无 记 忆 特 性 分 类
• 无 记 忆 信 道 : 输 出 仅 与 当 前 输 入 有 关 , 而 与 过
去 输 入 无 关 的 信 道 。
• 有 记 忆 信 道 : 信 道 输 出 不 仅 与 当 前 输 入 有 关 ,
还 与 过 去 输 入 和 ( 或 ) 过 去 输 出 有 关 。
2006-10-18 14

第
三
章
信
道
容
量
1 >
⎧ ⎧明 线
⎪ ⎪
⎪ ⎪ ⎧对 称 平 衡 电 缆 ( 市 内 )
⎪
固 体 介 质 ⎨ ⎪
⎪ ⎪电 缆 ⎨小 同 轴 ( 长 途 )
⎪ ⎪ ⎪
⎩ ⎩中 同 轴 ( 长 途 )
⎪
⎪ ⎧长 波
⎪ ⎪
⎪ ⎪中 波
⎪ ⎪短 波
⎪ ⎪
⎪ ⎪超 短 波
⎪ ⎪
⎧移 动
传 输 媒 介 类 型 ⎨空 气 介 质 ⎨ ⎪
⎪ ⎪ ⎪
视 距 接 力
⎪ ⎪
微 波 ⎨ 对 流 层
⎪ ⎪
⎪散 射
⎪ ⎪ 电 离 层
⎪
⎪ ⎪
⎪
⎪ ⎪ ⎩卫 星
⎪ ⎪
⎪
⎩光 波
⎪ ⎧波 导
⎪混 合 介 质 ⎨
⎪ ⎩光 缆
⎪
⎪
⎪
⎩
2006-10-18 15

第
三
章
信
道
容
量
⎧ ⎧离 散
⎪ ⎪ 无 记 忆
⎪
连 续
信 号 类 型
⎪ ⎨
⎪ ⎪半 离 散
有 记 忆
⎪ ⎪
⎩半 连 续
⎪
⎪ ⎧无 干 扰 : 干 扰 少 到 可 忽 略 ;
⎪ ⎪
2〉 信 号 与 干 扰 类 型 ⎨ ⎪ ⎧
⎧无 源 热 噪 声
⎪ ⎪ ⎪
⎪
⎪ ⎪ ⎪线 性 叠 加 干 扰 ⎨有 源 散 弹 噪 声
⎪
⎪
⎪
干 扰 类 型 ⎨
⎪
⎩脉 冲 噪 声
⎪有 干 扰 ⎨
⎪ ⎪ ⎪ ⎧交 调
⎪ ⎪ ⎪ ⎪
⎪
乘 性 干 扰
⎪ ⎪ ⎨衰 落
⎪
⎩
⎪⎩
⎪ ⎪
⎩ ⎩码 间 干 扰
⎧恒 参 信 道 ( 时 不 变 信 道 )
3〉 信 道 参 量 类 型 ⎨
⎩变 参 信 道 ( 时 变 信 道 )
⎧二 用 户 信 道 ( 点 对 点 通 信 )
4〉 用 户 类 型 ⎨
⎩多 用 户 信 道 ( 通 信 网 )
2006-10-18 16

第
三
章
信
道
容
量
(3) 实 际 的 信 道
• 实 际 信 道 的 带 宽 总 是 有 限 的 , 所 以 输 入 和 输 出 信
号 总 可 以 分 解 成 随 机 序 列 来 研 究 。
• 一 个 实 际 信 道 可 同 时 具 有 多 种 属 性 。
最 简 单 的 信 道 是 单 符 号 离 散 信 道 。
2006-10-18 17

第
三
章
信
道
容
量
3.2 单 符 号 离 散 信 道 的 信 道 容 量
3.2.1 信 道 容 量 定 义
3.2.2 几 种 特 殊 离 散 信 道 的 信 道 容 量
3.2.3 离 散 信 道 容 量 的 一 般 计 算 方 法
2006-10-18 18

第
三
章
信
道
容
量
3.2.1 信 道 容 量 定 义
(1) 单 符 号 离 散 信 道 的 数 学 模 型
(2) 信 息 传 输 率
(3) 信 道 容 量
(4) 信 道 基 本 符 号
(5) 结 论
2006-10-18 19

第
三
章
信
道
容
量
(1) 单 符 号 离 散 信 道 的 数 学 模 型
1 信 道 模 型
2 信 道 统 计 特 性
2006-10-18 20

第
三
章
信
道
容
量
1 信 道 模 型
• 设 输 入 X∈{x 1 ,x 2 ,…,x i ,…,x n }
输 出 Y∈{y 1 ,y 2 ,…,y j ,…,y m }
• 其 信 道 模 型 如 图 3.2.1 所 示 。
2006-10-18 21

第
三
章
信
道
容
量
2 信 道 统 计 特 性
• 信 道 统 计 特 性 描 述 : 由 信 道 转 移 概 率 描 述 。
• 信 道 转 移 概 率 / 信 道 传 递 概 率 : 条 件 概 率 p(y j /x i )。
• 信 道 特 性 表 示 : 用 信 道 转 移 概 率 矩 阵 , 简 称 信 道 矩 阵 。
• 反 信 道 矩 阵 : 由 条 件 概 率 p(x i /y j ) 表 示 。
y
1
x1
⎡ p(
y1
/ x1
)
x
⎢
2
⎢
p(
y1
/ x2)
⎢
⎢
xn
⎣ p(
y1
/ xn)
信 道 矩 阵
y
p(
y
p(
y
p(
y
2
2
2
2
/ x1
)
/ x )
/ x
2
n
)
y
p(
y
p(
y
p(
y
m
m
m
m
/ x
/ x
/ x
1
2
n
) ⎤
)
⎥
⎥
⎥
⎥
) ⎦
x
1
y1
⎡ p(
x1
/ y1)
y
⎢
2
⎢
p(
x1
/ y2)
⎢
⎢
ym
⎣ p(
x1
/ ym)
反 信 道 矩 阵
x
2
p(
x
p(
x
p(
x
2
2
2
/ y1)
/ y )
/
y
2
m
)
x
n
p(
x
p(
x
p(
x
n
n
n
/
/
/
y
y
y
1
2
m
) ⎤
)
⎥
⎥
⎥
⎥
) ⎦
2006-10-18 22

第
三
章
信
道
容
量
(2) 信 道 的 信 息 传 输 率
• 定 义 : 消 息 在 信 道 的 传 输 过 程 中 , 单 位 时 间
内 所 传 输 的 信 息 量 , 称 为 消 息 在 信 道 中 的 信
息 传 输 速 率 , 简 称 为 信 息 率 , 通 常 用 R 表 示 。
当 信 息 量 单 位 用 比 特 、 时 间 单 位 为 码 元 或 符 号
或 符 号 序 列 等 所 占 用 的 时 间 时 , 信 息 传 输 速 率
的 量 纲 为 比 特 / 码 元 ( 或 比 特 / 符 号 、 比 特 / 符 号
序 列 等 ), 通 常 用 R 表 示 ;
当 信 息 量 单 位 用 比 特 、 时 间 单 位 为 秒 时 , 信 息
传 输 速 率 的 量 纲 为 bit/s 或 bps(bit per
second), 通 常 用 R t 表 示 。
2006-10-18 23

第
三
章
信
道
容
量
(2) 信 道 的 信 息 传 输 率
• 消 息 在 无 扰 离 散 信 道 上 传 输 不 会 损 失 信 息
量 , 所 以 在 这 种 信 道 上 的 信 息 传 输 速 率 就 等
于 信 源 的 时 间 熵 , 即
R t = H t bit/s
• 平 均 互 信 息 量 实 质 上 就 是 量 纲 为 比 特 / 码 元
( 或 比 特 / 符 号 、 比 特 / 符 号 序 列 等 ) 的 信 息
传 输 速 率 。 如 果 改 变 其 时 间 单 位 , 则 有
1
R t = I(
X;
Y)
t
t 为 1 码 元 ( 或 符 号 、 符 号 序 列 等 ) 所 占 用 的 时 间 , 主
单 位 为 s。
2006-10-18 24

第
三
章
信
道
容
量
(2) 信 道 的 信 息 传 输 率
• 如 果 信 源 熵 为 H(X), 希 望 在 信 道 输 出 端 接 收 的 信 息 量 就
是 H(X), 由 于 干 扰 的 存 在 , 一 般 只 能 接 收 到 I(X;Y)。
• 信 道 的 信 息 传 输 率 : 就 是 平 均 互 信 息 R=I(X;Y)。
• 输 出 端 Y 往 往 只 能 获 得 关 于 输 入 X 的 部 分 信 息 , 这 是 由 于
平 均 互 信 息 性 质 决 定 的 :I(X;Y)≤H(X)。
• I(X;Y) 是 信 源 输 入 概 率 分 布 p(x i ) 和 信 道 转 移 概 率 p(y j /x i ) 的
二 元 函 数 :
p(
y
j
)
I(
X ; Y )
n
= ∑
i=
1
=
p(
x ) p(
y
n
i
m
∑∑
i= 1 j=
1
p(
x
i
j
/
y
j
x
i
)
)log
2
p(
y
j
p(
y
/ x )
j
)
i
p(
x
=
i
y
j
)
=
n m
p(
y j / xi
)
p(
xi
) p(
y
j
/ xi
)log2
n
i= 1 j=
1 p(
xi
) p(
y j / xi
)
∑∑
p(
x ) p(
y
i
j
/
x
i
)
∑
i=
1
2006-10-18 25

第
三
章
信
道
容
量
(3) 信 道 容 量
• 当 信 道 特 性 p(y j /x i ) 固 定 后 ,I(X;Y) 随 信 源 概 率 分 布 p(x i ) 的 变 化 而 变 化 。
• 调 整 p(x i ), 在 接 收 端 就 能 获 得 不 同 的 信 息 量 。 由 平 均 互 信 息 的 性 质 已
知 ,I(X;Y) 是 p(x i ) 的 上 凸 函 数 , 因 此 总 能 找 到 一 种 概 率 分 布 p(x i )( 即 某
一 种 信 源 ), 使 信 道 所 能 传 送 的 信 息 率 为 最 大 。
• 信 道 容 量 C: 在 信 道 中 最 大 的 信 息 传 输 速 率 , 单 位 是 比 特 / 信 道 符 号 。
C
=
max R
p(
x
)
= max I(
X ; Y )
p(
i x i
)
( 比 特 / 信 道 符 号 )
• 单 位 时 间 的 信 道 容 量 C t : 若 信 道 平 均 传 输 一 个 符 号 需 要 t 秒 钟 , 则
单 位 时 间 的 信 道 容 量 为
C
t
=
C t 实 际 是 信 道 的 最 大 信 息 传 输 速 率 。
1
max I(
X ; Y ) ( 比 特 / 秒 )
t
p(
x i
)
2006-10-18 26

第
三
章
信
道
容
量
(4) 信 道 基 本 符 号
• 定 义 : 信 道 基 本 符 号 是 指 信 道 上 允
许 传 送 的 符 号 , 是 信 源 编 码 器 的 输
出 。
• 例 如 : 二 进 制 信 道 只 有 1、0 两 个 基
本 符 号 ; 多 进 制 信 道 有 多 个 基 本 符
号 , 如 16 进 制 信 道 包 括 0~ F 这 16 种
基 本 符 号 。
2006-10-18 27

第
三
章
信
道
容
量
(5) 结 论
• C 和 C t 都 是 求 平 均 互 信 息 I(X;Y) 的 条 件 极 大 值 问
题 , 当 输 入 信 源 概 率 分 布 p(x i ) 调 整 好 以 后 , C 和
C t 已 与 p(x i ) 无 关 , 而 仅 仅 是 信 道 转 移 概 率 的 函
数 , 只 与 信 道 统 计 特 性 有 关 ;
• 信 道 容 量 是 完 全 描 述 信 道 特 性 的 参 量 ;
• 信 道 容 量 是 信 道 能 够 传 送 的 最 大 信 息 量 。
2006-10-18 28

第
三
章
信
道
容
量
3.2.2 几 种 特 殊 离 散 信 道 的 信 道 容 量
(1) 离 散 无 噪 信 道 的 信 道 容 量
(2) 强 对 称 离 散 信 道 的 信 道 容 量
(3) 对 称 离 散 信 道 的 信 道 容 量
(4) 准 对 称 离 散 信 道 的 信 道 容 量
2006-10-18 29

第
三
章
信
道
容
量
(1) 离 散 无 噪 信 道 的 信 道 容 量
1 具 有 一 一 对 应 关 系 的 无 噪 信 道
2 具 有 扩 展 性 能 的 无 噪 信 道
3 具 有 归 并 性 能 的 无 噪 信 道
4 小 结
2006-10-18 30

第
三
章
信
道
容
量
1 具 有 一 一 对 应 关 系 的 无 噪 信 道
• 这 种 信 道 如
图 3.2.2 所 示
• 对 应 的 信 道
矩 阵 是
⎡1
⎢
⎢
0
⎢0
⎢
⎢
⎢
⎣0
0
1
0
0
0
0
1
0
0⎤
0
⎥
⎥
0⎥
⎥
⎥
1⎥
⎦
⎡0
⎢
⎢
0
⎢0
⎢
⎢
⎢
⎣1
0
0
1
0
0
1
0
0
1⎤
0
0
⎥ ⎥⎥⎥⎥⎥ 0⎦
2006-10-18 31

第
三
章
信
道
容
量
• 因 为 信 道 矩 阵 中 所 有 元 素 均 是 “1” 或 “0”,X 和 Y 有 确 定 的 对
应 关 系 :
‣ 已 知 X 后 Y 没 有 不 确 定 性 , 噪 声 熵 H(Y/X)=0;
‣ 反 之 , 收 到 Y 后 ,X 也 不 存 在 不 确 定 性 , 损 失 熵 H(X/Y)=0;
‣ 故 有 I(X;Y)=H(X)=H(Y)。
• 接 收 到 符 号 Y 后 , 平 均 获 得 的 信 息 量 就 是 信 源 发 出 每 个 符 号
所 含 有 的 平 均 信 息 量 , 信 道 中 无 信 息 损 失 , 而 且 噪 声 熵 也
等 于 零 , 输 出 端 Y 的 不 确 定 性 没 有 增 加 。 严 格 地 讲 , 这 种 输
入 输 出 有 确 定 的 一 一 对 应 关 系 的 信 道 , 应 称 为 无 噪 无 损 信
道 。
• 当 信 源 呈 等 概 率 分 布 时 , 具 有 一 一 对 应 确 定 关 系 的 无 噪 信
道 达 到 信 道 容 量
C
= max I(
X ; Y ) = max H ( X ) =
p(
x
)
p(
i x i
)
log
2
n
2006-10-18 32

第
三
章
信
道
容
量
2 具 有 扩 展 性 能 的 无 噪 信 道
• 此 信 道 的 举 例 如 图 3.2.3 所
示 。
• n

第
三
章
信
道
容
量
• 虽 然 信 道 矩 阵 中 的 元 素 不 全 是 “1” 或 “0”, 但 由 于 每 列 中 只
有 一 个 非 零 元 素 :
‣ 已 知 Y 后 ,X 不 再 有 任 何 不 确 定 度 , 损 失 熵 H(X/Y)=0, I(X;Y)= H(X) -
H(X/Y)= H(X) 。
‣ 例 如 , 输 出 端 收 到 y 2 后 可 以 确 定 输 入 端 发 送 的 是 x 1 , 收 到 y 7 后 可 以 确
定 输 入 端 发 送 的 是 x 3 , 等 等 。
• 接 收 到 符 号 Y 后 , 对 发 送 的 符 号 X 是 完 全 确 定 的 , 损 失 熵 为
零 , 但 噪 声 熵 不 为 零 。 这 类 信 道 被 称 为 有 噪 无 损 信 道 。
• 若 信 道 的 传 递 矩 阵 中 每 一 列 有 一 个 也 仅 有 一 个 非 零 元 素
时 , 该 信 道 一 定 是 有 噪 无 损 信 道 , 其 平 均 互 信 息 等 于 信 源
熵 。 即 信 道 容 量 为
C = max I(
X ; Y ) = max H ( X ) = log
p(
x )
i x i
• 与 一 一 对 应 信 道 不 同 的 是 , 此 时 输 入 端 符 号 熵 小 于 输 出 端
符 号 熵 , H(X) < H(Y)。
p(
)
2
n
2006-10-18 34

第
三
章
信
道
容
量
3 具 有 归 并 性 能 的 无 噪 信 道
• 这 种 信 道 如 图 3.2.4 所 示 。
• n>m, 输 入 X 的 符 号 集 个 数 大 于 输 出 Y 的 符 号 集 个 数 。 其
信 道 矩 阵 如 下 :
⎡1
⎢
⎢
1
⎢0
⎢
⎢0
⎢
⎣0
0
0
1
1
0
0⎤
0
⎥
⎥
0⎥
⎥
0⎥
1⎥
⎦
2006-10-18 35

第
三
章
信
道
容
量
• 信 道 矩 阵 中 的 元 素 非 “0” 即 “1” , 每 行 仅 有 一 个 非 零 元
素 , 但 每 列 的 非 零 元 素 个 数 大 于 1:
‣ 已 知 某 一 个 x i 后 , 对 应 的 y j 完 全 确 定 , 信 道 噪 声 熵 H(Y/X)=0。
‣ 但 是 收 到 某 一 个 y j 后 , 对 应 的 x i 不 完 全 确 定 , 信 道 损 失 熵 H(X/Y)≠0。
• 在 这 类 信 道 中 , 接 受 到 符 号 Y 后 不 能 完 全 消 除 对 X 的 不 确
定 性 , 信 息 有 损 失 。 但 输 出 端 Y 的 平 均 不 确 定 性 因 噪 声 熵
等 于 零 而 没 有 增 加 , 所 以 这 类 信 道 称 为 无 噪 有 损 信 道 也 称
确 定 信 道 。
• 信 道 容 量 为 C = max I(
X ; Y ) = max H ( Y ) = log m
p(
x )
i x i
• 这 种 信 道 输 入 端 符 号 熵 大 于 输 出 端 符 号 熵 ,H(X)>H(Y)。
• 注 意 : 在 求 信 道 容 量 时 , 调 整 的 始 终 是 输 入 端 的 概 率 分
布 p(x i ) , 尽 管 信 道 容 量 式 子 中 平 均 互 信 息 I(X;Y) 等 于 输 出
端 符 号 熵 H(Y), 但 是 在 求 极 大 值 时 调 整 的 仍 然 是 输 入 端 的
概 率 分 布 p(x i ) , 而 不 能 用 输 出 端 的 概 率 分 布 p(y j ) 来 代 替 。
p(
)
2
2006-10-18 36

第
三
章
信
道
容
量
举 例 : 图 3.2.4 的 信 道 容 量 是 log 2 3=1.585( 比 特 / 信 道 符 号 ),
求 要 达 到 这 一 信 道 容 量 对 应 的 信 源 概 率 分 布 。
由 信 道 矩 阵 得 p(y 1 )= p(x 1 )×1+ p(x 2 )×1
p(y 2 )= p(x 3 )×1+ p(x 4 )×1
p(y 3 )= p(x 5 )×1
只 要 p(y 1 )= p(y 2 )= p(y 3 )= (1/3),H(Y) 达 到 最 大 值 , 即 达 到
信 道 容 量 C。
此 时 使 p(y 1 )= p(y 2 )= p(y 3 )= (1/3) 的 信 源 概 率 分 布
{p(x i )},i=1,2,3,4,5 存 在 , 但 不 是 惟 一 的 。
这 种 信 道 的 输 入 符 号 熵 大 于
输 出 符 号 熵 , 即 H(X)> H(Y)。
⎡1
⎢
⎢
1
⎢0
⎢
⎢0
⎢
⎣0
0
0
1
1
0
0⎤
0
⎥
⎥
0⎥
⎥
0⎥
1⎥
⎦
2006-10-18 37

第
三
章
信
道
容
量
4 结 论
• 综 合 上 述 三 种 情 况 , 若 严 格 区 分 的 话 , 凡 损 失 熵 等 于
零 的 信 道 称 为 无 损 信 道 ; 凡 噪 声 熵 等 于 零 的 信 道 称 为
无 噪 信 道 , 而 一 一 对 应 的 无 噪 信 道 则 为 无 噪 无 损 信 道 。
• 对 于 无 损 信 道 , 其 信 息 传 输 率 R 就 是 输 入 信 源 X 输 出 每
个 符 号 携 带 的 信 息 量 ( 信 源 熵 H(X)), 因 此 其 信 道 容 量
为
C = max H( X) = log n
p( x i )
式 中 假 设 输 入 信 源 X 的 符 号 共 有 n 个 , 所 以 等 概 率 分 布
时 信 源 熵 最 大 。
2
2006-10-18 38

第
三
章
信
道
容
量
4 结 论
• 对 于 无 噪 信 道 , 其 信 道 容 量 为
C = max H( Y) = log m
p( x i )
式 中 假 设 输 出 信 源 Y 的 符 号 共 有 m 个 , 等 概 率 分 布 时
H(Y) 最 大 , 而 且 一 定 能 找 到 一 种 输 入 分 布 使 得 输 出 符 号
Y 达 到 等 概 率 分 布 。
• 可 见 这 些 信 道 的 信 道 容 量 C 只 决 定 于 信 道 的 输 入 符 号
数 n, 或 输 出 符 号 数 m, 与 信 源 无 关 。
2
2006-10-18 39

第
三
章
信
道
容
量
(2) 强 对 称 离 散 信 道 的 信 道 容 量
1 什 么 是 强 对 称 离 散 信 道
2 强 对 称 信 道 矩 阵 特 点
3 强 对 称 离 散 信 道 的 信 道 容 量
4 输 入 是 什 么 概 率 分 布 时 达 到 信 道 容 量
5 二 进 制 均 匀 信 道
2006-10-18 40

第
三
章
信
道
容
量
1 什 么 是 强 对 称 离 散 信 道
• 单 符 号 离 散 信 道 的 X 和 Y 取 值 均 由 n 个 不 同 符 号 组 成 , 即
• X∈{x 1 ,x 2 ,…,x i ,…,x n },Y∈{y 1 ,y 2 ,…,y j ,…,y n }
每 个 符 号 的 正 确 传 递 概 率 p
p
= 1−
p, 其 它 ( n −1)
个 符 号 的 错 误 传 递 概 率 为
n−1
• 信 道 矩 阵 为
[ P]
n×
n
=
⎡
⎢
⎢
⎢
⎢
⎢⎣
p
p
n−1
p
n−1
p
n−1
p
p
n−1
⎤
⎥
⎥
⎥
⎥
p ⎥⎦
p
n−1
p
n−1
• 这 种 信 道 称 为 强 对 称 / 均 匀 信 道 。
• 这 类 信 道 中 : 总 的 错 误 概 率 是 p, 对 称 平 均 地 分 配 给 (n-1) 个 输 出 符 号 。
• 信 道 矩 阵 中 每 行 之 和 等 于 1, 每 列 之 和 也 等 于 1。 一 般 信 道 矩 阵 中 , 每 列
之 和 不 一 定 等 于 1。
2006-10-18 41

第
三
章
信
道
容
量
2 强 对 称 信 道 矩 阵 特 点
• 强 对 称 信 道 矩 阵 , 它 的 每 一 行 和 每 一
列 都 是 同 一 集 合 各 个 元 素 的 不 同 排 列 。
• 由 平 均 互 信 息 定 义 :
I(
X ; Y ) = H ( Y ) − H ( Y
H ( Y / X ) = −
H
∑∑
i= 1 j=
1
⎧ ⎫
⎪ p ⎪
⎨ − −
p
p,
n 1
, ,
n 1
⎬
⎪⎩ ( n−1) 个 ⎪⎭
• H ni 的 意 义 : 是 固 定 X=x i 时 对 Y 求 和 , 相 当 于 在 信 道 矩 阵 中 选 定 了 某
一 行 , 对 该 行 上 各 列 元 素 的 自 信 息 求 加 权 和 。 由 于 信 道 的 对 称 性 , 每
一 行 都 是 同 一 集 合 的 不 同 排 列 , 所 以
H
ni
其 中 令
• 当 x i 不 同 时 ,H ni 只 是 求 和 顺 序 不 同 , 求 和 结 果 完 全 一 样 。
所 以 H ni 与 X 无 关 , 是 一 个 常 数 。
n
ni
n
= −
p(
x ) p(
y
n
∑
j=
1
/ X )
i
p(
y
j
j
/ x )log
/ x )log
=
n
p
− p log2 p − ( n −1)
× (
p
n−1
log2
−1)
i
其 中 条 件 熵
i
2
2
p(
y
p(
y
j
j
/ x ) =
/ x )
i
i
n
∑
i=
1
p(
x ) H
i
ni
2006-10-18 42

第
三
章
信
道
容
量
3 强 对 称 离 散 信 道 的 信 道 容 量
• 因 此
H ( Y
/ X ) = ∑
p(
x
) H
I(
X ; Y ) = H ( Y ) − H ( Y /
于 是 得 信 道 容 量
C = max[ H ( Y ) − H ]
p(
x )
i
i=
1
X ) =
• 如 何 达 到 信 道 容 量 : 求 一 种 输 入 分 布 使 H(Y) 取 最 大 值 。
‣ 现 已 知 输 出 符 号 集 Y 共 有 n 个 符 号 , 则 H(Y)≤log 2 n。 根 据 最 大 离 散 熵 定
理 , 只 有 当 p(y j )= (1/n), 即 输 出 端 呈 等 概 率 分 布 时 , H(Y) 才 达 到 最 大
值 log 2 n 。
‣ 要 获 得 这 一 最 大 值 , 可 通 过 公 式
寻 找 相 应 的 输 入 概 率 分 布 ;
n
i
ni
ni
=
H
ni
H ( Y ) − H
‣ 一 般 情 况 下 不 一 定 存 在 一 种 输 入 符 号 的 概 率 , 使 输 出 符 号 达 到 等 概 率
分 布 。 但 强 对 称 离 散 信 道 存 在 。
ni
n
p(
y
j
) = ∑ p(
xi
) p(
y
j
/ xi
) j = 1,2, ,
n
i=
1
2006-10-18 43

第
三
章
信
道
容
量
4 输 入 是 什 么 概 率 分 布 时 达 到 信 道 容 量
• 强 对 称 离 散 信 道 的 输 入 和 输 出 之 间 概 率 关 系 可 用 矩 阵 表 示 为
⎡ p(
y
⎢
⎢
p(
y
⎢
⎢
⎣ p(
y
其 中
1
2
n
) ⎤
⎥
⎥
⎥
⎥
⎦
)
)
=
[ P]
T
n×
n
⎡ p(
x
⎢
⎢
p(
x
⎢
⎢
⎣ p(
x
1
2
n
) ⎤ ⎡ p
⎢
)
⎥
⎥ = ⎢
⎥ ⎢
⎥ ⎢
) ⎦ ⎢⎣
p
n−1
p
n−1
p
n−1
p
n−1
⎤⎡
p(
x
⎥⎢
⎥⎢
p(
x
⎥⎢
⎥⎢
p ⎥⎦
⎣ p(
x
p
n−1
p
n−1
T
T
[ P] n×
n 是 [ P] n×
n的 转 置 , 对 于 对 称 矩 阵 ,[ P] n×
n
= [ P] n × n
p
1
2
n
) ⎤
)
⎥
⎥
⎥
⎥
) ⎦
• 信 道 矩 阵 中 的 每 一 行 都 是 由 同 一 集 合
⎧ ⎫
⎪ p ⎪
中 的 诸 元 素 的 不 同 排 列 组 成 , 所 以 保
⎨ − −
p
p,
n 1
, ,
n 1
⎬
⎪⎩ ( n−1) 个 ⎪⎭
证 了 当 输 入 符 号 X 是 等 概 率 分 布 ,
即 p(x i )=(1/n) 时 , 输 出 符 号 Y 一 定 是 等 概 率 分 布 , 这 时 H(Y)=log 2 n。 相 应
p p
的 信 道 容 量 为 C = log2
n − H
ni
= log2
n − H{
p,
n−1
, ,
n−1}
= log
2
n + p log
( 比 特 / 信 道 符 号 )
2006-10-18 44
2
p + p log
2
p
n−1

第
三
章
信
道
容
量
• 结 论 : 当 信 道 输 入 呈 等 概 率 分 布 时 , 强 对 称 离 散 信
道 能 够 传 输 最 大 的 平 均 信 息 量 , 即 达 到 信 道 容 量 。
这 个 信 道 容 量 只 与 信 道 的 输 出 符 号 数 n 和 相 应 信 道 矩 阵 中
的 任 一 行 矢 量 有 关 。
⎧
⎪
⎨ p,
⎪⎩
⎫
⎪
p
, ⎬
−
,
p
n 1
n−1
⎪⎭
( n−1) 个
2006-10-18 45

第
三
章
信
道
容
量
5 二 进 制 均 匀 信 道
• 当 n=2 时 的 强 对 称 离 散 信 道 就 是 二 进 制 均 匀 信 道 。
• 二 进 制 均 匀 信 道
的 信 道 容 量 为 :
C = 1+ plog p+ plog p= 1 −H( p)
其 中
2 2
H( p) =−plog p−plog
p
2 2
• 二 进 制 均 匀 信 道 容 量
曲 线 如 图 3.2.5 所 示 。
2006-10-18 46

第
三
章
信
道
容
量
(3) 对 称 离 散 信 道 的 信 道 容 量
1 可 排 列 性
2 对 称 离 散 信 道 定 义
3 对 称 离 散 信 道 的 信 道 容 量
2006-10-18 47

第
三
章
信
道
容
量
1 可 排 列 性
• 行 可 排 列 : 一 个 矩 阵 的 每 一 行 都 是 同 一 集 合 Q{q 1 ,q 2 ,…,q m }
中 诸 元 素 的 不 同 排 列 。
• 列 可 排 列 : 一 个 矩 阵 的 每 一 列 都 是 同 一 集 合 P{p 1 ,p 2 ,…,p n }
中 诸 元 素 的 不 同 排 列 。
• 矩 阵 可 排 列 / 具 有 可 排 列 性 : 一 个 矩 阵 的 行 和 列 都 是 可 排
列 的 。
2006-10-18 48

第
三
章
信
道
容
量
2 对 称 离 散 信 道 定 义
• 对 称 离 散 信 道 : 信 道 矩 阵 具 有 可 排 列 性 。
• 行 、 列 集 合 的 特 点
‣ 当 mn 时 ,P 是 Q 的 子 集 。
‣ 当 m≠n 时 ,Q 和 P 两 个 集 合 中 , 一 个 必 定 是 另 一 个 的 子
集 。 因 为 矩 阵 中 的 每 一 个 元 素 既 是 行 集 合 Q 中 的 元 素 ,
又 是 列 集 合 P 中 的 元 素 。
‣ 当 m=n 时 ,Q 和 P 中 的 所 有 元 素 重 合 ,Q 和 P 是 同 一 集 合 。
2006-10-18 49

第
三
章
信
道
容
量
• 举 例 :
对 称 信 道
3
[ P ] =
[ P ]
Q ∈
m
1
⎡
⎢
⎣
⎤
⎥
⎦
1 1 1 1
1 1
1 1 1
{ },
P ∈{ } m = n,
P和
Q是 同 一 集 合 { }
3
3
1
1
6
6
6
1
3
1
6
1
6
1
3
1
6
1
3
> n,
P是
Q的 子 集
3
6
2
⎡
=
⎢
⎢
⎢⎣
1
2
1
6
1
3
1
3
1
2
1
6
1
6
1
3
1
2
⎤
⎥
⎥
⎥⎦
2
3
6
不 对 称 信 道
1 1 1 1
⎡ ⎤ ⎡0.7 0.2 0.1⎤
= ⎢ ⎥ = ⎢
0.2 0.1 0.7
⎥
⎣ ⎦ ⎣
⎦
3 3 6 6
[ P] [ P ]
3 1 1 1 1
4
6 3 6 3
2006-10-18 50

第
三
章
信
道
容
量
3 对 称 离 散 信 道 的 信 道 容 量
• 平 均 互 信 息
I(
X ; Y ) = H ( Y ) − H ( Y
/ X ) = H ( Y ) +
n
m
∑∑
i= 1 j=
1
p(
x
i
) p(
y
j
/
x
i
)log
2
p(
y
j
/
x
i
)
=
H ( Y ) −
n
∑
i=
1
p(
x
i
) H
mi
其 中
H
mi
= −
m
∑
j=
1
p(
y
j
/
x
i
)log
2
p(
y
由 于 信 道 的 对 称 性 , 每 一 行 都 是 同 一 集 合 诸 元 素 的 不 同 排 列 ,
j
/
x
i
)
所 以 H
mi
也 是 与 输 入 X无 关 的 常 数 , 故 H ( Y
因 此 I(
X ; Y ) =
信 道 容 量 为 C =
H ( Y ) − H
max[ H ( Y ) − H
p(
x
i
)
mi
= H ( Y ) − H ( q
mi
] =
log
/ X ) = H
2
1
, q
2
mi
, ,
q
m − H ( q
,
1
m
)
, q
2
, ,
q
m
)
2006-10-18 51

第
三
章
信
道
容
量
• 对 称 离 散 信 道 的 信 道 容 量 与 强 对 称 的 形 式 相 同 , 只 是 这
里 m≠n。
• 由 于 对 称 信 道 的 特 点 ,X 等 概 率 分 布 时 ,Y 也 是 等 概 率 分
布 , 从 而 使 Y 的 熵 达 到 最 大 值 log 2 m, 即 信 道 容 量 。
2006-10-18 52

第
三
章
信
道
容
量
(4) 准 对 称 离 散 信 道 的 信 道 容 量
• 准 对 称 离 散 信 道 定 义 : 一 个 n 行 m 列 单 符 号 离 散 信 道 矩 阵
[P] 的 行 可 排 列 , 列 不 可 排 列 。 但 是 矩 阵 中 的 m 列 可 分 成 S
个 不 相 交 的 子 集 , 各 子 集 分 别 有 m 1 ,m 2 ,…,m s 个 元 素
(m 1 +m 2 +…+m s =m), 由 n 行 m k (k=1,2,…,s) 列 组 成 的 子 矩 阵
[P] k 具 有 可 排 列 性 。
• 举 例
1 1 1 1
⎡
2 4 8 8⎤
[ P]
= ⎢ 1 1 1 1⎥
⎣ 4 2 8 8⎦
行 具 有 可 排 列 性 , 列 不 具 有 可 排 列 性 , 但 把 矩 阵 的 前
两 列 和 后 两 列 分 成 互 不 相 交 的 子 集 , 构 成 两 个 子 矩 阵
1 1
1 1
⎡
2 4⎤
8 8⎤
[ P ] =
[ P ] = ⎥ ⎦
1
⎢
⎣
1
4
1
2
⎥
⎦
2
⎡
⎢
⎣
1
8
两 个 子 矩 阵 均 是 可 排 列 的 , 故 信 道 [P] 是 准 对 称 信 道 。
1
8
2006-10-18 53

第
三
章
信
道
容
量
• 由 行 的 可 排 列 性 , 得 信 道 容 量
1 2
HY ( / X) = Hq ( , q, , q)
p( x )
1 2
C = max[ H( Y)] −H( q , q , , q )
i
1 2
# 只 要 使 输 出 随 机 变 量 呈 等 概 率 分 布 , 上 式 第 一 项 即 可 达 到
最 大 值 , 从 而 达 到 信 道 容 量 C。 但 是 由 于 [ P] 中 各 列 不 具 有
可 排 列 性 , 要 使 py ( ) =1/ m, 则 可 能 使 输 入 概 率 分 布 px ( ) 的
某 些 概 率 出 现 负 值 。
j
# 为 了 在 px ( ) 非 负 的 情 况 下 使 HY ( ) 达 到 最 大 值 , 可 将 HY ( ) 中
i
的 m项 分 成 s个 子 集 M , M , , M , 各 子 集 分 别 有 m , m , ,
m 个
元 素 ( m + m + +
m = m), 则
1 2 s
1 2
s
n
m
i
s
2006-10-18 54

第
三
章
信
道
容
量
m
HY ( ) =− py ( )log py ( ) =− py ( )log py ( )
j 2 j j 2 j
j= 1 k= 1 p( y ) ∈M
=− py ( )log py ( ) −
py ( )log py ( )
j 2 j j 2 j
p( y ) ∈M p( y ) ∈M
j 1
j s
令 第 k个 集 合 中 概 率 的 平 均 值
py ( )
j
(
p( yj)
∈Mk
k
) =
mk
= 1,2, ,
因 为 py ( )/ py ( ) > 0, 以 及 lnx≤ x− 1( x> 0),log x=
lnxlog
e
∑
k
∑
∑
py k s
j
∑
py ( ) ⎡
k
py ( ) ⎤
k
py (
j
) log ≤ ∑ py (
j
) ⎢ −1⎥log
py (
j) ∈ ⎢⎣
py (
j)
⎥⎦
s
∑ ∑
j
k
2 2
2 2
p( y ) ∈M p( y ) M
j k j k
∑
∑
= [ py ( ) m− py ( )] = 0
k k j
p( y ) ∈M
j
k
e
2006-10-18 55

第
三
章
信
道
容
量
故 有
即 -
∑
∑
py ( )log py ( ) ≤ py ( )log py ( )
j 2 k j 2 j
p( y ) ∈M p( y ) ∈M
j k j k
py ( )log py ( ) ≤− py ( )log py ( )
j 2 j j 2 k
p( y ) ∈M p( y ) ∈M
j k j k
=−log 2
py (
k)[ mpy
k
(
k)]
=−mpy
( )log py ( )
k k 2 k
把 子 集 M 中 的 p( y ) 变 成 其 均 值 p( y ), 将 使 第 k个 子 集 中 的 熵
∑
k j k
⎡
⎤
⎢− ∑ py (
j)log 2
py (
j)
⎥ 达 到 最 大 。 由 于 子 矩 阵 [P]
k具 有 可 排
⎢⎣
p( yj)
∈Mk
⎦⎥
列 性 , 只 要 信 源 X 呈 等 概 率 分 布 , 即 可 使 第 k 个 子 集 中 的 输 出 概
率 相 等 , 即 达 到 其 均 值 py ( k
)。
∑
2006-10-18 56

第
三
章
信
道
容
量
如 果 HY ( ) 中 的 每 一 项 都 达 到 最 大 值 , 则 输 出 Y的 熵 达 到
最 大 , 即
s
HY ( ) ≤−∑ mpy
k
(
k)log 2
py (
k)
k = 1
• 因 此 , 相 应 的 准 对 称 离 散 信 道 容 量 为
s
C = −∑
m
k = 1
其 中 p(
y
p(
y
k
k
k
) 为 第 k个 子 集 中 概 率 的 平 均 值
) =
p( yk
)log2
p(
yk
) − H ( q1,
q2
p(
y
∑
j
) ∈M
k
m
k
p(
y
j
, ,
q
m
)
k = 1,2, ,
s
)
2006-10-18 57

第
三
章
信
道
容
量
例 :
[ P]
1 1 1 1
⎡2 4 8 8⎤
= ⎢ 1 1 1 1 ⎥ 分 成 互 不 相 交 的 两 个 子 矩 阵
⎣4 2 8 8⎦
1 1
1 1
⎡ ⎤ ⎡8 8⎤
= ⎢ ⎥ = ⎢ ⎥
⎣ ⎦ ⎣ ⎦
[ ]
2 4
P
[ P ]
1 1 1
2 1 1
4 2
8 8
2 2
1⎡1 1⎤
3
则 py (
1) = ∑∑ px (
i) py (
j′
/ xi)
=
i= 1 j′
= 1
2⎢
+ =
⎣2 4⎥
⎦ 8
py ( )
1.8112 1.75
2
1⎡1 1⎤
1
=
2⎢
+ =
⎣8 8⎥
⎦ 8
2
⎛1 1 1 1⎞
C =−∑
mkp( yk)log 2
p( yk) −H⎜ , , , ⎟
k = 1
⎝2 4 8 8⎠
可 计 算 得 C=0.0612 bit/symbol
2006-10-18 58

第
三
章
信
道
容
量
下 次 课 预 习 内 容
•3 信 道 容 量 (p.105-128)
128)
3.2.3 离 散 信 道 容 量 的 一 般 计 算 方 法
3.3 多 符 号 离 散 信 道
3.4 多 用 户 信 道
3.5 连 续 信 道
3.6 信 道 编 码 定 理
2006-10-18 59

第
三
章
信
道
容
量
Any Questions!
2006-10-18 60

第
三
章
信
道
容
量
典 型 无 扰 离 散 信 道 的 信 道 容 量
1. 均 匀 编 码 信 道 的 信 道 容 量
• 定 义 : 基 本 符 号 时 间 等 长 的 信 道 称 为 均 匀
编 码 信 道 , 这 种 等 长 的 基 本 符 号 称 为 码 元 。
码 元 通 常 是 持 续 时 间 为 b 秒 的 D 进 制 脉 冲
(Pulse),D 进 制 表 示 该 码 元 有 D 种 等 间 隔 数
值 。
2006-10-18 61

第
三
章
信
道
容
量
典 型 无 扰 离 散 信 道 的 信 道 容 量
例 3.1 用 8kHz 的 取 样 速 率 对 模 拟 信 号 取 样 , 若
对 每 一 样 值 做 256 级 量 化 且 样 值 是 各 态 历 经
的 , 求 传 输 此 信 号 的 信 道 容 量 。
解 : 由 题 意 可 知 , 每 秒 钟 有 8000 个 样 值 , 即 n
=8000( 信 源 消 息 ), 信 道 基 本 符 号 数 D
=256, 故 每 秒 钟 构 成 的 不 同 消 息 的 总 数 目
为 N = 256 8000 , 有
8000
log 256
C t
= = 8000× log 256 = 64 kbps
T
这 就 是 传 送 PCM 信 号 需 要 的 信 道 容 量 。
2006-10-18 62

第
三
章
信
道
容
量
典 型 无 扰 离 散 信 道 的 信 道 容 量
一 般 地 , 若 每 个 信 道 基 本 符 号 的 长 度 为 b 秒 , 每 秒 钟
内 信 道 上 可 传 送 的 信 道 基 本 符 号 数 为 n, 则 n =1/b;T
秒 钟 内 信 道 上 可 构 成 的 不 同 消 息 数 为 N(T)=D nT , 其 中
nT 为 T 秒 钟 内 信 道 上 可 传 送 的 信 道 基 本 符 号 数 。 于 是
C t = nlog D bps (5.6)
如 果 不 以 秒 而 是 以 一 个 码 元 的 时 间 作 为 标 准 , 则
C = C t / n = log D bit/ 码 元 时 间 (5.7)
2006-10-18 63

第
三
章
信
道
容
量
典 型 无 扰 离 散 信 道 的 信 道 容 量
2. 无 固 定 约 束 的 不 均 匀 编 码 信 道 的 信
道 容 量
无 固 定 约 束 的 不 均 匀 编 码 信 道 的 基 本 符 号 是 等 幅 的 不 等 长
脉 冲 , 用 脉 冲 占 有 时 间 的 不 同 来 携 带 信 息 。
例 3.2 求 传 输 脉 冲 时 间 调 制 信 号 的 信 道 容 量 。
解 求 信 道 容 量 , 主 要 是 求 在 T 时 间 内 能 构 成 的 不 同 消 息
数 N(T)。
若 以 最 窄 的 脉 冲 作 为 单 位 码 元 而 其 它 脉 冲 的 宽 度 都 是 它 的
倍 数 , 则 PTM 脉 冲 宽 度 量 化 为 有 限 种 信 道 基 本 符 号 。
设 有 D 种 信 道 基 本 符 号 , 分 别 为 :a 1 , a 2 , …, a D ; 对 应 的 占
用 时 间 分 别 为 :t 1 , t 2 , …, t D ; 则 在 时 间 T 内 可 能 构 成 的
符 号 总 数 N (T) 有 如 下 表 达 式 :
2006-10-18 64

第
三
章
信
道
容
量
典 型 无 扰 离 散 信 道 的 信 道 容 量
( 续 )
N(
T ) = a1
× × × × + a2
× × × ×
+ + aD
× × × ×
= × × × × × a1
+ × × × × × a
+ + × × × × × a
D
= N(
T − t1)
+ N( T − t2
) + + N(
T − t D )
式 中 第 1 行 的 ××⋅⋅⋅×× 表 示 除 a 1
外 的 D –1 个 信 道 基 本
符 号 的 全 排 列 , 其 余 类 推 。 利 用 递 推 的 方 法 或 其 它
方 法 可 得
C = log r max
bit / 单 位 码 元 时 间 (5.9)
其 中 r max
是 N (T) 的 特 征 方 程
− 1 − 2
− D
r
t + r
t + + r
t −1
= 0 (5.10)
的 最 大 正 实 根 。
2
(5.8)
2006-10-18 65

第
三
章
信
道
容
量
典 型 无 扰 离 散 信 道 的 信 道 容 量
3. 有 固 定 约 束 的 不 均 匀 编 码 信 道 的 信
道 容 量
• 假 如 编 码 不 满 足 遍 历 性 , 即 由 转 移 不 受 限 制
变 为 转 移 受 限 制 , 传 输 它 的 信 道 就 成 为 有 固
定 约 束 的 不 均 匀 编 码 信 道 。
• 传 输 莫 尔 斯 (Morse) 电 码 的 信 道 是 一 种 典
型 的 有 固 定 约 束 的 不 均 匀 编 码 信 道 , 下 面 通
过 对 它 的 分 析 来 看 这 种 信 道 的 信 道 容 量 。
2006-10-18 66

第
三
章
信
道
容
量
典 型 无 扰 离 散 信 道 的 信 道 容 量
‣ 例 5.3 电 报 员 发 报 用 Morse 电 码 ;Morse 电 码 由 点 、 划 、
字 母 间 隔 和 单 词 间 隔 四 种 基 本 符 号 构 成 , 见 表 5.1, 表
中 的 “+” 表 示 按 键 合 上 ,“-” 表 示 按 键 断 开 , 分 别 相
应 于 发 声 与 不 发 声 状 态 ; 试 求 Morse 信 道 的 信 道 容 量 。
基 本 符 号 构 成 持 续 时 间 具 体 实 现
点 +- t 1 =2 清 脆 响 一 短 声
划 ++ +- t 2 =4 响 一 长 声 , 声 长 三 倍 点
字 母 间 隔 ――― t 3 =3 3 个 单 位 码 元 时 间 不 发 声
单 词 间 隔 ―――――― t 4 = 6 6 个 单 位 码 元 时 间 不 发 声
表 5.1 Morse 电 码 的 构 成 表
2006-10-18 67

第
三
章
信
道
容
量
典 型 无 扰 离 散 信 道 的 信 道 容 量
解 通 过 点 、 划 可 构 成 无 穷 多 种 组 合 , 形 成 明 码 或 密 码 。
设 四 种 基 本 符 号 分 别 为 a 1 , a 2 , a 3 , a 4 , 点 、 划 为 状 态 1, 字
母 及 单 词 间 隔 作 为 状 态 2,t >6 的 间 隔 均 看 作 单 词 间 隔 。
由 于 发 报 期 间 , 不 允 许 出 现 2 个 及 2 个 以 上 的 字 母 间 隔
或 单 词 间 隔 , 即 “ 间 隔 ” 不 能 连 用 , 因 此 Morse 信 道 存 在 有
固 定 约 束 , 其 状 态 转 移 图 为 图 5.2。
a 1
a 3
a 2
a 4
a 1
a 2
状 态 1
状 态 2
图 5.2 例 5.3 的 状 态 转 移 图
2006-10-18 68

第
三
章
信
道
容
量
典 型 无 扰 离 散 信 道 的 信 道 容 量
先 求 在 时 间 T 内 从 状 态 1 转 移 到 状 态 2 或 从 状 态 1、2
转 移 到 状 态 1 的 各 种 可 能 消 息 的 总 数 目 , 分 别 用
N 1
(T) 和 N 2
(T) 表 示 。 则
N
N
1
2
( T ) =
( T)
=
N
1
N
1
( T
( T
− b
− b
( a
11
)
+
N
( T
− b
( a 3 )
( a 4 )
12 1 12
)
)
+
N
1
( T
− b
( a
11
(5.11)
(5.12)
( a )
式 中 N1(
T − b 3
12
) 表 示 在 T 时 间 内 发 的 最 后 一 个 符 号
是 a 3
并 使 状 态 从 状 态 1 改 变 到 状 态 2 的 各 种 可 能 消 息
的 总 数 , 而 a 3
用 的 时 间 为 b 12
; 其 余 类 推 。
)
)
+
)
N
2
( T
− b
( a
21
)
) + N
2
( T
− b
1 2
1
a2
(
21
)
)
2006-10-18 69

第
三
章
信
道
容
量
典 型 无 扰 离 散 信 道 的 信 道 容 量
推 广 之 , 设 从 状 态 i 到 状 态 j 发 的 符 号 为 a k
, 所 用 的 时
a
间 为 b k
ij , 则
( a
b 11
— 从 状 态 1 到 状 态 1, 有 两 种 可 能 : 1 ) ( a )
b
11
,b 2
11
( a
b 21
— 从 状 态 2 到 状 态 1, 有 两 种 可 能 :
1 ) ( a )
b
21
,b 2
21
( a
b 12
— 从 状 态 1 到 状 态 2, 有 两 种 可 能 :
3 ) ( a )
b
12
,b 4
12
b 22
— 从 状 态 2 到 状 态 2, 无 此 可 能 。
根 据 表 5.1, 有
1 1
b a
11
= b
a
21
= 2
a 2 2
11
= a
a3
a4
b b21
= 4 b12 = 3,
b12
= 6
(5.13)
2006-10-18 70

第
三
章
信
道
容
量
典 型 无 扰 离 散 信 道 的 信 道 容 量
在 T 时 间 里 构 成 的 消 息 总 数 N(T) 为
N (T) = N 1
(T) + N 2
(T) (5.14)
上 式 又 是 一 个 线 性 差 分 方 程 , 由 这 个 差 分 方 程 ,
可 得
log NT ( )
(5.15)
C = lim = logW
T →∞ T
max
式 中 W max 为 差 分 方 程 的 特 征 方 程 的 最 大 正 实 根 。 因
此 , 求 出 这 个 最 大 正 实 根 , 也 就 求 出 了 C。 采 用 迭 代
法 , 略 去 中 间 过 程 , 可 解 得 ,W max =1.453 , 故 有
C = log1.453 = 0.539 比 特 / 符 号 时 间
2006-10-18 71