情 報 理 論 入 門 第 7 回

情報理論入門 第7回
情報メデ 情報メディア学科 学科
藤井 哲郎

• 情報源S
S1 S2 S = 〔 1/3 2/3 〕
演習
• 情報源S、2次の拡大情報源S2 、3次の拡大情
報源S3 報源S を作り、それらに対してハフマン符号
化を求め、それぞれの平均符号長を求めよ。

演習
• まず、情報源Sをハフマン符号化。
S1 S2 S = 〔 1/3 2/3 〕
S 2 2/3
S1 1/3
0
1
1.0
• 平均符号長Lは、
L = 1/3 *1 + 2/3 *1 = 1

演習: 演習:(2 演習: 演習:(2 (2次の拡大情報源
次の拡大情報源)
• 2次の拡大情報源S2 のハフマン符号化
S2 (S1,S1) (S1,S2) (S2,S1) (S2,S2) S = 〔 1/9 2/9 2/9 4/9 〕 0
5/9
1.0
S 2 S 2 4/9 0 1
3/9
S2 S1 2/9 1
S 1 S 2 2/9
0
1
01
000
S 1 S 1 1/9 1 001

演習: 演習:(2 演習: 演習:(2 (2次の拡大情報源
次の拡大情報源)
• 2次の拡大情報源S2 のハフマン符号化
S2 (S1,S1) (S1,S2) (S2,S1) (S2,S2) S = 〔 1/9 2/9 2/9 4/9 〕
S 2 S 2 4/9 1 1
2 2
S 2 S 1 2/9 01 2
S1 S2 2/9 000
S 1 S 1 1/9 001
3
3
平均符号長L = 17/9 = 1.888
情報源1記号あたり、0.944 < 1 (情報源Sの平均符号長)

演習: 演習:(3 演習: 演習:(3 (3次の拡大情報源
次の拡大情報源)
• 3次の拡大情報源S3 のハフマン符号化
S3 (S1,S1,S1) (S1,S1,S2) (S1,S2,S1) (S1,S2,S2) (S2,S1,S1) (S2,S1,S2) (S2,S2,S1) (S2,S2,S2) S = 〔 1/27 2/27 2/27 4/27 2/27 4/27 4/27 8/27 〕
10 S S2,S 2, S2,S 2, S 2 8/27
01
110
111
0000
0001
0010
0011
S2, S2, S1 4/27
S S2, S S1, S S2 4/27
S1, S2, S2 4/27
S2, 2, S1, 1, S 1 2/27
S1, S2, S1 S1, S1, S2 2/27
2/27 0
S S1, S S1, S S1 1/27
1
3/27
0
1
0
4/27
1
7/27
0
1
8/27
0
1
11/27 0
16/27
1
0
1
1.0

演習: 演習:(3 演習: 演習:(3 (3次の拡大情報源
次の拡大情報源)
• 3次の拡大情報源S3 のハフマン符号化
S3 (S1,S1,S1) (S1,S1,S2) (S1,S2,S1) (S1,S2,S2) (S2,S1,S1) (S2,S1,S2) (S2,S2,S1) (S2,S2,S2) S = 〔 1/64 3/64 3/64 9/64 3/64 9/64 9/64 27/64 〕
S2, S2, S2 S S2, S S2, S S1 S2, S1, S2 S1, S2, S2 8/27
4/27
4/27
4/27
10
01
110
111
2
2
3
3
10
110
111
000
2
3
3
3
S S2, S S1, S S1 S1, S2, S1 S1, S1, S2 S S1, S S1, S S1 2/27
2/27
2/27
1/27
0000
0001
0010
0011
4
4
4
4
010
011
0010
0011
3
3
4
4
平均符号長L = 76/27 = 2.814
情報源1記号あたり、0.938 < 0.944 (2次の拡大情報源)

ブロック符号化
• 拡大情報 拡大情報源からの情報源記号(元の情報源
情報 情報
からみれば情報源系列)を符号化することを
)
ブロック符号化という。
– 情報源記号を組み合わせると確率分布は多様に
なり、理想的な確率分布に近づく
なり、理想的な確率分布に近 く
– 特にハフマン符号化を適用した時には
ハフマンブロック符号化という
ハフマンブロック符号化という。

非等長情報源系列のブロック符号化
• 大き 大きいものを2分割していけば、全体が等分
も を 分割 ば 全体が等分
割に近づく
• 拡大情報源に対してハフマン符号化
– 1情報当たりの平均符号長を下限に近づけられ
る。但し、n次の拡大情報源とすると、情報源系列
の数は2n。多すぎる!!
小さい確率の節点は枝を伸ばさない (非等長情
– 小さい確率の節点は枝を伸ばさない。(非等長情
報源系列をハフマン符号化する)

非等長情報源系列のブロック符号化
S S
S 1
S 2
S = 〔 1/3 2/3 〕
2/3
S 2
S 1/3 1
4/9
2/9
S 2S 2
S 2S 1
2次の拡大情報源S 2 のハフマン符号化
L=17/9 L 17/9
S 2S 2 4/9
S 1
1/3
5/9 1
0 0
0 10
S 2S 1 2/9 1 11
非等長情報源系列のブロック符号化
L=4/9 *1 + 1/3 *2 + 2/9 *2 = 14/9
但し、実際に使う場合には工夫が必要!!

Run Run‐Length Length Coding Coding (RLC)
(RLC)
• Consider a binary source whose output is
coded as the number of 0s between two
successive 1s. The length of the runs of 0s are
coded coded.
– (1 0 0 0 1) should be coded into 3
• Efficient whenever large runs of 0s are
expected. p
– Suitable for FAX
(specially for text based documents )

ランレングス符号
• 情報源系列において、同じ記号が連続する
長さ(run ( length)を符号化する方式
g )
• FAXの符号化で採用されている
– 白と黒の二値化で符号化 白と黒の二値化で符号化。一般に、白が発生す
般に 白が発生す
る確率が非常に高い。
– 情報源の発生に大きな偏りがあるときに非常に
有効な符号化。

ランレングス符号化
• 黒を1、白を0とするとき
を 白を する き
– 黒の発生確率を0.1とすると
黒 発 確率を する
– 010000011000000000000000000000000000001
• 0の長さが0、1、2、3の四つのパターンに分類
の長さが の四 のパタ ンに分類
– 01,000,001,1,000,000,000,000,000,000,000,000,0
00,001
• 長さの記号0 長さの記号0、1、2、3に置き換える
1 2 3に置き換える
– 1,3,2,0,3,3,3,3,3,3,3,3,3,2

ランレングス符号化
– 1,3,2,0,3,3,3,3,3,3,3,3,3,2
• 等長符号化! 0を00 0を00、1を01、2を10、3を11
1を01 2を10 3を11
– 01,11,10,11,11,11,11,11,11,11,11,11,10
• 最初の系列と比較
– 010000011000000000000000000000000000001
– 01111011111111111111111110
• 65%の符号長に簡単に圧縮!!

ランレングスハフマン符号化
• さらに効率的に符号化する為にはハフマン符
号化を導入すれば良い。
• 1、0の発生確率を0.1、0.9とすると
s0 s1 s2 s3 情報源の系列 1 01 001 000
ランの長さ 0 1 2 3
確率 0.1 0.9x0.1 0.9x0.9x0.1 0.9x0.9x0.9

ランレングスハフマン符号化
• 生起確率がわかっているので、ハフマン符号
化を行うと!
000
1
S 3
S0 0.729
0.1
00.171 171 0
1
0
0.271 10 1.0
1
0
11
01 S1 0.09 0
100
001 S 2 0.081 1 101
平均符号長L = 0.729 + 2x0.1 + 3x0.09 + 3x0.081
= 1.442 < 2.0(等長符号)

ランレングスハフマン符号化
• 元の情報源を符号化してみると
情報 を符 る
000 S S3 00.729 729 0
S0 0.1 11
1 0
01 S1 0.09 100
001 S S2 00.081 081 101
• 010000011000000000000000000000000000001
• 100,0,101,11,0,0,0,0,0,0,0,0,0,101
• 100010111000000000101 40個を21個に圧縮

ランレングスハフマン符号化
• 元の情報源からの圧縮率を計算してみよう
情報 縮率を計算 う
000 S S3 00.729 729
S0 0.1
1 0
01 S1 0.09
001 S S2 00.081 081
• 元の情報源の平均系列長
3x0.729+1x0.1+2x0.09+3x0.081=2.71
• 圧縮率:1 圧縮率:1.442/2.71 442/2 71 = 00.5321(情報源記号 5321(情報源記号一個あたり) 個あたり)

拡大情報源のﾊﾌﾏﾝ符号化では?
• 2次の拡大情報源S2 のハフマン符号化
S2 (S1,S1) (S1,S2) (S2,S1) (S2,S2) S = 〔 001 0.01 009 0.09 009 0.09 081 0.81 〕
S 2 S 2 0.81 0
010 0.10 10 1.0
S2 S1 0.09
0.19 1
1
S 1 S 2 0.09
0
0
0
11
100
S 1 S 1 0.01 1 101
平均符号長L = 0.81+2x0.09+3x0.09+3x0.01= 1.29
情報源 情報源1記号あたり、0.645 記号あたり >0.5321(ﾗﾝﾚﾝｸﾞｽﾊﾌﾏﾝ符号)

ラン長をさらに延ばしてみると
• さらに効率的に符号化する為にはラン長を長
くすれば良い。ランの長さを4に拡張
情報源の
系列
ランの
長さ
s0 s1 s2 s3 s4 1 01 001 0001 0000
0 1 2 3 4
確率 0.1 0.9x0.1 0.9x0.9x
0.1
0.9x0.9x
0.9x0.1
0.9x0.9x
0.9x0.9

ラン長をさらに延ばしてみると
• 生起確率がわかっているので、ハフマン符号
化を行うと!
S 4
S0 S1 S2 S 3

情報源符号化のさらなる展開
• ハフマン符号の計算量の問題
符 計算量
– 1、0の発生確率が0.01、0.99の場合、情報源のｴ
、 発 確率 、 場合、情報源
ﾝﾄﾛﾋﾟｰは0.081ビット。平均符号長をｴﾝﾄﾛﾋﾟｰの1
割り増しにするには、20次の拡大情報源が必須
割り増 する 、 次 拡大情報源 必須
→計算量が膨大になり、現実的で無い
– ランレングスハフマン符号 ランレングスハフマン符号、算術符号等が提案さ
算術符号等が提案さ
れ、それぞれの特性に応じて使われている。
• 生起確率が未知の場合
– Ziv‐Lempel符号のような、辞書を使う方式などが
開発され、データの圧縮で活用されている。

算術符号の補足
• 静 静止画の画像符号化方式である 像符 方式 ある JPEG におい お
て、可逆符号化のモードで利用されている。
、可逆符号化 利用され る。
より高品質な画像が必要なプロフェッショナル
が利用している。
• 新しい静止画像符号化方式 JPEG2000に組み
込まれ 込まれている。デジタルシネマとして映画館
る デジタ ネ と 映 館
で利用されている。
• 理論的な扱いが複雑。