SRI-LM toolkit

SRI-LM toolkit
2003/12/16
Louis Tsai
Speech Lab, CSIE, NTNU
louis@csie.ntnu.edu.tw
1

SRILM
• 由 SRI International 所 開 發 出 來 的 tool, 用
在 Statistical Language Models
• http://www.speech.sri.com/projects/srilm
• 目 前 版 本 Ver 1.3.3 2003/03
2

Create language model
~
W
=
arg max
W
P(
W
|
X
)
≅
arg max
W
P(
X
| W
) P(
W
)
•SRI-LM toolkit :
•Step 1. Calculate ngram count from training data
•Step 2. Create LM from ngram count
3

training data
• 已 斷 好 詞 的 文 件
(ssp.train)
關 心 孩 子 學 業
可 是 又 苦 無 時 間 為 孩 子 挑 選 參 考 書 的 家 長 們
從 今 天 起
多 了 一 個 輕 鬆 的 選 擇
只 要 趁 工 作 之 餘 逛 到 巷 口 的
填 個 國 小 參 考 書 預 購 單
就 能 以 八 五 折 的 價 格 在 限 定 時 間 內 取 貨 了
這 項 服 務 明 年 還 將 擴 展 到 國 中 參 考 書
由 於 國 小 教 科 書 版 本 不 同
參 考 書 也 相 當 多
各 書 店 進 書 狀 況 和 數 量 也 不 相 同
4

Vocabulary
(Lexicon2003-72k.txt)
巴
八
扒
叭
…
巴 巴
叭 叭
八 寶
八 方
八 德
八 堵
吧 女
…
共 有 71695 個 words
5

ngram count file
在 整 個 training
data 中 出 現 的 次 數
(ssp.n3.count)
Unigram
Bigram
Trigram
想 像 得 到 4
想 像 得 到 的 3
想 像 得 到 的 事 2
想 像 得 到 的 1
想 像 得 到 球 員 1
想 像 得 到 球 員 可 以 1
鳳 凰 123
鳳 凰 騋 4
鳳 凰 騋 4
鳳 凰 花 5
鳳 凰 花 開 1
鳳 凰 花 4
鳳 凰 20
鳳 凰 自 行 車 1
鳳 凰 自 行 車 1
鳳 凰 城 20
鳳 凰 城 8
鳳 凰 城 大 學 1
鳳 凰 城 的 1
鳳 凰 城 警 方 1
鳳 凰 城 太 陽 5
鳳 凰 城 電 3
鳳 凰 城 水 星 1
鳳 凰 機 場 1
鳳 凰 機 場 供 1
鳳 凰 一 樣 1
鳳 凰 一 樣 快 速 1
鳳 凰 中 隊 1
鳳 凰 中 隊 1
鳳 凰 自 然 1
鳳 凰 自 然 來 1
鳳 凰 般 3
鳳 凰 般 重 1
鳳 凰 般 再 度 2
鳳 凰 科 技 6
……
6

以 \data\ 開 頭
LM Format
(ssp.n3.kn.lm)
最 高 的 ngram 沒
有 backoff weight
\data\
ngram 1=71697
ngram 2=2795822
ngram 3=1700527
各 種 ngram 的 個 數
\1-grams: 是
unigram 的 開 頭
\1-grams:
-1.804081
-99 -0.5467538
-2.548589 一 -0.6464233
-3.989615 一 一 -0.2506604
-6.685257 一 一 恐 怖 -0.1400223
-6.685257 一 一 恐 怖 攻 擊 -0.1128442
-6.075799 一 丁 點 -0.1827688
-4.105376 一 九 九 -1.257224
-5.808214 一 了 百 了 -0.308177
-5.921716 一 刀 兩 斷 -0.3545529
-3.940887 一 下 -0.367599
…
-0.4833062 糊 裏 糊 塗
-0.6593975 餐 廳 裏 往
-0.6593975 館 裏 大 家
-0.2190889 鎮 裏 不 同
-0.4833062 鐵 窗 裏 竄
-1.223669 恒 大
-1.223669 恒 生
-0.3077702 恒 春
-0.3159989 小 型 恒 指
-0.4833062 屏 東 恒 春
-0.2190889 范 恒 山
-0.4833062 從 恒 春
-0.4833062 邊 恒 雄
-0.6593975 上 粧
-0.2759993 化 粧 品
\end\
Log probability
(Base 10)
Log of backoff
weight (Base 10)
以 \end\ 結 尾
7

ngram-count
• 計 算 training data 中 每 個 出 現 的 ngram 的
出 現 次 數
3 表 示 trigram
要 計 算 count 的 Training data
詞 典 檔
有 -unk: 把 OOV 當 作 一 個 符 號 處 理
無 -unk: 遇 到 OOV 就 移 除
輸 出 的 ngram count 檔 名
8

Good-Turing Discounting and
預 設 的
discounting 跟
backoff 方 法
Katz Backoff
前 一 步 ngram count 所 產 生 的 檔
要 輸 出 的 LM 檔
9

Compute perplexity
LM 檔
要 算 perplexity 的 test data
輸 出 範
例 :
−
logprob
句 數 + 字 數
10
字 數
10 −logprob
10

Good-Turing Discounting Parameters
maxcount
mincount
自 行 指 定 mincount 跟 maxcount :
11

Modified Kneser-Ney Discounting
12

• Take the conditional probabilities of bigrams (m-gram,
m=2) for example:
0 ≤ D ≤1
⎧max{ C[ wi−
1,
wi
] − D,
0}
⎪
if C[ wi−
1,
wi
] > 0
P ( ) = ⎨ [
−
]
KN
wi
w
C w
i−1
i 1
⎪
⎩α
( wi−
1) PKN
( wi
)
otherwise
1.
P
KN
( w ) C[ • w ]/
C[ • w ]
i
=
i ∑
w
C
[•
w ]
i
is
j
the
j
,
unique
words
preceding
w
i
2. normalizing constant
α
( w )
i −1
1 −
=
∑
w
i
: C
[ w w ]
i −1
∑
w
i
i
> 0
: C
max
[ w w ]
i −1
i
{ C [ w
i −1w
i
] − D , 0}
C [ w
i −1
]
P ( w )
= 0
KN
i
13

Witten-Bell Discounting
14

Witten-Bell Discounting
• Key Concept—Things Seen Once: Use the count
of things you’ve seen once to help estimate the
count of things you’ve never seen
• So we estimate the total probability mass of all the
zero N-grams with the number of types divided by
the number of tokens plus observed types:
i:
∑
c i
p
=
T
*
i
= 0 N +
T
N : the number of tokens
T : observed types
15

Witten-Bell Discounting
• T/(N+T) gives the total “probability of unseen N-
grams”, we need to divide this up among all the
zero N-grams
• We could just choose to divide it equally
Z
=
i:
∑
c i
= 0
1
Z is the total number of
N-grams with count zero
p * T
= i Z(
N + T
)
16

Witten-Bell Discounting
p
*
i
ci
= if ( ci
N + T
>
0)
Alternatively, we can represent the smoothed counts directly as:
c
*
i
=
⎧T
⎪Z
⎨
⎪ci
⎩
N
N + T
N
N + T
,
,
if
if
c
c
i
i
=
>
0
0
17

18
Witten-Bell Discounting
N
T
N
T
N
N
T
N
N
T
N
NT
T
N
N
c
Z
T
N
N
Z
T
c i
i
i
=
+
+
=
+
+
+
=
+
+
⋅
+ ∑
>
)
(
2
0
:
1
)
( 0
:
=
+
+
+
=
+
+
⋅
+ ∑
>
T
N
N
T
N
T
T
N
c
Z
T
N
Z
T
c i
i
i

• For bigram
∑
p
Witten-Bell Discounting
( w
|
w
)
T ( wx
)
N(
w ) T ( w
*
i x
i:
c(
wx wi
) = 0
x
+
=
T: the number of bigram types, N: the number of bigram token
x
)
Z(
p
*
w x
) =
∑
1
i:
c(
w x w i ) = 0
T ( wi
−1)
( wi
| wi
−1)
= if( c
−1
Z(
w )( N(
w ) + T ( w ))
i−1
i−1
i−1
w i w
i
=
0)
∑
p
( w
|
w
)
=
c(
w
c(
w )
*
x
i x
i:
c(
wx wi
) > 0
x
+
wi
)
T ( w
x
)
19

Absolute Discounting
20

P
abs
Smoothing
absolute discounting
• Absolute discounting subtracting a fixed
discount D

Ristad's Natural Discounting
Eric Ristad's Natural Law of Succession -- The discount factor d is identical
for all counts,.
d = ( n(n+1) + q(1- q) ) / ( n^2 + n + 2q )
where n is the total number events tokens, q is the number of observed
event types. If q equals the vocabulary size no discounting is performed.
22