ç«è³ç¨

極限定理 

陳嘉平 

國立中山大學資訊工程學系 

機率學講義

本章內容 

馬可夫不等式 

Markov inequality 

契比雪夫不等式 

Chebyshev inequality 

隨機變數序列 

sequence of random variables 

弱大數法則 

weak law of large numbers 

強大數法則 

strong law of large numbers 

中央極限定理 

central limit theorem 

Chia-Ping Chen ( 中山資工 ) Limit Theorems 機率學講義 2 / 28

馬可夫不等式 

X 為非負的隨機變數 ,a > 0, 則以下不等式成立 , 稱 

為馬可夫不等式 

P(X ≥ a) ≤ E[X ] 

a . 

證明 

令 

Y a (X ) (X < a) 0 : a. 

則 

Y a ≤ X ⇒ E[Y a ] ≤ E[X ] 

⇒ a P(X ≥ a) ≤ E[X ] 

⇒ P(X ≥ a) ≤ E[X ] 

a . 


契比雪夫不等式 

X 為隨機變數 ,c > 0, 則以下不等式成立 , 稱 

為契比雪夫不等式 

P (|X − E[X ]| ≥ c) ≤ var(X ) 

c 2 , ∀ c > 0. 

證明 

令 

Z c (X ) (|X − E[X ]| < c) 0 : c 2 . 

則 

Z c ≤ (X − E[X ]) 2 ⇒ E[Z c ] ≤ E[(X − E[X ]) 2 ] 

⇒ c 2 P(|X − E[X ]| ≥ c) ≤ var(X ) 

⇒ P(|X − E[X ]| ≥ c) ≤ var(X ) 

c 2 . 


Example 5.1 & 5.2 

Let X be uniformly distributed in the interval [0, 4] and note that 

利用馬可夫不等式 , 可得 

E[X ] = 2, var(X ) = 4 3 . 

P(X ≥ 2) ≤ E[X ] 

2 

P(X ≥ 3) ≤ E[X ] 

3 

= 1, 

= 2 3 . 

利用契比雪夫不等式 , 可得 

P(|X − 2| ≥ 1) ≤ σ2 

1 = 4 3 . 


Example 5.3 

When X is known to take values in a range [a, b], then 

P(|X − µ| ≥ c|) ≤ 

(b − a)2 

4c 2 . 

證明 

只需證明 ( 練習 ) 

再利用 Chebyshev’s。 

σ 2 ≤ 

(b − a)2 

. 

4 



由隨機變數構成的序列 , 稱為隨機變數序列。例如 

X 1 , X 2 , . . . 

獨立均同分佈 independent and identically distributed 

若隨機變數序列所包含的隨機變數彼此為獨立 , 而且機率分 

佈函數相同 , 則稱為獨立均同分佈 (i.i.d.)。 


樣本和與樣本平均 

假設隨機變數序列 X 1 , X 2 , . . . 為 i.i.d., 每個變數期望值為 µ, 變 

異數為 σ 2 。 

樣本和 sample sum 

樣本平均 sample mean 

S n X 1 + · · · + X n . 

M n X 1 + · · · + X n 

n 

= S n 

n . 

規範化樣本平均 normalized sample mean 

Z n S n − nµ 

σ √ n . 


樣本和 

樣本和 S n 的期望值為 

E[S n ] = E[X 1 + · · · + X n ] 

= E[X 1 ] + · · · + E[X n ] 

= nµ. 

變異數為 

var(S n ) = var(X 1 + · · · + X n ) 

n∑ 

= var(X i ) + ∑ ∑ 

cov(X i , X j ) 

i=1 

i 

= nσ 2 . 

j≠i 


樣本平均 

樣本平均 M n 的期望值為 

E[M n ] = E[S n] 

n 

= µ. 

變異數為 

var(M n ) = var(S n) 

n 2 

= σ2 

n . 


規範化樣本平均 

規範化樣本平均 Z n 的期望值為 

[ ] 

Sn − nµ 

E[Z n ] = E 

σ √ = E[S n − nµ] 

n σ √ n 

= 0. 

= E[S n] − nµ 

σ √ n 

變異數為 

( ) 

Sn − nµ 

var(Z n ) = var 

σ √ n 

= 1. 

= var(S n − nµ) 

σ 2 n 

= var(S n) 

σ 2 n 

= σ2 n 

σ 2 n 


Example 5.5 

Let p be the fraction of voters who support a particular candidate for 

office. We interview n randomly selected voters and record M n , the 

fraction of them that support the candidate. We view M n as our 

estimate of p and would like to investigate its properties. 

說明 

定義 X i = ( 第 i 個受訪者支持 ) 1 : 0。則 

因此 

E[X i ] = p, 

樣本平均的期望值與變異數為 

X i ∼ Bernoulli(p). 

var(X i ) = p(1 − p). 

E[M n ] = p, var(M n ) = var(S n) 

n 2 = 

p(1 − p) 

. 

n 


估計的確度與信度 

作估計時 , 常將結果表示成 

P (|ˆp − p| ≥ ɛ) ≤ β, 

也就是估計誤差超過 ɛ 的機率小於 β。我們稱 ɛ 為確度 ,1 − β 

為信度。信度與確度的要求決定取樣數 : 考慮民調的例子 , 根據 

Chebyshev 不等式 

P (|M n − p| ≥ ɛ) ≤ 

p(1 − p) 

nɛ 2 ≤ 1 

4nɛ 2 . 

欲使 M n 與 p 的誤差超過 ɛ = 0.01 的機率小於 β = 0.05, 取樣數 

n 可以透過下式選擇 

P (|M n − p| ≥ 0.01) ≤ 

1 

4(n)(0.01 2 ) 

≤ 0.05 ⇒ n ≥ 50000. 


實數序列的收斂 

實數序列 a 1 , a 2 , . . . 收斂到 a, 記作 

lim a n = a. 

n→∞ 

意思是 a n 與 a 的距離 |a n − a| 可以任意小。 

任意小的意思 

舉例 

給定任意的 δ > 0, 都可以找到 n 0 使得只要 n > n 0 ,|a n − a| 

就比 δ 更小。挑戰與回應 :δ 是挑戰 ,n 0 是回應。 

考慮民調的例子 , 給定 ɛ, 機率序列 

為實數序列 , 收斂到 0。 

P (|M n − p| ≥ ɛ) , n = 1, 2, . . . 


隨機變數序列的收斂情形 

隨機變數序列收斂分為幾種情形。以下討論其中兩類 

1 在機率上收斂 converges in probability 

2 幾乎確定性收斂 converges almost surely 


機率上收斂 


在機率上收斂到 a, 記作 

Y = Y 1 , Y 2 , . . . 

Y 

P 

−−→ a, 

意思是對任意 ɛ > 0, 

lim P(|Y n − a| ≥ ɛ) = 0. 

n→∞ 

換言之 ,n → ∞ 時 Y n 與 a 的距離不為任意小的機率為任意小。 

意義 

這裡有兩個序列 : 隨機變數序列 Y 1 , Y 2 , . . . 與實數 ( 機率 ) 序 

列 P(|Y n − a| ≥ ɛ)。若實數 ( 機率 ) 序列收斂到 0, 則隨機變 

數序列在機率上收斂到 a。 


Example 5.6 

Consider a sequence of independent random variables X n that are 

uniformly distributed in the interval [0, 1], and let 

Y n min(X 1 , . . . , X n ). 

Does Y 1 , Y 2 , . . . converge to zero in probability 

說明 

P(|Y n − 0| ≥ ɛ) = (1 − ɛ) n 

n→∞ 

−−−→ 0. 


Example 5.7 

Let Y be an exponentially distributed random variable with 

parameter λ = 1。For any positive integer n, let Y n = Y /n. Does 

Y 1 , Y 2 , . . . converge to 0 in probability 

說明 

P(|Y n − 0| ≥ ɛ) = e −nɛ 

n→∞ 

−−−→ 0. 


幾乎確定性收斂 


Y = Y 1 , Y 2 , . . . 

幾乎確定性收斂或以機率 1 收斂 converges with probability 1 到 

a, 記作 

a.s. 

Y −−−→ a, 

意思是 

意義 

( ) 

P lim Y n = a = 1. 

n→∞ 

取值後的序列 Y 1 , Y 2 , . . . 中有些收斂到 a, 這些收斂到 a 的序 

列總機率為 1。 


Example 5.15 

Consider a discrete-time arrival process. The set of times is 

partitioned into consecutive intervals of the form 

I k = {2 k , 2 k + 1, . . . , 2 k+1 − 1}. Note that the length of I k is 2 k , 

which increases with k. During each I k , there is exactly one arrival, 

and all times within an interval are equally likely. The arrival times 

within different intervals are assumed independent. Define Y n = 1 if 

there is an arrival at time n, and Y n = 0 otherwise. 

說明 

此隨機序列在機率上收斂到 0, 因為 

P(|Y n − 0| > ɛ) = P(Y n ≠ 0) = 1 2 k 

n→∞ 

−−−→ 0. 

然而 , 取值後的序列 Y 1 , Y 2 , . . . 顯然並不收斂。因此 , 收斂到 

0 的機率為 0。也就是此隨機序列不以機率 1 收斂到 0。 


大數法則 

假設隨機變數序列 

X = X 1 , X 2 , . . . 

為 i.i.d.。此外 ,X i 的期望值 µ 與變異數 σ 2 為有限。 

弱大數法則 weak law of large numbers 

X 的樣本平均序列在機率上收斂到 µ。 

強大數法則 strong law of large numbers 

X 的樣本平均序列以機率 1 收斂到 µ。 


弱大數法則的證明 

令 

M = M 1 , M 2 , . . . 

為樣本平均序列。M n 的期望值為 µ, 變異數為 

σ 2 

n 。根據契比雪 

夫不等式 

因此 

P (|M n − µ| ≥ ɛ) ≤ var(M n) 

ɛ 2 

M 

= σ2 

nɛ 2 

P 

−−→ µ. 

n→∞ 

−−−→ 0, ∀ ɛ. 


中央極限定理 


X 1 , X 2 , . . . 

為 i.i.d., 則其規範化樣本平均近似於標準高斯 

Z n = S n − nµ 

σ √ n 

→ Y ∼ N(0, 1). 

說明 

Z n 的 MGF M Zn (s) 趨近於 Y 的 MGF M Y (s), 因此 Z n 的 CDF 

收斂到 Y 的 CDF, 

F Zn (z) = P(Z n ≤ z) 

n→∞ 

−−−→ Φ Y (z). 


中央極限定理應用 

X 1 , X 2 , . . . 為 i.i.d., 期望值為 µ, 變異數為 σ 2 , 樣本和為 S n 。則 

( 

Sn − nµ 

P(S n ≤ c) = P 

σ √ ≤ c − nµ ) 

n σ √ n 

( 

= P Z n ≤ c − nµ ) 

σ √ n 

( ) c − nµ 

≈ Φ Y 

σ √ . 

n 


Example 5.9 

We load on a plane 100 packages whose weights are independent 

random variables that are uniformly distributed between 5 and 50 

pounds. What is the probability that the total weight will exceed 

3000 pounds 

說明 

µ = 27.5, σ 2 (50 − 5)2 

= = 168.75. 

12 

( ) 

S100 − 100 ∗ 27.5 3000 − 100 ∗ 27.5 

P(S 100 ≥ 3000) = P √ ≥ √ 

100 ∗ 168.75 100 ∗ 168.75 

= P(Z n ≥ 1.92) 

≈ P(Y ≥ 1.92) 

= 1 − P(Y ≤ 1.92) 

= 0.0274. 


Example 5.10 

A machine processes parts, one at a time. The processing times of 

different parts are independent random variables, uniformly 

distributed in [1, 5]. We wish to approximate the probability that the 

number of parts processed within 320 time units, denoted by N 320 , is 

at least 100. 

說明 

{N 320 ≥ 100} = {S 100 ≤ 320}. 

µ = 3, σ 2 = 4/3. 

( 

S 100 − 100 ∗ 3 

P(S 100 ≤ 320) = P √ ≤ 

100 ∗ 4/3 

= P(Z n ≤ 1.73) 

≈ P(Y ≤ 1.73) 

= 0.9582. 

) 

320 − 100 ∗ 3 

√ 

100 ∗ 4/3 


Example 5.11 

We poll n voters and record the fraction M n of those polled who are 

in favor of a particular candidate. If p is the fraction of the entire 

voter population that supports this candidate, then 

M n = X 1 + · · · + X n 

, 

n 

where X i ’s are i.i.d. Bernoulli random variables with parameter p. 

When n is large, 

M n − p = X 1 + · · · + X n − np 

n 

= X 1 + · · · + X n − np 

√ nσ 

= Z n 

) ≈ Y ). 

( √n 

( √n 

σ √n 

σ 

σ 


( 

P(|M n − p| ≥ ɛ) ≈ 2P(M n − p ≥ ɛ) ≈ 2P Y ≥ 

≤ 2 

[ 

1 − P 

( 

Y ≤ 

(√ n 

σ 

≤ 2 [ 1 − Φ Y (2 √ nɛ) ] . 

) 

ɛ 

)] 

若要求確度為 ɛ = 0.01, 信度為 1 − δ = 0.95 時 , 則需 

P(|M n − p| ≥ 0.01) ≤ 2(1 − Φ(2 · √n · 0.01)) ≤ 0.05 

(√ ) ) n 

ɛ 

σ 

⇒ Φ(2 · √n · 0.01) ≥ 0.975 ⇒ 2 · √n · 0.01 ≥ 1.96 

⇒ n ≥ 9604.

ç«è³ç¨

Create successful ePaper yourself

Delete template?

Save as template?

ç«è³ç¨