X - æ±åå¤§å¦

確率的情報処理理詰めの情報処理法則・命題群からの予測現実世界の情報処理現象の起こる要因の多様性必要なデータが完全に得られるわけではない.大量のデータは得られるが必要な情報の抽出が難しい.「すぐ分かること」と「本当に知りたいこと」のギャップからくる不確実性 → 何とかして克服したい!!不確実性の数学的表現 → 確率・統計14 January, 2010 Hokkaido University GCOE Tutorial (Sapporo) 3

確率的情報処理不確実性の数学的表現 → 確率・統計確率的画像処理モデル化ネットワーク構造をもつ数理モデルノードは事象 , 矢印は条件付き確率に対応不確実性を伴うデータに耐えうる推論システム単純な機能を持つたくさんの要素が関連し合い, 互いに協力して複雑・高度な機能を生み出す.重要な概念のひとつ14 January, 2010 Hokkaido University GCOE Tutorial (Sapporo) 4

Contents1. 序論2. ベイズ統計の基礎3. 確率的画像処理4. ガウシアングラフィカルモデル5. 確率伝搬法6. 統計的性能評価7. さまざまのベイジアンモデリング8. まとめと展開14 January, 2010 Hokkaido University GCOE Tutorial (Sapporo) 5

結合確率と条件付き確率事象 Aの起こる確率 Pr{A}事象 A と事象 B の結合確率 Pr { A,B} = Pr{ AIB}条件付き確率と結合確率Pr⇒{ B A}Pr≡PrPr{ A,B}{ A}{ A,B} = Pr{ B A} Pr{ A}AB14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 6

結合確率と事象の独立性事象 A と事象 B が互いに独立である{ A,B} Pr{ A} Pr{ B}Pr =事象 A と事象 B が互いに独立であるときの条件付き確率{ B A} Pr{ B}Pr =ABAB14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 7

周辺確率標本空間 Ωが互いに排反である M 個の事象 A 1 ,A 2 ,…,A Mによって Ω=A 1 ∪A 2 ∪…∪A M と表されるときPrM{ } ∑ { }B = Pr A , B jj=1結合確率 Pr{A i ,B} における事象 B の周辺確率 (Marginal Probability)簡略表記Pr{ B } Pr{ A,B}= ∑AA i周辺化事象 A の取り得るすべての互いに排反な事象についての和ABB14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 8

結合確率と周辺確率事象 B の周辺確率Pr{ B } Pr{ A,B,C,D}= ∑∑∑A C DAB周辺化MarginalizeCD14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 9

連続確率変数の周辺確率密度関数ρY( y) = ρ( x,y)dx∫ +∞ −∞確率変数 Y の周辺確率密度関数 (Marginal Probability DensityFunction)14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 10

ρガウス分布 ( 正規分布 ) N(μ,σ 2 )平均 μ, 分散 σ 2 のガウス分布 (Gaussian Distribution)の確率密度関数( σ > 0)1( )⎛( )2 ⎞x = exp − x − μ ⎟⎠2πσ⎜⎝221σ2( − ∞ < x < +∞)p(x)E [ X ] = μ V[ X ] = σ2平均と分散はガウス積分の公式 (GaussianIntegral Formula) から導かれる∫ + ∞−∞⎛exp⎜−⎝1 ⎞ ξ2⎟dξ = 2π2 ⎠0μx14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 11

14 January, 2010多次元ガウス分布行列 C を正定値の実対称行列として,2 次元ガウス分布(Two-Dimensional Gaussian Distribution) の確率密度関数1 ⎛ 1⎛ x − μρ( x, y)=exp⎜−Cdet C ⎝ 2+∞∫ ∫ ∫−∞+∞−∞L2( 2π)− ∞

ベイズの公式の導出{ A,B} Pr{ A B} Pr{ B}Pr =14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 13

ベイズの公式の導出{ A,B} Pr{ A B} Pr{ B}Pr ={ A,B} Pr{ B A} Pr{ A}Pr =14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 14

ベイズの公式の導出{ A,B} Pr{ A B} Pr{ B}Pr ={ A,B} Pr{ B A} Pr{ A}Pr ={ A B}Pr =PrPr{ A,B}{ B}14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 15

ベイズの公式の導出{ A,B} Pr{ A B} Pr{ B}Pr ={ A,B} Pr{ B A} Pr{ A}Pr ={ A,B}{ B}{ A B}PrPr = =PrPr{ B A} Pr{ A}Pr{ B}14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 16

ベイズの公式の導出{ A,B} Pr{ A B} Pr{ B}Pr ={ A,B} Pr{ B A} Pr{ A}Pr =PrPr14 January, 2010{ A B}=={ B } Pr{ A,B}= ∑APrPrPr{ A,B}{ B}{ B A} Pr{ A}∑APr=Pr{ A,B}{ B A} Pr{ A}Pr{ B}Hokkaido University GCOE Tutorial(Sapporo) 17

ベイズの公式の導出{ A,B} Pr{ A B} Pr{ B}Pr ={ A,B} Pr{ B A} Pr{ A}Pr =PrPr14 January, 2010{ A B}=={ B } Pr{ A,B}= ∑APrPrPr{ A,B}{ B}{ B A} Pr{ A}∑APr=Pr{ A,B}{ B A} Pr{ A}=Pr{ B}∑APr{ B A} Pr{ A}{ B A} Pr{ A}PrHokkaido University GCOE Tutorial(Sapporo) 18

ベイズの公式の導出{ A,B} Pr{ A B} Pr{ B}Pr ={ A,B} Pr{ B A} Pr{ A}Pr =ABPrPr14 January, 2010{ A B}=={ B } Pr{ A,B}= ∑APrPrPr{ A,B}{ B}{ B A} Pr{ A}∑APr=Pr{ A,B}{ B A} Pr{ A}=Pr{ B}∑APr{ B A} Pr{ A}{ B A} Pr{ A}PrHokkaido University GCOE Tutorial(Sapporo) 19

ベイズの公式 (Bayes Formula)Pr{ } A B=∑APr{ } B A Pr{ A}{ } B A Pr{ A}Pr事前確率(A PrioriProbability)事後確率 (A Posteriori Probability)ABayes 規則 (Bayes Rule) とも言う.Bベイジアンネットワーク14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 20

ベイズの公式による確率的推論の例A 教授はたいへん謹厳でこわい人で, 機嫌の悪いときが 3/4 を占め, 機嫌のよい期間はわずかの 1/4 にすぎない.教授には美人の秘書がいるが,よく観察してみると, 教授の機嫌のよいときは,8 回のうち 7 回までは彼女も機嫌がよく, 悪いのは 8回中 1 回にすぎない.教授の機嫌の悪いときで, 彼女の機嫌のよいときは 4 回に 1 回である.秘書の機嫌からベイズの公式を使って教授の機嫌を確率的に推論することができる.甘利俊一 : 情報理論 (ダイヤモンド社 ,1970) より14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 21

ベイズの公式による確率的推論の例 (2)教授は機嫌の悪いときが 3/4 を占め, 機嫌のよい期間はわずかの1/4 にすぎない.教授の機嫌のよいときは,8 回のうち 7 回までは彼女も機嫌がよく,悪いのは 8 回中 1 回にすぎない.教授の機嫌の悪いときで, 彼女の機嫌のよいときは 4 回に 1 回である.14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 22

ベイズの公式による確率的推論の例 (2)教授は機嫌の悪いときが 3/4 を占め, 機嫌のよい期間はわずかの1/4 にすぎない.13Pr { 教授機嫌良い } = Pr { 教授機嫌悪い} =4 4教授の機嫌のよいときは,8 回のうち 7 回までは彼女も機嫌がよく,悪いのは 8 回中 1 回にすぎない.7Pr { 秘書機嫌良い教授機嫌良い} = 8教授の機嫌の悪いときで, 彼女の機嫌のよいときは 4 回に 1 回である.1Pr { 秘書機嫌良い教授機嫌悪い}= 414 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 23

ベイズの公式による確率的推論の例 (3)Pr= Pr+{ 秘書機嫌良し}Pr{ 秘書機嫌良し教授機嫌良し} Pr{ 教授機嫌良し}{ 秘書機嫌良し教授機嫌悪い} Pr{ 教授機嫌悪い}14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 24

ベイズの公式による確率的推論の例 (3)Pr=+{ 秘書機嫌良し}PrPr{ 秘書機嫌良し教授機嫌良し} Pr{ 教授機嫌良し}{ 秘書機嫌良し教授機嫌悪い} Pr{ 教授機嫌悪い}13Pr { 教授機嫌良い } = 4{ } 4Pr 教授機嫌悪い =1Pr { 秘書機嫌良い教授機嫌悪い}= 47Pr { 秘書機嫌良い教授機嫌良い} = 814 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 25

ベイズの公式による確率的推論の例 (3)Pr=+ Pr={ 秘書機嫌良し}Pr78{ 秘書機嫌良し教授機嫌良し} Pr{ 教授機嫌良し}{ 秘書機嫌良し教授機嫌悪い} Pr{ 教授機嫌悪い}×14+14×34=133213Pr { 教授機嫌良い } = 4{ } 4Pr 教授機嫌悪い =1Pr { 秘書機嫌良い教授機嫌悪い} = 47Pr { 秘書機嫌良い教授機嫌良い} = 814 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 26

Pr=ベイズの公式による確率的推論の例 (4){ 教授機嫌良し秘書機嫌良し}Pr{ 秘書機嫌良し教授機嫌良し} Pr{ 教授機嫌良し}Pr7Pr { 秘書機嫌良い教授機嫌良い} = 8{ 秘書機嫌良し} 13 131Pr { 教授機嫌良い} = 413{ 秘書機嫌良い} 32Pr ==78×3214=714 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 27

最尤推定(Maximum Likelihood Estimation)パラメータμ,σ極値条件⎡∂⎢⎣⎡∂⎢⎣データ⎛⎜r ⎜g = ⎜⎜⎝P( g μ,σ )∂μ( g μ,σ )P∂σggM01g N −1⎞⎟⎟⎟⎟⎠⎤⎥⎦⎤⎥⎦( ˆ, μ σˆ)μ=ˆ μ,σ = ˆ σμ=ˆ μ,σ = ˆ σP= 0= 0r=arg maxN − 1∏i=0( μ,σ )1( g μ,σ ) ≡ exp⎜− ( − μ)2πσ( ) g μ,σP r⎛2 2⎝1σ2g i平均 μと標準偏差 σが与えられたときの確率密度関数をデータ g r が与えられたときの平均 μと分散 σ 2 に対する尤もらしさを表す関数 ( 尤度関数 )とみなす.2⎞⎟⎠標本平均N∑ − 1g ii=0N∑ − 1i=012 1ˆ μ = ˆ σ = ( g i − ˆ μ)NN2標本分散14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 28


画像修復の確率モデル劣化画像 = 原画像 + 白色ガウス雑音雑音通信路原画像劣化画像事後確率644474448Pr ={ 原画像 | 劣化画像 }14 January, 2010尤度事前確率64447444864748Pr{ 劣化画像 | 原画像 } Pr{ 原画像 }Pr{ 劣化画像 }14243周辺尤度Hokkaido University GCOE Tutorial(Sapporo) 30

Prior Probabilityin Probabilistic Image ProcessingPrrr⎛1= ∑ ⎜ 2⎝ { i,j}{ }⎜ ( )2X x ∝ exp − α x −⎟i x ⎟∈Ej⎞⎠14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 31

2 値画像の事前確率 (Prior Probability)∝ 1∝ 1= >∝ e−α / 2 ∝ e −α / 2=?問題設定画素の周辺の状態が固定されているとき着目画素の状態は?>赤い線が少ないほど確率が高くなるように確率モデルを設計周りが白ければ着目画素も白くあるべき14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 32

2 値画像の事前確率 (Prior Probability)∝ 1∝ 1= >∝ e−α / 2 ∝ e −α / 2=?-?問題設定画素の周辺の状態が固定されているとき着目画素の状態は?> = >赤い線が少ないほど確率が高くなるように確率モデルを設計14 January, 2010画素がいくつか集まると周りの画素の状態をよく見ながら自分の状態を決めないといけなくなるもっとたくさん集まったらどうなるか?Hokkaido University GCOE Tutorial(Sapporo) 33

ゆらぎが大きいときに何が実際に起こっているのか?最近接画素間の共分散マルコフ連鎖モンテカルロ法によるサンプリング1.00.80.60.40.20.0α0.0 0.2 0.4 0.6 0.8 1.0α が小さいpMarkov Networkα が大きい無秩序状態14 January, 2010ゆらぎが大きく点の近くのパターン秩序状態Hokkaido University GCOE Tutorial(Sapporo) 34

ゆらぎが大きいときのパターンを画像処理に使えるか?最近接画素間の共分散1.00.80.60.40.20.0小α大0.0 0.2 0.4 0.6 0.8 1.0pMarkov Network似ている14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 35

事前確率 (Prior Probability)Prrr⎛{ X = x} ∝ exp⎜⎜ − α ∑ ( x −⎟ ⎟ i x j ) 22{ i,j}∈E ⎠⎝1⎞{ 1,2,L V }V = ,α = 0.0001α = 0.0005 α = 0. 0030E : Set ofall the linksマルコフ連鎖モンテカルロ法14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 36

劣化過程加法的白色ガウスノイズ(Additive White Gaussian Noise)Prrrrr{ }⎛Y = y X = x ∝ ∏exp⎜− ( x − ) i y ii∈V⎝12σ22⎞⎟⎠14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 37

gPrベイズ統計と画像処理r r r r{ X = x Y = y}⎛⎜ 1∝ exp −⎜ 2σ⎝{ X = x}=∑Prr r r r r r{ Y = y X = x} Pr{ X = x}Prrr{ Y = y}122( x − y ) − α ( x − x ) ⎟⎟2 i i2i∈Vx r{ }Pr Pr Y = y X = x事後確率事前確率原画像∑i{ i,j}∈Ej⎞⎠rrrr加法的白色ガウス雑音または2 元対称通信路y r劣化画像画像処理は平均 , 分散 , 共分散の計算に帰着14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 38

Statistical Estimation of HyperparametersyHyperparameters α, σ are determined so as tomaximize the marginal likelihood Pr{Y=y|α,σ} withrespect to α, σ.( ˆ, α ˆ) σΩx14 January, 2010r=r= arg maxPr{ Y y | α,σ}( α,σ )r rr r r r r rPr{ Y = y | α,σ}= ∑ Pr{ Y = y | X = z,σ}Pr{X = zrzrOriginalx r Imager r r rgrPr{ X = x | α}Pr{ Y y | X = x,σ}rPr{ Y =Marginal Likelihood| α}Degraded Image= y rMarginalized with respect to Xry | α,σ}Hokkaido University GCOE Tutorial(Sapporo) 39

Maximization of Marginal Likelihood byEM AlgorithmrrrMarginalrr rrPr{ Y = y | α , σ } = ∑ Pr{ Y = y | X = z,σ }Pr{ X = x | α}Likelihoodrz(rQ α,σ α',σ',y)Q-Functionr r r rr r r r= ∑ Pr{ X = z | Y = y,α',σ'}lnPr{X = z,Y = y | α,σ}E - StepQM - Step:rzEM (Expectation Maximization) AlgorithmE-step and M-Step are iterated until convergence:( α , σ α () t , σ () t )← ∑ rz:rPr{ Xr r= z | Y =( α ( t + 1 ),σ ( t + 1))rry,α ( t),σ ( t)}ln Pr{ X←argmax( α , β )Q=r rz,Y=( α , σ α () t , σ () t ).ry | α , σ }14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 40


PrGaussian Graphical Model(Gauss Markov Random Fields)r( x | y,α , σ )⎛⎜ 1∝ exp −⎜ 2σ⎝⎛ 1= exp⎜−⎝ 2σi Cj=⎧ 4,⎪⎨−1,⎪⎩ 0,22P∑i∈Vrxr14 January, 2010−2 1( x − y ) − α ( x − x )iry2i = j ∈V{ i,j}∈ Eotherwise( yα,σ )−i1 rαx2xˆ2T Crx{ i,⎞⎟⎠∑ij}∈E( αC)j2⎞⎟⎟⎠Multidimensional Gauss Integral Formulasr r r rr= ∫ x P ( x | y ) d x = Cr 1= det⎛ 1 r C⎜−y⎝ +y rexp α T2 2 I ασ 2CV( 2π) det( I + ασ C )( αˆ , σˆ)( 2 )−I + ασ yMaximum Likelihood Estimation = arg max P r EM Algorithm( )( g α , σ )∈ ( −∞,+∞)α , σHokkaido University GCOE Tutorial(Sapporo) 42x i⎞⎟⎠

Statistical Estimation of HyperparametersHyperparameters α, σ are determined so as tomaximize the marginal likelihood Pr{Y=y|α,σ} withrespect to α, σ.( ˆ, α ˆ) σrPr{ Yrarg maxPr{ Y =( )ry | α,σ}α,σrr r r r r r r= y | α,σ}= ∫ Pr{ Y = y | X = x,σ}Pr{X = z | α,γ}dz=x r g14 January, 2010Original ImageDegraded ImagerPr{ X xrr r r r= | α}Pr{ Y y | X = x,σ}rPr{ Y =Marginal Likelihood= y rMarginalized with respect to Xry | α,σ}Hokkaido University GCOE Tutorial(Sapporo) 43

1 次元信号に対する例Original Signal200x i 100EM Algorithm0Degraded Signal200y iσ = 401000Estimated Signal200i0 127 2550 127 255ixˆi10000 127 255i( α ( t + 1 ),σ ( t + 1))← argmax( α , σ )() t , σ () tQ( α , σ α ).14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 44

Bayesian Image Analysisby Gaussian Graphical ModelIteration Procedure of EM algorithm in Gaussian Graphical Model( ˆ, α ˆ) σ = arg max P(gσ = 40( α,σ )( α ( t + 1 ),σ ( t + 1))←argr−1xˆ( t)| α,σ)max( α , σ )(rQ α , σ α , y).() t , σ ( t)= ( I + α(t)σ ( t) 2 C)ryEMy rfˆry r14 January, 2010( )α t0.0010.00080.00060.00040.00020σ( t)0 20 40 60 80 100ˆ σ = 37.624ˆ α =0.000713Hokkaido University GCOE Tutorial(Sapporo) 45fˆr

Image Restoration by Gaussian GraphicalModel and Conventional FiltersOriginal ImageDegradedImage (σ=40)(Gaussian Graphical ModelLowpass FilterMedian Filter(3x3)(5x5)(3x3)(5x5)MSE315388413486445MSE=1| V|∑i∈V( − ˆ ) 2f i f iGaussianGraphicalModel14 January, 2010(3x3) Lowpass(5x5) MedianV:Set of allthe pixelsHokkaido University GCOE Tutorial(Sapporo) 46


14 January, 2010計算困難のポイントは何か2 N 通りの和が計算できるか?∑ ∑ L ∑x = 0,1x = 0,1 x = 0, 11 2Nf( x , x , L,x )このプログラムではL=10 個のノードで1 秒かかるとしたらL=20 個で約 17 分 ,L=30 個で約 12 日 ,L=40 個で約 34 年かかる.厳密に計算するのは一部の特殊な例を除いて難しい.マルコフ連鎖モンテカルロ法確率伝搬法12Nafor( xfor( x}for( x}}M←Ma今回0;10,1){0,1){0,1){( x , x , L,x )Hokkaido University GCOE Tutorial(Sapporo) 482=N←=a=+f12N 重ループN;

周辺確率 (Marginal Probability)PPP1212( x ) = ∑∑∑ ∑ ( , , , 4 , , )1 L P x1x2x3x L xNx x x x2 3 4N( x ) L P( x x , x , x , L,x )2= ∑∑∑ ∑x x x x1 3 41 , 2 3 4を厳密に計算するのは一部の特殊な例を除いて難しい.一部の特殊な例とは何か?一部の特殊な例に適用できるアルゴリズムを一般の場合に近似アルゴリズムとして適用できるか.→ アルゴリズム化できるか? 動くか?精度はどの程度か?N( x x ) L P( x , x , x , x , L,x )1 , 21 2 3 4x x x= ∑∑ ∑3 4NNN14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 49

扱いやすい確率モデルのグラフ表現14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 50

扱いやすい確率モデルのグラフ表現∑∑∑∑∑A B C D EA B C D E14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 51

扱いやすい確率モデルのグラフ表現∑∑∑∑∑A B C D E= ∑∑∑∑∑A B C D EA B C D EA BXB C D E14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 52

扱いやすい確率モデルのグラフ表現∑∑∑∑∑A B C D E= ∑∑∑∑∑A B C D E=⎛⎜⎝∑∑∑∑⎜∑B C D E AA B C D EAABXB⎞⎟ ⎟ ⎠B C D EB C D E14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 53

扱いやすい確率モデルのグラフ表現∑∑∑∑∑A B C D E= ∑∑∑∑∑A B C D E=⎛⎜⎝∑∑∑∑⎜∑B C D E AA B C D EAABXB⎞⎟ ⎟ ⎠B C D EB C D EAB14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 54

扱いやすい確率モデルのグラフ表現∑∑∑∑∑A B C D E= ∑∑∑∑∑A B C D E=⎛⎜⎝∑∑∑∑⎜∑B C D E AA B C D EAABXB⎞⎟ ⎟ ⎠B C D EB C D EAB= ∑∑∑∑B C D EA B C D E14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 55

扱いやすい確率モデルのグラフ表現∑∑∑∑B C D EA B C D E14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 56

扱いやすい確率モデルのグラフ表現∑∑∑∑B C D E= ∑∑∑∑B C D EA B C D EA B CXC D E14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 57

扱いやすい確率モデルのグラフ表現∑∑∑∑B C D E= ∑∑∑∑B C D E=⎛⎜⎝∑∑∑⎜∑C D E BA B C D EA B CXA B C X⎞⎟ ⎟ ⎠C D EC D E14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 58

扱いやすい確率モデルのグラフ表現∑∑∑∑B C D E= ∑∑∑∑B C D E=⎛⎜⎝∑∑∑⎜∑C D E BA B C D EA B CXA B C X⎞⎟ ⎟ ⎠C D EC D EBC14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 59

扱いやすい確率モデルのグラフ表現∑∑∑∑B C D E= ∑∑∑∑B C D E=⎛⎜⎝∑∑∑⎜∑C D E BA B C D EA B CA B CX⎞⎟ ⎟ ⎠XC D EC D EBC= ∑∑∑C D EB C D E14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 60

扱いやすい確率モデルのグラフ表現∑∑∑∑∑A B C D EA B C D E14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 61

扱いやすい確率モデルのグラフ表現∑∑∑∑∑A B C D E= ∑∑∑∑B C D EA B C D EA B C D E14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 62

扱いやすい確率モデルのグラフ表現∑∑∑∑∑A B C D E= ∑∑∑∑B C D EA B C D EA B C D E= ∑∑∑C D EB C D E14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 63

扱いやすい確率モデルのグラフ表現∑∑∑∑∑A B C D E= ∑∑∑∑B C D EA B C D EA B C D E= ∑∑∑C D EB C D E= ∑∑D EC D E14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 64

扱いやすい確率モデルのグラフ表現∑∑∑∑∑A B C D E= ∑∑∑∑B C D EA B C D EA B C D E= ∑∑∑C D EB C D E= ∑∑D EC D E= ∑EDE14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 65

扱いやすい確率モデルのグラフ表現∑∑∑∑∑∑A B C D E FABCEDF14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 66

扱いやすい確率モデルのグラフ表現∑∑∑∑∑∑A B C D E FABCEDF= ∑∑∑∑∑B C D E FABCEDF14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 67

扱いやすい確率モデルのグラフ表現∑∑∑∑∑∑A B C D E F= ∑∑∑∑C D E FABCABCEDFEDF= ∑∑∑∑∑B C D E FABCEDF14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 68

扱いやすい確率モデルのグラフ表現∑∑∑∑∑∑A B C D E F= ∑∑∑∑C D E FABCABCEDFEDF= ∑∑∑D E F= ∑∑∑∑∑B C D E FCEDFABCEDF14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 69

扱いやすい確率モデルのグラフ表現∑∑∑∑∑∑A B C D E F= ∑∑∑∑C D E F= ∑∑E FCABECABDFCEDFEDF= ∑∑∑D E F= ∑∑∑∑∑B C D E FCEDFABCEDF14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 70

扱いやすい確率モデルのグラフ表現∑∑∑∑∑∑A B C D E F= ∑∑∑∑C D E F= ∑∑E FCABECABFDCEDFE= ∑FDF= ∑∑∑D E FE= ∑∑∑∑∑B C D E FFCEDFABCEDF14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 71

確率的画像処理における確率伝搬法 (Belief Propagation)14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 72

確率的画像処理における確率伝搬法 (Belief Propagation)着目画素とその近傍画素だけを残すと木構造になる.14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 73

確率的画像処理における確率伝搬法 (Belief Propagation)着目画素とその近傍画素だけを残すと木構造になる.確率伝搬法 (Belief Propagation)の統計的近似アルゴリズムとしての転用14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 74

周辺確率 (Marginal Probability)P2( x ) L P( x x , x , x , L,x )2= ∑∑∑ ∑x x x x1 3 4N1 , 2 3 4N= ∑∑∑ ∑x1 x3 x4x N≅L 2 214 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 75

周辺確率 (Marginal Probability)P12( x x ) L P( x , x , x , x , L,x )1 , 21 2 3 4x x x= ∑∑ ∑3 4NN= ∑∑L∑x3 x4x N1 2 ≅ 1 214 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 76

確率的画像処理における確率伝搬法 (Belief Propagation)3P( x ) P ( x x )= ∑,2 2 12 1x12832Message Update Rule81= ∑x 12 1542 1 7412765614 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 77

閉路のあるグラフ上の確率モデルの確率伝搬法 (Belief Propagation)43152M 1→22 1rM= ∑x 1閉路のあるグラフ上でも局所的な構造だけに着目してアルゴリムを構成することは可能 .ただし, 得られる結果は厳密ではなく近似アルゴリズムrΨM 3→1r32 15( ) MM 4→1M 5→1=メッセージに対する固定点方程式平均 , 分散 , 共分散はこのメッセージを使ってあらわされる414 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 78

Fixed Point Equation andIterative Methodr( )Fixed Point Equation * *M = Φ MrrIterative MethodrMrMrM123← Φ← Φ← ΦMr( M ) 0(rM ) 1(rM )2yM 10M*M 1y =xM 0y = Φ(x)x14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 79

確率的画像処理における確率伝搬アルゴリズムの基本構造4 近傍の場合は3 入力 1 出力の更新式ひとつの画素ごとに4 種類の更新パターン画素上での動作の様子の一例14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 80

Input確率伝搬法 (Belief Propagation)とEMアルゴリズムUpdate Rule of BPBPEM43125Output14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 81

Maximization of MarginalLikelihood by EM Algorithm( α ( t + 1 ),σ ( t + 1))← arg max Q( α , σ )r( α , σ α ( t) , σ ( t), g ).ˆ σˆ αExactExact= 37.624= 0.000713Exactα0.0010.00080.0006xˆ0.0004= m( ˆ, α ˆ, σ y)0.0002y r 00 20 40 60 80 100σˆ σˆ αLBPLBP= 36.335= 0.000600rrr14 January, 2010Loopy Belief PropagationHokkaido University GCOE Tutorial(Sapporo) 82

Image Restoration by Gaussian Graphical ModelOriginal ImageDegraded ImageEM Algorithm withBelief PropagationMSE: 151214 January, 2010MSE: 15291MSE =| V |∑ ( x − ˆ ) 2i x ii∈VHokkaido University GCOE Tutorial(Sapporo) 83

Image Restoration byGaussian Graphical ModelOriginal ImageDegraded ImageBelief PropagationExactLowpass FilterMSE: 1512Wiener FilterMSE:325Median FilterMSE:315MSE: 411MSE: 545 MSE: 4471MSE = ∑ x ˆ| V | i − x ii∈VHokkaido University GCOE Tutorial14 January, 2010 (Sapporo)84( ) 2

Image Restoration by GaussianGraphical ModelOriginal ImageDegraded ImageBelief PropagationExactLowpass FilterMSE: 1529Wiener FilterMSE: 260Median FilterMSE236MSE: 224MSE: 372 MSE: 244Hokkaido University GCOE Tutorial14 January, 2010 (Sapporo)85

Spatially Flatness and Smoothness inMulti-Valued Image ProcessingOriginalSignalObservedDataQ-state PottsModel (Flatness)Q-Ising Model(Smoothness)Hokkaido University GCOE Tutorial14 January, 2010 (Sapporo)86

Digital Images Inpaintingbased on MRFInputMarkovRandomOutputFieldM. Yasuda, J. Ohkuboand K. Tanaka:Proceedings ofCIMCA&IAWTIC2005.14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 87

確率モデルと確率伝搬法ベイズの公式ベイジアンネットワーク確率的情報処理確率モデル確率伝搬法(Belief Propagation)J. Pearl: Probabilistic Reasoning in Intelligent Systems:Networks of Plausible Inference (Morgan Kaufmann, 1988).C. Berrou and A. Glavieux: Near optimum error correctingcoding and decoding: Turbo-codes, IEEE Trans. Comm., 44(1996).14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 88

確率伝搬法の定式化確率伝搬法と平均場理論の類似性の指摘Y. Kabashima and D. Saad, Belief propagation vs. TAP for decodingcorrupted messages, Europhys. Lett. 44 (1998).M. Opper and D. Saad (eds), Advanced Mean Field Methods---Theory and Practice (MIT Press, 2001).一般化された確率伝搬法の提案S. Yedidia, W. T. Freeman and Y. Weiss: Constructing free-energyapproximations and generalized belief propagation algorithms,IEEE Transactions on Information Theory, 51 (2005).• 確率伝搬法の情報幾何的解釈S. Ikeda, T. Tanaka and S. Amari: Stochastic reasoning, free energy,and information geometry, Neural Computation, 16 (2004).14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 89

統計物理学による確率伝搬法の一般化一般化された確率伝搬法J. S. Yedidia, W. T. Freeman and Y. Weiss: Constructing freeenergyapproximations and generalized belief propagationalgorithms, IEEE Transactions on Information Theory, 51 (2005).クラスター変分法という統計物理学の手法がその一般化の鍵R. Kikuchi: A theory of cooperative phenomena, Phys. Rev., 81(1951).T. Morita: Cluster variation method of cooperative phenomena andits generalization I, J. Phys. Soc. Jpn, 12 (1957).14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 90

確率伝搬法の統計物理学的位置付け確率伝搬法は統計力学のベーテ近似と等価(Kabashima and Saad).閉路を持つグラフィカルモデル上のベイジアンネットでの確率伝搬法はベーテ近似またはその拡張版であるクラスター変分法に等価である(Yedidia, Weiss and Freeman, NIPS2000).木構造のグラフィカルモデルの確率伝搬法= 転送行列法ベーテ近似 =確率伝搬法クラスター変分法( 菊池近似 )一般化された確率伝搬法14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 91

イジング模型の確率変数の期待値P(rx)=∝P(expx1⎛⎜⎜⎝,12x2α, L{ i ,,∑x(Nxj}∈ E)i−xj)2⎞⎟ ⎟ ⎠lim∑xN →∞rixx i= ±1rP ( x )(a) 平均場近似 (ワイス近似 )(b) ベーテ近似 = 確率伝搬法(c) クラスター変分法 ( 菊池近似 )= 一般化された確率伝搬法(a) 厳密解 (L. Onsager)14 January, 20101/αHokkaido University GCOE Tutorial(Sapporo) 92


標本平均による統計的性能x rSignal14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 94

標本平均による統計的性能SignalAdditive WhiteGaussian Noisey r 1y r 2x r 3yr y r 4y r5ObservedData14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 95

標本平均による統計的性能SignalAdditive WhiteGaussian Noisey r 2x r 3y r r1ˆx 1rˆx 2yr rˆx 3y r r4ˆx 4y r 5Posterior Probabilityrˆx 5ObservedDataEstimated Results14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 96

標本平均による統計的性能Mean Square Error の標本平均SignalAdditive WhiteGaussian Noisey r 2x r 3y r r1ˆx 1rˆx 2yr rˆx 3y r r4ˆx 4y r 5Posterior Probabilityrˆx 5[MSE]14 January, 2010≅155∑n=1||rx −rˆx n|| 2ObservedDataEstimated ResultsHokkaido University GCOE Tutorial(Sapporo) 97

標本平均による統計的性能Mean Square Error の標本平均スピングラス理論による解析的評価が可能脳の物理モデルの記憶容量 ,パーセプトロンの容量の評価に類似の議論SignalAdditive WhiteGaussian Noisey r 2x r 3y r r1ˆx 1rˆx 2yr rˆx 3y r r4ˆx 4y r 5Posterior Probabilityrˆx 5[MSE]14 January, 2010≅155∑n=1||rx −rˆx n|| 2ObservedDataEstimated ResultsHokkaido University GCOE Tutorial(Sapporo) 98

強磁性体と確率モデルIsing モデル=>=x画像は各画素ごとの強さの異なる光であらわされる.共通点 :まわりと同じ状態をとろうとする=y14 January, 20100 255>Hokkaido University GCOE Tutorial(Sapporo) 99=Markov Random Field (MRF) モデル

Statistical Performance Estimation forBayesian Networks1MSE(α | Signal) = ∑ Estimate( α,Data)VMean Sqauare ErrorData− Signal2Pr{Data | Signal}Spin Glass Theory in Statistical MechanicsMSE(α | Signal)0.4MSE(α | Signal)6000.30.20.1014 January, 2010σ=10 0.2 0.4 0.6 0.8 1α4002000σ=400 0.001 0.002 0.003Hokkaido University GCOE Tutorial(Sapporo) 100α


Belief Propagation for Bayesian Networks14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 102

Hidden Markov Models隠れマルコフモデルはベイジアンネットワークのひとつ.前向き・後向きアルゴリズムは確率伝搬法に対応 .14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 103

誤り訂正符号での確率伝搬法XXX789===XXX123+ X+X+ X234+++XXX356(mod 2)(mod 2)(mod 2)⎛ x⎜⎜ x⎜ x⎜⎜ x⎜⎜x⎝ x123456⎞⎟⎟⎟⎟ =⎟⎟⎟⎠⎛1⎞⎜ ⎟⎜1⎟⎜0⎟⎜ ⎟⎜0⎟⎜ ⎟⎜1⎟⎝1⎠14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 104

誤り訂正符号での確率伝搬法XXX789===XXX123+ X+X+ X234+++XXX356(mod 2)(mod 2)(mod 2)XXX789= 1+1+0= 1+0 + 1(mod 2) = 0(mod 2) = 0= 0 + 0 + 1 (mod 2) = 1⎛ x⎜⎜ x⎜ x⎜⎜ x⎜⎜x⎝ x123456⎞⎟⎟⎟⎟ =⎟⎟⎟⎠⎛1⎞⎜ ⎟⎜1⎟⎜0⎟⎜ ⎟⎜0⎟⎜ ⎟⎜1⎟⎝1⎠14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 105

誤り訂正符号での確率伝搬法XXX789===XXX123+ X+X+ X234+++XXX356(mod 2)(mod 2)(mod 2)XXX789= 1+1+0= 1+0 + 1(mod 2) = 0(mod 2) = 0= 0 + 0 + 1 (mod 2) = 1⎛ x⎜⎜ x⎜ x⎜⎜ x⎜⎜x⎝ x12345614 January, 2010⎞ ⎛1⎞⎟ ⎜ ⎟⎟ ⎜1⎟⎟ ⎜0⎟⎟ = ⎜ ⎟⎟ ⎜0⎟⎟ ⎜ ⎟⎟ ⎜1⎟⎠ ⎝1⎠符号語⎛ x⎜⎜ x⎜ x⎜⎜ x⎜⎜x⎜ x⎜⎜ x⎜ x⎜⎝ x123456789⎞ ⎛1⎞⎟ ⎜ ⎟⎟ ⎜1⎟⎟ ⎜0⎟⎟ ⎜ ⎟⎟ ⎜0⎟⎟ ⎜ ⎟⎟=⎜1⎟⎟ ⎜1⎟⎟ ⎜ ⎟⎟ ⎜0⎟⎟ ⎜0⎟⎟ ⎜ ⎟⎠ ⎝1⎠Hokkaido University GCOE Tutorial(Sapporo) 106

誤り訂正符号での確率伝搬法XXX789===XXX123+++⎛ x⎜⎜ x⎜ x⎜⎜ x⎜⎜x⎝ xXXX123456234++14 January, 2010+XXX356⎞ ⎛1⎞⎟ ⎜ ⎟⎟ ⎜1⎟⎟ ⎜0⎟⎟ = ⎜ ⎟⎟ ⎜0⎟⎟ ⎜ ⎟⎟ ⎜1⎟⎠ ⎝1⎠(mod 2)(mod 2)(mod 2)符号語⎛ x⎜⎜ x⎜ x⎜⎜ x⎜⎜x⎜ x⎜⎜ x⎜ x⎜⎝ x123456789XXX789= 1+1+0= 1+0 + 1= 0 + 0 + 1⎞ ⎛1⎞⎟ ⎜ ⎟⎟ ⎜1⎟⎟ ⎜0⎟⎟ ⎜ ⎟⎟ ⎜0⎟⎟ ⎜ ⎟⎟=⎜1⎟⎟ ⎜1⎟⎟ ⎜ ⎟⎟ ⎜0⎟⎟ ⎜0⎟⎟ ⎜ ⎟⎠ ⎝1⎠(mod 2)(mod 2)(mod 2) = 11 101−1−pp⎛ y⎜⎜ y⎜ y⎜⎜ y⎜⎜y⎜ y⎜⎜ y⎜ y⎜⎝ y⎞ ⎛1⎞⎟ ⎜ ⎟⎟ ⎜1⎟⎟ ⎜1⎟⎟ ⎜ ⎟⎟ ⎜0⎟⎟ ⎜ ⎟⎟=⎜1⎟⎟ ⎜1⎟⎟ ⎜ ⎟⎟ ⎜1⎟⎟ ⎜0⎟⎟ ⎜ ⎟⎠ ⎝1⎠Hokkaido University GCOE Tutorial(Sapporo) 1070==002 元対称通信路pp10123456789受信語

誤り訂正符号での確率伝搬法XXX789= X= X= X123+ X+X+ X234+++XXX356(mod 2)(mod 2)(mod 2)14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 108



誤り訂正符号での確率伝搬法XXX789===XXX123+ X+X+ X234+++XXX356(mod 2)(mod 2)(mod 2)14 January, 2010Turbo 符号 ,LDPC,符号の基礎となる概念Hokkaido University GCOE Tutorial(Sapporo) 111


確率モデルによる画像処理技術入門ベイズ統計をつかった画像処理画像処理の事前分布確率伝搬法 (Belief(Propagation)磁性体の統計理論による統計的性能評価14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 113

確率的情報処理の深化と展開日常生活の情報処理データマイニングMore is different通信理論・像情報処理・確率推論ベイズ法最尤法統計科学生命情報科学例えばSVMを用いた遺伝子解析計算理論例えばSAT複雑ネットワーク科学平均場法情報統計力学スピングラス理論統計的学習理論例えば機械学習への応用量子情報例えば量子誤り訂正符号 , 量子アニーリング14 January, 2010Hokkaido University GCOE Tutorial(Sapporo) 114

References1. H. Nishimori: Statistical Physics of Spin Glasses and InformationProcessing, ---An Introduction, Oxford University Press, 2001.2. M. Opper and D. Saad D (eds(eds): Advanced Mean Field Methods ---Theory and Practice, MIT Press, 2001.3. A. K. Hartmann and H. Rieger: : Optimization Algorithms in Physics,Wiley-VCHVCH, 2001.4. A. K. Hartmann and M. Weigt: : Phase Transitions in CombinatorialOptimization Problems, Wiley-VCH,2005.5. C. M. Bishop: Pattern Recognition and Machine Learning, Springer,2006.6. M. J. Wainwright and M. I. Jordan: Graphical Models, ExponentialFamilies, and Variational Inference, now Publishing Inc, 2008.7. M. Mezard, , A. Montanari: : Information, Physics, and Computation,Oxford University Press, 2009.14 January, 2010 Hokkaido University GCOE Tutorial (Sapporo) 115

References1. 田中和之編著 : 臨時別冊・数理科学 SGCライブラリ「確率的情報処理と統計力学 --- 様々なアプローチとそのチュートリアル」, サイエンス社 ,2006 年 9 月 .2. 田中和之著 : 確率モデルによる画像処理技術入門 , 森北出版 , 2006 年 9 月 .3. 田中和之著 : ベイジアンネットワークの統計的推論の数理 ,コロナ社 , 2009 年 10 月 .14 January, 2010 Hokkaido University GCOE Tutorial (Sapporo) 116

文部科学省科学研究費補助金特定領域研究「情報統計力学の深化と展開」2006 年 4 月 -2010年 3 月領域代表 : 樺島祥介 ( 東工大総合理工 )http://dex-smi.sp.dis.titech.ac.jp/DEX-SMI/情報統計力学検索DEX-SMI検索北大におけるメンバー: 井上純一14 January, 2010 Hokkaido University GCOE Tutorial (Sapporo) 117

DEX-SMIEventsInternational Workshopon Statistical-Mechanical Informatics (IW-SMI)IW-SMI2007 (13-16 16 September, 2007, Kyoto)Information and Communication Technology and SMIIW-SMI2008 (14-17 17 September, 2008, Sendai)Quantum Information Processing and SMIIW-SMI2009 (13-16 16 September, 2009, Kyoto)Bio-Informatics and SMIIW-SMI2010 (7-10 March, 2010, Kyoto)Statistical-Mechanical Informatics (SMI)Proceedings Journal of Physics: Conference Series (IOP)情報統計力学検索DEX-SMI検索14 January, 2010 Hokkaido University GCOE Tutorial (Sapporo) 118

X - æ±åå¤§å­¦

Create successful ePaper yourself

Delete template?

Save as template?

X - æ±åå¤§å¦