1 - 東北大学

大 規 模 確 率 場 と確 率 的 画 像 処 理 の 深 化 と 展 開東 北 大 学 大 学 院 情 報 科 学 研 究 科田 中 和 之http://www.smapip.is.tohoku.ac.jp/~kazu/10 June, 2009 CIVM200906 (Kyoto) 1

Contents1. 序 論2. 確 率 的 画 像 処 理3. 確 率 伝 搬 法4. まとめ10 June, 2009 CIVM200906 (Kyoto) 2

確 率 的 情 報 処 理理 詰 めの 情 報 処 理法 則 ・ 命 題 群 からの 予 測現 実 世 界 の 情 報 処 理現 象 の 起 こる 要 因 の 多 様 性必 要 なデータが 完 全 に 得 られるわけではない.大 量 のデータは 得 られるが 必 要 な 情 報 の 抽 出 が 難 しい.「すぐ 分 かること」と「 本 当 に 知 りたいこと」のギャップからくる不 確 実 性 → 何 とかして 克 服 したい!!不 確 実 性 の 数 学 的 表 現 → 確 率 ・ 統 計10 June, 2009 CIVM200906 (Kyoto) 3

確 率 的 情 報 処 理不 確 実 性 の 数 学 的 表 現 → 確 率 ・ 統 計確 率 的 画 像 処 理モデル 化ネットワーク 構 造 をもつ数 理 モデルノードは 事 象 , 矢 印 は条 件 付 き 確 率 に 対 応不 確 実 性 を 伴 うデータに 耐 えうる 推 論 システム単 純 な 機 能 を 持 つたくさんの 要 素 が 関 連 し 合 い, 互いに 協 力 して 複 雑 ・ 高 度 な 機 能 を 生 み 出 す.重 要 な 概 念 のひとつ10 June, 2009 CIVM200906 (Kyoto) 4

確 率 的 情 報 処 理 の 深 化 と 展 開日 常 生 活 の情 報 処 理データマイニングポイントはやはり More is different通 信 理 論 ・ 像 情 報 処 理 ・ 確 率 推 論ベイズ 法最 尤 法統 計 科 学生 命 情 報 科 学例 えばSVMを 用いた 遺 伝 子 解 析計 算 理 論例 えばSAT量 子 情 報複 雑 ネットワーク 科 学平 均 場 法情 報 統 計 力 学スピングラス 理 論コトの 物 理 学 としての 定 着統 計 的 学 習 理 論例 えば 機 械 学 習への 応 用例 えば 量 子 誤 り 訂 正 符 号 , 量 子 アニーリング10 June, 2009 CIVM200906 (Kyoto) 5

文 部 科 学 省 科 学 研 究 費 補 助 金 特 定 領 域 研 究「 確 率 的 情 報 処 理 への 統 計 力 学 的 アプローチ」2002 年 4 月 -2006 年 3 月10 June, 2009 CIVM200906 (Kyoto) 6

文 部 科 学 省 科 学 研 究 費 補 助 金 特 定 領 域 研 究「 情 報 統 計 力 学 の 深 化 と 展 開 」2006 年 4 月 -2010年 3 月領 域 代 表 : 樺 島 祥 介 ( 東 工 大 総 合 理 工 )http://dex-smi.sp.dis.titech.ac.jp/DEX-SMI/情 報 統 計 力 学検 索DEX-SMI検 索10 June, 2009 CIVM200906 (Kyoto) 7

Contents1. 序 論2. 確 率 的 画 像 処 理3. 確 率 伝 搬 法4. まとめ10 June, 2009 CIVM200906 (Kyoto) 8

画 像 修 復 の 確 率 モデル劣 化 画 像 = 原 画 像 + 白 色 ガウス 雑 音雑 音通 信 路原 画 像劣 化 画 像事 後 確 率644474448Pr ={ 原 画 像 | 劣 化 画 像 }尤 度事 前 確 率64447444864748Pr{ 劣 化 画 像 | 原 画 像 } Pr{ 原 画 像 }Pr{ 劣 化 画 像 }14243周 辺 尤 度10 June, 2009 CIVM200906 (Kyoto) 9

Prior Probabilityin Probabilistic Image ProcessingPrrr⎛1= ∑ ⎜ 2⎝ { i,j}{ }⎜ ( )2X x ∝ exp − α x −⎟i x ⎟∈Ej⎞⎠10 June, 2009 CIVM200906 (Kyoto) 10

2 値 画 像 の 事 前 確 率 (Prior Probability)∝ 1∝ 1= >∝ e−α / 2 ∝ e −α / 2=?問 題 設 定画 素 の 周 辺 の 状 態 が 固 定 されているとき 着 目 画 素 の 状 態 は?>赤 い 線 が 少 ないほど 確 率 が 高 くなるように 確 率 モデルを 設 計周 りが 白 ければ 着 目 画 素 も 白 くあるべき10 June, 2009 CIVM200906 (Kyoto) 11

2 値 画 像 の 事 前 確 率 (Prior Probability)∝ 1∝ 1= >∝ e−α / 2 ∝ e −α / 2=?-?問 題 設 定画 素 の 周 辺 の 状 態 が 固 定 されているとき 着 目 画 素 の 状 態 は?> = >赤 い 線 が 少 ないほど 確 率が 高 くなるように 確 率 モデルを 設 計画 素 がいくつか 集 まると 周 りの 画 素 の 状 態をよく 見 ながら 自 分 の 状 態 を 決 めないといけなくなるもっとたくさん 集 まったらどうなるか?10 June, 2009 CIVM200906 (Kyoto) 12

ゆらぎが 大 きいときに 何 が 実際 に 起 こっているのか?最 近 接 画 素 間の 共 分 散マルコフ 連 鎖モンテカルロ法 によるサンプリング1.00.80.60.40.20.0α0.0 0.2 0.4 0.6 0.8 1.0α が 小 さいpMarkov Networkα が 大 きい無 秩 序 状 態ゆらぎが 大 きく 点 の 近 くのパターン秩 序 状 態10 June, 2009 CIVM200906 (Kyoto) 13

ゆらぎが 大 きいときのパターンを 画 像 処 理 に 使 えるか?最 近 接 画素 間 の 共分 散1.00.80.60.40.20.0小α大0.0 0.2 0.4 0.6 0.8 1.0pMarkov Network似 ている10 June, 2009 CIVM200906 (Kyoto) 14

強 磁 性 体 と 確 率 モデルIsing モデル=>=x画 像 は 各 画 素 ごとの強 さの 異 なる 光 であらわされる.共 通 点 :まわりと 同 じ 状 態 をとろうとする=y0 255> =Markov Random Field (MRF) モデル10 June, 2009 CIVM200906 (Kyoto) 15

PrrPrior Probabilityin Probabilistic Image Processingr⎛{ X = x} ∝ exp⎜⎜ − α ∑ ( x −⎟ ⎟ i x j ) 22{ i,j}∈E ⎠⎝1Samples are generated by MCMC.⎞{ 1,2,L V }V = ,α = 0.0001α = 0.0005 α = 0. 0030E : Set ofall the linksMarkov Chain Monte Carlo Method10 June, 2009 CIVM200906 (Kyoto) 16

Degradation ProcessAdditive White Gaussian NoisePrrrrr{ }⎛Y = y X = x ∝ ∏exp⎜− ( x − ) i y ii∈V⎝12σ22⎞⎟⎠10 June, 2009 CIVM200906 (Kyoto) 17

gPrベイズ 統 計 と 画 像 処 理r r r r{ X = x Y = y}⎛⎜ 1∝ exp −⎜ 2σ⎝{ X = x}=∑Prr r r r r r{ Y = y X = x} Pr{ X = x}Prrr{ Y = y}122( x − y ) − α ( x − x ) ⎟⎟2 i i2i∈Vx r{ }Pr Pr Y = y X = x事 後 確 率事 前 確 率原 画 像∑i{ i,j}∈Ej⎞⎠rrrr加 法 的 白 色 ガウス 雑 音または2 元 対 称 通 信 路y r劣 化 画 像画 像 処 理 は 平 均 , 分 散 , 共 分 散 の 計 算 に 帰 着10 June, 2009 CIVM200906 (Kyoto) 18

Statistical Estimation of HyperparametersyHyperparameters α, σ are determined so as tomaximize the marginal likelihood Pr{Y=y|α,σ} withrespect to α, σ.( ˆ, α ˆ) σΩxr== arg maxPr{ Y y | α,σ}( α,σ )r rr r r r r rPr{ Y = y | α,σ}= ∑ Pr{ Y = y | X = z,σ}Pr{X = zrzrOriginalx r Imager r r rg| α}10 June, 2009 CIVM200906 (Kyoto) 19rrPr{ X = x | α}Pr{ Y y | X = x,σ}rPr{ Y =Marginal LikelihoodDegraded Image= y rMarginalized with respect to Xry | α,σ}

Maximization of Marginal Likelihood byEM AlgorithmrrrMarginalrr rrPr{ Y = y | α , σ } = ∑ Pr{ Y = y | X = z,σ }Pr{ X = x | α}Likelihoodrz(rQ α,σ α',σ',y)Q-Functionr r r rr r r r= ∑ Pr{ X = z | Y = y,α',σ'}lnPr{X = z,Y = y | α,σ}E - StepQM - Step:rzEM (Expectation Maximization) AlgorithmE-step and M-Step are iterated until convergence:( α , σ α () t , σ () t )← ∑ rz:rPr{ Xr r= z | Y =( α ( t + 1 ),σ ( t + 1))rry,α ( t),σ ( t)}ln Pr{ X←argmax( α , β )Q=r rz,Y=( α , σ α () t , σ () t ).ry | α , σ }10 June, 2009 CIVM200906 (Kyoto) 20

Contents1. 序 論2. 確 率 的 画 像 処 理3. 確 率 伝 搬 法4. まとめ10 June, 2009 CIVM200906 (Kyoto) 21

計 算 困 難 のポイントは 何 か2 L 通 りの 和 が 計 算 できるか?∑ ∑ L ∑x = T, F x = T, F x = T, F1 2Lf( x , x , L,x )このプログラムではL=10 個 のノードで1 秒 かかるとしたらL=20 個 で 約 17 分 ,L=30 個 で 約 12 日 ,L=40 個 で 約 34 年 かかる.厳 密 に 計 算 するのは 一 部 の 特 殊 な 例 を除 いて 難 しい.マルコフ 連 鎖 モンテカルロ 法確 率 伝 搬 法12La ← 0;for( x1for( xM2for( x= T or F){La ←}M}}今 回= T or F){=T or F){a + f( x , x , L,x )12L 重 ループL;10 June, 2009 CIVM200906 (Kyoto) 22

扱 いやすい 確 率 モデルのグラフ 表 現扱 いやすい 確 率 モデルの 数 理 構 造∑ ∑∑A= T, F B= T, F C=T, Ff ( A,D)g(B,D)h(C,D)= ⎛ ⎞⎛⎞⎛⎞⎜ ∑ f ( A,D)⎟⎜ ∑ g(B,D)⎟⎜ ∑ h(C,D)⎟⎝ A=T,F ⎠⎝B=T,F ⎠⎝C=T,F ⎠別 々に 和 を 計 算 できる扱 いやすくない 確 率 モデルの 数 理 構 造∑ ∑∑A= T, F B= T, F C=T, Ff ( A,B)g(B,C)h(C,A)∑ ∑ ∑A= T, F B= T, F C=T, F∑ ∑ ∑A= T, F B= T, F C=T, FADB C木 構 造 をもつグラフ 表 現AB C別 々に 和 を 計 算 することが 難 しい 閉 路 を 含 むグラフ 表 現10 June, 2009 CIVM200906 (Kyoto) 23

転 送 行 列 法 = 確 率 伝 搬 法 (1)RLPr1 次 元 鎖rr1ZN − 1∏i=1{ X = x} = W ( x x )i, i+1 i ,k −1k −1 →kk ∑∑ ∑ ∏ i,i+1 i ,x x x i=1i+1( x ) ≡ L ⎜ W ( x x )1 2 k−1N −1k + 1 →kk ∑∑ ∑ ∏ i,i+1 i ,x x x i=k⎛⎜⎝10 June, 2009 CIVM200906 (Kyoto) 24i+1( x ) ≡ L ⎜ W ( x x )k+ 1 k+ 2 N−1⎛⎜⎝i+1⎞⎟⎟⎠⎞⎟⎟⎠LkR−1→k( xk)kk+1→kk( x )k

転 送 行 列 法 = 確 率 伝 搬 法 (2)漸 化 式( x ) L ( x ) W ( x x )Lk→ k + 1 k + 1 = ∑ k −1→kk k,k + 1 k , k + 1RPrx k( x )10 June, 2009 CIVM200906 (Kyoto) 25Lk−1→( xk−1) = ∑Wk−1,k ( xk−1xk) Rk+ 1→k( xk)xkk −1R k xk →k−1 ,{ X = x } = LL Pr{ X = x}mm=∑∑ ∑ ∑ ∑ ∑x x x x x x1 2 m− 1 m+ 1 m+ 2 N−1∑xLmm−1→mLm−1→mパスはひとつ( xm) Rm+1→m( xm)( x ) R ( x )mm+1→mk( )→k−1 k −1mkkkrRL k xk( )→k+1 k +1+1k +1→kr( x )k

閉 路 のないグラフ 上 の 確 率 伝 搬 法Prrr1ZN∏ − 1i=1{ X = x} = W ( x x )i, i+1 i ,i+1X 1X 2X 3X k − 3X k −1閉 路 が 無 いことが 重 要 !!同 じノードは2 度 通 らないMk →k+ 1( x ) = L ⎜ W ( x , x )k + 1=X k +1∑∑ ∑ ∏x x x∑x1 2kMX kk⎛⎜⎝k −1→kki=1i,i+1( x ) M ( x ) M ( x ) W ( x , x )kX k − 2k −2→kk −3→kk,k + 110 June, 2009 CIVM200906 (Kyoto) 26ii+1k⎞⎟⎟⎠kkk + 1

確 率 的 画 像 処 理 における確 率 伝 搬 法 (Belief Propagation)着 目 画 素 とその 近 傍 画 素 だけを 残 すと 木 構 造 になる.確 率 伝 搬 法 (Belief Propagation)の 統 計 的 近 似 アルゴリズムとしての 転 用10 June, 2009 CIVM200906 (Kyoto) 27

閉 路 のあるグラフ 上 の 確 率 モデルの 確 率 伝 搬 法 (Belief Propagation)M1→24( x )2315=2∑1Φ∑∑zzz1 212ΦrM( z , x ) M ( z ) M ( z ) M ( z )121( z , z ) M ( z ) M ( z ) M ( z )122閉 路 のあるグラフ 上 でも 局 所 的 な構 造 だけに 着 目 してアルゴリムを構 成 することは 可 能 .ただし, 得 られる 結 果 は 厳 密 ではなく 近 似 アルゴリズムrΨ3→13→1r( ) M114→14→15→15→1=メッセージに 対 する 固定 点 方 程 式平 均 , 分 散 , 共 分 散 はこのメッセージを 使 ってあらわされる111110 June, 2009 CIVM200906 (Kyoto) 28

確 率 的 画 像 処 理 における確 率 伝 搬 アルゴリズムの 基 本 構 造4 近 傍 の 場 合 は3 入 力 1 出 力 の 更 新 式ひとつの 画 素 ごとに4 種 類 の 更 新 パターン画 素 上 での動 作 の 様 子の 一 例10 June, 2009 CIVM200906 (Kyoto) 29

Belief PropagationInputUpdate Rule of BPBPEM43125Output10 June, 2009 CIVM200906 (Kyoto) 30

( α ( t + 1 ),σ ( t + 1))Maximization of MarginalLikelihood by EM Algorithm← arg max Q( α , σ )r( α , σ α ( t) , σ ( t), g ).ˆ σˆ αExactExact= 37.624= 0.000713Exact0.0010.00080.0006)xˆ0.0004= m( ˆ, α ˆ, σ yy r 00 20 40 60 80 1000.0002ˆ σˆ αLBPLBP= 36.335= 0.00060010 June, 2009 CIVM200906 (Kyoto) 31rrLoopy Belief Propagationr

Image Restoration by MRF andConventional FiltersMSEOriginal ImageDegraded ImageStatistical MethodLowpassFilter(3x3)(5x5)327388413MedianFilter(3x3)(5x5)4864451MSE =| V |∑ ( x − ˆ ) 2i x ii∈VRestoredImageMRF(3x3) Lowpass(5x5) Median10 June, 2009 CIVM200906 (Kyoto) 32

Digital Images Inpaintingbased on MRFInputMarkovRandomOutputFieldM. Yasuda, J. Ohkuboand K. Tanaka:Proceedings ofCIMCA&IAWTIC2005.10 June, 2009 CIVM200906 (Kyoto) 33

結 合 ガウス・マルコフ 確 率 場 モデルP(x|y)1⎛⎜ 1= −− − −⎜ ∑ x y 2 1exp∑ uZ⎝σ ( i i ) α (12 22i∈V{ i,j } ∈E{ i,j})( xi−xj)2− γV⎞( u) ⎟⎟⎠ライン 場 についての 事 前 情 報 V(u)ライン 場 を 量 子 化 することでさらなる 拡 張 が 可 能 10 June, 2009 CIVM200906 (Kyoto) 34

結 合 ガウス・マルコフ 確 率 場 モデル原 画 像 劣 化 画 像 ライン 場 のない確 率 場 モデルライン 場 を 導 入 した確 率 場 モデル量 子 ライン 場 を 導 入 した確 率 場 モデル10 June, 2009 CIVM200906 (Kyoto) 35

結 合 ガウス・マルコフ 確 率 場 モデル原 画 像 劣 化 画 像ライン 場 のない確 率 場 モデルライン 場 を 導 入 した確 率 場 モデル量 子 ライン 場 を 導 入 した確 率 場 モデル10 June, 2009 CIVM200906 (Kyoto) 36

Contents1. 序 論2. 確 率 的 画 像 処 理3. 確 率 伝 搬 法4. まとめ10 June, 2009 CIVM200906 (Kyoto) 37

確 率 モデルによる 画 像 処 理 技 術 入 門ベイズ 統 計 をつかった 画 像 処 理画 像 処 理 の 事 前 分 布磁 性 体 の 物 理 モデルとの 類 似 性確 率 伝 搬 法 (Belief(Propagation)10 June, 2009 CIVM200906 (Kyoto) 38

標 本 平 均 による 統 計 的 性 能H. Nishimori: Statistical Physics of Spin Glasses and InformationProcessing, ---An Introduction, Oxford University Press, 2001.Mean Square Error の 標 本 平 均スピングラス 理論 による 解 析 的評 価 が 可 能脳 の 物 理 モデルの 記 憶 容 量 ,パーセプトロンの 容 量の 評 価 に 類 似 の 議 論Prior Probabilityy r 1→1x r 122x rx r 3原 画 像Noiseマルコフ 連 鎖 モンテカルロ 法y r 1→y r 2→12→2y r y r 3→1y r 3→2劣 化 画 像Markov Networkm r 1→1m r 2→1m r 1→2m r 2→2m r 1→3m r 2→3推 定 画 像10 June, 2009 CIVM200906 (Kyoto) 39

g統 計 的 性 能 評 価1M ≡V1=V∫∫rhrh( y) − x Pr{ X = x,Y = y}rrr22rrrrrrr rdydx( ) { } y − x Pr Y = y X = x Pr{ X = x} dydxrrr事 前 確 率 P(x)r ( ) y rP yr xrrrr劣 化 過 程x r ( )原 画 像劣 化 画 像rh( yr )修 復 画 像Pxryr事 後 確 率10 June, 2009 CIVM200906 (Kyoto) 40

References1. K. Tanaka: Statistical-Mechanical Approach to Image Processing(Topical Review), J. Phys. A, 35, , 2002.2. 田 中 和 之 編 著 : 臨 時 別 冊 ・ 数 理 科 学 SGCライブラリ「 確 率 的 情 報 処理 と 統 計 力 学 --- 様 々なアプローチとそのチュートリアル」, サイエンス 社 , 2006.3. 田 中 和 之 著 : 確 率 モデルによる 画 像 処 理 技 術 入 門 , 森 北 出 版 ,2006.4. C. M. Bishop: Pattern Recognition and Machine Learning,Springer, 2006.5. M. J. Wainwright and M. I. Jordan: Graphical Models,Exponential Families, and Variational Inference, now PublishingInc, 2008.6. M. Mezard, , A. Montanari: : Information, Physics, andComputation, Oxford University Press, 2009.10 June, 2009 CIVM200906 (Kyoto) 41