* Baum-Welchアルゴリズム (Baum-Welch algorithm) [#e2b8d1a2]

//ここには %項目の説明を書いてください.よろしければ署名しておいてください.

与えられた観測系列 \(O=O_1 O_2 \cdots O_T\) から,EMアルゴリズムで隠れMarkovモデルのパラメータ \(\lambda=(A,B,\pi)\) を推定するアルゴリズム.


''入力''
-観測系列:観測されたシンボルの系列 \(O=O_1 O_2 \cdots O_T\)


''出力''
-隠れMarkovモデル:\(\lambda=(A,B,\pi)\)
--遷移確率分布 \(A\):1次のモデルを想定し,状態 \(S_i\) から状態 \(S_j\) へ遷移する確率 \(a_{ij}=\Pr[q_{t+1}=S_j|q_t=S_i]\)
--観測シンボル確率分布 \(B\):状態 \(S_j\) でシンボル \(v_k\) が出力される確率 \(b_j(k)=\Pr[v_k|q_t=S_j]\)
--初期状態分布 \(\pi\):時刻 \(t=1\) で状態 \(S_i\) にある確率 \(\pi_i=\Pr[q_1=S_i]\)


''定義''
-時刻 \(t\) で状態 \(S_i\) にあり,その時刻までの系列を出力する確率
\[\alpha_t(i)=\Pr[O_1,O_2,\ldots,O_t,q_t=S_i|\lambda]\]
-時刻 \(t\) で状態 \(S_i\) にいるとして,時刻 \(t+1\) から最後までの系列を出力する確率
\[\beta_t(i)=\Pr[O_{t+1},O_{t+2},\ldots,O_T|q_t=S_i,\lambda]\]
-時刻 \(t\) で状態 \(S_i\) にあり,次の時刻 \(t+1\) で状態 \(S_j\) にいる確率
\[\xi_t(i,j)=\Pr[q_t=S_i,q_{t+1}=S_j|O,\lambda]\]
-時刻 \(t\) で状態 \(S_i\) にいる確率
\[\gamma_t(i)=\Pr[q_t=S_i|O,\lambda]\]

*** アルゴリズム [#r2fc90d8]

モデル \(\lambda=(A,B,\pi)\) を均一分布などで初期化.
以下のステップを収束するまで反復する.

''E-ステップ''

現在のモデルを使って ξ や γ の期待値を計算.

-αの計算
\[\alpha_1(i)=\pi_ib_i(O_1)\]
\[\alpha_{t+1}(j)=\Bigl[\sum_{i=1}^N \alpha_t(i) a_{ij}\Bigr]b_j(O_{t+1})\]
-βの計算
\[\beta_T(i)=1\]
\[\beta_t(i)=\sum_{j=1}^N a_{ij}b_j(O_{t+1})\beta_{t+1}(j)\]
-ξの計算
\[\Pr[O|\lambda]=\sum_{i=1}^N\sum_{j=1}^N\alpha_t(i)a_{ij}b_j(O_{t+1})\beta_{t+1}(j)\]
\[\xi_t(i,j)=\frac{\alpha_t(i)a_{ij}b_j(O_{t+1})\beta_{t+1}(j)}{\Pr[O|\lambda]}\]
-γの計算
\[\gamma_t(i)=\sum_{j=1}^N \xi_t(i,j)\]

''M-ステップ''

モデル \(\lambda=(A,B,\pi)\) を更新.
\[\pi_i=\gamma_1(i)\]
\[a_{ij}=\frac{\sum_{t=1}^{T-1}\xi_t(i,j)}{\sum_{t=1}^{T-1}\gamma_t(i)}\]
\[b_j(k)=\frac{\sum_{t=1,\mbox{s.t.}O_t=v_k}^T \gamma_t(j)}{\sum_{t=1}^T \gamma_t(j)}\]

>--しましま

**関連項目 [#q589f11e]

//英語や同義語のあとに,#brで区切って関連する項目をリストしてください.

-[[Baum-Welch algorithm]]
#br
-[[隠れMarkovモデル]]
-[[Viterbiアルゴリズム]]
-[[EMアルゴリズム]]
-[[最尤推定]]
#br
-[[検索:Baum-Welchアルゴリズム]]

**リンク集 [#s017a05b]

//関連するWWW資源があればリンクしてください.
-[[Wikipedia:Baum-Welch_algorithm]]

**関連文献 [#g7d926fa]

//この%項目%に関連する書籍や論文を紹介してください.

-基本文献~
L.E.Baum and T.Petrie "Statistical inference for probabilistic functions of finite state Markov chains" The Annals of Mathematical Statistics, vol.37, pp.1554-1563 (1966)~
[[GoogleScholarAll:Statistical inference for probabilistic functtions of finite state Markov chains]]
-L.E.Baum, T.Petrie, G.Soules, and N.Weiss "A Maximization Technique Occurring In The Statistical Analysis of Probablistic Functions of Markov Chains" The Annals of Mathematical Statistics, vol.41, no.1, pp.164-171 (1970)~
[[GoogleScholarAll:A Maximization Technique Occurring In The Statistical Analysis of Probablistic Functions of Markov Chains]]
-チュートリアル~
L. R. Rabiner, "A Tutorial on Hidden {Markov} Models and Selected Applications in Speech Recognition", Proc. of The IEEE, pp.257-286 (1989)~
[[GoogleScholarAll:A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition]]
-[[Book/Pattern Recognition and Machine Learning]] 13.2.2章
-[[Book/確率的言語モデル]] 4.6章
-[[Book/フリーソフトでつくる音声認識システム]] 10.4.3節

トップ   編集 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS