* Baum-Welchアルゴリズム (Baum-Welch algorithm) [#e2b8d1a2]
//ここには %項目の説明を書いてください．よろしければ署名しておいてください．
与えられた観測系列 \(O=O_1 O_2 \cdots O_T\) から，EMアルゴリズムで隠れMarkovモデルのパラメータ \(\lambda=(A,B,\pi)\) を推定するアルゴリズム．
''入力''
-観測系列：観測されたシンボルの系列 \(O=O_1 O_2 \cdots O_T\)
''出力''
-隠れMarkovモデル：\(\lambda=(A,B,\pi)\)
--遷移確率分布 \(A\)：1次のモデルを想定し，状態 \(S_i\) から状態 \(S_j\) へ遷移する確率 \(a_{ij}=\Pr[q_{t+1}=S_j|q_t=S_i]\)
--観測シンボル確率分布 \(B\)：状態 \(S_j\) でシンボル \(v_k\) が出力される確率 \(b_j(k)=\Pr[v_k|q_t=S_j]\)
--初期状態分布 \(\pi\)：時刻 \(t=1\) で状態 \(S_i\) にある確率 \(\pi_i=\Pr[q_1=S_i]\)
''定義''
-時刻 \(t\) で状態 \(S_i\) にあり，その時刻までの系列を出力する確率
\[\alpha_t(i)=\Pr[O_1,O_2,\ldots,O_t,q_t=S_i|\lambda]\]
-時刻 \(t\) で状態 \(S_i\) にいるとして，時刻 \(t+1\) から最後までの系列を出力する確率
\[\beta_t(i)=\Pr[O_{t+1},O_{t+2},\ldots,O_T|q_t=S_i,\lambda]\]
-時刻 \(t\) で状態 \(S_i\) にあり，次の時刻 \(t+1\) で状態 \(S_j\) にいる確率
\[\xi_t(i,j)=\Pr[q_t=S_i,q_{t+1}=S_j|O,\lambda]\]
-時刻 \(t\) で状態 \(S_i\) にいる確率
\[\gamma_t(i)=\Pr[q_t=S_i|O,\lambda]\]
*** アルゴリズム [#r2fc90d8]
モデル \(\lambda=(A,B,\pi)\) を均一分布などで初期化．
以下のステップを収束するまで反復する．
''E-ステップ''
現在のモデルを使って ξ や γ の期待値を計算．
-αの計算
\[\alpha_1(i)=\pi_ib_i(O_1)\]
\[\alpha_{t+1}(j)=\Bigl[\sum_{i=1}^N \alpha_t(i) a_{ij}\Bigr]b_j(O_{t+1})\]
-βの計算
\[\beta_T(i)=1\]
\[\beta_t(i)=\sum_{j=1}^N a_{ij}b_j(O_{t+1})\beta_{t+1}(j)\]
-ξの計算
\[\Pr[O|\lambda]=\sum_{i=1}^N\sum_{j=1}^N\alpha_t(i)a_{ij}b_j(O_{t+1})\beta_{t+1}(j)\]
\[\xi_t(i,j)=\frac{\alpha_t(i)a_{ij}b_j(O_{t+1})\beta_{t+1}(j)}{\Pr[O|\lambda]}\]
-γの計算
\[\gamma_t(i)=\sum_{j=1}^N \xi_t(i,j)\]
''M-ステップ''
モデル \(\lambda=(A,B,\pi)\) を更新．
\[\pi_i=\gamma_1(i)\]
\[a_{ij}=\frac{\sum_{t=1}^{T-1}\xi_t(i,j)}{\sum_{t=1}^{T-1}\gamma_t(i)}\]
\[b_j(k)=\frac{\sum_{t=1,\mbox{s.t.}O_t=v_k}^T \gamma_t(j)}{\sum_{t=1}^T \gamma_t(j)}\]
>--しましま
**関連項目 [#q589f11e]
//英語や同義語のあとに，#brで区切って関連する項目をリストしてください．
-[[Baum-Welch algorithm]]
#br
-[[隠れMarkovモデル]]
-[[Viterbiアルゴリズム]]
-[[EMアルゴリズム]]
-[[最尤推定]]
#br
-[[検索:Baum-Welchアルゴリズム]]
**リンク集 [#s017a05b]
//関連するWWW資源があればリンクしてください．
-[[Wikipedia:Baum-Welch_algorithm]]
**関連文献 [#g7d926fa]
//この%項目%に関連する書籍や論文を紹介してください．
-基本文献~
L.E.Baum and T.Petrie "Statistical inference for probabilistic functions of finite state Markov chains" The Annals of Mathematical Statistics, vol.37, pp.1554-1563 (1966)~
[[GoogleScholarAll:Statistical inference for probabilistic functtions of finite state Markov chains]]
-L.E.Baum, T.Petrie, G.Soules, and N.Weiss "A Maximization Technique Occurring In The Statistical Analysis of Probablistic Functions of Markov Chains" The Annals of Mathematical Statistics, vol.41, no.1, pp.164-171 (1970)~
[[GoogleScholarAll:A Maximization Technique Occurring In The Statistical Analysis of Probablistic Functions of Markov Chains]]
-チュートリアル~
L. R. Rabiner, "A Tutorial on Hidden {Markov} Models and Selected Applications in Speech Recognition", Proc. of The IEEE, pp.257-286 (1989)~
[[GoogleScholarAll:A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition]]
-[[Book/Pattern Recognition and Machine Learning]] 13.2.2章
-[[Book/確率的言語モデル]] 4.6章
-[[Book/フリーソフトでつくる音声認識システム]] 10.4.3節
![[PukiWiki]](image/ibisforest.png "[PukiWiki]")
