* 確率的コンプレクシティ (stochastic complexity) [#z7d67692]
//ここには %項目の説明を書いてください．よろしければ署名しておいてください．
いわゆる普通のエントロピーであるShannonエントロピーは，データの生成分布が機知のときの最短符号長．
それに対し，ある確率モデルのクラスのいずれかからデータが生成されている場合，そのデータの最短符号長．
確率モデルのクラスからのモデル選択の一つである，データの最小符号長を実現するモデルを採用する[[MDL]]原理では，当所は二段階符号化に基づいていた．これを，以下のようなその他の符号化方法にも一般化するために，この確率的コンプレクシティの概念が導入された．
*** 最尤符号化 [#nd385f65]
\(k\)個の実数値パラメータ\(\Theta_k\)で記述される確率モデルを考え，このモデルを\(k=1,\ldots,M\)と変化させたときの確率モデルの族\(\mathcal{M}\)を考える．
この族から生成された\(N\)個のデータからなるデータ集合\(X^N\)が与えられたとする．
このデータの\(\mathcal{M}\)で，データの生成確率が最大になるように\(\hat{k}\)と\(\hat{\Theta}_k\)を選んだときの，\(X^N\)の尤度を \(\Pr[X^N;\hat{k},\hat{\Theta}_k]\) と書く．
同じ大きさの全てのデータ集合についてのこの尤度の総和が\(1\)となるように正規化したときの\(X^n\)の符号長は次式になり，こうした符号化手法を最尤符号化 (maximum likelihood coding) と呼ぶ
\[-\log\biggl(\frac{\Pr[X^N;\hat{k},\hat{\Theta}_k]}{\sum_{Y^N}\Pr[Y^N;\hat{k},\hat{\Theta}_k]}\biggr)\]
実際にはこの式の分母の計算は，一般には無理だが，漸近的に次式に等しくなることを利用して計算できる．
\[-\log\Pr[X^N;\hat{k},\hat{\Theta}_k]+\frac{k}{2}\log\frac{N}{2\pi}+\log\int\sqrt{|I(\Theta)|}d\Theta+o(1)\]
ただし，\(I(\Theta)\)はFisher情報行列．
前半の\(-\log\text{尤度}+\frac{k}{2}\log N\)の項は二段階符号化を使ったときの符号長と一致する．
その他，[[BIC]]とも同様の考えのベイズ符号化や，データを一個ずつ符号化する予測的符号化でも同様の式が得られることが知られる．
> -- しましま
** 関連項目 [#y707391c]
//英語や同義語のあとに，#brで区切って関連する項目をリストしてください．
-[[stochastic complexity]]
#br
-[[情報量規準]]
-[[Kraftの不等式]]
-[[MDL]]
-[[二段階符号]]
-[[ユニバーサル符号]]
-[[劣確率分布]]
-[[情報理論]]
-[[モデル選択]]
-[[エントロピー]]
#br
-[[検索:確率的コンプレクシティ]]
** リンク集 [#kb3c8d47]
//関連するWWW資源があればリンクしてください．
** 関連文献 [#hed072b6]
//この%項目%に関連する書籍や論文を紹介してください．
- 基本文献~
J.Rissanen, "Stochastic Complexity" Journal of The Royal Statistical Society (B), vol.49, pp.223-239 (1987)~
[[GoogleScholarAll:Stochastic Complexity]]
- 基本文献~
J.Rissanen, "Stochastic Complexity and Modeling" Annals of Statistics, vol.49, pp.223-239 (1987)~
[[GoogleScholarAll:Stochastic Complexity and Modeling]]
- J.Rissanen "Stochastic Complexity in Statistical Inquiry" World Scientific (1989)
- 文献 1~
山西健司 "確率的コンプレクシティと学習理論" オペレーションズ・リサーチ, vol.41, no.7 (1996)~
[[GoogleScholarAll:確率的コンプレクシティと学習理論]]
- 山西 健司 "情報論的学習理論" 共立出版 (2010)~
Amazon.co.jpへのリンク：&amazon(4320122550);
![[PukiWiki]](image/ibisforest.png "[PukiWiki]")
