![[PukiWiki]](image/ibisforest.png "[PukiWiki]")
パラメータで記述されたモデルのクラスからモデルを選択する基準． パラメータそのものを符号化する符号長と，そのパラメータのときの分布を使ったデータの記述長の総和を使う二段階符号化をしたとき，記述長が最小になる分布を選ぶ．
minmaxの考えに基づき，パラメータの符号化法には，期待的に最も悪い，すなわち，パラメータが均一分布する場合の符号化法を選び，その符号化法を使ったときデータの記述長が最小になるモデルを選択する．
\(k\) 個のコンパクトなパラメータがあり，分布 \(f(x|\theta)\) に従って \(N\) 個のデータがサンプルされているときは次の符号長が用いられる． \[\mathrm{MDL}=-\log[\Pr(\{x\}^N|\theta)]+\frac{k}{2}\log{N}\] 第1項はデータ \(\{x\}^N\) の尤度，第2項はパラメータの記述長． 第2項は，標準偏差に比例するように \(1/\sqrt{N}\) に比例する幅でパラメータの値域を分割して，そのセルの一つを指定することで符号化することをk回繰り返したものとみなせる．
確率を主観確率とみなす BIC に対し，MDLは頻度主義の立場にたつ．
-- しましま，こびと
