パラメータで記述されたモデルのクラスからモデルを選択する基準. パラメータそのものを符号化する符号長と,そのパラメータのときの分布を使ったデータの記述長の総和を使う二段階符号化をしたとき,記述長が最小になる分布を選ぶ.
minmaxの考えに基づき,パラメータの符号化法には,期待的に最も悪い,すなわち,パラメータが均一分布する場合の符号化法を選び,その符号化法を使ったときデータの記述長が最小になるモデルを選択する.
\(k\) 個のコンパクトなパラメータがあり,分布 \(f(x|\theta)\) に従って \(N\) 個のデータがサンプルされているときは次の符号長が用いられる. \[\mathrm{MDL}=-\log[\Pr(\{x\}^N|\theta)]+\frac{k}{2}\log{N}\] 第1項はデータ \(\{x\}^N\) の尤度,第2項はパラメータの記述長. 第2項は,標準偏差に比例するように \(1/\sqrt{N}\) に比例する幅でパラメータの値域を分割して,そのセルの一つを指定することで符号化することをk回繰り返したものとみなせる.
確率を主観確率とみなす BIC に対し,MDLは頻度主義の立場にたつ.
-- しましま,こびと