最小記述長 (minimum description length; MDL)

パラメータで記述されたモデルのクラスからモデルを選択する基準. パラメータそのものを符号化する符号長と,そのパラメータのときの分布を使ったデータの記述長の総和を使う二段階符号化をしたとき,記述長が最小になる分布を選ぶ.

minmaxの考えに基づき,パラメータの符号化法には,期待的に最も悪い,すなわち,パラメータが均一分布する場合の符号化法を選び,その符号化法を使ったときデータの記述長が最小になるモデルを選択する.

\(k\) 個のコンパクトなパラメータがあり,分布 \(f(x|\theta)\) に従って \(N\) 個のデータがサンプルされているときは次の符号長が用いられる. \[\mathrm{MDL}=-\log[\Pr(\{x\}^N|\theta)]+\frac{k}{2}\log{N}\] 第1項はデータ \(\{x\}^N\) の尤度,第2項はパラメータの記述長. 第2項は,標準偏差に比例するように \(1/\sqrt{N}\) に比例する幅でパラメータの値域を分割して,そのセルの一つを指定することで符号化することをk回繰り返したものとみなせる.

確率を主観確率とみなす BIC に対し,MDL頻度主義の立場にたつ.

-- しましま,こびと

関連項目

リンク集

関連文献


トップ   編集 凍結 差分 履歴 添付 複製 名前変更 リロード   新規 一覧 検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2016-02-11 (木) 20:20:41