経験損失最小化 (empirical risk minimization)

損失関数 \(L(x,\theta)\) とデータ \(D\) について求めた経験損失 (標本誤差) \(R_{\mathrm{emp}}(\theta)\) を最小化するようにモデル \(\theta\in\Theta\) を選ぶ学習の規準.最尤推定もこの経験損失最小化の一種と見なせる.

経験損失を最小化しても,サンプリングされたデータによっては期待損失(汎化誤差) \(R(\theta)\) が小さくなるとは限らない.経験損失最小化で得られた解 \(\hat{\theta}\) と有限のVC次元 \(h\) について,2値の識別問題では次の関係が,確率 \(1-\eta\) で成り立つ. \[R(\hat{\theta})\le R_{\mathrm{emp}}(\hat{\theta})+\frac{\epsilon}{2}\Bigl(1+\sqrt{\frac{4R_{\mathrm{emp}}(\hat{\theta})}{\epsilon}}\Bigr)\] \[\epsilon=\frac{4}{N}\Bigl[h\Bigl(1+\frac{2N}{h}\Bigr)-\ln\frac{\eta}{4}\Bigr]\]

-- しましま

関連項目

リンク集

関連文献


トップ   編集 凍結 差分 履歴 添付 複製 名前変更 リロード   新規 一覧 検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2010-02-11 (木) 16:13:09