経験損失最小化 の変更点

• 追加された行はこの色です。
• 削除された行はこの色です。
• 経験損失最小化 へ行く。

* 経験損失最小化 (empirical risk minimization) [#m3165251]

//ここには %項目の説明を書いてください．よろしければ署名しておいてください．

損失関数 \(L(x,\theta)\) とデータ \(D\) について求めた経験損失 (標本誤差) \(R_{\mathrm{emp}}(\theta)\) を最小化するようにモデル \(\theta\in\Theta\) を選ぶ学習の規準．最尤推定もこの経験損失最小化の一種と見なせる．

経験損失を最小化しても，サンプリングされたデータによっては期待損失(汎化誤差) \(R(\theta)\) が小さくなるとは限らない．経験損失最小化で得られた解 \(\hat{\theta}\) と有限のVC次元 \(h\) について，2値の[[識別]]問題では次の関係が，確率 \(1-\eta\) で成り立つ．
\[R(\hat{\theta})\le R_{\mathrm{emp}}(\hat{\theta})+\frac{\epsilon}{2}\Bigl(1+\sqrt{\frac{4R_{\mathrm{emp}}(\hat{\theta})}{\epsilon}}\Bigr)\]
\[\epsilon=\frac{4}{N}\Bigl[h\Bigl(1+\frac{2N}{h}\Bigr)-\ln\frac{\eta}{4}\Bigr]\]

> -- しましま

** 関連項目 [#c23ade47]

//英語や同義語のあとに，#brで区切って関連する項目をリストしてください．
-[[empirical risk minimization]]
#br
-[[標本誤差]]
-[[構造的損失最小化]]
-[[VC次元]]
-[[PAC学習]]
-[[計算論的学習理論]]
#br
-[[検索:経験損失最小化]]

** リンク集 [#y069ac88]

//関連するWWW資源があればリンクしてください．

-[[Wikipedia:Supervised_learning#Empirical_risk_minimization]]

** 関連文献 [#i3a92603]

//この%項目%に関連する書籍や論文を紹介してください．

-[[Book/学習システムの理論と実現]] 3.5.1節
-[[Book/パターン認識と学習の統計学(統計科学のフロンティア6)]] 6.4節
-[[Book/The Elements of Statistical Learning]] 7.9節
-[[Book/サポートベクターマシン(知の科学)]] 6.5節