* 経験損失最小化 (empirical risk minimization) [#m3165251]

//ここには %項目の説明を書いてください.よろしければ署名しておいてください.

損失関数 \(L(x,\theta)\) とデータ \(D\) について求めた経験損失 (標本誤差) \(R_{\mathrm{emp}}(\theta)\) を最小化するようにモデル \(\theta\in\Theta\) を選ぶ学習の規準.最尤推定もこの経験損失最小化の一種と見なせる.

経験損失を最小化しても,サンプリングされたデータによっては期待損失(汎化誤差) \(R(\theta)\) が小さくなるとは限らない.経験損失最小化で得られた解 \(\hat{\theta}\) と有限のVC次元 \(h\) について,2値の[[識別]]問題では次の関係が,確率 \(1-\eta\) で成り立つ.
\[R(\hat{\theta})\le R_{\mathrm{emp}}(\hat{\theta})+\frac{\epsilon}{2}\Bigl(1+\sqrt{\frac{4R_{\mathrm{emp}}(\hat{\theta})}{\epsilon}}\Bigr)\]
\[\epsilon=\frac{4}{N}\Bigl[h\Bigl(1+\frac{2N}{h}\Bigr)-\ln\frac{\eta}{4}\Bigr]\]

> -- しましま

** 関連項目 [#c23ade47]

//英語や同義語のあとに,#brで区切って関連する項目をリストしてください.
-[[empirical risk minimization]]
#br
-[[標本誤差]]
-[[構造的損失最小化]]
-[[VC次元]]
-[[PAC学習]]
-[[計算論的学習理論]]
#br
-[[検索:経験損失最小化]]

** リンク集 [#y069ac88]

//関連するWWW資源があればリンクしてください.

-[[Wikipedia:Supervised_learning#Empirical_risk_minimization]]

** 関連文献 [#i3a92603]

//この%項目%に関連する書籍や論文を紹介してください.

-[[Book/学習システムの理論と実現]] 3.5.1節
-[[Book/パターン認識と学習の統計学(統計科学のフロンティア6)]] 6.4節
-[[Book/The Elements of Statistical Learning]] 7.9節
-[[Book/サポートベクターマシン(知の科学)]] 6.5節

トップ   編集 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS