- 追加された行はこの色です。
- 削除された行はこの色です。
- 汎化誤差 へ行く。
* 汎化誤差 (generalization error) [#vd3a519a]
//ここには %項目の説明を書いてください．よろしければ署名しておいてください．
''汎化誤差 (generalization error)''とは，学習して獲得した識別器などの，サンプルの母集団に対する誤差．''期待損失 (expected risk)'' ともいう．
学習に使った訓練集合をテスト集合にして求めた誤差は，いわば答えをカンニングしたようなものなので，汎化誤差より一般に過小評価になる．
> -- しましま
-式で書けば，汎化誤差とは，パラメータθをもつ学習機械の誤差 \(R(x;\theta)\) を
母集団の分布 \(q(x)\) で平均した
\[\int q(x) R(x;\theta) dx\]
のことである．
-例えば， x が入力 u, 出力 v で，学習機械が入出力関数 \(f(v;\theta)\)
のとき，２乗誤差が定める汎化誤差は
\[\int\int (v - f(u;\theta))^2 q(v\mid u) q(u) dv du\]
である．
-学習機械が確率モデル \(p(x;\theta)\) で，
\(R(x;\theta)\) として負の対数尤度 \(-\log p(x;\theta)\) をとれば，汎化誤差は
\[-\int q(x) \log p(x;\theta) dx\]
となり，これにθによらない定数 \(\int q(x)\log q(x)dx\) を足したものは
母集団と学習機械の間のカルバックライブラーダイバージェンス
\[KL(q(x)||p(x;\theta)) = \int q(x)\log\frac{q(x)}{p(x;\theta)}dx\]
となる．
-モデル選択，正則化などは汎化誤差ができるだけ小さくなるようにするための方法である．
-学習理論といえば汎化誤差の理論のことである．．．といっても過言ではない
> --あかほ
**関連項目 [#x6cb3ba6]
//英語や同義語のあとに，#brで区切って関連する項目をリストしてください．
-[[generalization error]]
-[[期待損失]]
-[[empirical risk]]
#br
-[[損失関数]]
-[[経験誤差]]
-[[経験損失最小化]]
-[[構造的損失最小化]]
-[[ブートストラップ]]
-[[交差確認]]
-[[標本誤差]]
-[[確率的コンプレクシティ]]
#br
-[[検索:汎化誤差 期待損失]]
**リンク集 [#j75d3e93]
//関連するWWW資源があればリンクしてください．
-[[Wikipedia:Generalization_error]]
**関連文献 [#d81af34c]
//この%項目%に関連する書籍や論文を紹介してください．
-[[Book/パターン認識と学習の統計学(統計科学のフロンティア6)]] 6.2節
-[[Book/Pattern Recognition and Machine Learning]] 1.5.2節
-[[Book/サポートベクターマシン(知の科学)]] 6.4節
![[PukiWiki]](image/ibisforest.png "[PukiWiki]")
