損失関数 の変更点

• 追加された行はこの色です。
• 削除された行はこの色です。
• 損失関数 へ行く。

* 損失関数 (loss function) [#n72911a1]

//ここには %項目の説明を書いてください．よろしければ署名しておいてください．

- 入出力をまとめたデータを \(z\)：クラス分類ならクラスと特徴ベクトルの対であり，回帰なら独立変数と従属変数の対．
- \(f\)：データを処理する関数

\(L(z;f)\)：''損失関数 (loss function)''は推定の悪さを定義した関数

- 回帰の場合は，データは \(z=(x,y)\) で，\(L(z,f)=(y-f(x))^2\) のような ''二乗損失 (squared loss)'' が利用される
- クラス分類の場合は，データは \(z=(x,c)\) で，クラス \(c\) と関数の出力クラス \(f(x)\) が一致すれば 0，そうでなければ 1 をとる ''0/1損失 (0/1 loss)'' が利用される
- \(f(\cdot;\theta)\) がパラメトリックな確率分布だったとき，対数損失は\(-\log f(\cdot;\theta)\)．この損失関数を使った期待損失の最小化は，真の分布と予測した分布のKullback-Leiblerダイバージェンスの最小化になっている．
- その他：[[SVM]]で用いられる[[ヒンジ損失関数>ヒンジ関数]]，サポートベクトル回帰の[[ε許容誤差関数>サポートベクトル回帰]]，ロバスト統計で用いられる[[Huber関数]]，ブースティングの指数損失関数などが代表的．

> -- しましま

** 関連項目 [#d9c37e00]

//英語や同義語のあとに，#brで区切って関連する項目をリストしてください．
-[[loss function]]
#br
-[[ヒンジ損失関数>ヒンジ関数]]
-[[ε許容誤差>サポートベクトル回帰]]
-[[Huber関数]]
-[[リグレット]]
-[[汎化誤差]]
-[[標本誤差]]
-[[経験損失最小化]]
#br
-[[検索:損失関数]]

** リンク集 [#c5bfb259]

//関連するWWW資源があればリンクしてください．

-[[Wikipedia:Loss_function]]

** 関連文献 [#ob029ba3]

//この%項目%に関連する書籍や論文を紹介してください．

-[[Book/わかりやすいパターン認識]] 8.2節
-[[Book/パターン認識と学習の統計学(統計科学のフロンティア6)]] I部 3.2節
-[[Book/Pattern Recognition and Machine Learning]] 1.5.2節
-[[Book/The Elements of Statistical Learning]] 7.2節，10.6節