* 損失関数 (loss function) [#n72911a1]

//ここには %項目の説明を書いてください.よろしければ署名しておいてください.

- 入出力をまとめたデータを \(z\):クラス分類ならクラスと特徴ベクトルの対であり,回帰なら独立変数と従属変数の対.
- \(f\):データを処理する関数

\(L(z;f)\):''損失関数 (loss function)''は推定の悪さを定義した関数

- 回帰の場合は,データは \(z=(x,y)\) で,\(L(z,f)=(y-f(x))^2\) のような ''二乗損失 (squared loss)'' が利用される
- クラス分類の場合は,データは \(z=(x,c)\) で,クラス \(c\) と関数の出力クラス \(f(x)\) が一致すれば 0,そうでなければ 1 をとる ''0/1損失 (0/1 loss)'' が利用される
- \(f(\cdot;\theta)\) がパラメトリックな確率分布だったとき,対数損失は\(-\log f(\cdot;\theta)\).この損失関数を使った期待損失の最小化は,真の分布と予測した分布のKullback-Leiblerダイバージェンスの最小化になっている.
- その他:[[SVM]]で用いられる[[ヒンジ損失関数>ヒンジ関数]],サポートベクトル回帰の[[ε許容誤差関数>サポートベクトル回帰]],ロバスト統計で用いられる[[Huber関数]],ブースティングの指数損失関数などが代表的.

> -- しましま

** 関連項目 [#d9c37e00]

//英語や同義語のあとに,#brで区切って関連する項目をリストしてください.
-[[loss function]]
#br
-[[ヒンジ損失関数>ヒンジ関数]]
-[[ε許容誤差>サポートベクトル回帰]]
-[[Huber関数]]
-[[リグレット]]
-[[汎化誤差]]
-[[標本誤差]]
-[[経験損失最小化]]
#br
-[[検索:損失関数]]

** リンク集 [#c5bfb259]

//関連するWWW資源があればリンクしてください.

-[[Wikipedia:Loss_function]]

** 関連文献 [#ob029ba3]

//この%項目%に関連する書籍や論文を紹介してください.

-[[Book/わかりやすいパターン認識]] 8.2節
-[[Book/パターン認識と学習の統計学(統計科学のフロンティア6)]] I部 3.2節
-[[Book/Pattern Recognition and Machine Learning]] 1.5.2節
-[[Book/The Elements of Statistical Learning]] 7.2節,10.6節

トップ   編集 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS