損失関数 - 機械学習の「朱鷺の杜Wiki」

[ トップ ] [ 編集 | 凍結 | 差分 | バックアップ | 添付 | リロード ] [ 新規 | 一覧 | 単語検索 | 最終更新 | ヘルプ | ログイン ]

朱鷺の杜Wiki

参加しよう

Wiki超入門
練習用ページ
数式の表示
こびとさん
編集用ID: ibis
パスワード: 「VC次元」のVのフルスペルで最初だけ大文字

最新の30件
2020-07-19
- python
2020-07-16
- F値
2020-06-30
- DataSet
2020-06-24
- PRML/errata1
- バイアス-バリアンス
2020-06-10
- Paper
2020-04-28
- Book
2020-03-15
- PRML
- PRML/link
2020-01-13
- Wiki超入門
2019-12-17
- IBIS
2019-11-22
- しましま/IBIS2019
2019-11-04
- K-NEL
2019-10-29
- コスト考慮型学習
2019-07-10
- 人工知能学会全国大会
2019-06-30
- MCMC
2019-06-27
- PRML/errata2
2019-06-07
- しましま/人工知能学会全国大会2019
2019-04-07
- English
2019-03-11
- 経験ベイズ
2019-03-08
- しましま/IBISML036
- Meeting
2018-11-07
- しましま/IBIS2018
2018-08-24
- IRLS法
2018-07-26
- Article
2018-07-24
- 確率的勾配降下法
2018-07-19
- 機械学習
- 標本誤差
2018-06-11
- しましま/人工知能学会全国大会2018
2018-03-06
- しましま/IBISML032

カウンタ

累計: 44034
今日: 5
昨日: 6

損失関数 (loss function) †

入出力をまとめたデータを \(z\)：クラス分類ならクラスと特徴ベクトルの対であり，回帰なら独立変数と従属変数の対．
\(f\)：データを処理する関数

\(L(z;f)\)：損失関数 (loss function)は推定の悪さを定義した関数

回帰の場合は，データは \(z=(x,y)\) で，\(L(z,f)=(y-f(x))^2\) のような 二乗損失 (squared loss) が利用される
クラス分類の場合は，データは \(z=(x,c)\) で，クラス \(c\) と関数の出力クラス \(f(x)\) が一致すれば 0，そうでなければ 1 をとる 0/1損失 (0/1 loss) が利用される
\(f(\cdot;\theta)\) がパラメトリックな確率分布だったとき，対数損失は\(-\log f(\cdot;\theta)\)．この損失関数を使った期待損失の最小化は，真の分布と予測した分布のKullback-Leiblerダイバージェンスの最小化になっている．
その他：SVMで用いられるヒンジ損失関数，サポートベクトル回帰のε許容誤差関数，ロバスト統計で用いられるHuber関数，ブースティングの指数損失関数などが代表的．

-- しましま

関連項目 †

リンク集 †

Wikipedia:Loss_function

関連文献 †

Book/わかりやすいパターン認識 8.2節
Book/パターン認識と学習の統計学(統計科学のフロンティア6) I部 3.2節
Book/Pattern Recognition and Machine Learning 1.5.2節
Book/The Elements of Statistical Learning 7.2節，10.6節

Last-modified: 2010-02-11 (木) 16:12:47 (3827d)