損失関数 - 機械学習の「朱鷺の杜Wiki」

[ トップ ] [ 編集 | 凍結 | 差分 | バックアップ | 添付 | リロード ] [ 新規 | 一覧 | 単語検索 | 最終更新 | ヘルプ | ログイン ]

朱鷺の杜Wiki

参加しよう

Wiki超入門
練習用ページ
数式の表示
こびとさん
編集用ID: ibis
パスワード: 「VC次元」のVのフルスペルで最初だけ大文字

最新の30件
2018-09-07
- DataSet
2018-08-24
- IRLS法
2018-07-26
- Article
2018-07-24
- 確率的勾配降下法
2018-07-19
- 機械学習
- 標本誤差
2018-07-11
- F値
2018-07-03
- 人工知能学会全国大会
2018-06-29
- python
2018-06-11
- しましま/人工知能学会全国大会2018
2018-03-06
- しましま/IBISML032
2017-12-29
- IBIS
2017-12-28
- Book
2017-12-13
- English
2017-11-14
- K-NEL/errata
- K-NEL
2017-11-11
- しましま/IBIS2017
2017-10-12
- 次元削減
2017-10-03
- PRML/errata1
2017-09-29
- Paper
2017-08-22
- Wishart分布
2017-07-05
- 事後分布
2017-05-26
- しましま/人工知能学会全国大会2017
2017-04-27
- python/numpy
2017-03-07
- しましま/IBISML028
2017-03-02
- 共役事前分布
2016-11-19
- しましま/IBIS2016
2016-11-11
- しましま/人工知能学会30周年記念式典
2016-10-06
- 朱鷺の社
2016-09-11
- Hamming距離

カウンタ

累計: 38092
今日: 1
昨日: 9

損失関数 (loss function) †

入出力をまとめたデータを \(z\)：クラス分類ならクラスと特徴ベクトルの対であり，回帰なら独立変数と従属変数の対．
\(f\)：データを処理する関数

\(L(z;f)\)：損失関数 (loss function)は推定の悪さを定義した関数

回帰の場合は，データは \(z=(x,y)\) で，\(L(z,f)=(y-f(x))^2\) のような 二乗損失 (squared loss) が利用される
クラス分類の場合は，データは \(z=(x,c)\) で，クラス \(c\) と関数の出力クラス \(f(x)\) が一致すれば 0，そうでなければ 1 をとる 0/1損失 (0/1 loss) が利用される
\(f(\cdot;\theta)\) がパラメトリックな確率分布だったとき，対数損失は\(-\log f(\cdot;\theta)\)．この損失関数を使った期待損失の最小化は，真の分布と予測した分布のKullback-Leiblerダイバージェンスの最小化になっている．
その他：SVMで用いられるヒンジ損失関数，サポートベクトル回帰のε許容誤差関数，ロバスト統計で用いられるHuber関数，ブースティングの指数損失関数などが代表的．

-- しましま

関連項目 †

リンク集 †

Wikipedia:Loss_function

関連文献 †

Book/わかりやすいパターン認識 8.2節
Book/パターン認識と学習の統計学(統計科学のフロンティア6) I部 3.2節
Book/Pattern Recognition and Machine Learning 1.5.2節
Book/The Elements of Statistical Learning 7.2節，10.6節

Last-modified: 2010-02-11 (木) 16:12:47 (3147d)