損失関数 - 機械学習の「朱鷺の杜Wiki」

[ トップ ] [ 編集 | 凍結 | 差分 | バックアップ | 添付 | リロード ] [ 新規 | 一覧 | 単語検索 | 最終更新 | ヘルプ ]

朱鷺の杜Wiki

参加しよう

Wiki超入門
練習用ページ
数式の表示
こびとさん
編集用ID: ibis
パスワード: 「VC次元」のVのフルスペルで最初だけ大文字

最新の30件
2017-06-07
- 人工知能学会全国大会
2017-05-28
- English
2017-05-26
- しましま/人工知能学会全国大会2017
2017-04-27
- python/numpy
2017-03-07
- しましま/IBISML028
2017-03-02
- 共役事前分布
2016-12-24
- 機械学習
2016-11-30
- DataSet
2016-11-22
- IBIS
2016-11-19
- しましま/IBIS2016
2016-11-11
- しましま/人工知能学会30周年記念式典
2016-10-06
- 朱鷺の社
2016-09-11
- Hamming距離
2016-09-08
- K-NEL/errata
- K-NEL
2016-08-31
- People
2016-08-10
- FastMap
2016-07-30
- 木カーネル
2016-07-19
- python
2016-07-12
- FrontPage
2016-06-09
- しましま/人工知能学会全国大会2016
2016-05-18
- お知らせ・雑談
2016-05-10
- Article
- Blog
2016-03-28
- 誤り訂正出力符号
2016-02-11
- AIC
- MDL
2016-01-27
- Book
2015-12-19
- しましま/IBIS2015
2015-12-12
- PRML/errata1

カウンタ

累計: 31944
今日: 34
昨日: 0

損失関数 (loss function) †

入出力をまとめたデータを \(z\)：クラス分類ならクラスと特徴ベクトルの対であり，回帰なら独立変数と従属変数の対．
\(f\)：データを処理する関数

\(L(z;f)\)：損失関数 (loss function)は推定の悪さを定義した関数

回帰の場合は，データは \(z=(x,y)\) で，\(L(z,f)=(y-f(x))^2\) のような 二乗損失 (squared loss) が利用される
クラス分類の場合は，データは \(z=(x,c)\) で，クラス \(c\) と関数の出力クラス \(f(x)\) が一致すれば 0，そうでなければ 1 をとる 0/1損失 (0/1 loss) が利用される
\(f(\cdot;\theta)\) がパラメトリックな確率分布だったとき，対数損失は\(-\log f(\cdot;\theta)\)．この損失関数を使った期待損失の最小化は，真の分布と予測した分布のKullback-Leiblerダイバージェンスの最小化になっている．
その他：SVMで用いられるヒンジ損失関数，サポートベクトル回帰のε許容誤差関数，ロバスト統計で用いられるHuber関数，ブースティングの指数損失関数などが代表的．

-- しましま

関連項目 †

リンク集 †

Wikipedia:Loss_function

関連文献 †

Book/わかりやすいパターン認識 8.2節
Book/パターン認識と学習の統計学(統計科学のフロンティア6) I部 3.2節
Book/Pattern Recognition and Machine Learning 1.5.2節
Book/The Elements of Statistical Learning 7.2節，10.6節

Last-modified: 2010-02-11 (木) 16:12:47 (2688d)