損失関数

損失関数 (loss function)†

• 入出力をまとめたデータを \(z\)：クラス分類ならクラスと特徴ベクトルの対であり，回帰なら独立変数と従属変数の対．
• \(f\)：データを処理する関数

\(L(z;f)\)：損失関数 (loss function)は推定の悪さを定義した関数

• 回帰の場合は，データは \(z=(x,y)\) で，\(L(z,f)=(y-f(x))^2\) のような 二乗損失 (squared loss) が利用される
• クラス分類の場合は，データは \(z=(x,c)\) で，クラス \(c\) と関数の出力クラス \(f(x)\) が一致すれば 0，そうでなければ 1 をとる 0/1損失 (0/1 loss) が利用される
• \(f(\cdot;\theta)\) がパラメトリックな確率分布だったとき，対数損失は\(-\log f(\cdot;\theta)\)．この損失関数を使った期待損失の最小化は，真の分布と予測した分布のKullback-Leiblerダイバージェンスの最小化になっている．
• その他：SVMで用いられるヒンジ損失関数，サポートベクトル回帰のε許容誤差関数，ロバスト統計で用いられるHuber関数，ブースティングの指数損失関数などが代表的．

-- しましま

関連項目†

• loss function
   
• ヒンジ損失関数
• ε許容誤差
• Huber関数
• リグレット
• 汎化誤差
• 標本誤差
• 経験損失最小化
   
• 検索:損失関数

リンク集†

• Wikipedia:Loss_function

関連文献†

• Book/わかりやすいパターン認識 8.2節
• Book/パターン認識と学習の統計学(統計科学のフロンティア6) I部 3.2節
• Book/Pattern Recognition and Machine Learning 1.5.2節
• Book/The Elements of Statistical Learning 7.2節，10.6節

朱鷺の杜Wiki

• 機械学習
• 学会・研究会
• 書籍・資料
• 論文英語
• フリーウェア
  • python
  • numpy
• テストデータ
   
• 日本語版PRML本
• カーネル多変量解析
   
• 人気ページ
• 今日の人気ページ
• ページ一覧

参加しよう

• Wiki超入門
• 練習用ページ
• 数式の表示
• こびとさん
• 編集用ID: ibis
• パスワード: 「VC次元」のVのフルスペルで最初だけ大文字
   

  最新の30件

  2022-12-05

  • PRML/errata2
  • PRML/errata1

  2022-11-27

  • 朱鷺の社

  2022-11-24

  • しましま/IBIS2022
  • IBIS

  2022-07-08

  • AutoTicketLinkName

  2022-06-17

  • しましま/人工知能学会全国大会2022
  • 人工知能学会全国大会

  2021-11-13

  • しましま/IBIS2021

  2021-10-29

  • 回帰分析

  2021-10-15

  • python

  2021-06-11

  • しましま/人工知能学会全国大会2021

  2021-03-07

  • MenuBar
  • Book

  2021-02-15

  • python/numpy

  2020-12-22

  • 特異値分解

  2020-12-18

  • complement naive Bayes

  2020-11-27

  • しましま/IBIS2020

  2020-11-05

  • K-NEL

  2020-10-17

  • Paper/bias-on-the-web

  2020-07-16

  • F値

  2020-06-30

  • DataSet

  2020-06-24

  • バイアス-バリアンス

  2020-06-10

  • Paper

  2020-03-15

  • PRML
  • PRML/link

  2020-01-13

  • Wiki超入門

  2019-11-22

  • しましま/IBIS2019

  2019-10-29

  • コスト考慮型学習

  2019-06-30

  • MCMC

カウンタ

• 累計: 47251
• 今日: 1
• 昨日: 1