バイアス-バリアンス (bias-variance)

モデル \(Y=f(X)+\varepsilon\) から訓練サンプル集合 \(T\) が生成されたとする. ただし,\(\varepsilon\) は正規分布 \(N(0,\sigma^2)\) に従う真のエラー項. この訓練サンプル集合から \(\hat{f}(x)\) を推定したとする.

このとき,点 \(x\) の汎化誤差を最小2乗で測ると \[\mathrm{E}[(Y-\hat{f}(x))^2|X=x]=\sigma^2+\Bigl(\mathrm{E}_T[\hat{f}(x)]-f(x)\Bigr)^2+{\mathrm{E}_T}\bigl[(\hat{f}(x)-\mathrm{E}_T[\hat{f}(x)])^2\bigr]\] \[=\sigma^2+{\mathrm{Bias}}^2[\hat{f}(x)]+\mathrm{Var}_T[\hat{f}(x)]\] ただし,\(\mathrm{E}\) は真の\(x\)の分布についてとった期待値, \(\mathrm{E}_T\) はいろいろな訓練サンプル集合上の分布についてとった平均.

第2項と第3項は推定に使ったモデルで変えることができるが,次のトレードオフがある.

このようなトレードオフがあるので,バイアスとバリアンスの和が小さくなるようにモデルを選ぶ必要がある.

--しましま

上の記述で、

関連項目

リンク集

関連文献


トップ   編集 凍結 差分 履歴 添付 複製 名前変更 リロード   新規 一覧 検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2020-06-24 (水) 15:22:34