バイアス-バリアンス
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
検索
|
最終更新
|
ヘルプ
|
ログイン
]
開始行:
* バイアス-バリアンス (bias-variance) [#v0c627e2]
//ここには %項目の説明を書いてください.よろしければ署名...
モデル \(Y=f(X)+\varepsilon\) から訓練サンプル集合 \(T\) ...
ただし,\(\varepsilon\) は正規分布 \(N(0,\sigma^2)\) に従...
この訓練サンプル集合から \(\hat{f}(x)\) を推定したとする.
このとき,点 \(x\) の汎化誤差を最小2乗で測ると
\[\mathrm{E}[(Y-\hat{f}(x))^2|X=x]=\sigma^2+\Bigl(\mathrm...
\[=\sigma^2+{\mathrm{Bias}}^2[\hat{f}(x)]+\mathrm{Var}_T[...
ただし,\(\mathrm{E}\) は真の\(x\)の分布についてとった期...
\(\mathrm{E}_T\) はいろいろな訓練サンプル集合上の分布につ...
- 第1項は,削減不能な誤差
- 第2項は,真の平均 \(f(x)\) と推定値の期待値 \(\mathrm{E...
- 第3項は,訓練サンプルの違いに由来するランダムさを表すバ...
第2項と第3項は推定に使ったモデルで変えることができるが,...
- 線形など単純なモデルでは,バイアスは大きくなるが,バリ...
- 高次の複雑なモデルでは,バイアスは小さくなるが,バリア...
このようなトレードオフがあるので,バイアスとバリアンスの...
>--しましま
上の記述で、
- 真の平均 \(f(x)\) とありますが、\(f(x)\) は真の平均とい...
- 同様に、推定値との記述も、推定量の方がより適しているの...
>--ILBMW
-- 回帰モデルとしては 平均 \(f(x)\) にガウスノイズが載っ...
**関連項目 [#rf6c7706]
//英語や同義語のあとに,#brで区切って関連する項目をリスト...
-[[bias-variance]]
#br
-[[汎化能力]]
-[[汎化誤差]]
-[[経験誤差]]
-[[分散]]
-[[モデル選択]]
-[[最小2乗法]]
-[[線形回帰]]
#br
-[[検索:バイアス-バリアンス]]
**リンク集 [#b1887fe4]
**関連文献 [#pf869a54]
//この%項目%に関連する書籍や論文を紹介してください.
-[[Book/The Elements of Statistical Learning]]:2.9章
-[[Book/Machine Learning]] 5.3.4章
-クラス分類でのバイアス-バリアンスを考え,アンサンブル学...
L.Breiman "Arcing Classifiers" The Annals of Statistics, ...
[[GoogleScholarAll:Arcing Classifiers]]
-[[Book/Pattern Recognition and Machine Learning]] 3.2章
-[[Book/Pattern Classification]] 9.3節
終了行:
* バイアス-バリアンス (bias-variance) [#v0c627e2]
//ここには %項目の説明を書いてください.よろしければ署名...
モデル \(Y=f(X)+\varepsilon\) から訓練サンプル集合 \(T\) ...
ただし,\(\varepsilon\) は正規分布 \(N(0,\sigma^2)\) に従...
この訓練サンプル集合から \(\hat{f}(x)\) を推定したとする.
このとき,点 \(x\) の汎化誤差を最小2乗で測ると
\[\mathrm{E}[(Y-\hat{f}(x))^2|X=x]=\sigma^2+\Bigl(\mathrm...
\[=\sigma^2+{\mathrm{Bias}}^2[\hat{f}(x)]+\mathrm{Var}_T[...
ただし,\(\mathrm{E}\) は真の\(x\)の分布についてとった期...
\(\mathrm{E}_T\) はいろいろな訓練サンプル集合上の分布につ...
- 第1項は,削減不能な誤差
- 第2項は,真の平均 \(f(x)\) と推定値の期待値 \(\mathrm{E...
- 第3項は,訓練サンプルの違いに由来するランダムさを表すバ...
第2項と第3項は推定に使ったモデルで変えることができるが,...
- 線形など単純なモデルでは,バイアスは大きくなるが,バリ...
- 高次の複雑なモデルでは,バイアスは小さくなるが,バリア...
このようなトレードオフがあるので,バイアスとバリアンスの...
>--しましま
上の記述で、
- 真の平均 \(f(x)\) とありますが、\(f(x)\) は真の平均とい...
- 同様に、推定値との記述も、推定量の方がより適しているの...
>--ILBMW
-- 回帰モデルとしては 平均 \(f(x)\) にガウスノイズが載っ...
**関連項目 [#rf6c7706]
//英語や同義語のあとに,#brで区切って関連する項目をリスト...
-[[bias-variance]]
#br
-[[汎化能力]]
-[[汎化誤差]]
-[[経験誤差]]
-[[分散]]
-[[モデル選択]]
-[[最小2乗法]]
-[[線形回帰]]
#br
-[[検索:バイアス-バリアンス]]
**リンク集 [#b1887fe4]
**関連文献 [#pf869a54]
//この%項目%に関連する書籍や論文を紹介してください.
-[[Book/The Elements of Statistical Learning]]:2.9章
-[[Book/Machine Learning]] 5.3.4章
-クラス分類でのバイアス-バリアンスを考え,アンサンブル学...
L.Breiman "Arcing Classifiers" The Annals of Statistics, ...
[[GoogleScholarAll:Arcing Classifiers]]
-[[Book/Pattern Recognition and Machine Learning]] 3.2章
-[[Book/Pattern Classification]] 9.3節
ページ名: