正則化 (regularization)

データ \(D\) が与えられたときの経験損失 \(L_{\mathrm{emp}}(f,D)\) だけを最適化する関数 \(f\) を求めても,過適合などのため汎化誤差は最小にならない.よってこの最適化では,本来の目的は達成できない.こうした状況を不良設定 (ill-posed)であるという.

こうした場合には,平滑化などを行う罰則項 (penalty term) \(P(f)\) を用いて次のような問題にする: \[\min_f L_{\mathrm{emp}}(f,D)+\lambda P(f)\] こうした問題の書き換えを正則化 (regularization)という.

\(f\) のパラメータを \(\mathbf{\theta}\) とするとき,\(P(f)\) としては次のようなものが代表的

  • L2ノルムの2乗(=2乗和)\({||\mathbf{\theta}||_2}^2\):Tikhonov正則化(の標準形)ともいう.この正則化項をもつ線形回帰リッジ回帰という.
  • L1ノルム \(|\mathbf{\theta}|\):lassoと呼ばれる.L2ノルムの2乗より,0 になるパラメータが多い疎な解が得られやすい.

-- しましま

\(P(f)=\)一定という制約(不等式の場合もあり)のもとで \(\min_f L_{\mathrm{emp}}(f,D)\) を行う正則化もある. 多くの問題ではTikhonov正則化と似たような性質をもつが,レプリゼンタ定理の成立条件が異なるなどいくつかの違いもある.

-- あかほ

関連項目

リンク集

関連文献


トップ   編集 凍結 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2011-11-13 (日) 15:37:29 (1109d)