Lasso (least absolute shrinkage and selection operator)

正則化の一種

パラメータベクトル \((\beta_1,\ldots,\beta_n)\)の絶対値の和 \(\sum_{i=1}^n\beta_i\)を正則化項とする正則化の方法

(パラメータの多くが0となる)スパースな解が得られやすいという特徴があり, 変数選択法の一種としての性質も持つ.

以下のようないろいろな拡張が研究されている.

fused lasso : 隣同士の変数間に対する制約 \(\sum_{i=1}^{n-1}|\beta_{i+1}-\beta_i|\) を付け加えた拡張. 隣接した係数がまとまってグループ化される.

group lasso : グループごとのL2ノルムの1乗和 \(\sum_{j=1}^k \sqrt{\sum_{i\in G_j}\beta_i^2}\) を付け加えた拡張.ただし\(G_j\)は\(j\)番目のグループに属する添え字の集合. グループ単位でまとめてパラメータを0にする効果がある. (カーネル法ではL2ノルムではなく再生核ヒルベルト空間のノルムをとる).

OSCAR : \(\sum_{i<j}\max\{|\beta_i|,|\beta_j|\}\) を加えた拡張. グループ化を自動的に行うことを意図している.

elastic net : L1ノルムとL2ノルムの重み付き和を正則化項とする拡張. lasso ではスパースになりすぎて予測精度などが落ちる場合に用いられる. --あかほ

関連項目

リンク集

関連文献


トップ   編集 凍結 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2011-11-12 (土) 22:14:52 (1853d)