反復再重み付け最小二乗法 (IRLS法; iteratively reweighted least squares method)

対角の重み行列 \(W\) を用いた重み付きの線形方程式 \[WX\mathbf{\theta}=W\mathbf{y}\] の解は,線形回帰正規方程式を重み付けした \[(X^\top W X)^{-1}X^\top W \mathbf{y}\] となる.しかし,\(W\) が解 \(\mathbf{\theta}\) に依存するときには,反復再重み付け最小二乗法 (IRLS法; iteratively reweighted least squares method) が必要になる.

IRLS法では,次のように再重み付けしながら,重み付2乗和誤差を最小化する

  • 重み \(W\) の更新
  • 重み付二乗和誤差を最小化してパラメータを更新: \(\mathbf{\theta}^{(new)}\leftarrow\arg\min_\theta (\mathbf{y} - X\mathbf{\theta})^\top W (\mathbf{y} - X\mathbf{\theta})\)

ロジスティック回帰で,負の対数尤度を誤差関数をNewton法で解く場合を考える. すると,パラメータの更新式は次のような,重み付2乗和誤差を最小化した形になる. \[\mathbf{\theta}^{(new)}\leftarrow(X^\top W X)^{-1}X^\top W \mathbf{z}\] ただし, \(\mathbf{z}=X \mathbf{\theta}^{(old)}-W^{-1}(\mathbf{b}-\mathbf{y})\) で, \(\mathbf{b}\) の i番目の要素は \(\sigma(\mathbf{x}_i\theta_i)\).\(\sigma(\cdot)\) はシグモイド関数

また,重みは \[W_{ii}=b_i(1-b_i)\] この重みは \(\mathbf{b}\) を通じて,パラメータ \(\mathbf{\theta}\) に依存しているので,この重みの更新と,上記のパラメータの更新を反復するIRLS法となっている.

この場合は凸な最適化なので,基本的には収束するが,まれに,行ったり来たりの状態になってしまうと収束しない.

-- しましま

関連項目

リンク集

関連文献


トップ   編集 凍結 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2010-02-11 (木) 16:11:03 (2490d)