対角の重み行列 \(W\) を用いた重み付きの線形方程式 \[WX\mathbf{\theta}=W\mathbf{y}\] の解は,線形回帰の正規方程式(see 回帰分析)を重み付けした \[(X^\top W X)^{-1}X^\top W \mathbf{y}\] となる.しかし,\(W\) が解 \(\mathbf{\theta}\) に依存するときには,反復再重み付け最小二乗法 (IRLS法; iteratively reweighted least squares method) が必要になる.
IRLS法では,次のように再重み付けしながら,重み付2乗和誤差を最小化する
ロジスティック回帰で,負の対数尤度を誤差関数をNewton法で解く場合を考える. すると,パラメータの更新式は次のような,重み付2乗和誤差を最小化した形になる. \[\mathbf{\theta}^{(new)}\leftarrow(X^\top W X)^{-1}X^\top W \mathbf{z}\] ただし, \(\mathbf{z}=X \mathbf{\theta}^{(old)}-W^{-1}(\mathbf{b}-\mathbf{y})\) で, \(\mathbf{b}\) の i番目の要素は \(\sigma(\mathbf{x}_i\theta_i)\).\(\sigma(\cdot)\) はシグモイド関数.
また,重みは \[W_{ii}=b_i(1-b_i)\] この重みは \(\mathbf{b}\) を通じて,パラメータ \(\mathbf{\theta}\) に依存しているので,この重みの更新と,上記のパラメータの更新を反復するIRLS法となっている.
この場合は凸な最適化なので,基本的には収束するが,まれに,行ったり来たりの状態になってしまうと収束しない.
-- しましま