Widrow-Hoffの学習規則 (Widrow-Hoff learning rule)

次の関数が正ならクラス 1,負ならクラス 0 に分類するパーセプトロンの学習則. \[f(\mathbf{x})=\sum_{i}^N w_i x_i\]

事例 \(\mathbf{x}_i\) の教師信号 \(y_i\in\{0,1\}\) とする. 次の二乗損失の最小化を最急降下法で行うのが Widrow-Hoffの学習則. \[J=\frac{1}{2}\sum\Bigl(f(\mathbf{x}_i)-y_i\Bigr)^2\] \(i\)番目の事例 \((\mathbf{x}_i,y_i)\) に対する更新則は次式 \[\mathbf{w}\leftarrow\mathbf{w}-\eta\nabla J=\mathbf{w}-\eta(f(\mathbf{x}_i)-y_i)\mathbf{x}_i\]

線形モデルで,二乗誤差を最小化しているので,線形回帰問題に該当する. よって解析解は正規方程式になる.

-- しましま

関連項目

リンク集

関連文献


トップ   編集 凍結 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2010-02-11 (木) 16:11:28 (2493d)