Widrow-Hoffの学習規則 の変更点

• 追加された行はこの色です。
• 削除された行はこの色です。
• Widrow-Hoffの学習規則 へ行く。

* Widrow-Hoffの学習規則 (Widrow-Hoff learning rule) [#a10b3486]

//ここには %項目の説明を書いてください．よろしければ署名しておいてください．

次の関数が正ならクラス 1，負ならクラス 0 に分類するパーセプトロンの学習則．
\[f(\mathbf{x})=\sum_{i}^N w_i x_i\]

事例 \(\mathbf{x}_i\) の教師信号 \(y_i\in\{0,1\}\) とする．
次の二乗損失の最小化を最急降下法で行うのが ''Widrow-Hoffの学習則''．
\[J=\frac{1}{2}\sum\Bigl(f(\mathbf{x}_i)-y_i\Bigr)^2\]
\(i\)番目の事例 \((\mathbf{x}_i,y_i)\) に対する更新則は次式
\[\mathbf{w}\leftarrow\mathbf{w}-\eta\nabla J=\mathbf{w}-\eta(f(\mathbf{x}_i)-y_i)\mathbf{x}_i\]

線形モデルで，二乗誤差を最小化しているので，線形回帰問題に該当する．
よって解析解は正規方程式になる．

> -- しましま

** 関連項目 [#bc89b7d8]

//英語や同義語のあとに，#brで区切って関連する項目をリストしてください．
-[[Widrow-Hoff learning rule]]
#br
-[[パーセプトロン]]
-[[回帰分析]]
-[[最急降下法]]
-[[損失関数]]
#br
-[[検索:Widrow-Hoff]]

** リンク集 [#kc3de604]

//関連するWWW資源があればリンクしてください．

-[[Scholarpedia:Widrow-Hoff_learning_rule]]

** 関連文献 [#k59134c4]

//この%項目%に関連する書籍や論文を紹介してください．

-[[Book/わかりやすいパターン認識]] 3.1節
-[[Book/フリーソフトでつくる音声認識システム]] 5.2節
-[[Book/Neural Networks for Pattern Recognition]] 3.4.4節