* Widrow-Hoffの学習規則 (Widrow-Hoff learning rule) [#a10b3486]

//ここには %項目の説明を書いてください.よろしければ署名しておいてください.

次の関数が正ならクラス 1,負ならクラス 0 に分類するパーセプトロンの学習則.
\[f(\mathbf{x})=\sum_{i}^N w_i x_i\]

事例 \(\mathbf{x}_i\) の教師信号 \(y_i\in\{0,1\}\) とする.
次の二乗損失の最小化を最急降下法で行うのが ''Widrow-Hoffの学習則''.
\[J=\frac{1}{2}\sum\Bigl(f(\mathbf{x}_i)-y_i\Bigr)^2\]
\(i\)番目の事例 \((\mathbf{x}_i,y_i)\) に対する更新則は次式
\[\mathbf{w}\leftarrow\mathbf{w}-\eta\nabla J=\mathbf{w}-\eta(f(\mathbf{x}_i)-y_i)\mathbf{x}_i\]

線形モデルで,二乗誤差を最小化しているので,線形回帰問題に該当する.
よって解析解は正規方程式になる.

> -- しましま

** 関連項目 [#bc89b7d8]

//英語や同義語のあとに,#brで区切って関連する項目をリストしてください.
-[[Widrow-Hoff learning rule]]
#br
-[[パーセプトロン]]
-[[回帰分析]]
-[[最急降下法]]
-[[損失関数]]
#br
-[[検索:Widrow-Hoff]]

** リンク集 [#kc3de604]

//関連するWWW資源があればリンクしてください.

-[[Scholarpedia:Widrow-Hoff_learning_rule]]

** 関連文献 [#k59134c4]

//この%項目%に関連する書籍や論文を紹介してください.

-[[Book/わかりやすいパターン認識]] 3.1節
-[[Book/フリーソフトでつくる音声認識システム]] 5.2節
-[[Book/Neural Networks for Pattern Recognition]] 3.4.4節

トップ   編集 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS