* 多層パーセプトロン (multilayer perceptron) [#sdc7459b]
//ここには %項目の説明を書いてください．よろしければ署名しておいてください．
*** フィードフォワードニューラルネット (feedforward neural network) [#hd024978]
ユニット間の入出力関係をグラフで表したとき，有向閉路がないようなニューラルネットを ''フィードフォワードニューラルネット'' (feedforward neural network) という．
パーセプトロンやRBFニューラルネットなども含むが，最も代表的なのは次の多層パーセプトロン．
*** 多層パーセプトロン (multilayer perceptron) [#c794188d]
出力側の第jユニットの出力が次の関数で表される．
\[y_j(\mathbf{x},\mathbf{w})=f\bigl(\sum_{i=0}^N w_{ji}x_i\bigr)\]
- 入力 \(x_i\) には，通常の入力 \(x_1\ldots x_N\) に加えて，バイアスを示す定数入力 \(x_0=1\) も含まれる．
- \(w_{ji}\) は，入力側の第iユニットと，出力側の第jユニットとの間の重み．
- \(f(\cdot)\) を活性化関数 (activation function)といい，シグモイド関数がよく用いられる．
- 活性化関数を逆関数にして左辺で接続関数の形で書くと一般化線形モデルそのもの
多層パーセプトロンは，このユニットを，下位の層の出力が上位の層の入力となるように階層的に接続したもの．ほとんどの場合，次の2層のものが使われる．
\[y_k(\mathbf{x},\mathbf{w})=f^{(2)}\biggl(\sum_{j=0}^{N} w_{kj}^{(2)} f^{(1)}\bigl(\sum_{i=0}^{M} w_{ji}^{(1)}x_i\bigr)\biggr)\]
- 入力ユニットも含めて3層と呼ぶ流儀もある
- \(x_i\) を入力ユニット，第2層の出力を隠れユニット (中間ユニット)，\(y_k\) を出力ユニットと呼ぶ．
- 2層あれば，無限にならないような連続な関数は，十分だいたい近似できる．
- 重みの学習にはバックプロパゲーションが用いられる
- 階層型ニューラルネットともいう
> -- しましま
** 関連項目 [#obe4a897]
//英語や同義語のあとに，#brで区切って関連する項目をリストしてください．
-[[multilayer perceptron]]
-[[階層型ニューラルネット]]
-[[hierarchical neural network]]
#br
-[[フィードフォワードニューラルネット]]
-[[feedforward neural network]]
#br
-[[ニューラルネット]]
-[[一般化線形モデル]]
-[[バックプロパゲーション]]
#br
-[[検索:フィードフォワード 多層パーセプトロン 階層型ニューラルネット]]
** リンク集 [#ha4a2e6a]
//関連するWWW資源があればリンクしてください．
-[[ニューラルネット]]
-[[一般化線形モデル]]
-[[バックプロパゲーション]]
-[[パーセプトロン]]
#br
-[[Wikipedia:Feedforward neural network]]
** 関連文献 [#y2c583f1]
//この%項目%に関連する書籍や論文を紹介してください．
-[[Book/パターン認識と学習の統計学(統計科学のフロンティア6)]] 2.6節
-[[Book/パターン認識(Rで学ぶデータサイエンス5)]] 6.8節
-[[Book/フリーソフトでつくる音声認識システム]] 6.2節
-[[Book/Data Mining - Concepts and Techniques]] 6.6節
-[[Book/Foundations of Statistical Natural Language Processing]] 6.3節 Multilayer Perceptron
-[[Book/Neural Networks for Pattern Recognition]] 4.1節
-[[Book/Pattern Classification]] 6節
-[[Book/Pattern Recognition and Machine Learning]] 5.1節
-[[Book/The Elements of Statistical Learning]] 11.3節
![[PukiWiki]](image/ibisforest.png "[PukiWiki]")
