多層パーセプトロン (multilayer perceptron)

フィードフォワードニューラルネット (feedforward neural network)

ユニット間の入出力関係をグラフで表したとき,有向閉路がないようなニューラルネットフィードフォワードニューラルネット (feedforward neural network) という. パーセプトロンやRBFニューラルネットなども含むが,最も代表的なのは次の多層パーセプトロン

多層パーセプトロン (multilayer perceptron)

出力側の第jユニットの出力が次の関数で表される. \[y_j(\mathbf{x},\mathbf{w})=f\bigl(\sum_{i=0}^N w_{ji}x_i\bigr)\]

  • 入力 \(x_i\) には,通常の入力 \(x_1\ldots x_N\) に加えて,バイアスを示す定数入力 \(x_0=1\) も含まれる.
  • \(w_{ji}\) は,入力側の第iユニットと,出力側の第jユニットとの間の重み.
  • \(f(\cdot)\) を活性化関数 (activation function)といい,シグモイド関数がよく用いられる.
  • 活性化関数を逆関数にして左辺で接続関数の形で書くと一般化線形モデルそのもの

多層パーセプトロンは,このユニットを,下位の層の出力が上位の層の入力となるように階層的に接続したもの.ほとんどの場合,次の2層のものが使われる. \[y_k(\mathbf{x},\mathbf{w})=f^{(2)}\biggl(\sum_{j=0}^{N} w_{kj}^{(2)} f^{(1)}\bigl(\sum_{i=0}^{M} w_{ji}^{(1)}x_i\bigr)\biggr)\]

  • 入力ユニットも含めて3層と呼ぶ流儀もある
  • \(x_i\) を入力ユニット,第2層の出力を隠れユニット (中間ユニット),\(y_k\) を出力ユニットと呼ぶ.
  • 2層あれば,無限にならないような連続な関数は,十分だいたい近似できる.
  • 重みの学習にはバックプロパゲーションが用いられる
  • 階層型ニューラルネットともいう

-- しましま

関連項目

リンク集

関連文献


トップ   編集 凍結 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2010-02-11 (木) 16:12:44 (2488d)