ユニット間の入出力関係をグラフで表したとき,有向閉路がないようなニューラルネットを フィードフォワードニューラルネット (feedforward neural network) という. パーセプトロンやRBFニューラルネットなども含むが,最も代表的なのは次の多層パーセプトロン.
出力側の第jユニットの出力が次の関数で表される. \[y_j(\mathbf{x},\mathbf{w})=f\bigl(\sum_{i=0}^N w_{ji}x_i\bigr)\]
多層パーセプトロンは,このユニットを,下位の層の出力が上位の層の入力となるように階層的に接続したもの.ほとんどの場合,次の2層のものが使われる. \[y_k(\mathbf{x},\mathbf{w})=f^{(2)}\biggl(\sum_{j=0}^{N} w_{kj}^{(2)} f^{(1)}\bigl(\sum_{i=0}^{M} w_{ji}^{(1)}x_i\bigr)\biggr)\]
-- しましま