multilayer feedforward network
Et neuralt netværk med mindst ét skjult lag mellem input og output, hvor signaler flyder i én retning (fremad) og ikke danner cykler.
Kort fortalt
Det er den grundlæggende byggesten i deep learning: et netværk af lag, hvor data sendes fremad fra input til output uden tilbagekobling.
- Kategori
- arkitektur
- Niveau
- øvet
- Udtale
- /ˈmʌltiˌleɪər ˈfiːdˌfɔːrwərd ˈnɛtwɜːrk/
Betydninger
1- 1
Et neuralt netværk bestående af et inputlag, et eller flere skjulte lag og et outputlag, hvor hvert lag er fuldt forbundet til det næste, og informationen bevæger sig udelukkende fremad.
- Det klassiske multilayer feedforward network med ét skjult lag er en universal approksimator: det kan i princippet tilnærme enhver kontinuert funktion. — Cybenko, 1989
- I et multilayer feedforward network initialiseres vægtene typisk tilfældigt og optimeres med gradient descent. — Goodfellow et al., 2016
Hvornår bruges det
Anvendes i praksis til klassifikation, regression og som basis for mere komplekse arkitekturer. Trænes typisk med backpropagation. Indgår i stort set alle neurale netværk, herunder CNN'er og transformere, som underkomponent.
Formel
h^{(l)} = φ(W^{(l)} h^{(l-1)} + b^{(l)})Kodeeksempel
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense
model = Sequential([
Dense(64, activation='relu', input_shape=(784,)),
Dense(64, activation='relu'),
Dense(10, activation='softmax')
])Et simpelt multilayer feedforward network i Keras med to skjulte lag og et outputlag til klassifikation.
Oprindelse
Termen opstod i 1960'erne med Rosenblatts perceptron, men flerlagsversionen blev først praktisk med backpropagation i 1980'erne. 'Feedforward' angiver, at signaler kun går én vej.
Afledte ord
3Kilder
3- Learning Internal Representations by Error Propagation (Rumelhart, Hinton, Williams, 1986)
- Deep Learning (Goodfellow, Bengio, Courville, 2016)
- Approximation by Superpositions of a Sigmoidal Function (Cybenko, 1989)