hidden layer
Et lag i et neuralt netværk, der befinder sig mellem inputlaget og outputlaget og udfører ikke-lineære transformationer af data.
Kort fortalt
Skjulte lag er de lag i et neuralt netværk, som bearbejder informationen mellem input og output, så netværket kan lære komplekse mønstre.
- Kategori
- begreb
- Niveau
- begynder
Betydninger
1- 1
Et af de mellemliggende lag i et neuralt netværk, der anvender en aktiveringsfunktion til at transformere inputdataene og videregive dem til næste lag.
- Et neuralt netværk med to skjulte lag kan lære mere komplekse funktioner end et med ét lag.
- I en transformer-arkitektur består hvert skjult lag af en multi-head attention-mekanisme og et feed-forward-netværk. — Vaswani et al., 2017
Hvornår bruges det
Skjulte lag bruges i alle former for neurale netværk, herunder flerlagede perceptroner (MLP'er), konvolutionelle netværk (CNN'er) og transformere. Antallet og størrelsen af skjulte lag bestemmer modellens kapacitet til at lære komplekse repræsentationer.
Kodeeksempel
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense
model = Sequential([
Dense(64, activation='relu', input_shape=(784,)), # hidden layer
Dense(10, activation='softmax') # output layer
])Oprettelse af et simpelt neuralt netværk med ét skjult lag i Keras.
Oprindelse
Udtrykket 'skjult lag' henviser til, at disse lag ikke direkte observeres i input eller output; deres værdier er ikke synlige udefra.
Kilder
2- Learning representations by back-propagating errors (Rumelhart et al., 1986)
- Deep Learning (Goodfellow, Bengio, Courville, 2016)