modelarkitektur
Betegnelse for en maskinlæringsmodel overordnede struktur, herunder antal lag, lagtyper og forbindelser mellem dem.
Kort fortalt
Modelarkitektur er den overordnede plan for, hvordan en maskinlæringsmodel er bygget op – som en opskrift, der bestemmer lagene og deres rækkefølge.
- Kategori
- arkitektur
- Niveau
- begynder
Betydninger
1- 1
Den specifikke opbygning af en maskinlæringsmodel, defineret ved antallet og typen af lag (f.eks. convolutional, recurrent, fully connected), aktiveringsfunktioner, forbindelsesmønstre og eventuelle residualforbindelser eller attention-mekanismer.
- Valget af modelarkitektur har stor betydning for modellens evne til at generalisere og for dens beregningsmæssige effektivitet.
- Transformer-arkitekturen revolutionerede naturlig sprogbehandling ved at indføre attention-mekanismer. — Vaswani et al., 2017
Hvornår bruges det
Modelarkitektur vælges typisk baseret på problemtypen (fx CNN til billeder, Transformer til sekvenser). Arkitekturen defineres før træning, men kan optimeres gennem arkitektursøgning.
Kodeeksempel
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense, Dropout
model = Sequential([
Dense(128, activation='relu', input_shape=(784,)),
Dropout(0.2),
Dense(64, activation='relu'),
Dense(10, activation='softmax')
])Eksempel på en simpel modelarkitektur i Keras: et fuldt forbundet netværk med to skjulte lag, dropout-regulering og et outputlag med softmax.
Oprindelse
Sammensat af 'model' og 'arkitektur', direkte oversat fra engelsk 'model architecture'.
Afledte ord
2Kilder
2- Deep Learning (Goodfellow, Bengio, Courville, 2016)
- Attention Is All You Need (Vaswani et al., 2017)