embeddingdimension
Antallet af dimensioner i en embedding-vektor, som bestemmer hvor mange egenskaber modellen kan indfange for hvert objekt.
Kort fortalt
Embeddingdimension er størrelsen på den vektor, der repræsenterer et ord eller objekt i et neuralt netværk – jo flere dimensioner, des flere nuancer kan modellen lære.
- Kategori
- begreb
- Niveau
- øvet
- Udtale
- /ɛmˈbɛdɪŋdiˌmenʃɔn/
Betydninger
1- 1
Størrelsen af en embedding-vektor, typisk angivet som et heltal, der definerer antallet af latente træk eller repræsentationer for hvert element i et datasæt.
- I word2vec anvendes typisk en embeddingdimension på 300. — Mikolov et al., 2013
- Valg af embeddingdimension påvirker modellens evne til at generalisere.
Hvornår bruges det
Embeddingdimensionen vælges som en hyperparameter ved træning af modeller som word2vec, GloVe eller transformer-baserede sprogmodeller. En for høj dimension kan føre til overfitting og øget beregningsomkostning, mens en for lav dimension kan miste vigtige relationer.
Oprindelse
Sammensætning af 'embedding' (indlejring, fra engelsk) og 'dimension', brugt i dansk fagsprog om neural netværk.
Kilder
2- Efficient Estimation of Word Representations in Vector Space
- GloVe: Global Vectors for Word Representation