embedding space dimension
Dimensionen af det vektorrum, som en embedding-model projicerer data ind i.
Kort fortalt
Kort fortalt: antallet af tal, der bruges til at repræsentere et element (fx et ord eller en sætning) i et embeddingsrum.
- Kategori
- begreb
- Niveau
- øvet
Betydninger
1- 1
Den numeriske værdi, der angiver længden af embeddingsvektorer, dvs. antallet af latente træk, modellen kan lære for hvert element.
- BERTs embeddingsrum har en dimension på 768.
- Lavere dimensioner som 50 bruges ofte i traditionelle Word2Vec-modeller.
Hvornår bruges det
Bruges til at angive størrelsen af embeddingsvektorer. Valget af dimension påvirker modellens kapacitet og effektivitet; højere dimensioner kan fange finere nuancer men kræver mere data og beregning.
Oprindelse
Sammensat af 'embedding' (indlejring), 'space' (rum) og 'dimension' (dimension).
Afledte ord
1Kilder
2- Distributed Representations of Words and Phrases and their Compositionality (Mikolov et al., 2013)
- BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (Devlin et al., 2019)