Embedding-matrix
En embedding-matrix er en vægtmatrix i et neuralt netværk, der kortlægger diskrete tokens til kontinuerte vektorer med lav dimensionalitet.
Kort fortalt
Embedding-matrixen er en tabel, der oversætter hvert ord eller token til et tal-array (vektor), som modellen kan arbejde med.
- Kategori
- arkitektur
- Niveau
- øvet
- Udtale
- /ɛmˈbɛdɪŋ ˈmeɪtrɪks/
Betydninger
1- 1
Den vægtmatrice, der indeholder embeddings-vektorerne for alle tokens i et givent ordforråd, og som bruges til at slå embeddings op via token-indekser.
- Embedding-matrixen i denne transformer-model har størrelsen (ordforråd × 512). — egen praksis
- Under træning opdateres embedding-matrixen via backpropagation, så ens betydningsfulde ord får lignende vektorer. — egen praksis
Hvornår bruges det
Embedding-matrixen bruges typisk som det første lag i sprogmodeller og anbefalingssystemer. Den trænes sammen med resten af netværket, så vektorerne lærer semantiske relationer. Matricen indeholder en række for hvert token i ordforrådet og en kolonne for hver dimension i embeddings-rummet.
Kodeeksempel
import torch.nn as nn
vocab_size, d_model = 10000, 512
embedding_matrix = nn.Embedding(vocab_size, d_model).weightOpretter en embedding-matrix med 10.000 tokens og 512 dimensioner.
Oprindelse
Sammensat af 'embedding' (indlejring, fra engelsk 'embed', at indlejre) og 'matrix' (matematisk matrix).