embeddingopslag
Embeddingopslag er processen med at slå en embedding op i en vektordatabase eller fra en indlejringstavle i en model.
Kort fortalt
Kort fortalt: det at finde den numeriske vektorrepræsentation for en given term eller et stykke tekst.
- Kategori
- teknik
- Niveau
- øvet
- Udtale
- ˈɛmˌbɛdɪŋˌɔpˌslɑːɡ
Betydninger
2- 1
I machine learning-modeller en operation, der mapper et diskret token til en tæt vektor ved at slå op i en indlejringstavle.
- I en transformermodel udføres embeddingopslag for hvert token i inputsekvensen.
- 2
I informationssøgning og RAG-systemer, processen med at hente en forudberegnet embedding for en forespørgsel eller et dokument fra en vektordatabase.
- Embeddingopslaget i FAISS returnerer de nærmeste naboers embeddings.
Hvornår bruges det
Embeddingopslag bruges i RAG-systemer, hvor en forespørgsels embedding findes og sammenlignes med dokumentembeddings, samt i transformermodeller, hvor tokens oversættes til embeddings via en opslagstavle.
Kodeeksempel
import torch
import torch.nn as nn
# Embedding lookup layer: vocabulary size 10, embedding dimension 3
embedding = nn.Embedding(10, 3)
# Input tokens (indices)
tokens = torch.tensor([1, 4, 7])
embedded = embedding(tokens) # shape (3, 3)Opretter et indlejringslag og slår embeddings op for tokens med indeks 1, 4 og 7.
Oprindelse
Sammensætning af 'embedding' (indlejring) og 'opslag', efter engelsk 'embedding lookup'.
Kilder
1- Attention Is All You Need (2017)