kontekstuelt embedding
En tæt vektorrepræsentation af et ord eller token, hvor repræsentationen afhænger af den kontekst, ordet optræder i.
Kort fortalt
En måde at give ord en betydning, der ændrer sig alt efter, hvilke andre ord de står sammen med.
- Kategori
- begreb
- Niveau
- øvet
Betydninger
1- 1
En vektorrepræsentation af et sprogligt element, der dynamisk tilpasses baseret på de omkringliggende elementer i teksten, typisk genereret af en neural netværksmodel som en transformer.
- BERT genererer kontekstuelle embeddings for hvert token i en sætning. — BERT: Pre-training of Deep Bidirectional Transformers (2018)
- Kontekstuelle embeddings har forbedret state-of-the-art på en lang række NLP-opgaver. — Forskningsartikel, 2019
Hvornår bruges det
Kontekstuelle embeddings bruges i sprogmodeller som BERT og GPT til at fange ords forskellige betydninger afhængigt af sætningssammenhængen. De er afgørende for mange NLP-opgaver som tekstklassifikation, spørgsmål-besvarelse og maskinoversættelse.
Oprindelse
Termen er dannet af 'kontekst' (sammenhæng) og 'embedding' (indlejring), lånt fra engelsk 'contextual embedding'.
Kilder
2- BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
- Deep contextualized word representations (ELMo)