dense retriever
En retriever, der bruger tætte vektorrepræsentationer (embedding) til at matche en forespørgsel med relevante dokumenter i et vektorrum.
Kort fortalt
En dense retriever finder relevante dokumenter ved at sammenligne deres semantiske betydning via vektorer, i stedet for nøjagtige ordmatch.
- Kategori
- teknik
- Niveau
- øvet
Betydninger
1- 1
En retriever, der koder både forespørgsel og dokumenter som tætte vektorer (embedding) og beregner relevans via en lighedsmåling (f.eks. cosinus-lighed). Trænes typisk med kontrastiv læring.
- Dense retriever-modeller som DPR (Dense Passage Retrieval) har vist signifikant forbedring i open-domain spørgsmål-besvarelse. — Karpukhin et al., 2020
- I et RAG-system fungerer en dense retriever som det første trin, der vælger relevante dokumenter fra en vektor-database. — Lewis et al., 2020
Hvornår bruges det
Bruges i RAG-systemer og informationssøgning, hvor forståelse af kontekst og semantik er vigtig. Modellen kan være en bi-encoder (f.eks. DPR) eller en kryds-encoder. Kræver træning på store datasæt for at lære gode repræsentationer.
Oprindelse
Betegnelsen 'dense' refererer til tætte vektorer (ikke sparse), og 'retriever' henviser til komponenten der henter dokumenter.