RAG-retriever
Komponent i en RAG-pipeline, der henter relevante dokumenter eller passager fra en videnbase baseret på en forespørgsel.
Kort fortalt
Del af et RAG-system, der finder den mest relevante information i en database, før sprogmodellen genererer et svar.
- Kategori
- teknik
- Niveau
- øvet
Betydninger
1- 1
Den del af et RAG-system, der ansvarer for at søge og udvælge relevante informationskilder (fx dokumenter, tekststykker eller databaseresultater) fra en ekstern videnbase baseret på en given forespørgsel, og som leverer disse som kontekst til generatoren.
- RAG-retrieveren anvender en vektordatabaseret søgning for at finde de mest relevante passager hurtigt.
Hvornår bruges det
RAG-retrieveren bruges i RAG-systemer til at hente kontekstuel information, typisk i form af dokumenter eller embeddings, som input til generatoren. Den optimeres ofte med metoder som tæthedsbaseret søgning eller BM25.
Kodeeksempel
from langchain_community.retrievers import BM25Retriever
retriever = BM25Retriever.from_texts(documents)
results = retriever.get_relevant_documents(query)Eksempel på oprettelse af en RAG-retriever med BM25-algoritmen.
Oprindelse
Termen stammer fra 'Retrieval-Augmented Generation' (RAG), hvor 'retriever' refererer til den komponent, der udfører genfindingen.
Kilder
2- Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
- Dense Passage Retrieval for Open-Domain Question Answering