RAG-evaluering
forkortelse for Retrieval-Augmented Generation-evaluering
RAG-evaluering er processen med at vurdere kvaliteten og effektiviteten af et RAG-system, typisk gennem metrikker som korrekthed, relevans og faithfulness.
Kort fortalt
RAG-evaluering handler om at måle, hvor godt et system er til at hente relevante informationer og generere præcise svar.
- Kategori
- teknik
- Niveau
- øvet
Betydninger
1- 1
Proces og metode til at vurdere kvaliteten af et RAG-systems output, herunder korrekthed, relevans, faithfulness og effektivitet.
- En grundig RAG-evaluering inkluderer både automatiske metrikker som BLEU og menneskelig bedømmelse af svar.
Hvornår bruges det
RAG-evaluering bruges i forskning og udvikling for at sammenligne forskellige RAG-arkitekturer, og i produktion for at overvåge systemets ydeevne. Det involverer ofte både automatiserede metrikker og manuel evaluering.
Oprindelse
Termen er sammensat af RAG (Retrieval-Augmented Generation) og evaluering.