hallucination rate
Hyppigheden hvormed en sprogmodel producerer faktuel forkerte eller opdigtede oplysninger.
Kort fortalt
Et mål for hvor ofte en AI-model 'hallucinerer', altså finder på ting der ikke passer.
- Kategori
- metrik
- Niveau
- øvet
- Udtale
- həˌluːsɪˈneɪʃən reɪt
Betydninger
1- 1
Den andel af en sprogmodels svar der indeholder faktuelle fejl eller opdigtede informationer.
- Modellens hallucination rate var på 15 % i testen. — evaluering, 2024
- En lav hallucination rate er afgørende for troværdige AI-assistenter.
Hvornår bruges det
Hallucination rate bruges til at evaluere og sammenligne sprogmodellers pålidelighed, især i produktionssammenhænge. Det måles typisk ved at teste modellen på et sæt spørgsmål med kendte sande svar og tælle andelen af svar der indeholder faktuelle fejl.
Formel
hallucination_rate = (# hallucinated responses) / (# total responses)Oprindelse
Udtrykket er en sammensætning af 'hallucination' (overført fra menneskelig psykologi, hvor hallucination er en fejlagtig sanseoplevelse) og 'rate' (hyppighed), brugt i AI-sammenhæng siden omkring 2020.
Kilder
2- Survey of Hallucination in Natural Language Generation
- TruthfulQA: Measuring How Models Mimic Human Falsehoods