selv-konsistensafstemning
Teknik til at justere en sprogmodels output ved at sikre konsistens på tværs af flere genererede svar for samme forespørgsel.
Kort fortalt
Selv-konsistensafstemning er en metode, hvor man får modellen til at generere flere svar på samme spørgsmål og belønner den, hvis svarene er ens — det gør modellen mere pålidelig.
- Kategori
- teknik
- Niveau
- øvet
- Udtale
- [sɛlˀv kɔnˀsisˈtɛnsˌɑfˌsdɛmˀneŋ]
Betydninger
1- 1
Proces i alignment-træning, hvor en models output vurderes på deres indbyrdes konsistens ved variation af prompten eller sampling, og modellen optimeres til at være selvkonsistent.
- Vi anvendte selv-konsistensafstemning for at reducere modellens tendens til at modsige sig selv ved gentagne forespørgsler. — Teknisk rapport, 2024
- Selv-konsistensafstemning forbedrede faktanøjagtigheden uden at kræve eksterne belønningsmodeller. — Forskningsartikel, 2023
Hvornår bruges det
Bruges i alignment-fasen af træning af store sprogmodeller for at reducere inkonsistente eller hallucinerede svar. Metoden kan kombineres med RLHF ved at bruge selv-konsistens som en del af belønningssignalet.
Oprindelse
Sammensat af 'selv' (self), 'konsistens' (consistency) og 'afstemning' (alignment). Begrebet er afledt af 'self-consistency' (Wang m.fl., 2022) og anvendt på alignment-problematik.
Kilder
1- Self-Consistency Improves Chain of Thought Reasoning in Language Models (Wang et al., 2022)