Selv-konsistens (self-consistency)
En metode, hvor en sprogmodel genererer flere uafhængige tankekæder og vælger det mest konsistente svar.
Kort fortalt
Kort fortalt: Man beder modellen om at tænke flere gange og vælger det svar, der går igen oftest.
- Kategori
- teknik
- Niveau
- øvet
Betydninger
1- 1
En dekodningsstrategi for store sprogmodeller, hvor flere uafhængige ræsonnementskæder genereres, og det mest konsistente svar vælges via afstemning.
- Ved brug af selv-konsistens i matematiske opgaver øges nøjagtigheden markant.
Hvornår bruges det
Selv-konsistens bruges typisk i forbindelse med chain-of-thought prompting for at reducere tilfældige fejl og øge pålideligheden af ræsonnementer. Det anvendes især til opgaver som matematisk problemløsning og logisk ræsonnement.
Kodeeksempel
def self_consistency(prompt, model, n=5):
responses = [api_call(prompt, model) for _ in range(n)]
answers = [extract_answer(r) for r in responses]
return max(set(answers), key=answers.count)En simpel implementering af selv-konsistens ved at kalde API flere gange og vælge det mest almindelige svar.
Oprindelse
Termen er introduceret af Wang et al. i 2022 som en forbedring af chain-of-thought ræsonnement.