CAI
forkortelse for Constitutional AI
Constitutional AI (CAI) er en metode til at justere sprogmodellers adfærd ved hjælp af et sæt skrevne principper (en 'forfatning'), som modellen trænes til at følge.
Kort fortalt
Kort fortalt: CAI er en måde at træne AI til at opføre sig etisk og sikkert ved at give den en skreven 'forfatning' med regler.
- Kategori
- teknik
- Niveau
- øvet
- Udtale
- /ˌsiː eɪ ˈaɪ/
Betydninger
1- 1
En teknik inden for AI-justering, hvor en sprogmodel trænes til at overholde et sæt skriftlige regler, kaldet en forfatning, for at producere sikre og etiske outputs.
- Vi anvendte CAI til at reducere antallet af upassende svar i chatmodellen. — Anthropic, 2022
- CAI-modellen blev trænet med en forfatning bestående af 10 principper. — Anthropic, 2022
Hvornår bruges det
CAI anvendes i praksis til at reducere skadelige outputs fra sprogmodeller. Metoden blev udviklet af Anthropic og bruges bl.a. i deres Claude-model. CAI kan integreres både i trænings- og eftertræningsfasen, fx via reinforcement learning from human feedback (RLHF) eller direkte under finetuning.
Oprindelse
Udtrykket 'Constitutional AI' blev introduceret af Anthropic i 2022 i en forskningsartikel om sikker AI-justering.
Afledte ord
1Kilder
1- Constitutional AI: Harmlessness from AI Feedback