instruktions-fine-tuning-datasæt
Et datasæt af (instruktion, output)-par, der bruges til at finjustere en sprogmodel til at følge anvisninger.
Kort fortalt
Et instruktions-fine-tuning-datasæt er en samling af eksempler, hvor en person giver en instruktion, og en anden person skriver det rigtige svar, så modellen lærer at svare korrekt på kommandoer.
- Kategori
- træning
- Niveau
- øvet
Betydninger
1- 1
En samling af (instruktion, output)-par, der bruges til at finjustere en sprogmodel, så den lærer at følge brugernes anvisninger på tværs af forskellige opgaver.
- OpenAI brugte et instruktions-fine-tuning-datasæt med 13.000 eksempler til at træne InstructGPT. — InstructGPT-papir, 2022
- Et godt instruktions-fine-tuning-datasæt bør dække mange opgavekategorier og have variation i sprogbrugen.
Hvornår bruges det
Instruktions-fine-tuning-datasæt bruges i supervised fine-tuning (SFT) til at justere en foruddannet sprogmodel, så den bedre kan følge brugervenlige instruktioner. Datasættet består typisk af tusindvis af håndskrevne eller genererede (instruktion, svar)-par, ofte med variation i opgaveformulering. Det er grundlaget for modeller som InstructGPT og ChatGPT.
Kodeeksempel
{
"instruction": "Skriv en kort e-mail til din chef om din ferie.",
"output": "Kære chef, jeg vil gerne ansøge om ferie fra d. 1. til 5. juli. Venlig hilsen, [Navn]"
}Eksempel på et enkelt datapunkt i et instruktions-fine-tuning-datasæt: instruktionen og det forventede svar.
Oprindelse
Sammensat af 'instruktions-fine-tuning' (fra engelsk 'instruction fine-tuning') og 'datasæt' (dataset). 'Instruction fine-tuning' blev populært med InstructGPT-papiret (2022), hvor man finjusterede GPT-3 på et datasæt af menneskeskrevne instruktioner.
Kilder
2- Training language models to follow instructions with human feedback (InstructGPT)
- Finetuned Language Models Are Zero-Shot Learners (FLAN)
Se også
- Fine-tuning
- instruction-tuning(mangler)
- supervised-fine-tuning(mangler)