næste-sætnings-forudsigelse
Næste-sætnings-forudsigelse er en træningsopgave, hvor en model lærer at afgøre, om en given sætning følger logisk efter en anden sætning.
Kort fortalt
En teknik, hvor en sprogmodel trænes til at genkende, om to sætninger hænger sammen i en tekst.
- Kategori
- træning
- Niveau
- øvet
Betydninger
1- 1
En binær klassifikationsopgave i prætræning af sprogmodeller, hvor modellen for et par af sætninger (A, B) skal forudsige, om sætning B følger naturligt efter sætning A i den originale tekst.
- I BERT's prætræning udvælges 50% af sætning A-B parrene som sammenhængende (IsNext) og 50% som tilfældige (NotNext). — Devlin et al., 2018
- Næste-sætnings-forudsigelse hjælper modellen med at lære relationer mellem sætninger, hvilket er nyttigt for opgaver som spørgsmålssvar og inferens.
Hvornår bruges det
Bruges primært i prætræning af sprogmodeller som BERT, hvor modellen samtidig lærer forudsigelse af maskerede ord. NSP forbedrer modellens forståelse af sætningsrelationer og tekstsammenhæng.
Oprindelse
Termen opstod med introduktionen af BERT-modellen (Devlin et al., 2019), hvor næste-sætnings-forudsigelse blev anvendt som en af to prætræningsopgaver.
Kilder
1- BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding