Emergent ability
Evne der opstår i en stor sprogmodel, som ikke var til stede i mindre modeller og ikke var eksplicit trænet for.
Kort fortalt
Når en AI pludselig kan noget nyt, når den bliver stor nok – noget den ikke var lært eller forventet at kunne.
- Kategori
- begreb
- Niveau
- øvet
Betydninger
1- 1
Fænomen hvor en stor sprogmodel udviser evner, der ikke var til stede i mindre versioner af samme model, og som ikke er direkte trænet for.
- Med GPT-3 så man emergent abilities som f.eks. oversættelse mellem sprog, selvom modellen ikke var specifikt trænet til det. — Brown et al., 2020
- Chain-of-thought prompting er en emergent ability, der muliggør flertrinsræsonnement i store sprogmodeller. — Wei et al., 2022
Hvornår bruges det
Termen bruges til at beskrive uventede færdigheder i store sprogmodeller, fx at kunne løse matematiske problemer eller ræsonnere i flere trin, som først opstår ved en vis modelstørrelse. Det er centralt i diskussionen om skalering og modelkapacitet.
Oprindelse
Sammensat af 'emergent' (fremkommende) og 'ability' (evne). Begrebet blev fremtrædende i AI-feltet efter artiklen 'Emergent Abilities of Large Language Models' (Wei et al., 2022).