power law
En funktionel sammenhæng hvor én størrelse varierer som en potens af en anden, typisk udtrykt som y = k·x^α; i AI bruges power laws til at beskrive skaleringsforhold som tabsfunktionens afhængighed af data eller parametre.
Kort fortalt
En power law er en matematisk lov der siger, at når noget bliver større, så ændrer noget andet sig med en fast potens – fx at dobbelt så meget data giver en forudsigelig forbedring af en AI-model.
- Kategori
- begreb
- Niveau
- øvet
- Udtale
- /ˈpaʊ.ər ˌlɔː/
Betydninger
2- 1
En matematisk relation mellem to størrelser, hvor den ene er proportional med den anden opløftet til en konstant potens.
- En power law af formen y = k·x^α beskriver mange fysiske og sociale fænomener.
- 2
En empirisk observation i maskinlæring, hvor ydelsen af en AI-model (fx tabsfunktionen) følger en power law som funktion af træningsdata, modelstørrelse eller compute.
- Kaplans scaling law viser at test-tab falder som en power law med antallet af parametre. — Kaplan et al., Scaling Laws for Neural Language Models, 2020
Hvornår bruges det
Power laws anvendes i machine learning til at modellere skaleringsadfærd, især i forbindelse med scaling laws for sprogmodeller. De hjælper med at forudsige, hvor meget data eller compute der skal til for at opnå en given ydelse. Power laws optræder også i naturlige sprogdata (Zipfs lov) og i fordelingen af ord.
Formel
y = k·x^αOprindelse
Udtrykket er engelsk, sammensat af 'power' (potens) og 'law' (lov), og beskriver en potensfunktionel sammenhæng.
Afledte ord
2Kilder
2- Scaling Laws for Neural Language Models (Kaplan et al., 2020)
- Zipf's Law (Wikipedia)