power law distribution
En sandsynlighedsfordeling, hvor en lille ændring i én variabel medfører en proportional ændring i en anden variabel, karakteriseret ved en potensfunktion.
Kort fortalt
En fordeling, hvor få hændelser er meget hyppige og mange hændelser er sjældne, som f.eks. ordforekomster i sprog.
- Kategori
- begreb
- Niveau
- øvet
- Udtale
- /ˈpaʊər lɔː ˌdɪstrɪˈbjuːʃən/
Betydninger
1- 1
En sandsynlighedsfordeling, hvor sandsynligheden for en hændelse er omvendt proportional med hændelsens størrelse opløftet i en konstant potens, dvs. P(x) ∝ x^{-α}.
- Ordforekomster i naturligt sprog følger en power law, hvor få ord (fx 'og', 'i') optræder meget ofte. — Zipf's law, 1949
- Størrelsen af neurale netværks parametre kan følge en power law-fordeling.
Hvornår bruges det
Power law-forekomster observeres ofte i naturligt sprog, sociale netværk og modeltræning. I AI bruges de til at beskrive scaling laws for store sprogmodeller, hvor modelstørrelse, data og compute følger en power law.
Formel
P(x) ∝ x^{-α}Oprindelse
Udtrykket stammer fra matematisk fysik, hvor en potenslov beskriver relationer mellem størrelser, f.eks. i Pareto-fordelinger.
Kilder
2- Power laws, Pareto distributions and Zipf's law, Newman, 2005
- Scaling Laws for Neural Language Models, Kaplan et al., 2020