Inductive bias
Inductive bias betegner de antagelser, en maskinlæringsalgoritme anvender for at foretrække bestemte hypoteser frem for andre, når den generaliserer fra træningsdata.
Kort fortalt
Kort fortalt: Algoritmens indbyggede 'fordomme', der hjælper den med at finde mening i data og undgå at blive forvirret af støj.
- Kategori
- begreb
- Niveau
- øvet
- Udtale
- /ɪnˈdʌktɪv ˈbaɪəs/
Betydninger
1- 1
De antagelser, der indbygges i en læringsalgoritme for at styre dens generalisering, ofte i form af præference for enklere eller mere strukturede hypoteser.
- Beslutningstræer har en inductiv bias, der foretrækker kortere træer (Occams ragekniv).
- Konvolutionsnetværk indlejrer en inductiv bias om lokale, translation-invariante mønstre i billeddata.
Hvornår bruges det
Inductive bias bruges til at beskrive, hvordan en model begrænser sit hypothesesæt for at gøre læring mulig. Det er et centralt koncept i forståelsen af, hvorfor forskellige modeller (fx beslutningstræer vs. neurale netværk) opfører sig forskelligt på samme data.
Oprindelse
Begrebet stammer fra maskinlæringslitteraturen i 1980'erne, især Tom Mitchells arbejde, og trækker på filosofisk induktion, hvor bias er nødvendig for at generalisere fra begrænsede observationer.
Kilder
2- The Need for Biases in Learning Generalizations
- Relational inductive biases, deep learning, and graph networks