distributional robustness
Distributional robustness refererer til en models evne til at opretholde præstation, når testfordelingen afviger fra træningsfordelingen.
Kort fortalt
Det handler om, at en model ikke kun skal fungere på data, den er trænet på, men også på data, der ser lidt anderledes ud.
- Kategori
- begreb
- Niveau
- øvet
Betydninger
2- 1
Den generelle egenskab ved en model, at dens præstation er stabil på tværs af forskellige datadistributioner, især under uforudsete ændringer (distribution shift).
- Neurale netværk har ofte lav distributional robustness over for adversarial perturbations.
- Distributional robustness er et centralt mål i domænegeneralisering.
- 2
En formel ramme, hvor robusthed kvantificeres gennem værste-faldstab over en ambiguity set af plausible fordelinger, ofte kaldet distributionally robust optimization (DRO).
- Distributionally robust optimization minimerer det forventede tab under den værste fordelingsændring inden for en kugle i Wasserstein-afstand.
Hvornår bruges det
Distributional robustness bruges i praksis til at designe maskinlæringsmodeller, der er pålidelige under reelle forhold, hvor data kan ændre sig over tid (distribution shift). Det opnås ofte gennem teknikker som distributionally robust optimization (DRO), adversarial training eller dataaugmentering, der eksplicit træner mod værste-faldsscenarier.
Oprindelse
Sammensat af 'distributional' (fordelingsmæssig) og 'robustness' (robusthed). Begrebet opstod i statistik og operationsanalyse og blev senere adopteret i maskinlæring.
Afledte ord
1Kilder
2- Distributionally Robust Optimization: A Review (Rahimian & Mehrotra, 2019)
- Domain Generalization: A Survey (Zhou et al., 2022)