safety-forskning
Safety-forskning er det tværfaglige felt, der undersøger, hvordan man sikrer, at AI-systemer handler i overensstemmelse med menneskelige værdier og undgår utilsigtede skadelige konsekvenser.
Kort fortalt
Safety-forskning handler om at gøre kunstig intelligens sikker og pålidelig, så den ikke gør uventet skade.
- Kategori
- begreb
- Niveau
- øvet
Betydninger
1- 1
Den systematiske undersøgelse af, hvordan man designer AI-systemer, der handler sikkert og i overensstemmelse med menneskelige intentioner.
- Safety-forskning har identificeret flere udfordringer med at specificere korrekte belønningsfunktioner i reinforcement learning. — Amodei et al., 2016
Hvornår bruges det
Safety-forskning anvendes i udviklingen af avancerede AI-systemer for at forudsige og afbøde risici, især inden for reinforcement learning, værdiskabning og robusthed. Det omfatter både tekniske tilgange som alignmentsforskning og governance-strategier.
Oprindelse
Termen er en sammensætning af det engelske 'safety' (sikkerhed) og det danske 'forskning'. Feltet opstod omkring 2010'erne med bekymringer om utilsigtede konsekvenser af kraftfuld AI.
Kilder
2- Concrete Problems in AI Safety
- Superintelligence: Paths, Dangers, Strategies