Safety
AI safety er et tværfagligt forskningsfelt, der beskæftiger sig med at sikre, at kunstige intelligenssystemer opfører sig pålideligt og ikke forårsager utilsigtet skade.
Kort fortalt
Kort fortalt handler AI-sikkerhed om at designe AI-systemer, så de gør det, vi forventer, uden at skade mennesker eller samfund.
- Kategori
- begreb
- Niveau
- begynder
- Udtale
- /ˈseɪfti/
Betydninger
2- 1
Forskning og praksis, der sigter mod at forebygge utilsigtede skadelige konsekvenser af AI-systemer, herunder problemer som forkert måloptimering, uforudsigelig adfærd og sikkerhedsbrud.
- Mange AI-laboratorier har etableret dedikerede safety-teams for at teste deres modeller for risici.
- Safety-forskning omfatter både tekniske løsninger og governance-tiltag.
- 2
De specifikke egenskaber ved et AI-system, der gør det modstandsdygtigt over for manipulation, fejl og utilsigtede outputs, især i relation til værdier og etik.
- En chatbot med høj safety nægter at generere hadefulde eller farlige svar.
- Red teaming er en metode til at evaluere safety i sprogmodeller.
Hvornår bruges det
AI safety anvendes i forbindelse med udvikling og implementering af AI-systemer, især inden for områder som self-driving cars, sprogmodeller og autonome våben. Det omfatter teknikker som alignment-training, robusthedstest og overvågning.
Oprindelse
Ordet 'safety' kommer fra engelsk, hvor det betyder 'sikkerhed'. I AI-sammenhæng begyndte det at blive brugt systematisk i 2010'erne, især efter offentliggørelsen af 'Concrete Problems in AI Safety' (2016).
Afledte ord
2Kilder
2- Concrete Problems in AI Safety (2016)
- The Alignment Problem (Brian Christian, 2020)