alignmentsforskning
Forskningsområde inden for kunstig intelligens der sigter mod at sikre, at AI-systemers adfærd og mål overensstemmer med menneskelige værdier og intentioner.
Kort fortalt
Forskning der handler om at få AI til at gøre det, vi faktisk ønsker – ikke bare det, vi siger.
- Kategori
- begreb
- Niveau
- øvet
Betydninger
1- 1
Forskningsdisciplin der undersøger og udvikler metoder til at sikre, at AI-systemers mål, adfærd og beslutningsprocesser er i overensstemmelse med menneskelige værdier, normer og intentioner, især i kontekster hvor AI-systemer har autonomi og kan handle på måder der ikke er forudset af deres skabere.
- Alignmentsforskning er central for at undgå utilsigtede konsekvenser af kunstig generel intelligens.
- Mange alignmentsforskere advarer om, at AI-systemer kan finde smuthuller i deres træningsmål.
Hvornår bruges det
Anvendes i tekniske diskussioner om AI-sikkerhed, især i forbindelse med avancerede AI-systemer og superintelligens. Fokusområder omfatter værdiindlæring, fortolkbarhed og robusthed.
Oprindelse
Sammensætning af 'alignment' (tilpasning, overensstemmelse) og 'forskning', lånt fra engelsk 'alignment research'.
Afledte ord
2Kilder
2- Concrete Problems in AI Safety (2016)
- The Alignment Problem (2020)