alignmentsproblem
Problemet med at sikre, at kunstig intelligens handler i overensstemmelse med menneskelige intentioner og værdier.
Kort fortalt
Hvordan får vi AI til at gøre, hvad vi rent faktisk ønsker – og ikke noget andet?
- Kategori
- begreb
- Niveau
- øvet
- Udtale
- /aˈlɑjnmənsˌpʁoˌbleːm/
Betydninger
2- 1
Kerneproblemet med at sikre, at en AI's mål og adfærd matcher menneskets intentioner, både i specifikation og i implementering.
- Alignementsproblemet er en central udfordring i udviklingen af superintelligente systemer. — Forskningsartikel, 2023
- 2
Den tekniske vanskelighed ved at definere og indlære menneskelige værdier i AI-systemer, så de ikke finder utilsigtede genveje eller misfortolker mål.
- Reward hacking er et klassisk eksempel på alignementsproblemet i forstærkningslæring. — Lærebog i AI-sikkerhed, 2022
Hvornår bruges det
Alignementsproblemet diskuteres især inden for AI-sikkerhedsforskning, hvor man undersøger, hvordan man kan designe AI-systemer, der er robuste over for fejlspecifikationer og utilsigtede konsekvenser.
Oprindelse
Sammensat af 'alignment' (tilpasning, justering) og 'problem', fra det engelske 'alignment problem'.
Kilder
2- Superintelligence: Paths, Dangers, Strategies (Nick Bostrom, 2014)
- Human Compatible: Artificial Intelligence and the Problem of Control (Stuart Russell, 2019)