indholdsmodereringssystem
Et indholdsmodereringssystem er et automatiseret eller menneskeligt system, der vurderer og filtrerer brugeroprettet indhold for at forhindre spredning af skadelige, upassende eller ulovlige materialer.
Kort fortalt
Kort fortalt: Et indholdsmodereringssystem hjælper med at holde uønsket indhold ude, fx hadefulde kommentarer, voldelige billeder eller spam, typisk ved hjælp af AI og menneskelig kontrol.
- Kategori
- værktøj
- Niveau
- begynder
Betydninger
1- 1
Et system, der automatisk eller manuelt vurderer indhold (tekst, billeder, video) for at håndhæve adfærdskodeks og lovkrav, ofte ved hjælp af AI-modeller trænet til at genkende hadtale, vold, seksuelt indhold mv.
- Platformen implementerede et indholdsmodereringssystem for at fjerne hadefulde kommentarer i realtid.
- OpenAI's indholdsmodereringssystem klassificerer brugergenereret tekst i kategorier som had, vold og selvskade. — OpenAI API documentation
Hvornår bruges det
Indholdsmodereringssystemer bruges bredt på sociale medier, fora, e-handelsplatforme og AI-chatbots for at overholde retningslinjer og lovkrav. Systemet kan være regelbaseret, maskinlæringsdrevet eller en hybrid. Praktisk anvendelse inkluderer automatisk blokering af stødende sprog, flagning af upassende billeder og eskalering til menneskelige moderatorer.
Kodeeksempel
from openai import OpenAI
client = OpenAI()
moderation = client.moderations.create(input="I hate you")
print(moderation.results[0].flagged)Eksempel på brug af OpenAI's moderations-API til at tjekke om en tekst er upassende.
Oprindelse
Sammensat af 'indhold' (content) + 'moderering' (moderation) + 'system', sandsynligvis lånt fra engelsk 'content moderation system'.