data-drift-detektion
Data-drift-detektion er processen med at overvåge og identificere ændringer i inputdatafordelingen over tid for at opdage, når en model modtager data, der afviger fra træningsdataene.
Kort fortalt
Kort fortalt handler data-drift-detektion om at holde øje med, om de data, din model møder i produktion, ændrer sig, så du kan gribe ind før modellen begynder at fejle.
- Kategori
- teknik
- Niveau
- øvet
Betydninger
1- 1
Overvågning af ændringer i fordelingen af inputdata (features) over tid, typisk ved hjælp af statistiske tests eller maskinlæringsmetoder, for at opdage når modelens præmisser ikke længere er opfyldt.
- Systemet implementerede data-drift-detektion ved at sammenligne feature-fordelinger hver time med en reference fra træningssættet. — Eksempel fra praksis
- Ved hjælp af Evidently's drift-detektionsmodul kunne teamet automatisk alarmeres, når datadrift oversteg en foruddefineret tærskel. — Dokumentation for Evidently, 2024
Hvornår bruges det
Data-drift-detektion anvendes typisk i MLOps-pipelines til løbende at overvåge modellers ydeevne og trigge genoptræning eller advarsler, når datadistributionen skifter. Værktøjer som Evidently eller Great Expectations kan bruges til at sætte detektionsregler op baseret på statistiske tests (f.eks. Kolmogorov-Smirnov-test) eller domænespecifikke tærskler.
Kodeeksempel
from evidently.dashboard import Dashboard
from evidently.tabs import DataDriftTab
dashboard = Dashboard(tabs=[DataDriftTab()])
dashboard.calculate(reference_data, production_data)
dashboard.show()Dette kodeeksempel bruger Evidently-biblioteket til at oprette et dashboard, der viser data-drift-målinger mellem et referencesæt og et produktionssæt.
Oprindelse
Udtrykket er en sammensætning af 'data' (fra latin 'datum'), 'drift' (fra engelsk 'drift' i betydningen 'langsom ændring') og 'detektion' (fra latin 'detectio', 'afsløring'). Begrebet opstod inden for MLOps og machine learning i takt med behovet for at overvåge modeller i produktion.
Afledte ord
2Kilder
2- Evidently Documentation: Drift Detection
- MLOps: Continuous Delivery and Automation Pipelines in Machine Learning