Experiment tracking
Systematisk dokumentation og logning af parametre, data, metrikker og kode for maskinlæringseksperimenter.
Kort fortalt
En praksis der gør det muligt at holde styr på og sammenligne utallige eksperimenter, så resultater kan reproduceres og findes igen.
- Kategori
- begreb
- Niveau
- øvet
Betydninger
1- 1
Praksis med at logge og organisere metadata fra maskinlæringseksperimenter, såsom hyperparametre, målinger, kodeversioner og datahenvisninger, for at sikre reproducerbarhed og sammenlignelighed.
- Ved at implementere experiment tracking kan teamet nemt sammenligne resultaterne af 50 eksperimenter og finde den bedste model.
- Mange organisationer kræver experiment tracking for at opfylde krav om reproducerbarhed i deres ML-workflow.
Hvornår bruges det
Experiment tracking bruges i maskinlæringsprojekter til at logge hvert eksperiments konfiguration, hyperparametre, datasætversion, metrikker og eventuelle filer. Det gør det muligt at sammenligne resultater på tværs af eksperimenter, fejlfinde og sikre reproducerbarhed. Typisk integreres det i workflows via værktøjer som MLflow, Weights & Biases eller TensorBoard.
Kodeeksempel
import mlflow
mlflow.start_run()
mlflow.log_param("learning_rate", 0.01)
mlflow.log_metric("accuracy", 0.95)
mlflow.end_run()Eksempel på logning af et eksperiment med MLflow: parametre og metrikker gemmes.
Oprindelse
Termen er sammensat af engelsk 'experiment' (eksperiment) og 'tracking' (sporing) og beskriver praksissen med at spore og logge maskinlæringseksperimenters metadata.