hyperparameteroptimering
Proces med at finde de optimale hyperparametre for en maskinlæringsmodel for at maksimere dens ydeevne.
Kort fortalt
Systematisk jagt på de bedste indstillinger for en models parametre, der ikke læres under træning, såsom læringshastighed eller lagdeling.
- Kategori
- træning
- Niveau
- øvet
Betydninger
2- 1
Systematisk søgning efter den bedste kombination af hyperparametre for en given maskinlæringsmodel, typisk med henblik på at minimere en tabsfunktion på et valideringsdatasæt.
- Hyperparameteroptimering af et neuralt netværk kræver ofte mange forsøg.
- Bayesiansk optimering er en effektiv metode til hyperparameteroptimering.
- 2
Anvendelse af automatiserede algoritmer som grid search, random search, Bayesiansk optimering eller populationsbaserede metoder til at finde optimale hyperparametre.
- Random search er ofte mere effektivt end grid search til hyperparameteroptimering.
- Automatisk hyperparameteroptimering kan spare mange timer manuelt arbejde.
Hvornår bruges det
Hyperparameteroptimering bruges i alle faser af modeludvikling, ofte med teknikker som grid search, random search eller bayesiansk optimering. Det er afgørende for at opnå state-of-the-art resultater og undgå overfitting eller underfitting.
Kodeeksempel
from sklearn.model_selection import RandomizedSearchCV
param_dist = {'n_estimators': [10, 100, 200], 'max_depth': [3, 5, 10]}
random_search = RandomizedSearchCV(estimator, param_dist, n_iter=10)
random_search.fit(X, y)Eksempel på random search for hyperparametre i scikit-learn
Oprindelse
Fra græsk 'hyper' (over) og 'parameter', kombineret med 'optimering' fra latin 'optimus' (bedst). Termen opstod i maskinlæringslitteraturen i 1990'erne.
Afledte ord
3Kilder
2- Random Search for Hyper-Parameter Optimization (Bergstra & Bengio, 2012)
- Algorithms for Hyper-Parameter Optimization (Bergstra, Bardenet, Bengio & Kégl, 2011)