preprocessing
Forberedelse og transformation af rådata til et format, der er egnet til maskinlæringsalgoritmer.
Kort fortalt
Preprocessing er de trin, der gør rådata rent, struktureret og klar til at blive brugt til at træne en AI-model.
- Kategori
- teknik
- Niveau
- begynder
- Udtale
- /priːˈprɒsɛsɪŋ/
Betydninger
1- 1
De operationer, der udføres på rådata for at gøre dem anvendelige til maskinlæring, herunder rensning, transformation, normalisering og feature engineering.
- Før vi træner modellen, skal vi anvende preprocessing for at håndtere manglende værdier og skalere funktionerne. — eksempel
- I NLP-projekter inkluderer preprocessing typisk tokenisering og fjernelse af stopord. — eksempel
Hvornår bruges det
Preprocessing bruges i næsten alle ML-projekter for at forbedre modelpræstation og undgå fejl. Det inkluderer opgaver som håndtering af manglende værdier, skalering af numeriske variable og kodning af kategoriske data.
Kodeeksempel
from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)Standardiserer funktionerne ved at fjerne gennemsnittet og skalere til enhedsvarians.
Oprindelse
Fra engelsk 'preprocessing', sammensat af 'pre-' (før) og 'processing' (behandling).