pruning threshold
En tærskelværdi der afgør, hvilke vægte eller neuroner der fjernes under beskæring af en neural netværksmodel.
Kort fortalt
En værdi der bruges til at beslutte, hvilke dele af en AI-model der kan skæres væk, fordi de ikke er vigtige nok.
- Kategori
- begreb
- Niveau
- øvet
Betydninger
1- 1
En numerisk tærskel der bruges i modelbeskæring til at identificere og fjerne parametre (vægte, neuroner) med værdier under tærsklen, typisk baseret på absolut størrelse eller betydningsscore.
- Ved at sætte beskæringstærsklen til 0,01 fjernes alle vægte mindre end 0,01.
- En højere beskæringstærskel giver en mindre model, men kan reducere nøjagtigheden.
Hvornår bruges det
Pruning threshold anvendes under vægtbeskæring, hvor vægte med absolut værdi under tærsklen sættes til nul. Valget af threshold påvirker modellens størrelse og nøjagtighed og kræver ofte afprøvning.
Formel
Prune if |weight| < thresholdKodeeksempel
import torch
model = ...
threshold = 0.01
for param in model.parameters():
mask = torch.abs(param.data) >= threshold
param.data *= maskEksempel på vægtbeskæring ved at nulstille vægte under tærsklen.
Oprindelse
Fra 'pruning' (beskæring) og 'threshold' (tærskel), lånt fra signalbehandling og statistik.
Afledte ord
1Kilder
1- Learning both Weights and Connections for Efficient Neural Networks (Han et al., 2015)