unstructured pruning

1. 1

   Beskæring af individuelle vægte i et neuralt netværk uafhængigt af deres position, typisk baseret på vægtstørrelse eller andre kriterier.

   • Efter ustruktureret beskæring kan op til 90% af vægtene fjernes uden væsentligt præcisionstab. — Han et al., 2015
   • Ustruktureret beskæring resulterer i en sparsom matrix, men kræver tilpassede sparse tensor-operationer for at opnå hastighedsforøgelse.

Ustruktureret beskæring anvendes typisk efter træning for at reducere modellens lagringsstørrelse og inferenstid. Den resulterende sparse vægtmatrix kræver speciel hardware eller software for at opnå acceleration.

import torch
weights = torch.randn(10,10)
mask = torch.abs(weights) > 0.1  # threshold
pruned_weights = weights * mask

Eksempel på ustruktureret beskæring ved at nulstille vægte under en tærskel.

Fra 'unstructured' (uden struktur) og 'pruning' (beskæring), som i havebrug. Betegnelsen opstod i maskinlæringslitteraturen omkring 2015-2016 for at skelne det fra struktureret beskæring.

• Learning both Weights and Connections for Efficient Neural Networks (Han et al., 2015)
• Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding (Han et al., 2016)