soft gating
Soft gating er en teknik i neurale netværk, hvor en blød vægtning (typisk via softmax) anvendes til at kombinere output fra flere eksperter eller stier, så alle bidrager proportionelt.
Kort fortalt
Soft gating lader flere modeller eller stier i et neuralt netværk samarbejde ved at give hver en blød vægt i stedet for kun at vælge én.
- Kategori
- teknik
- Niveau
- øvet
Betydninger
1- 1
En mekanisme i neurale netværk, der beregner en blød sandsynlighedsfordeling over et sæt af eksperter eller stier og bruger disse sandsynligheder som vægte til at kombinere deres output.
- I mixture of experts-modellen anvendes soft gating til at vægte de enkelte eksperters bidrag baseret på inputtet.
- Soft gating muliggør differentierbar træning, da vægtene er kontinuerte og kan opdateres via gradient descent.
Hvornår bruges det
Soft gating bruges især i mixture of experts-modeller og i attention-mekanismer, hvor forskellige dele af netværket specialiserer sig i forskellige input. Det giver en differentierbar beslutningsproces, der kan trænes med backpropagation.
Formel
g_i = softmax(x · W_g + b_g)_i = exp(x·W_g,i + b_g,i) / Σ_j exp(x·W_g,j + b_g,j)Oprindelse
Udtrykket 'soft gating' kommer af kontrasten til 'hard gating', hvor kun én ekspert vælges (one-hot). 'Soft' henviser til den kontinuerte, bløde fordeling af vægte.
Afledte ord
2Kilder
2- Mixture of Experts (1991)
- Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer (2017)