expert capacity
Evne for en del af en model til at specialisere sig i og håndtere viden inden for et bestemt domæne.
Kort fortalt
Kort fortalt: Hvor meget specialiseret viden en 'ekspert' i en model kan lagre og bruge.
- Kategori
- begreb
- Niveau
- øvet
Betydninger
1- 1
I mixture-of-experts-modeller: den maksimale mængde af specialiseret viden eller antal parametre, som en enkelt ekspert i modellen kan have, ofte bestemt af ekspertens størrelse eller tokenbudget.
- Hvis ekspertkapaciteten er for lille, kan modellen ikke specialisere sig tilstrækkeligt i hvert domæne. — Forskningsartikel om MoE, 2023
- Ved at øge ekspertkapaciteten kan modellen håndtere flere domænespecifikke opgaver uden at degradere ydeevnen. — Teknisk rapport, 2022
Hvornår bruges det
Begrebet bruges især i mixture-of-experts (MoE) modeller, hvor hver ekspert har en begrænset kapacitet. Hvis kapaciteten overskrides, kan eksperten ikke håndtere mere domænespecifik information, hvilket kan føre til overbelastning af andre eksperter.
Oprindelse
Udtrykket stammer fra mixture-of-experts litteraturen (Jacobs et al., 1991) og beskriver den maksimale mængde information en ekspertnetværk kan indeholde.
Kilder
2- Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer (2017)
- Mixture of Experts (Jacobs et al., 1991)