query key value
De tre vektorer — forespørgsel (query), nøgle (key) og værdi (value) — der bruges i attention-mekanismen til at beregne opmærksomhedsvægte.
Kort fortalt
I attention-mekanismen bruges query, key og value til at bestemme, hvilke dele af input der er vigtige: query søger efter relevante keys, og vægtene bruges til at vægte values.
- Kategori
- begreb
- Niveau
- øvet
Betydninger
1- 1
De tre vektorer (query, key, value) som udgør grundlaget for attention-beregningen, hvor query og key bestemmer opmærksomhedsvægte, og value bidrager til outputtet.
- I Transformeren omdannes hvert ord til en query, key og value vektor. — Vaswani et al., 2017
- Attention-mekanismen beregner vægtede summer af values baseret på query-key lighed. — Vaswani et al., 2017
Hvornår bruges det
Query, key og value bruges i selv-opmærksomhed (self-attention) i Transformere. Hvert input-token omdannes til disse tre vektorer via lineære transformationer. Scoren mellem en query og en key beregnes typisk som dot-produktet, og values vægtes derefter med bløde vægte (softmax).
Formel
Attention(Q,K,V) = softmax(QK^T / sqrt(d_k)) VOprindelse
Termerne er inspireret af informationsgenfinding: en query matcher mod keys i en database for at hente den tilsvarende value.
Kilder
1- Attention Is All You Need (Vaswani et al., 2017)