Sequência e Palavra Foco

Clique em uma palavra para torná-la a Query. O painel calculará como ela presta atenção nas demais palavras (Keys) usando as matrizes do artigo e a Máscara $\mathbf{M} = [1, 0, 1, 0, 1]$.

$w_5$
i=0
$w_{17}$
i=1
$w_3$
i=2
$w_{42}$
i=3
$w_{11}$
i=4

1. Vetor Query ($\mathbf{q}$)

O foco atual gera a query.

2. Vetor de Contexto Final ($\mathbf{c}$)

A soma ponderada (pelos pesos de atenção) dos Values ($\mathbf{v}$).

3. Scores de Atenção ($\alpha$)

Como a palavra foco avalia cada palavra da sequência. Notar que o mascaramento zera as conexões com $i=1$ e $i=3$ antes do softmax, resultando em pesos iguais a $\exp(0)=1$ na soma.