O carrossel, o vazamento, e o viés que decide

O horizonte do carrossel, e a régua da RNN de baunilha

Com a porta de esquecimento parada em sigma(b_f), a lembrança cai por esse fator a cada passo, e o horizonte até 1e-12 vale -12 ln 10 / ln sigma(b_f). A linha tracejada é a régua: os 146,96 passos que IL24 mediu numa recorrência de baunilha com ganho 1. Mexa no viés e procure o cruzamento — ele não acontece em 1.

viés de esquecimento 1,00

f = sigma(b_f)

–

horizonte

–

contra a RNN

–

f(1-f)

–

O carrossel, o vazamento, e as três parcelas

A jacobiana verdadeira é diag(f) mais um vazamento de três parcelas, uma por porta que depende de h. Desligue as três e a taxa medida vira sigma(b_f) exato — é o controle negativo do artigo, e ele só passa com as três desligadas. Desligue só a de esquecimento e veja o que acontece.

parcela de U_f parcela de U_i parcela de U_g

taxa medida

–

sigma(b_f)

–

diferença

–

memória medida

–