As quatro maneiras de injetar ruído, a fronteira entre duas delas, e os 2^n caminhos

As quatro maneiras de injetar ruído, e só uma delas ignora o comprimento

A variância de um caminho de n máscaras independentes vale q^-n - 1. Arraste o comprimento e veja três curvas subirem e uma ficar parada: a da regra de Zaremba, que atravessa L+1 = 3 máscaras qualquer que seja n. Com os números do paper — q = 1/2, n = 35 — os dois inteiros são 34.359.738.367 e 7.

probabilidade de manter 0,50

máscaras no caminho 35

por passo

–

compartilhada

–

zoneout

–

Zaremba, L+1 = 3

–

A fronteira entre os dois esquemas, e em n = 2 ela tem nome

Com q = 1/2 a máscara compartilhada é muito pior que a por passo. Perto de q = 1 a ordem inverte, e o ponto em que elas se tocam sai em forma fechada: é onde n potências consecutivas de q somam exatamente 1. Com n = 2 isso é q + q^2 = 1, e a raiz é a razão áurea. Empurre o comprimento e leia o mostrador: em n = 2 ele diz 0,6180339887.

máscaras no caminho 2

cruzamento q*

–

soma das n potências

–

resíduo da soma

–

expoentes

–

Os 2^n caminhos, um a um — e quantos deles sobram

Nenhuma fórmula aqui: o painel percorre todos os padrões de máscara, soma o peso e o valor de cada um, e pinta um quadrado por padrão. Os escuros são os que sobrevivem, e a conta de E[X] sai da soma e não de uma identidade. Desligue a reescala e o esquema vira zoneout: ali E[X^2] passa a ser igual a E[X], porque o fator só pode valer zero ou um.

probabilidade de manter 0,50

máscaras no caminho 8

reescalar o sobrevivente por 1/q

padrões

–

sobreviventes

–

E[X] somado

–

E[X^2] somado

–