Arraste qualquer x e repare que todos os gradientes se mexem: a camada mistura o lote. As duas leituras que ficam presas em zero são a soma do gradiente e o produto interno dele com a entrada — são as duas direções que o projetor P aniquila. Baixe o lote para 2 e o gradiente inteiro zera. Suba eps e a soma dos quadrados de x̂ sai de B.
| b | x | x̂ | y | g | dL/dx certo | dL/dx errado |
|---|
A coluna do erro clássico é gama·g/s: ela ignora que a média e a variância dependem de x. Compare os sinais. E repare que o cosseno entre as duas colunas nunca fica negativo — é isso que faz o defeito treinar mesmo estando errado.
Em azul, g como chega de cima; em violeta, P g, que é o que a camada deixa passar. A diferença entre os dois é a componente de g no plano gerado pela constante e por x̂, e é exatamente ela que o erro clássico esquece de remover.