Colapso: quando toda imagem vira o mesmo ponto

Dois encoders reduzidos a um peso escalar cada, um preditor escalar e uma perda de casamento sobre oito entradas fixas. Ligue Colapso (alvo por gradiente, sem stop-gradient) e veja o desvio-padrão das representações despencar para zero enquanto a perda também vai a zero: o mínimo global inútil da Seção 5.1. Depois ligue Saudável (stop-gradient + EMA) e veja o desvio-padrão se estabilizar num patamar vivo enquanto a perda ainda cai. Ajuste o momento m e observe a janela τ = 1/(1−m): valores altos suavizam o tremor do alvo; valores baixos o deixam nervoso. O terceiro painel desenha o núcleo de pesos (1−m)mk da média EMA: a área à esquerda de τ guarda a maior parte da memória do alvo, cerca de 63% no limite de m próximo de 1. É uma caricatura escalar do argumento, não o I-JEPA — mas as três engrenagens são as mesmas.

Atualização do alvo
Stop-gradient no alvo
Momento m = 0.996
std final (alvo)
tremor (últimos 120)
janela τ = 1/(1−m)
perda final
Desvio-padrão das representações do alvo
Perda de previsão
Núcleo da média EMA: peso (1−m)mk por idade k