O alvo lento não recebe gradiente
Este sistema linear não prova a estabilidade do BYOL. Ele mostra a separação de escalas: a rede online e o preditor recebem gradiente; o alvo apenas acompanha por EMA.
peso online
peso alvo
preditor
online
alvo
perda final