Centralizar e aguçar não são a mesma coisa
A temperatura baixa do professor concentra a distribuição. O centro subtraído dos logits impede que uma dimensão mantenha vantagem global em todos os lotes.
entropia do professor
entropia cruzada
A temperatura baixa do professor concentra a distribuição. O centro subtraído dos logits impede que uma dimensão mantenha vantagem global em todos os lotes.