Como o MLM corrompe uma sequência
O BERT escolhe posições para previsão e, entre as escolhidas, aplica a regra 80/10/10. Troque a semente para ver uma realização diferente. A perda continua sendo calculada contra o token original, inclusive quando ele permaneceu visível.
[MASK]
token aleatório
token mantido
fora da perda
0posições escolhidas
0substituídas por [MASK]
0substituídas ao acaso
0mantidas, mas previstas