Regra da cadeia e perplexidade

Regra da cadeia sob o microscópio

Altere a probabilidade atribuída a cada token observado e acompanhe o produto virar uma soma de custos.

Probabilidades condicionais observadas

Cada controle representa p(xₜ | x<ₜ), não a maior probabilidade de toda a distribuição.

incluir <eos> na avaliação

Da sequência à perplexidade

P(sequência)

NLL total

NLL média por token

perplexidade

O produto mede a sequência inteira. A NLL soma os custos locais. A perplexidade normaliza essa soma pelo número de posições avaliadas.

Conta por posição

token	contexto	pₜ	−ln pₜ	produto acumulado

Mesma palavra, perplexidades diferentes

Fixe a probabilidade da palavra completa. O laboratório reparte essa mesma probabilidade entre subpalavras e mostra o efeito de mudar a unidade do denominador.

P("improvável" | contexto) 0,125

quantidade de subpalavras 3

Tokenização A

[improvável]

tokens avaliados1

probabilidade total

NLL média

perplexidade

Tokenização B

tokens avaliados

probabilidade total

NLL média

perplexidade

As duas tokenizações atribuem a mesma probabilidade à palavra completa. As perplexidades diferem porque uma divide a NLL por uma posição e a outra divide pelo número de subpalavras. Sem uma unidade comum, o ranking não é uma comparação válida.