Da probabilidade à perplexidade
Contexto: “o animal é um”. Contagens observadas: (4, 2, 1, 1).
Pesos do modelo Q
Os pesos são normalizados por qᵢ = wᵢ / Σw. Um peso pode chegar a zero.
Distribuições P e Q
P empírica
Q modelo
A conta inteira
H(P)
—
H(P,Q)
—
KL(P‖Q)
—
NLL total, N = 8
—
verossimilhança
—
perplexidade
—
H(P,Q) = H(P) + KL(P‖Q)
| continuação | cᵢ | pᵢ | qᵢ | −pᵢ log qᵢ |
|---|
A perplexidade usa exp(H) em nats e 2ᴴ em bits. A unidade muda; o fator equivalente não.