Temperatura: a entropia sobe, e a derivada tem fórmula

Os quatro escores são os que Karpathy escreve em prosa ao descrever a figura do hello: 1,0 para h, 2,2 para e, −3,0 para l e 4,1 para o. Mexa na temperatura e confira que a leitura dH/dβ medida bate com −β·Var — que é a Seção 5 do artigo, num controle deslizante.

entropia
−β · Var
dH/dβ medida
massa no máximo

A fonte, e os dois números que se conhecem antes de medir

O bloco é # seguido de m símbolos sorteados, depois | e a cópia dos mesmos m. O artigo usa m = 4 sobre um alfabeto de dados de 4 letras; aqui os dois são seus. Repare que a razão entre o piso e a entropia é sempre 2, e que a ordem mínima acompanha m + 1.

entropia da fonte
piso sem cópia
razão
ordem mínima
contextos V^k
visitados

O ciclo guloso, contado na tela

Um modelo de contexto de ordem k é estimado sobre um fluxo desta fonte, e depois decodificado gulosamente — sempre o símbolo mais provável. O estado é a janela dos últimos k símbolos, e portanto a órbita tem de entrar em ciclo em no máximo Vk passos. Compare o período medido com a cota, e veja o quanto ela é frouxa.

transiente
período
cota V^k
período / cota