Representações e Modelos de Mundo: o Mapa da Série

Uma câmera entrega pixels. Um microfone entrega amostras de pressão. Um robô recebe posições articulares, forças, imagens e comandos. Nenhuma dessas medições vem acompanhada de uma etiqueta informando o que é permanente, o que é ruído, o que pode mudar e qual mudança depende de uma ação. Antes de prever o mundo, uma máquina precisa decidir o que conta como estado do mundo.

Essa decisão é o objeto desta série.

Começaremos por representações. Veremos como um encoder transforma observações em vetores, quais tarefas obrigam esses vetores a conservar informação e por que uma perda pequena pode esconder uma representação inútil. Depois chegaremos às JEPA, de Joint-Embedding Predictive Architectures (arquiteturas preditivas de embeddings conjuntos), que aprendem prevendo alvos no espaço de representação. Finalmente, usaremos essas representações como estados de modelos que renderizam observações, simulam dinâmica, imaginam futuros e sustentam planejamento.

O percurso contém dezenove artigos, mas não é uma coleção de dezenove respostas independentes. Cada artigo remove uma ambiguidade necessária para o seguinte. Este primeiro texto apresenta a arquitetura inteira, fixa o vocabulário e oferece um mapa vivo do que já pode ser lido.

1. Duas perguntas, uma série

A série será governada por duas perguntas encadeadas:

Que tarefa de pré-treinamento força uma rede a conservar a informação que será útil depois?

Que futuro o modelo precisa prever, sob quais ações e incertezas, para melhorar uma decisão?

A primeira pergunta pertence ao aprendizado de representação. Seja $x$ uma observação, como uma imagem, e seja $f_\theta$ um encoder com parâmetros $\theta$. A representação será

\[z=f_\theta(x),\]

na qual $z$ é um vetor ou tensor que resume $x$. A fórmula é curta porque esconde a escolha difícil: quais propriedades de $x$ devem permanecer acessíveis em $z$? Se o objetivo pedir reconstrução de pixels, detalhes locais serão valiosos. Se pedir concordância entre duas views da mesma cena, a representação será pressionada a ignorar transformações escolhidas como aumentos. Se pedir previsão de uma região ausente, o contexto terá de carregar informação suficiente para antecipar o alvo.

A segunda pergunta começa quando $z$ passa a representar um estado que evolui. Denotemos por $z_t$ a representação no instante $t$, por $a_t$ a ação executada e por $F_\phi$ um modelo de dinâmica com parâmetros $\phi$. Uma previsão mínima assume a forma

\[\hat{z}_{t+1}=F_\phi(z_t,a_t),\]

na qual $\hat{z}_{t+1}$ é o estado previsto para o próximo instante. Agora a qualidade de $z_t$ não pode ser medida apenas por reconstrução ou classificação. O estado precisa distinguir futuros que exigem ações diferentes. Se duas situações visualmente semelhantes levam a consequências incompatíveis, comprimi-las no mesmo ponto economiza memória e destrói o planejamento. Há economias que custam caro.

As duas perguntas se encontram aqui: a tarefa de representação decide quais diferenças o modelo de mundo conseguirá prever.

1.1 Quando uma representação pode ser chamada de estado

Seja o histórico disponível no instante $t$

\[h_t=(x_0,a_0,x_1,a_1,\ldots,x_t)\]

e seja $z_t=f_\theta(h_t)$. Para $z_t$ funcionar como estado preditivo, queremos que o histórico deixe de acrescentar informação relevante sobre o próximo resultado depois de conhecidos $z_t$ e $a_t$:

\[p(x_{t+1},r_t\mid h_t,a_t) =p(x_{t+1},r_t\mid z_t,a_t).\]

Aqui $r_t$ é uma recompensa ou custo observado após a ação. A igualdade é uma condição de suficiência preditiva. Ela não exige que $z_t$ reconstrua cada detalhe do passado; exige que preserve tudo o que altera a distribuição do próximo dado relevante.

Considere uma bola movendo-se numa linha com posição $p_t$ e velocidade $v_t$. Se a dinâmica é

\[p_{t+1}=p_t+v_t, \qquad v_{t+1}=v_t+a_t,\]

usar somente $z_t=p_t$ não basta. Dois históricos podem terminar na mesma posição, um com $v_t=1$ e outro com $v_t=-1$, e produzir posições seguintes diferentes sob a mesma ação. O par $z_t=(p_t,v_t)$ é suficiente para essa dinâmica determinística. A dimensão cresceu, mas a ambiguidade preditiva diminuiu.

Há ainda uma noção orientada à decisão. Dois estados podem ser agrupados se produzirem as mesmas recompensas imediatas e as mesmas distribuições sobre grupos futuros para todas as ações. Essa ideia está por trás de abstrações por bissimulação. Uma representação útil para controle não precisa preservar diferenças que nenhuma ação nem recompensa consegue revelar, mas precisa separar diferenças que mudam o valor de uma decisão.

1.2 Exercícios de lápis e papel

1. Para a bola da Seção 1.1, calcule $(p_{t+1},v_{t+1})$ a partir de $(p_t,v_t)=(3,-1)$ e $a_t=2$.
2. Construa dois estados com a mesma posição e velocidades diferentes que produzam próximos estados distintos com $a_t=0$.
3. Explique por que acrescentar todo o histórico a $z_t$ garante informação, mas pode ser uma representação computacionalmente ruim.
4. Dê um detalhe visual que possa ser descartado num jogo sem alterar transições nem recompensas.
5. Dê um detalhe visual que não possa ser descartado num problema de direção autônoma porque muda a ação segura.

2. Representação não é modelo de mundo

Chamaremos de observação aquilo que o agente mede e de estado a descrição interna usada para prever consequências. O estado físico completo, denotado por $s_t$, pode ser inacessível. Uma câmera não mostra o objeto atrás da parede; uma imagem isolada não revela a velocidade sem pistas adicionais. O agente constrói uma representação $z_t$ a partir do histórico disponível e espera que ela retenha o que importa.

Um bom embedding visual pode separar classes e ainda ser incapaz de prever movimento. Um modelo contrastivo pode saber que duas imagens mostram o mesmo carro sem saber se o carro está acelerando. Um I-JEPA pode produzir representações semanticamente fortes sem possuir, por isso, uma dinâmica condicionada por ações, uma função de custo ou um planejador. Representação é matéria-prima; um agente completo exige outras engrenagens.

Para separar essas engrenagens, o terceiro arco usará três papéis funcionais.

Um renderer produz observações. Se $R_\psi$ for o modelo de observação, então

\[\hat{x}_{t}=R_\psi(z_t),\]

na qual $\hat{x}_t$ é a imagem, o áudio ou outra medição prevista. A pergunta do renderer é: “como este estado pareceria ao sensor?”.

Um simulador faz o estado avançar. Ele implementa uma transição como $F_\phi(z_t,a_t)$ e responde: “o que mudaria se executássemos esta ação?”. Um simulador pode trabalhar com pixels, latentes densos, objetos, grafos, campos tridimensionais ou distribuições de crença. A escolha do portador não é cosmética; determina quais intervenções são simples e quais regularidades precisam ser reaprendidas.

Um planejador consulta futuros para escolher uma ação. Para horizonte $H$ e custo $C$, uma forma abstrata é

\[\mathbf{a}_{t:t+H-1}^\star = \underset{\mathbf{a}_{t:t+H-1}}{\operatorname{arg\,min}} \; \mathbb{E} \left[ \sum_{k=0}^{H-1} C(z_{t+k},a_{t+k}) \right],\]

na qual $\mathbf{a}_{t:t+H-1}^\star$ é a sequência preferida, o planejador executa sua primeira ação e a esperança representa futuros incertos. A equação não diz se a busca usa árvore, amostragem, gradientes ou uma política treinada para imitar o resultado. Ela apenas fixa o contrato: previsão só se torna planejamento quando entra numa comparação de ações.

Um único sistema pode cumprir os três papéis. A taxonomia é uma lente para localizar responsabilidades, não uma repartição burocrática do mundo.

2.1 Parcial observabilidade e estado de crença

Quando o estado físico $s_t$ não é observado, a solução probabilística clássica é manter uma distribuição de crença

\[b_t(s)=P(s_t=s\mid h_t).\]

Depois de executar $a_t$ e observar $x_{t+1}$, a crença é atualizada por previsão e correção:

\[b_{t+1}(s') \propto P(x_{t+1}\mid s',a_t) \sum_sP(s'\mid s,a_t)b_t(s).\]

O somatório transporta a crença pela dinâmica; o primeiro fator repondera estados pela compatibilidade com a nova observação; a constante omitida normaliza a soma para $1$. Em um POMDP conhecido, a crença completa é um estado suficiente. Em redes neurais, $z_t$ costuma ser uma aproximação aprendida e comprimida dessa informação.

Considere duas caixas fechadas, esquerda e direita, e uma moeda escondida em uma delas. Antes de qualquer observação, $b_t=(1/2,1/2)$. Um sensor diz “esquerda” com acerto de $80\%$. Se ele reporta esquerda e as probabilidades anteriores são iguais, Bayes produz

\[P(\text{esquerda}\mid\text{relato esquerda}) =\frac{0{,}8\cdot0{,}5} {0{,}8\cdot0{,}5+0{,}2\cdot0{,}5} =0{,}8.\]

Uma observação não revela necessariamente o estado; ela atualiza uma distribuição. Modelos de mundo que retornam apenas um ponto podem esconder essa incerteza e oferecer confiança que a evidência não sustenta.

2.2 De identificação de sistemas a modelos de mundo neurais

Prever a evolução de um sistema sob entradas é problema antigo em controle e identificação de sistemas. Redes neurais entraram nessa história cedo. Em 1990, Schmidhuber descreveu um modelo recorrente que previa futuras entradas a partir de observações e ações e permitia propagar gradientes através do modelo para treinar um controlador. Em 1991, chamou explicitamente esse módulo de world model. O Dyna, de Sutton, integrou experiência real, modelo aprendido e planejamento no mesmo laço. Ha e Schmidhuber popularizaram em 2018 a composição moderna de modelo visual, dinâmica recorrente e controlador treinável dentro de “sonhos” gerados.

Essa genealogia evita dois erros. O primeiro é tratar world model como sinônimo recente de gerador de vídeo. O segundo é esquecer ações. Um modelo que prevê a próxima observação sem receber a intervenção pode ser excelente para previsão passiva e inadequado para planejamento contrafactual. A pergunta histórica permaneceu estável: como usar um modelo aprendido das consequências para escolher o que fazer?

2.3 Exercícios de lápis e papel

1. No exemplo das caixas, calcule a crença posterior se o sensor reporta direita.
2. Repita a atualização para um sensor com acerto de $60\%$.
3. Normalize o vetor não normalizado $(0{,}12,0{,}48)$.
4. Classifique como renderer, simulador ou planejador: transformar um estado 3D em uma imagem de câmera.
5. Classifique como renderer, simulador ou planejador: comparar cem sequências de ação pela soma de custos previstos.

3. O mapa vivo da série

O painel abaixo contém o plano completo. Escolha um arco, filtre apenas os textos publicados e selecione qualquer cartão. O painel de explicação informa a responsabilidade editorial, as dependências e o artefato previsto. Quando um artigo estiver disponível, o botão levará à leitura.

O estado não foi duplicado dentro do JavaScript. Durante a construção do site, o Jekyll compara o roadmap completo com site.posts. Um arquivo com published: false permanece no plano, mas não aparece como texto público; quando o front matter muda para published: true, o próximo build acrescenta o link. O JavaScript recebe o resultado já resolvido e cuida apenas da interação. Assim, o plano pode olhar para a frente sem fingir que o futuro já foi escrito.

4. Primeiro arco: aprender representações

Os Artigos 2 a 7 investigam tarefas de pré-treinamento. O ponto comum não é uma arquitetura específica, e sim uma pergunta: que informação a função de perda recompensa?

4.1 Reconstruir e gerar

No Artigo 2, Autoencoders: o Gargalo, a Reconstrução e o Latente, definimos um encoder $f_\theta$, um decoder $g_\varphi$ e a reconstrução

\[\hat{x}=g_\varphi(f_\theta(x)).\]

O gargalo impede, ou ao menos dificulta, a cópia trivial. Examinamos o caso linear, sua relação cuidadosa com PCA, os denoising autoencoders e o conflito entre erro de reconstrução e utilidade semântica. Uma imagem pode ser reconstruída com baixo erro médio e perder justamente a pequena placa que decide a ação do veículo. A perda mede o contrato que recebeu, não o contrato que desejávamos em silêncio.

O Artigo 3, Difusão Latente: Comprimir Antes de Gerar, separa duas responsabilidades que frequentemente aparecem misturadas. O autoencoder define o espaço latente; o modelo de difusão aprende uma distribuição nesse espaço. O artigo deriva o processo direto de ruído, o caminho reverso e o custo de repetir avaliações do denoiser. Também fixa uma limitação irreversível: aquilo que o decoder não sabe reconstruir não reaparece por insistência estatística.

Reconstrução e geração ensinam uma primeira linhagem. Ela mostra como comprimir observações e como produzir novas amostras. Ainda não garante que o latente seja o melhor estado para uma tarefa posterior.

4.2 Contrastar e destilar

O Artigo 4, SimCLR: Aprender por Contraste e Pagar pelos Negativos, muda o objeto da tarefa. Duas views da mesma imagem formam um par positivo; representações de outras imagens no lote funcionam como negativos. Derivamos a perda NT-Xent, a temperatura e o custo da matriz de similaridades. O mecanismo revela que aumentos de dados não são decoração: eles declaram quais transformações devem deixar a identidade inalterada.

O Artigo 5, BYOL: Aprender sem Negativos sem Entregar Tudo ao Colapso, remove os pares negativos. Uma rede online tenta prever a representação de uma rede-alvo atualizada por EMA, de exponential moving average (média móvel exponencial). O preditor, o stop-gradient e a diferença de escalas temporais tornam o treinamento empiricamente resistente ao colapso nas configurações estudadas. Nenhuma dessas peças, isolada e por decreto, transforma a solução constante em impossibilidade matemática.

O Artigo 6, DINO: Autodestilação e Objetos que Emergem da Atenção, mantém a família student-teacher, mas troca a regressão de vetores por casamento de distribuições. Centralização e sharpening combatem degenerações diferentes; multi-crop liga vistas locais e globais. Os mapas de atenção do Vision Transformer revelam estruturas de objetos sem supervisão de segmentação, resultado importante que trataremos como evidência mensurada, não como prova de interpretação causal.

Esses três artigos formam a linhagem de joint embedding. Ela ensina concordância entre representações relacionadas, o custo dos negativos e as assimetrias que permitem removê-los.

4.3 Mascarar para obrigar o contexto a trabalhar

O Artigo 7, MAE: Mascarar 75% da Imagem e Reconstruir o que Falta, leva o mascaramento à visão. O encoder processa apenas os patches visíveis; um decodificador menor recebe os mask tokens e tenta reconstruir pixels. A taxa de mascaramento altera simultaneamente a dificuldade estatística e o custo físico do Transformer.

O MAE é a ponte para JEPA. Ambos escondem regiões e usam contexto visível, mas o alvo muda. O MAE reconstrói unidades observáveis; o I-JEPA prevê representações produzidas por outro encoder. Essa troca permite descartar detalhes imprevisíveis em pixels, mas abre novamente a porta do colapso. O segundo arco começa exatamente nessa porta.

4.4 Exercícios de integração do primeiro arco

1. Associe cada objetivo a sua família: MSE de pixels, NT-Xent, regressão angular, entropia cruzada entre professor e estudante e reconstrução de patches ocultos.
2. Indique quais métodos do arco usam negativos explícitos e quais usam um alvo por EMA.
3. Explique por que um autoencoder linear pode preservar a maior variância e perder a variável que decide uma classe.
4. Calcule quantos patches visíveis restam numa grade $14\times14$ com máscara de $75\%$.
5. Construa uma tabela manual com as colunas “alvo”, “mecanismo anti-colapso” e “detalhe que a perda recompensa” para SimCLR, BYOL, DINO e MAE.

5. Segundo arco: prever em espaço de representação

Os Artigos 8 a 11 formam o arco JEPA. O fio condutor será

\[s_x=f_\theta(x), \qquad s_y=f_{\bar{\theta}}(y), \qquad \hat{s}_y=g_\phi(s_x), \qquad \mathcal{L}=D(\hat{s}_y,s_y),\]

na qual $x$ é o contexto, $y$ é o alvo, $s_x$ e $s_y$ são suas representações, $g_\phi$ é o preditor e $D$ mede a discrepância. O traço sobre $\bar{\theta}$ distingue os parâmetros do encoder alvo. Cada artigo perguntará o que muda quando imagem, vídeo, ação, energia e distribuição entram nesse esquema.

5.1 O template e o colapso

O Artigo 8, Prever, não Gerar: o Template JEPA e o Problema do Colapso, é a convergência das três linhagens. Ele compara previsão de pixels e previsão de representações, formaliza a solução constante e mede os mecanismos anti-colapso. Se ambos os ramos produzirem sempre o mesmo vetor, a distância entre previsão e alvo pode cair a zero sem que o vetor carregue informação sobre a entrada. Uma função de perda satisfeita não é sinônimo de uma tarefa cumprida.

O artigo também separa mecanismos frequentemente jogados no mesmo saco: negativos no SimCLR, assimetria no BYOL e no I-JEPA, centralização no DINO, variância e covariância no VICReg, e regularização distribucional no LeJEPA. Comparar mecanismos exige perguntar qual degeneração atacam e qual custo introduzem.

5.2 I-JEPA como sistema computacional

O Artigo 9, I-JEPA do zero em C++ e CUDA, será o coração implementacional. Ele transforma uma imagem $224\times224$ em $196$ patches, deriva atenção e bloco Transformer, constrói máscaras retangulares, seleciona contexto, insere mask tokens, executa o preditor e atualiza o alvo por EMA.

A distinção entre CPU e GPU será explícita. Em CPU, seleção de índices, organização contígua e atualização de parâmetros encontram caches, SIMD e largura de banda. Em GPU, atenção, projeções e kernels de EMA encontram warps, memória compartilhada, acessos coalescidos e custo de lançamento. O objetivo não será reimplementar uma biblioteca inteira, mas mostrar onde a matemática encontra a hierarquia de memória.

5.3 Vídeo, ação e planejamento

O Artigo 10, V-JEPA e o salto para o planejamento, acrescentará tempo. Patches espaço-temporais elevam o custo da atenção, mas também obrigam a representação a carregar movimento. V-JEPA aprende sem ações; V-JEPA 2 combina pré-treinamento em vídeo com um preditor condicionado por ações e usa esse preditor para procurar trajetórias que aproximem o estado de um objetivo.

Essa passagem é decisiva. A ação deixa de ser apenas algo que observamos no conjunto de dados e entra como variável de intervenção:

\[\hat{z}_{t+1}=F_\phi(z_t,a_t).\]

Ainda não teremos uma teoria geral de planejamento. Teremos a primeira demonstração de que uma representação preditiva pode tornar a busca tratável ao descartar detalhes que não alteram a consequência relevante.

5.4 Energia, distribuição e futuros múltiplos

O Artigo 11, LeJEPA, energia e modelos de mundo, fecha o arco. LeJEPA interpreta o colapso como problema de distribuição e usa SIGReg para aproximar uma gaussiana isotrópica por projeções unidimensionais. O artigo deriva a ligação com Cramér-Wold, funções características e regularização.

A leitura por energia escreverá

\[E(x,y)=D\!\left(g_\phi(f_\theta(x)),f_{\bar{\theta}}(y)\right),\]

na qual pares compatíveis recebem baixa energia. Um latente adicional poderá representar futuros múltiplos; sem ele, um preditor determinístico pode calcular a média de duas continuidades plausíveis e produzir uma continuidade que nunca acontece. O carro que pode virar à esquerda ou à direita não precisa atravessar o canteiro central para satisfazer nossa preferência por uma única resposta.

5.5 Exercícios de integração do arco JEPA

1. Substitua encoders constantes e um preditor constante na perda $\mathcal{L}=D(\hat{s}_y,s_y)$ e explique o colapso.
2. Para $\bar\theta\leftarrow0{,}99\bar\theta+0{,}01\theta$, calcule a nova meta quando $\bar\theta=2$ e $\theta=5$.
3. Dê um exemplo de contexto visual com dois alvos futuros plausíveis e explique por que a média pode ser irreal.
4. Classifique como variável observada ou latente desconhecida: a ação executada por um robô e o rumo futuro de um pedestre ainda não decidido.
5. Compare MAE e I-JEPA em três linhas: contexto do encoder, espaço do alvo e necessidade de decoder de pixels.

6. Terceiro arco: modelos de mundo

Os Artigos 12 a 19 ampliam o foco. A pergunta deixa de ser apenas “esta representação é útil?” e passa a ser “que previsões, intervenções e decisões esta representação sustenta?”.

O Artigo 12, Modelos de mundo: estado, observação, ação e três papéis, formalizará o laço agente-mundo, MDP, POMDP e estado de crença. Ele fixará os contratos de renderer, simulador e planejador e impedirá que qualquer gerador de vídeo receba o título de modelo de mundo por entusiasmo lexical.

O Artigo 13, Renderizar futuros: da difusão de vídeo aos mundos interativos, tratará geração temporal condicionada como modelo de observações. Compararemos fidelidade visual, aderência à ação, permanência de objetos e consistência de longo horizonte. Genie, GameNGen e DIAMOND entrarão como mecanismos documentados, não como uma parada de produtos.

O Artigo 14, Simular o espaço: NeRF, Gaussian Splatting e gráficos inversos, mudará o portador de estado. Campos de radiância implícitos e gaussianas explícitas serão comparados por síntese de vistas, custo, editabilidade e validade contrafactual. Produzir uma vista fotográfica e representar geometria correta são objetivos relacionados, mas não idênticos.

O Artigo 15, Simular a física: objetos, relações e dinâmica em grafos, representará objetos como nós e interações como arestas. Interaction Networks, Graph Network-based Simulators e MeshGraphNets ensinarão passagem de mensagens, integração temporal e erro acumulado. Um modelo pode ter excelente erro de um passo e perder energia, momento ou estabilidade depois de cem passos.

O Artigo 16, Imaginar em latentes: World Models, PlaNet e Dreamer, combinará estado recorrente determinístico e variável estocástica. PlaNet planeja no latente; Dreamer aprende comportamento em rollouts imaginados. Veremos prior, posterior, reconstrução, recompensa e o risco de treinar uma política dentro dos erros do próprio modelo.

O Artigo 17, Planejar com modelos aprendidos: MuZero, MPC e TD-MPC2, comparará busca em árvore, controle preditivo e políticas amortizadas. O mesmo modelo poderá ser barato para um passo e caro quando consultado milhares de vezes por decisão. Também construiremos um caso em que o planejador encontra precisamente a região onde a dinâmica aprendida está errada. Otimização é eficiente inclusive para explorar nossos enganos.

O Artigo 18, Prever sem certeza: crenças, multimodalidade e risco, distinguirá incerteza aleatória de ignorância do modelo. Custo esperado, pior caso, restrições probabilísticas e CVaR poderão escolher ações diferentes diante da mesma distribuição. Calibração deixará de ser uma métrica ornamental quando probabilidades entrarem no freio de um robô.

O Artigo 19, Do VLA ao agente: interfaces para um modelo de mundo unificado, fechará a série. Uma VLA, de vision-language-action (visão, linguagem e ação), mapeia observações e instruções para ações; um modelo de mundo representa estados e transições reutilizáveis em decisões distintas. Integraremos percepção, memória, dinâmica, custo, planejador e ator por contratos verificáveis, sem declarar que colocar tudo numa rede tornou cada responsabilidade resolvida.

6.1 Como o erro de um passo cresce num rollout

Considere dinâmica verdadeira $F$ e dinâmica aprendida $\hat F$. Suponha que o erro de modelo de um passo seja limitado por

\[\lVert \hat F(z,a)-F(z,a)\rVert\le\varepsilon\]

e que $F$ seja $L$-Lipschitz no estado:

\[\lVert F(z,a)-F(z',a)\rVert \le L\lVert z-z'\rVert.\]

Se $e_k=\lVert\hat z_{t+k}-z_{t+k}\rVert$, então

\[e_{k+1}\le \varepsilon+Le_k.\]

Com $e_0=0$, abrir a recorrência produz

\[e_H \le\varepsilon\sum_{j=0}^{H-1}L^j = \begin{cases} \varepsilon H,&L=1,\\[4pt] \varepsilon\dfrac{L^H-1}{L-1},&L\ne1. \end{cases}\]

Se $L<1$, a dinâmica contrai diferenças e o erro fica limitado por $\varepsilon/(1-L)$. Se $L=1$, cresce no máximo linearmente. Se $L>1$, o limite geométrico pode explodir. Um excelente erro de um passo não garante estabilidade de cem passos; o território dinâmico decide como os erros se compõem.

O planejador agrava o problema de outra maneira. Ele procura ações de baixo custo previsto e pode encontrar precisamente regiões onde $\hat F$ está otimista por falta de dados. Avaliar em malha fechada compara o custo realmente obtido depois de executar ações, não apenas o custo imaginado pelo próprio modelo.

6.2 Exercícios de rollout e decisão

1. Para $\varepsilon=0{,}1$, $L=1$ e $H=10$, calcule o limite de erro.
2. Para $\varepsilon=0{,}1$, $L=1/2$ e $H=3$, some a série geométrica.
3. Para $\varepsilon=0{,}1$, $L=2$ e $H=4$, calcule o limite.
4. Explique por que medir somente $e_1$ não revela se $L$ é menor ou maior que $1$.
5. Dê um exemplo em que um planejador explora um erro otimista do modelo e escolhe uma ação perigosa.

7. Três distinções que manterão a série honesta

7.1 Perder informação não é aprender abstração

Toda compressão perde algo. Chamaremos a perda de abstração útil apenas quando o que desaparece for irrelevante para o conjunto declarado de previsões e decisões. Um latente pequeno não é semanticamente melhor por ocupar menos bytes. A avaliação precisará testar transferência, previsão, intervenção ou controle, conforme a promessa do artigo.

7.2 Parecer correto não é estar correto

Fidelidade visual mede observações; fidelidade de estado mede a estrutura que sustenta vistas, intervenções e dinâmica. Um vídeo pode manter textura e iluminação enquanto troca identidades ou viola conservação. Um simulador pode prever trajetórias úteis e produzir imagens medíocres. O terceiro arco medirá cada papel pelo contrato que realmente cumpre.

7.3 Prever não é decidir

Um modelo prevê consequências. Um planejador compara ações. Uma política escolhe ações, possivelmente sem busca explícita. Misturar esses objetos torna impossível localizar uma falha: não saberemos se o estado omitiu informação, se a dinâmica errou, se o custo premiou a coisa errada ou se a busca acabou cedo. A série insistirá em interfaces porque sistemas compostos falham de maneira composta.

7.4 Exercícios de diagnóstico

1. Uma reconstrução troca a textura da parede, mas preserva posição e velocidade dos objetos. Discuta se a perda foi prejudicial para renderização e para controle.
2. Um simulador prevê posições corretas por um passo e diverge em vinte. Indique duas causas possíveis separando erro de modelo e instabilidade dinâmica.
3. Um planejador escolhe exatamente a trajetória prevista, mas o custo premia velocidade e ignora colisões. Localize a falha.
4. Uma política falha embora modelo e custo estejam corretos, porque a busca avalia apenas uma ação. Localize a falha.
5. Escreva um teste distinto para representação, dinâmica, planejador e execução em malha fechada.

8. Quatro rotas de leitura

A ordem canônica é a rota mais segura, mas nem toda leitora chega com a mesma pergunta. As rotas seguintes não eliminam pré-requisitos; elas indicam onde concentrar atenção.

Rota	Sequência recomendada	Pergunta que conduz a leitura
Conceitual	1, 2, 4, 5, 7, 8, 11, 12, 18, 19	O que uma representação conserva e quando ela se torna estado?
Generativa	1, 2, 3, 7, 8, 13, 14	Quando reconstruir, gerar, renderizar ou representar geometria?
Implementacional	1, 2, 4, 5, 7, 8, 9, 10	Como máscaras, atenção, EMA, memória e FLOPs aparecem no sistema real?
Controle	1, 8, 10, 11, 12, 15, 16, 17, 18, 19	Como previsões condicionadas por ação se transformam em decisões?

O laboratório da Seção 3 continuará sendo a fonte mais confiável para disponibilidade. As sequências acima incluem artigos planejados porque descrevem dependências conceituais; cartões cinza indicam que a explicação ainda não passou pelo contrato de publicação.

9. O contrato de publicação

Cada artigo técnico definirá o objeto previsto e a função de perda antes de comparar métodos. Ele conterá um exemplo pequeno verificável, quantificará pelo menos um custo de computação ou memória e ensinará um modo de falha. O código publicado será C++23, com CUDA C++ quando o território for GPU; o JavaScript permanecerá dentro dos laboratórios.

Os artigos sobre modelos de mundo terão obrigações adicionais. Deverão declarar estado, observação, ação, horizonte e uso da previsão. Separarão erro de um passo, rollout aberto e resultado em malha fechada. Quando houver incerteza, erro médio não bastará; quando houver planejamento, custo previsto será comparado com custo realizado.

Este artigo de abertura é a única exceção ao requisito de código algorítmico. Seu programa é o mapa da Seção 3. Inserir um trecho C++23 apenas para marcar uma caixa produziria código sem objeto matemático próprio, o equivalente editorial de instalar um velocímetro numa estante.

Conclusão

Começaremos com observações e perguntaremos o que deve sobreviver à compressão. Passaremos por reconstrução, difusão, contraste, autodestilação e mascaramento. Em seguida, preveremos representações com JEPA, levaremos a previsão a vídeo, ações, energia e futuros múltiplos. Finalmente, construiremos modelos de estado, espaço, física, imaginação, risco e decisão.

A direção conceitual será

\[\text{observação} \longrightarrow \text{representação} \longrightarrow \text{estado preditivo} \longrightarrow \text{futuros sob ações} \longrightarrow \text{decisão}.\]

Cada seta possui uma hipótese, uma perda e um modo de falha. O objetivo da série é tornar todos eles visíveis.

Antes de modelar o mundo, precisamos declarar o que estamos dispostos a esquecer.

Acrônimos e Abreviações neste artigo

Acrônimo	Definição em Inglês	Tradução em Português
CVaR	Conditional Value at Risk	Valor em Risco Condicional
EMA	Exponential Moving Average	Média Móvel Exponencial
GPU	Graphics Processing Unit	Unidade de Processamento Gráfico
JEPA	Joint-Embedding Predictive Architecture	Arquitetura Preditiva de Embeddings Conjuntos
MAE	Masked Autoencoder	Autoencoder Mascarado
MDP	Markov Decision Process	Processo de Decisão de Markov
MPC	Model Predictive Control	Controle Preditivo por Modelo
POMDP	Partially Observable Markov Decision Process	Processo de Decisão de Markov Parcialmente Observável
VLA	Vision-Language-Action	Visão, Linguagem e Ação

Referências

ALONSO, E. et al. Diffusion for World Modeling: Visual Details Matter in Atari. NeurIPS, 2024. Disponível em: https://arxiv.org/abs/2405.12399. Acesso em: 29 jul. 2026.

ASSRAN, M. et al. Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture. ICCV, 2023. Disponível em: https://arxiv.org/abs/2301.08243. Acesso em: 29 jul. 2026.

ASSRAN, M. et al. V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and Planning. arXiv, 2025. Disponível em: https://arxiv.org/abs/2506.09985. Acesso em: 29 jul. 2026.

BALESTRIERO, R.; LECUN, Y. LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics. arXiv, 2025. Disponível em: https://arxiv.org/abs/2511.08544. Acesso em: 29 jul. 2026.

BARDES, A.; PONCE, J.; LECUN, Y. VICReg: Variance-Invariance-Covariance Regularization for Self-Supervised Learning. ICLR, 2022. Disponível em: https://arxiv.org/abs/2105.04906. Acesso em: 29 jul. 2026.

BATTAGLIA, P. W.; PASCANU, R.; LAI, M.; REZENDE, D.; KAVUKCUOGLU, K. Interaction Networks for Learning about Objects, Relations and Physics. NeurIPS, 2016. Disponível em: https://arxiv.org/abs/1612.00222. Acesso em: 29 jul. 2026.

BRUCE, J. et al. Genie: Generative Interactive Environments. arXiv, 2024. Disponível em: https://arxiv.org/abs/2402.15391. Acesso em: 29 jul. 2026.

CARON, M. et al. Emerging Properties in Self-Supervised Vision Transformers. ICCV, 2021. Disponível em: https://arxiv.org/abs/2104.14294. Acesso em: 29 jul. 2026.

CHEN, T.; KORNBLITH, S.; NOROUZI, M.; HINTON, G. A Simple Framework for Contrastive Learning of Visual Representations. ICML, 2020. Disponível em: https://arxiv.org/abs/2002.05709. Acesso em: 29 jul. 2026.

CRAMÉR, H.; WOLD, H. Some Theorems on Distribution Functions. Journal of the London Mathematical Society, v. s1-11, n. 4, p. 290-294, 1936. Disponível em: https://doi.org/10.1112/jlms/s1-11.4.290. Acesso em: 29 jul. 2026.

FERNS, N.; PANANGADEN, P.; PRECUP, D. Metrics for Finite Markov Decision Processes. Proceedings of the 20th Conference on Uncertainty in Artificial Intelligence, p. 162-169, 2004. Disponível em: https://arxiv.org/abs/1207.4114. Acesso em: 29 jul. 2026.

GRILL, J.-B. et al. Bootstrap Your Own Latent: A New Approach to Self-Supervised Learning. NeurIPS, 2020. Disponível em: https://arxiv.org/abs/2006.07733. Acesso em: 29 jul. 2026.

HA, D.; SCHMIDHUBER, J. World Models. arXiv, 2018. Disponível em: https://arxiv.org/abs/1803.10122. Acesso em: 29 jul. 2026.

HAFNER, D. et al. Dream to Control: Learning Behaviors by Latent Imagination. ICLR, 2020. Disponível em: https://arxiv.org/abs/1912.01603. Acesso em: 29 jul. 2026.

HAFNER, D. et al. Learning Latent Dynamics for Planning from Pixels. ICML, 2019. Disponível em: https://arxiv.org/abs/1811.04551. Acesso em: 29 jul. 2026.

HANSEN, N.; SU, H.; WANG, X. TD-MPC2: Scalable, Robust World Models for Continuous Control. ICLR, 2024. Disponível em: https://arxiv.org/abs/2310.16828. Acesso em: 29 jul. 2026.

HE, K. et al. Masked Autoencoders Are Scalable Vision Learners. CVPR, 2022. Disponível em: https://arxiv.org/abs/2111.06377. Acesso em: 29 jul. 2026.

HINTON, G. E.; SALAKHUTDINOV, R. R. Reducing the Dimensionality of Data with Neural Networks. Science, v. 313, n. 5786, p. 504-507, 2006. Disponível em: https://doi.org/10.1126/science.1127647. Acesso em: 29 jul. 2026.

HO, J.; JAIN, A.; ABBEEL, P. Denoising Diffusion Probabilistic Models. NeurIPS, 2020. Disponível em: https://arxiv.org/abs/2006.11239. Acesso em: 29 jul. 2026.

KAELBLING, L. P.; LITTMAN, M. L.; CASSANDRA, A. R. Planning and Acting in Partially Observable Stochastic Domains. Artificial Intelligence, v. 101, n. 1-2, p. 99-134, 1998. Disponível em: https://doi.org/10.1016/S0004-3702(98)00023-X. Acesso em: 29 jul. 2026.

KERBL, B.; KOPANAS, G.; LEIMKÜHLER, T.; DRETTAKIS, G. 3D Gaussian Splatting for Real-Time Radiance Field Rendering. ACM Transactions on Graphics, v. 42, n. 4, 2023. Disponível em: https://arxiv.org/abs/2308.04079. Acesso em: 29 jul. 2026.

LECUN, Y. A Path Towards Autonomous Machine Intelligence. OpenReview, 2022. Disponível em: https://openreview.net/forum?id=BZ5a1r-kVsf. Acesso em: 29 jul. 2026.

MILDENHALL, B. et al. NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis. ECCV, 2020. Disponível em: https://arxiv.org/abs/2003.08934. Acesso em: 29 jul. 2026.

PFAFF, T. et al. Learning Mesh-Based Simulation with Graph Networks. ICLR, 2021. Disponível em: https://arxiv.org/abs/2010.03409. Acesso em: 29 jul. 2026.

ROCKAFELLAR, R. T.; URYASEV, S. Optimization of Conditional Value-at-Risk. Journal of Risk, v. 2, n. 3, p. 21-41, 2000. Disponível em: https://doi.org/10.21314/JOR.2000.038. Acesso em: 29 jul. 2026.

ROMBACH, R.; BLATTMANN, A.; LORENZ, D.; ESSER, P.; OMMER, B. High-Resolution Image Synthesis with Latent Diffusion Models. CVPR, 2022. Disponível em: https://arxiv.org/abs/2112.10752. Acesso em: 29 jul. 2026.

SANCHEZ-GONZALEZ, A. et al. Learning to Simulate Complex Physics with Graph Networks. ICML, 2020. Disponível em: https://arxiv.org/abs/2002.09405. Acesso em: 29 jul. 2026.

SCHMIDHUBER, J. Curious Model-Building Control Systems. Proceedings of the International Joint Conference on Neural Networks, v. 2, p. 1458-1463, 1991. Disponível em: https://people.idsia.ch/~juergen/curioussingapore/curioussingapore.html. Acesso em: 29 jul. 2026.

SCHRITTWIESER, J. et al. Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model. Nature, v. 588, p. 604-609, 2020. Disponível em: https://arxiv.org/abs/1911.08265. Acesso em: 29 jul. 2026.

SUTTON, R. S. Dyna, an Integrated Architecture for Learning, Planning, and Reacting. ACM SIGART Bulletin, v. 2, n. 4, p. 160-163, 1991. Disponível em: https://doi.org/10.1145/122344.122377. Acesso em: 29 jul. 2026.

VALEVSKI, D. et al. Diffusion Models Are Real-Time Game Engines. arXiv, 2024. Disponível em: https://arxiv.org/abs/2408.14837. Acesso em: 29 jul. 2026.