Prever, não gerar: o template **JEPA** e o problema do colapso

Se, em algum momento, a esforçada leitora estudou os difusão, estudou modelos que aprendem uma distribuição por meio de um processo de corrupção e remoção de ruído. Vou reforçar: corrupção e remoção de ruído.

Dada uma amostra corrompida, a rede aprende a estimar o ruído, o score ou uma parametrização equivalente e, na amostragem, reverte a corrupção passo a passo até que um gato, uma galáxia ou um rosto emerjam do ruído. Como se fosse Michelangelo, tirando do bloco de mármore tudo que não era David.

É uma filosofia generativa.

A expressão gramática generativa foi popularizada por Chomsky para descrever sistemas formais capazes de gerar sentenças, mas isso não estabelece uma linhagem etimológica direta para o uso estatístico moderno de modelo generativo. Mas, sem dúvida, indica uma relação.

Em aprendizado de máquina, o termo, generativa, designa modelos da distribuição dos dados, ou de um mecanismo de amostragem equivalente, não modelos que criam conteúdo “a partir de nada”. É preciso cuidado com este “a partir do nada”. Esta expressão é popular, simpática, simples e enganosa.

Na criação de imagens, diferentes famílias generativas recebem objetivos diferentes: autoencoders podem reconstruir pixels, GANs usam um objetivo adversarial e modelos de difusão costumam prever ruído, score ou velocidade. A qualidade das amostras é uma medida importante, mas verossimilhança, cobertura da distribuição e desempenho em tarefas posteriores também têm o seu valor.

Neste artigo abrimos uma série de quatro trabalhos dedicada a uma filosofia rival, nascida para responder à mesma pergunta: como aprender a estrutura do mundo sem rótulos? Se a difusão é o Michelangelo que remove ruído até fazer David emergir do mármore, a técnica que estudaremos a seguir se recusa a esculpir a estátua inteira. Em vez disso, aprende uma representação abstrata na qual permanecem as relações necessárias para prever uma parte a partir de outra; veios, poeira e marcas que não ajudam essa previsão podem ficar no chão da oficina.

Essa é a aposta das Joint Embedding Predictive Architectures, ou JEPA, proposta por Yann LeCun em A Path Towards Autonomous Machine Intelligence como fundação para modelos de mundo que planejam em espaço latente. A série, por enquanto, tem quatro partes. Neste primeiro artigo construímos o problema, o template formal e a análise do colapso, o modo de falha que assombra métodos não contrastivos de embedding conjunto e que a maioria das exposições trata de forma superficial, como se nada fosse. No segundo, implementamos uma versão didática do I-JEPA em C++23 e CUDA. No terceiro, estendemos a ideia a vídeo e a planejamento com o V-JEPA e o V-JEPA 2. No quarto, chegamos ao LeJEPA, aos energy-based models e ao lugar do JEPA na arquitetura de inteligência autônoma que LeCun propõe, e ao debate, que merece peso próprio, sobre se prever token é ou não suficiente.

A JEPA é o mais novo representante na longa tradição da ciência da computação de encontrar nomes ruins para coisas geniais.

Logo abaixo da superfície do JEPA, encontramos o espaço de representação. É nele que o modelo aplica seu objetivo preditivo. A diferença relevante não é em relação a todos os “modelos tradicionais”, mas a objetivos de reconstrução: enquanto estes penalizam o erro ao reconstruir a entrada ou uma parte mascarada, a JEPA prevê a representação de um alvo a partir da representação do contexto, sem exigir reconstrução no espaço dos dados.

Guarde esse contraste, porque ele é o fio que costura a lógica desta série: o **JEPA** prevê um pedaço a partir de outro e se recusa a reconstruir.

1. Aprender sem rótulos

O aprendizado supervisionado tem um contrato simples: mostre à rede um milhão de pares (imagem, rótulo) e ela aprende a função que os liga. O problema é o custo do rótulo. Existe mais imagem, vídeo e áudio no mundo do que qualquer orçamento de anotação humana consegue rotular, e a maior parte do que um agente precisa saber sobre física, permanência de objetos e causalidade não cabe numa etiqueta de classe. Neste ponto surge o SSL.

O self-supervised learning, ou SSL (aprendizado auto-supervisionado), ataca esse gargalo fabricando o sinal de treino a partir dos próprios dados: escondemos parte da entrada e pedimos que a rede a recupere, ou construímos pares relacionados e pedimos que a rede os aproxime. Sem rótulo humano, mas com uma tarefa que força a rede a aprender estrutura.

A dificuldade central do campo é escolher a tarefa.

Uma tarefa boa produz representações úteis para tudo o que vier depois; uma tarefa ruim produz representações que resolvem o pretexto e mais nada. Vale a pena percorrer, em ordem, as famílias que dominaram a última década, porque o JEPA se define em oposição a cada uma delas.

Começando com os autoencoders: comprima a entrada num gargalo e reconstrua-a; se a reconstrução é boa com um gargalo estreito, o gargalo capturou informação suficiente para o decodificador. Quando a perda exige reconstrução direta de pixels, o modelo também é penalizado por erros de textura, reflexos e artefatos de compressão, mesmo que esses detalhes pouco ajudem uma tarefa semântica. Modelos generativos no espaço de pixels enfrentam exigência semelhante; modelos de difusão latente podem atenuá-la conforme o que seu autoencoder descarta. O JEPA toma uma decisão diferente: otimiza diretamente a previsão de representações e não exige um decodificador de pixels.

O aprendizado contrastivo, cristalizado no SimCLR, trocou reconstrução por comparação. Tome views aumentadas da mesma imagem, por exemplo: recorte, distorção de cor, borramento, e treine a rede para aproximar suas representações enquanto afasta as representações de imagens diferentes, os negatives. O resultado é bom, funciona bem, mas paga dois preços. O primeiro é que os negatives custam: para afastar pares não relacionados, precisamos de muitos deles por passo, o que empurra o custo para $O(B^2)$ em similaridades de batch. O segundo, mais sutil, é que a qualidade depende de aumentos de dados desenhados à mão, um conhecimento de domínio embutido que não se transfere de graça de imagens para, digamos, sinais de EEG.

A self-distillation — BYOL, DINO — mostrou que dá para dispensar os negatives. Duas redes, um student e um teacher, olham views diferentes e o student aprende a prever a saída do teacher, que por sua vez é uma cópia lenta do student. Sem pares negativos, sem o custo quadrático. Guardemos esse mecanismo, porque a EMA que o sustenta reaparece no coração do I-JEPA e será o herói da Seção 5.

Os masked autoencoders, ou MAE, trouxeram a ideia de mascaramento das language models para a visão: esconda 75% dos patches da imagem e reconstrua os pixels que faltam. Elegante, escalável, mas de novo generativo no pixel — o decodificador é cobrado a pintar as regiões ocultas, com todo o desperdício de capacidade que isso implica.

O I-JEPA nasce precisamente no cruzamento dessas linhagens: quer o mascaramento do MAE, quer a estabilidade sem negatives da self-distillation, e quer, acima de tudo, abandonar a reconstrução de pixels. Ambicioso. A pergunta que organiza tudo o que segue é onde, afinal, fazer a previsão.

2. Prever? Sim. Mas onde?

Suponha que a atenta leitora veja parte de uma imagem, que vamos chamar de o contexto $x$, e queira aprender representações. Em algum outro lugar da imagem há uma região-alvo $y$ que você não vê. Um encoder mapeia $y$ para uma representação $s_y$. Um preditor toma sua codificação do contexto e produz $\hat{s}_y$, seu palpite sobre o que $s_y$ deveria ser. O treino minimiza a distância $D(\hat{s}_y, s_y)$. A pergunta que vai determinar a utilizade desta ideia é: quando o preditor pode ter sucesso?

A resposta curta: só quando a codificação do contexto contém informação útil para reduzir a incerteza sobre o que $s_y$ deve ser.

Se você viu o capô de um carro e precisa prever a representação das rodas, sua codificação do capô pode se beneficiar de capturar isto é um carro. Se você viu um rosto e precisa prever a representação do cabelo, identidade, pose e iluminação podem ajudar. Chamemos isso de forcing function ou, em português: função de forçamento. Neste caso, o objetivo empurra o encoder de contexto a extrair de $x$ features úteis para prever a representação de $y$. Isso favorece, mas não garante, que detalhes de pixel sem poder preditivo sejam descartados e que o restante generalize.

O encoder do alvo não recebe diretamente essa pressão, pois é atualizado por Exponential Moving Average, ou EMA (média móvel exponencial), e não pelo gradiente da perda. Indiretamente, ele acompanha o encoder de contexto treinado sob o objetivo preditivo. A hipótese de projeto é que essa dinâmica favoreça representações que preservem a estrutura compartilhada entre $x$ e $y$, em vez de detalhes idiossincráticos de $y$ sozinho; não se trata de uma garantia de que todo detalhe imprevisível será descartado.

Gradiente da perda e EMA cumprem papéis diferentes. O gradiente mede como cada parâmetro contribuiu para o erro e atualiza o encoder de contexto na direção que reduz diretamente a perda: $\theta \leftarrow \theta - \eta\nabla_\theta\mathcal{L}$. A EMA não deriva nem minimiza essa perda. Ela apenas move lentamente os parâmetros do encoder do alvo, $\bar\theta$, em direção aos parâmetros atuais do encoder de contexto: $\bar\theta \leftarrow m\bar\theta + (1-m)\theta$. Em resumo: o encoder de contexto aprende com o erro; o encoder do alvo acompanha por média e fornece um alvo mais estável.

Aqui precisamos destacar o contraste com a difusão.

Um modelo de difusão latente aprende um processo generativo no espaço comprimido definido por seu autoencoder e, por meio do decodificador, induz uma distribuição sobre as amostras no espaço dos dados. Esse espaço latente pode descartar parte da informação dos pixels, mas ainda precisa preservar o suficiente para gerar, ou reconstruir, os detalhes exigidos pelo domínio. O JEPA não tem esse requisito generativo: sua representação-alvo pode descartar detalhes que não ajudam o objetivo preditivo. Textura não é inerentemente imprevisível, nem todo encoder JEPA necessariamente a elimina; a distinção correta está na função objetivo e no fato de a JEPA não precisar decodificar uma amostra dos dados.

3. O template JEPA

Vamos formalizar. Um JEPA parte de views pareadas e relacionadas do mundo. Na forma mais geral, imagine triplas $(x, y, z)$: $x$ é o que você observa, $y$ é o que você quer prever, e $z$ é um latente opcional que captura fatores desconhecidos que tornam a previsão multimodal. Os pares $(x, y)$ são amostrados de alguma distribuição conjunta sobre observações. No pré-treino de imagens, $x$ é o contexto visível e $y$ identifica blocos-alvo da mesma imagem; no V-JEPA, ambos correspondem a regiões complementares de um clipe mascarado, enquanto modelos causais podem usar um prefixo e sua continuação; num cenário cross-modal, $x$ pode ser áudio e $y$ o vídeo correspondente. O requisito estrutural é que conhecer $x$ forneça informação sobre $y$.

O latente $z$ existe para lidar com a multimodalidade da relação preditiva. Quando vários valores de $y$ são consistentes com o mesmo $x$, o carro no cruzamento que pode virar à esquerda ou à direita, o preditor pode se condicionar a $z$ para representar modos diferentes. Isso importa para previsão temporal, onde o futuro é genuinamente incerto. O I-JEPA e o V-JEPA discutidos nesta série, porém, usam preditores determinísticos e não instanciam esse $z$. O V-JEPA 2-AC recebe ações e estados proprioceptivos observados; esses controles não são o latente desconhecido $z$. Voltaremos ao $z$ no Post 4 como parte do template teórico.

O template tem três partes.

Primeiro: codificar ambas as observações num espaço de representação compartilhado:

\[s_x = f_\theta(x), \qquad s_y = f_{\bar\theta}(y)\]

Os encoders $f_\theta$ e $f_{\bar\theta}$ podem diferir em arquitetura ou em compartilhamento de parâmetros. Aqui $\theta$ são os pesos do encoder de contexto, treinado por gradiente, e $\bar\theta$ são os pesos do encoder do alvo, que — antecipando a Seção 5 — não serão treinados por gradiente. Quando $x$ e $y$ vivem em modalidades diferentes, os encoders têm de diferir; quando são a mesma modalidade, compartilhar pesos é uma escolha de projeto que troca viés indutivo por flexibilidade.

Segundo: prever a representação do alvo a partir da representação do contexto:

\[\hat{s}_y = g_\phi(s_x, z)\]

na qual $g_\phi$ é o preditor, com pesos $\phi$ treinados por gradiente, e $z$ o latente opcional que, lembremos, está dormindo.

Terceiro: minimizar o erro de previsão no espaço de representação:

\[\mathcal{L}(\theta, \bar\theta, \phi) = D(\hat{s}_y, s_y)\]

O resto desta série instancia essas abstrações: definir $x$ e $y$ concretamente para imagens, escolher arquiteturas para os encoders e o preditor, especificar a função de distância $D$ — que, no I-JEPA original, soma distâncias $L_2$ ao quadrado nos patches e calcula a média entre blocos-alvo. E implementar mecanismos que tornam o treino empiricamente resistente à solução trivial em que todas as representações colapsam para uma constante. É esse último ponto que o resto deste artigo que a compassiva leitora está lendo, ataca. Porque sem ele o template acima tem uma saída de emergência catastrófica.

4. Predição contra reconstrução

Vale aprofundar a pergunta do título da Seção 2, agora com o template na mão: por que prever no espaço de representação em vez do espaço de pixels?

Considere dois patches de imagem semanticamente idênticos. Ou seja, mesmo objeto e mesmo significado. Mas que diferem em centenas de pixels por causa de iluminação, textura ou de um artefato de compressão JPEG. Um objetivo de reconstrução precisa explicar todas essas diferenças. O modelo gasta capacidade modelando ruído de alta entropia. Com o JEPA, o encoder do alvo pode aprender a produzir representações que descartam esses detalhes de nuance. Quando o preditor regride para essa representação, empurramos o modelo para capturar o que o encoder preserva, não o que os pixels por acaso contêm. É a diferença, familiar de quem trabalha com perdas perceptuais, entre uma perda LPIPS (Learned Perceptual Image Patch Similarity), que compara em espaço de features, e um MSE (Mean Squared Error — erro quadrático médio) de pixels, que compara amostra bruta contra amostra bruta.

MSE e LPIPS medem diferenças em espaços distintos.

O MSE calcula a média dos quadrados das diferenças entre pixels correspondentes. Por isso, deslocamentos pequenos, mudanças de iluminação ou alterações de textura podem produzir um erro elevado mesmo quando as imagens parecem semelhantes.

O LPIPS passa as imagens por uma rede neural e compara suas ativações internas, ou features. Assim, tende a dar mais peso a diferenças perceptualmente relevantes de forma, estrutura e conteúdo do que a pequenas variações isoladas de pixels. Nas duas métricas, valores menores indicam imagens mais próximas.

O contraste com o MAE (Masked Autoencoder) de 2022, afia o cinzel.

O MAE mascara patches e reconstrói os pixels ocultos; seu decodificador é cobrado a reconstruir a região que faltava. O I-JEPA mascara patches e prevê as representações dos ocultos; não há decodificador de pixel algum. A arquitetura lembra a de um modelo generativo. Há um contexto, há alvos ausentes, há um preditor. Mas a perda vive no espaço de embedding, não no espaço de entrada. É por isso que o classificamos, no vocabulário desta série, como não-generativo: nada é amostrado, nada é pintado. Um modelo de difusão condicional que amostrasse esses patches no espaço de pixels seria treinado para modelar, por uma perda de denoising, score ou parametrização equivalente, a distribuição dos detalhes ausentes; o I-JEPA é treinado pela distância entre a representação prevista e a representação-alvo, de modo que detalhes descartados pelo encoder de alvo não recebem penalidade direta.

Talvez, ainda não tenha ficado claro para a atenta leitora. Porém, há um preço escondido nessa elegância, e é ele que nos leva ao colapso. Ao permitir que o alvo descarte detalhes, abrimos a porta para que ele descarte tudo. A pedra volta para a pedreira e nenhum David é criado.

5. O colapso

Qual é o jeito mais fácil de minimizar uma perda de casamento entre dois vetores sem termos que imponham diversidade? Produzir o mesmo vetor para toda entrada. Então $\hat{s}_y = s_y$ para qualquer par, a perda vai a zero, e as representações são inúteis. Esse é o modo de falha central dos métodos não contrastivos de embedding conjunto, e nenhuma exposição honesta do JEPA pode contorná-lo.

Como Michelangelo, somos escultores persistentes. Nós entregaremos o nosso David. Custe o que custar.

Vamos primeiro provar que a saída de emergência existe, depois entender como a assimetria de treino dificulta que a otimização chegue a ela.

5.1 A solução trivial é um mínimo global

Escreva a perda esperada sobre a distribuição de pares, tomando para $D$ o erro quadrático:

\[\mathcal{L}(\theta, \bar\theta, \phi) = \mathbb{E}_{(x,y)} \left\| g_\phi\!\left(f_\theta(x)\right) - f_{\bar\theta}(y) \right\|_2^2\]

Dois símbolos merecem nome explícito antes de prosseguir:

1. O termo $\lVert v \rVert_2^2 = \sum_{d} v_d^2 = v \cdot v$ é o quadrado da norma euclidiana do vetor de erro $v = \hat{s}_y - s_y$: a soma dos quadrados de suas coordenadas, construída a partir do produto escalar que a série Transformers definiu em A Temida Matemática.

2. O operador $\mathbb{E}_{(x,y)}$ é a esperança sobre a distribuição conjunta dos pares contexto–alvo, isto é, a média dos valores da norma ponderada pela probabilidade de cada par — a mesma esperança que sustenta verossimilhança, entropia e divergência em A Probabilidade da Linguagem.

Como cada parcela é uma norma ao quadrado, todas são $\ge 0$, e portanto $\mathcal{L} \ge 0$ sempre.

Agora suponha que ambos os encoders sejam treinados livremente por gradiente e considere a configuração degenerada em que $f_\theta(\cdot) \equiv c$ e $f_{\bar\theta}(\cdot) \equiv c$ para um vetor constante $c$, com o preditor satisfazendo $g_\phi(c) = c$. Substituindo, $\hat{s}_y = c$ e $s_y = c$ para todo par, o integrando é $\lVert c - c\rVert_2^2 = 0$, e portanto $\mathcal{L} = 0$. Como a perda nunca é negativa, essa configuração é um mínimo global. É um mínimo global que aprendeu exatamente nada: a representação de qualquer imagem é o mesmo ponto $c$, e nenhuma tarefa posterior consegue distinguir um gato de uma galáxia a partir dele.

O problema não é apenas que esse mínimo exista. Mínimos degenerados existem em muitas paisagens de perda, mas que, sem assimetria ou restrição adicional, o objetivo não oferece incentivo para preservar informação.

No cenário simplificado em que os dois encoders são atualizados conjuntamente apenas para reduzir essa perda, ambos podem caminhar para representações cada vez mais fáceis de casar, e a constante é uma solução limite. Isso não prova que todo otimizador e toda arquitetura necessariamente convirjam para $c$; prova que a função objetivo, sozinha, aceita a solução inútil como ótimo global. A atenta leitora tem o direito de exigir mecanismos que favoreçam soluções informativas. No I-JEPA, eles começam pela assimetria entre os ramos.

5.2 A assimetria da EMA

O I-JEPA quebra a co-adaptação treinando o encoder de contexto e o preditor por descida de gradiente, mas atualizando o encoder do alvo por EMA, de exponential moving average (média móvel exponencial), dos pesos do encoder de contexto. Duas coisas mudam em relação ao cenário da Seção 5.1. A primeira é o stop-gradient: o alvo $s_y = f_{\bar\theta}(y)$ entra na perda como constante, sem caminho de gradiente para $\bar\theta$. A segunda é a regra de atualização do alvo:

\[\bar\theta \leftarrow m\,\bar\theta + (1 - m)\,\theta\]

com $m$ próximo de $1$. O encoder do alvo não persegue diretamente o objetivo de ser fácil de prever porque não recebe gradiente desse objetivo; ele segue, com atraso, uma média dos pesos que o encoder de contexto já teve. Essas duas mudanças quebram a coadaptação instantânea e, empiricamente, tornam o treino do I-JEPA estável. Elas não removem matematicamente a solução constante: se os dois encoders já forem constantes e iguais, a EMA preserva esse estado. O papel da assimetria é alterar a dinâmica e dificultar que o treino chegue a esse ponto, não provar que o ponto deixou de existir.

Lento é a palavra-chave. Neste caso, vale deduzir em vez de afirmar. Indexando por passo de treino, a atualização é $\bar\theta_t = m\,\bar\theta_{t-1} + (1-m)\,\theta_t$, com $\theta_t$ os pesos do student no instante $t$. Substitua a recorrência dentro de si mesma uma vez, para ver o padrão nascer:

\[\bar\theta_t = m\big(m\,\bar\theta_{t-2} + (1-m)\,\theta_{t-1}\big) + (1-m)\,\theta_t = m^2\,\bar\theta_{t-2} + (1-m)\big(\theta_t + m\,\theta_{t-1}\big),\]

e repita a substituição até chegar ao passo inicial. O resultado fecha numa soma geométrica:

\[\bar\theta_t = (1 - m)\sum_{k=0}^{t-1} m^{k}\, \theta_{t-k} + m^{t}\,\bar\theta_0.\]

O alvo no instante $t$ é uma média ponderada dos pesos passados do student: o peso sobre o student de $k$ passos atrás é $(1-m)\,m^{k}$, e esses pesos decaem geometricamente com a idade $k$. Que isso é de fato uma média — pesos que somam um — sai da série geométrica, descartado o transiente $m^{t}\bar\theta_0$, que evapora quando $t$ cresce:

\[\sum_{k=0}^{\infty} (1-m)\,m^{k} = (1-m)\cdot\frac{1}{1-m} = 1.\]

A escala de tempo dessa média é a idade média de um peso, a esperança de $k$ sob a distribuição $(1-m)\,m^{k}$:

\[\mathbb{E}[k] = \sum_{k=0}^{\infty} k\,(1-m)\,m^{k} = (1-m)\cdot\frac{m}{(1-m)^2} = \frac{m}{1-m} \;\approx\; \frac{1}{1-m} \equiv \tau,\]

na qual a aproximação vale porque $m$ está perto de $1$. Essa é a janela efetiva $\tau$. Uma segunda leitura, idêntica em espírito à constante de tempo de um circuito RC, confirma a escala: a massa de peso acumulada nos primeiros $\tau$ passos é $\sum_{k=0}^{\tau}(1-m)\,m^{k} = 1 - m^{\tau+1} \approx 1 - e^{-1} \approx 0{,}63$, porque $m^{\tau} = (1 - 1/\tau)^{\tau} \to e^{-1}$ quando $\tau$ cresce. Cerca de $63\%$ da memória do alvo vem, portanto, dos últimos $\tau$ passos, e a cauda restante se arrasta para trás com peso cada vez menor.

Os números tornam a lentidão concreta. Para $m = 0{,}996$, a idade média é $m/(1-m) = 249$ e a janela é $\tau = 250$ passos; o peso sobre o student atual é apenas $1-m = 0{,}004$, cai para $0{,}0027$ após $100$ passos e para $0{,}0015$ após $250$. Para $m = 0{,}999$, a janela quadruplica para $\tau = 1000$. Em palavras: o alvo se move na escala de centenas a milhares de passos de gradiente, enquanto o student se move a cada passo. Essa separação de escalas é um dos mecanismos que favorecem a dinâmica não colapsada observada no I-JEPA: para baixar a perda no curto prazo, o student precisa acertar um alvo que, do seu ponto de vista, está quase parado.

5.3 Por que o preditor importa

Falta uma peça, e é a peça que todo mundo deixa de fora. Minha mãe me ensinou que eu não sou todo mundo.

O stop-gradient e a EMA, sozinhos, não constituem uma prova de que a variância das representações não possa escorregar para zero. A análise de Tian et al. (2021), feita para modelos lineares simplificados de BYOL e SimSiam, mostra condições em que o preditor $g_\phi$ cria soluções não colapsadas e torna instável o ponto colapsado. O resultado fornece uma explicação útil para o papel do preditor, mas não é uma prova geral para redes profundas nem especificamente para o I-JEPA. O mesmo trabalho mostra ainda que a EMA não é estritamente necessária em todas as configurações quando se ajusta a dinâmica do preditor. Para os nossos fins, o mapa cuidadoso é: stop-gradient e preditor são essenciais nas configurações analisadas, enquanto a EMA é a escolha empírica do I-JEPA para estabilizar o alvo; não há teorema dizendo que retirar qualquer uma das três peças sempre força colapso.

Anote essa oportunidade: não há teorema dizendo que retirar qualquer uma das três peças sempre força colapso

5.4 O zoológico de anti-colapsos

A EMA é a escolha do I-JEPA, mas não é a única forma de trancar a porta. Vale ter o mapa das famílias, porque o Post 4 vai propor uma quarta via: a regularização distribucional do LeJEPA. E o contraste só fará sentido com as três primeiras escolhas mantidas à vista. Cada linha abaixo é uma frase, não um item solto: descreve o mecanismo e o custo que ele cobra.

Família	Mecanismo anti-colapso	Custo dominante
Contrastivo (SimCLR, MoCo)	Negatives empurram pares não relacionados para longe	$O(B^2)$ em similaridades de batch
Self-distillation (BYOL, DINO, I-JEPA)	Assimetria entre ramos; no I-JEPA, stop-gradient, preditor e teacher por EMA	Uma cópia extra de pesos; atualização $O(P)$ por passo
Regularização (VICReg)	Restrições explícitas de variância, invariância e covariância	Matriz de covariância $O(D^2)$
Distribucional (LeJEPA, Post 4)	Empurra a distribuição dos embeddings para gaussiana isotrópica	$O(B\,D)$ com projeções aleatórias

O contrastivo previne colapso por força bruta geométrica: se você é obrigado a manter muitos pares afastados, não pode mapear todo mundo no mesmo ponto. O VICReg torna a restrição explícita, penalizando diretamente a variância baixa e a covariância alta, ao custo de manipular a matriz $D \times D$. A self-distillation, onde o I-JEPA mora, não usa nem negatives nem penalidade explícita: confia na assimetria entre os ramos. E o LeJEPA, que veremos no fim da série, propõe regularizar a distribuição dos embeddings em direção a uma gaussiana isotrópica padrão — uma distribuição não degenerada e sem direção preferencial, tornando a solução constante incompatível com o objetivo, sem teacher, stop-gradient ou cronograma de momento.

5.5 Um laboratório para o colapso

Nada convence tanto quanto ver a variância despencar. O laboratório abaixo simula parte da Seção 5 num problema de brinquedo: dois “encoders” reduzidos a um parâmetro escalar cada, uma perda de casamento, e três chaves — treinar o alvo por gradiente ou por EMA, ligar ou desligar o stop-gradient, e ajustar o momento $m$. Como o laboratório não inclui um preditor aprendível, ele ilustra a assimetria entre os ramos, mas não valida por si só a análise do preditor da Seção 5.3. Ligue tudo como no cenário da Seção 5.1 (alvo por gradiente, sem stop-gradient) e observe a variância das representações colapsar para perto de zero em poucos passos, com a perda indo junto — o mínimo global inútil. Depois ligue a EMA e o stop-gradient, ajuste $m$ para $0{,}996$, e observe a dinâmica do exemplo; ela não constitui uma garantia de que a mesma configuração evite colapso em uma rede real. Tente valores de $m$ perto de $1$ e note a janela $\tau = 1/(1-m)$ ficando mais longa.

6. O que está no nosso futuro?

Temos o problema, o template e mecanismos que alteram a dinâmica do colapso. Falta a carne: transformar $x$ e $y$ em patches concretos, os encoders em Vision Transformers, o preditor num pequeno Transformer sobre mask tokens, e a EMA numa atualização barata por parâmetro. É o assunto do segundo artigo desta série, no qual construímos em C++ uma variante didática funcional inspirada no I-JEPA e conferimos, número a número, quantos patches cada máscara seleciona numa grade $14 \times 14$. Antes disso, guarde a moral deste artigo, que é também o fio da série: enquanto a difusão aprende um processo generativo no espaço dos dados, a **JEPA aprende prevendo no espaço das representações; o mascaramento define o que deve ser inferido, e a assimetria entre os ramos ajuda a tornar o treinamento não colapsado útil e estável.**

Referências

ASSRAN, M.; DUVAL, Q.; MISRA, I.; BOJANOWSKI, P.; VINCENT, P.; RABBAT, M.; LECUN, Y.; BALLAS, N. Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture. Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2023. Disponível em: https://arxiv.org/abs/2301.08243.

BALESTRIERO, R.; LECUN, Y. LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics. arXiv preprint arXiv:2511.08544, 2025. Disponível em: https://arxiv.org/abs/2511.08544.

BARDES, A.; PONCE, J.; LECUN, Y. VICReg: Variance-Invariance-Covariance Regularization for Self-Supervised Learning. International Conference on Learning Representations (ICLR), 2022. Disponível em: https://arxiv.org/abs/2105.04906.

CARON, M.; TOUVRON, H.; MISRA, I.; JÉGOU, H.; MAIRAL, J.; BOJANOWSKI, P.; JOULIN, A. Emerging Properties in Self-Supervised Vision Transformers. Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2021. Disponível em: https://arxiv.org/abs/2104.14294.

CHEN, T.; KORNBLITH, S.; NOROUZI, M.; HINTON, G. A Simple Framework for Contrastive Learning of Visual Representations. Proceedings of the 37th International Conference on Machine Learning (ICML), p. 1597–1607, 2020. Disponível em: https://arxiv.org/abs/2002.05709.

CHEN, X.; HE, K. Exploring Simple Siamese Representation Learning. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2021. Disponível em: https://arxiv.org/abs/2011.10566.

GRILL, J.-B.; STRUB, F.; ALTCHÉ, F.; TALLEC, C.; RICHEMOND, P. H.; BUCHATSKAYA, E.; DOERSCH, C.; PIRES, B. A.; GUO, Z. D.; AZAR, M. G.; PIOT, B.; KAVUKCUOGLU, K.; MUNOS, R.; VALKO, M. Bootstrap Your Own Latent: A New Approach to Self-Supervised Learning. Advances in Neural Information Processing Systems (NeurIPS), v. 33, p. 21271–21284, 2020. Disponível em: https://arxiv.org/abs/2006.07733.

HE, K.; CHEN, X.; XIE, S.; LI, Y.; DOLLÁR, P.; GIRSHICK, R. Masked Autoencoders Are Scalable Vision Learners. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2022. Disponível em: https://arxiv.org/abs/2111.06377.

HINTON, G. E.; SALAKHUTDINOV, R. R. Reducing the Dimensionality of Data with Neural Networks. Science, v. 313, n. 5786, p. 504–507, 2006. DOI: 10.1126/science.1127647. Disponível em: https://doi.org/10.1126/science.1127647.

LECUN, Y. A Path Towards Autonomous Machine Intelligence. OpenReview, 2022. Disponível em: https://openreview.net/forum?id=BZ5a1r-kVsf.

TIAN, Y.; CHEN, X.; GANGULI, S. Understanding Self-Supervised Learning Dynamics without Contrastive Pairs. Proceedings of the 38th International Conference on Machine Learning (ICML), p. 10268–10278, 2021. Disponível em: https://arxiv.org/abs/2102.06810.