Aprovação: O problema da média e o tratado de paz

No meu texto anterior sobre o jogo da imitação, mencionei de passagem um problema estrutural associado à avaliação acadêmica: a média. Prometi que voltaria a este porto, e o faço agora. Quando olhamos para as estatísticas de aprovação nas universidades, frequentemente nos deparamos com um fenômeno que causa estranheza. Principalmente se você é um velho engenheiro. Se a média exigida para aprovação é $7$, o senso comum sugere que uma parte substancial da turma, talvez a metade, deveria ficar abaixo dessa nota. Contudo, a atenta leitora já deve ter observado rotineiramente turmas de cursos técnicos, matemáticos e complexos que começam com 80 alunos e terminam com 65 ou 70 aprovados.

Para a afoita leitora, essa matemática pode parecer não fechar. O que, valha-me Deus, está acontecendo? O nível caiu? Os professores tornaram-se benevolentes? Os alunos são todos gênios? Ou há uma engrenagem mais profunda, fria e implacável operando silenciosamente nos corredores acadêmicos?

Para responder a isso, este pobre escriba precisa primeiro desfazer uma confusão conceitual sobre a palavra média, e depois olhar para a sala de aula tomando emprestado a implacável lente da teoria dos jogos.

O problema da nomenclatura: Estatística vs. Limiar

A raiz da primeira confusão está na sobreposição de definições. Na estatística pura, se assumirmos que as notas de uma turma seguem uma distribuição normal (a famosa curva de Gauss) perfeitamente simétrica e centrada na nota $7$, a média aritmética e a mediana seriam o mesmo valor. Nesse cenário idealizado, $50\%$ da área sob a curva estaria abaixo do $7$. Metade da turma, por definição matemática estrita, reprovaria impiedosamente. Isto é estatística pura, na veia. Derivada diretamente da frase: nessa instituição a média dos alunos é $7$. Pena que quem costuma dizer estas coisas, não entende estatística.

No sistema educacional, especialmente no Brasil, ah, o nosso Brasil brasileiro, a média 7 não é um ponto de equilíbrio estatístico nem uma média. Ela funciona como um limiar absoluto de proficiência, uma cruel nota de corte. O sistema avalia se o aluno atingiu uma condição lógica simples e direta:

Nesse modelo, o desempenho do aluno $A$ é matematicamente independente da nota do aluno $B$. Chamamos isso de Avaliação Referenciada em Critérios. A curiosa leitora deve imaginar que o professor estabelece um conjunto de habilidades, por exemplo, a capacidade de projetar o controle de um sistema robótico. Se todos os $80$ alunos demonstrarem domínio absoluto dessa competência, os $80$ tirarão notas altas. A aprovação é uma medida de conformidade técnica com a ementa, não uma classificação comparativa. A palavra média se refere a forma como o professor avalia e não tem relação com alunos e sim ao aluno. O plural, a matemática, estou ficando exigente.

E aqui está o pulo do gato: não há nenhuma lei natural, divina ou estatística que exija que uma parte da turma seja sacrificada no altar da avaliação.

Talvez uma forma justa de pensar as avaliações fosse criá-las de tal forma que a moda fosse $7$, neste caso, a nota mais comum seria o limite mínimo para a aprovação. Esta ideia é mediocre, desculpe não resisti. Porém, é comum na sala dos professores que frequentei. Não com a palavra moda, é claro. Estatística é algo que se ensina, não que se use. Pelo menos, não na pedagogia do ensino superior no Brasil.

A o conceito de média é o mal-entendido. Mas ainda há o resultado, turmas de formandos muito grandes. Talvez, a nossa impiedosa teoria dos jogos possa explicar a inevitabilidade deste fenômeno.

A sala de aula como um jogo estratégico

Para entender por que, uma turma de $80$ alunos em cursos de tecnologia, matemática, ciências e engenharia termina com $70$ aprovados, precisamos mapear os jogadores, suas opções e suas recompensas (payoffs). Os agentes não operam no vazio cósmico; eles respondem a incentivos institucionais claros.

Os principais jogadores são: o Professor, esse pobre coitado que busca ensinar o conteúdo, mas também precisa gerenciar seu precioso tempo e minimizar atritos; o Aluno, que busca o diploma otimizando o esforço necessário para obtê-lo; e a Instituição representada pelo coordenador de curso, que busca prestígio, mas depende desesperadamente de retenção e fluxo para manter a máquina funcionando.

Neste jogo, a instituição não joga, ela define as regras do jogo que será jogado por professores e alunos. Quando esses dois agentes interagem, emergem fenômenos clássicos da teoria estratégica.

O Tratado de Paz e o Equilíbrio de Nash

Podemos modelar o semestre letivo como um jogo de esforço mútuo. Se o professor decide adotar um rigor punitivo, aplicando provas com um nível de exigência superior ao que foi efetivamente treinado em sala, ele cria um ambiente de alto atrito. Os alunos se frustram, as avaliações institucionais do docente despencam vertiginosamente, e a coordenação é inundada por pedidos de revisão. O custo de energia para o professor lidar com 40 reprovações é altíssimo, quase impraticável.

Por outro lado, o aluno também não deseja o confronto. Ele tem outras disciplinas, projetos e, possivelmente, um estágio, ou emprego, esgotante.

O que observamos na prática tem nome e tem estrutura. O jogo entre professor e aluno não é um dilema do prisioneiro, no qual a deserção seria a única estratégia racional; é uma caça ao veado (stag hunt), o mesmo jogo de coordenação que discuti no texto anterior. E toda caça ao veado possui dois equilíbrios de Nash em estratégias puras, não apenas um.

O primeiro equilíbrio é o veado: o professor cobra a fundo e o aluno estuda a estrutura do problema. Ambos saem no melhor resultado possível, com aprendizado real e satisfação mútua. É o equilíbrio payoff-dominant, aquele que maximiza o ganho conjunto. O segundo equilíbrio é a lebre, o nosso tratado de paz: o professor calibra a cobrança para o previsível, focando no essencial (o que nos leva de volta ao Jogo da Imitação), e o aluno entrega o esforço estritamente suficiente. Ninguém aprende muito, mas ninguém se machuca.

Pobre Brasil, em que o veado é mais comum que a lebre.

A pergunta decisiva é por que o sistema escolhe a lebre, sendo o veado superior para todos. A resposta está na assimetria do risco. O professor que aumenta o rigor sozinho, sem que os alunos o acompanhem, colhe a reprovação em massa, a burocracia e as avaliações docentes em queda livre, o pior resultado possível. O aluno que estuda além do exigido, diante de um professor que cobra apenas a superfície, paga um custo de tempo sem qualquer recompensa na nota, igualmente péssimo. Como o desvio cooperativo solitário é catastrófico para quem o tenta, a estratégia segura tem a maior bacia de atração. A lebre é o equilíbrio risk-dominant, e é por dominância de risco, e não por preguiça moral dos atores, que o tratado de paz se consolida: $70$ aprovados, baixo atrito, todos avançam.

Quem pode mudar isso é o terceiro jogador, a Instituição. Que pode mudar as regras para diminuir a assimetria de risco levando o jogo para um payoff-dominat. Mas, este é outro jogo, talvez em outro artigo.

A matriz de recompensas

Para tornar a estrutura visível, vale escrever a matriz de recompensas. As entradas são ordinais e ilustrativas, no formato (Professor, Aluno), com valores maiores indicando resultados preferíveis para cada jogador.

Os dois equilíbrios de Nash são as células da diagonal: o veado, em $(3,3)$, e o tratado de paz, em $(2,2)$. O veado domina em recompensa, pois $3 > 2$ para ambos os jogadores. A célula $(0,1)$ é a tragédia do professor que cobra sozinho, punido com a reprovação em massa; a célula $(2,0)$, a do aluno que estuda sozinho, que gasta tempo sem retorno na nota. São essas duas catástrofes fora da diagonal que alargam a bacia de atração do tratado de paz e o tornam o equilíbrio dominante em risco. A leitora atenta perceberá que, quando o jogo é jogado às cegas, sem que cada lado saiba o que o outro fará, apostar na lebre minimiza o prejuízo do pior cenário, e é por isso que o sistema converge para ela.

Quem preenche essas células com os incentivos institucionais decide, na prática, qual dos dois equilíbrios a sala de aula vai habitar. É aqui que a instituição entra, colocando suas fichas, no cavalo errado, digo veado.

O Problema do Principal-Agente

A teoria dos jogos chama de Problema do Principal-Agente a situação na qual quem delega uma tarefa, o Principal, e quem a executa, o Agente, respondem a incentivos distintos. A Universidade é o Principal; o Professor, o Agente. Há, porém, uma sutileza que precisa ser dita com cuidado, sob pena de o argumento se contradizer.

Seria fácil afirmar que a Universidade quer excelência e o Professor entrega facilidade, e que aí estaria o conflito. Mas se a instituição de fato premia fluxo e retenção, então o professor que aprova setenta alunos está alinhado com a preferência revelada do Principal, e não em conflito com ela. O conflito verdadeiro não é entre dois agentes de objetivos opostos; é entre o objetivo declarado e o objetivo mensurável.

Sim, eu sei, ninguém, em nenhuma instituição, diz que o professor tem que aprovar todo mundo. Exceto, é claro, a Matriz Andifes, os programas de acesso e repasses ao setor privado (Prouni e FIES), a avaliação de Pós-graduação (Capes) e os indicadores de qualidade regulatória (SINAES). Todos, de uma forma ou de outra, incentivando altos graus, de aprovação. Talvez, quem sabe, um outro artigo?

O modelo que descreve o jogo entre o Professor e o Aluno com precisão é o de multitarefa (multitask) de Holmström e Milgrom. O professor executa várias tarefas simultâneas, e apenas algumas são mensuráveis. Competência profunda, a capacidade de projetar o controle de um sistema robótico anos depois, é cara de medir e só se revela no longo prazo. Já a taxa de aprovação, a satisfação discente e os indicadores de retenção são medidos a cada semestre e entram nos relatórios. Quando o Principal recompensa o que consegue medir, o Agente racionalmente desloca o esforço para o mensurável. O professor não trai a instituição; ele otimiza o proxy que a instituição escolheu observar.

É a lei de Goodhart operando em estado puro: quando uma medida se torna um alvo, ela deixa de ser uma boa medida. A aprovação deveria ser um indicador de aprendizado; ao virar a meta do sistema, passa a medir apenas a si mesma. E é exatamente isso que reaparece, do lado do aluno, na seção seguinte: dominar a prova deixou de ser evidência de dominar a matéria.

Jogos repetidos e a otimização do ecossistema

Finalmente, a paciente leitora precisa lembrar que uma disciplina não é um jogo de rodada única. Mas é preciso separar dois relógios que correm em velocidades diferentes, porque obedecem a mecanismos distintos.

O professor é um jogador fixo. Ele repete a mesma partida semestre após semestre, e isso o coloca em um jogo repetido no sentido estrito, no qual vale o que a teoria chama de folk theorem: a reputação sustenta o comportamento. Quando uma matéria ganha a fama de reprovar em massa, é o histórico do docente, conhecido e antecipado, que está em jogo. A reputação é um ativo do mesmo jogador ao longo do tempo.

Os alunos, ao contrário, não são os mesmos jogadores repetindo a partida. Cada turma é, em larga medida, nova. O que a sagaz leitora vê como herdar a inteligência tática dos alunos de ontem não é jogo repetido entre jogadores fixos, e sim transmissão de estratégia entre gerações, mais próxima de uma dinâmica evolutiva. Os bancos de provas antigas, os grupos de estudo direcionados e os mapas do padrão de avaliação funcionam como replicadores: as estratégias que sobrevivem são as que passaram no jogo, e são essas que cada coorte transmite à seguinte. Com o tempo, o corpo discente torna-se extremamente eficiente em vencer aquela disciplina, mesmo que o professor não tenha diminuído um milímetro do nível de dificuldade conceitual.

Aprenderam a superfície do problema, mas não a sua estrutura, porque foi a superfície, e não a estrutura, que o ambiente selecionou. É a aplicação dinâmica do jogo da imitação.

A alta taxa de sobrevivência não é uma anomalia estatística nem, necessariamente, um sinal de que o ensino fracassou por pura incompetência dos atores. Ela é a assinatura de um equilíbrio estável, porém coletivamente inferior. O sistema não encontrou o seu ponto ótimo; encontrou o seu equilíbrio de risco dominante, que é coisa bem diferente. Existe um resultado em que todos, professores e alunos, estariam melhor, o equilíbrio do veado, e o ecossistema simplesmente não consegue saltar até ele. Professores, alunos e instituições, agindo racionalmente dentro das regras que lhes foram dadas, convergem invariavelmente para o caminho de menor resistência institucional, que não é o melhor caminho, apenas o mais seguro. Trata-se, no vocabulário preciso, de uma falha de quem determina, ou aplica, as regras do jogo.

O problema, como sempre, não são os jogadores. É o desenho do jogo. E enquanto as regras não mudarem, o tratado de paz continuará sendo assinado a cada começo de semestre.