Testes de Hipótese e Experimentos A/B

O oitavo artigo fechou com uma distinção que agora vira programa. O intervalo de confiança responde à pergunta quanto?, cercando um parâmetro com uma faixa. Mas muitas decisões da ciência de dados não pedem uma faixa; pedem um veredito. A nova versão da página converte mais que a antiga? O botão vermelho vende mais que o azul? O modelo B erra menos que o modelo A? Essas perguntas têm a forma sim ou não?, e respondê-las com honestidade estatística é o assunto deste artigo.

O experimento A/B é uma forma disciplinada de responder a essa pergunta, e o teste de hipótese é parte do aparato. Vamos construí-lo do zero: a hipótese nula que encarna o ceticismo, o teste de permutação sustentado pela randomização, o p-valor que calibra a incompatibilidade dos dados com um modelo nulo e a contabilidade dos erros, do poder e do tamanho de efeito. Ao longo do caminho, insistiremos no que cada conceito garante e no que nenhum deles garante, porque o p-valor é um dos objetos mais mal interpretados da estatística.

1. A lógica do teste

Todo teste de hipótese começa com um ato de ceticismo deliberado. Formulamos duas hipóteses concorrentes. A hipótese nula $H_0$ afirma que não há efeito: as duas versões convertem igual, a diferença observada é acaso, o mundo é chato. A hipótese alternativa $H_1$ afirma que há efeito: as versões diferem. A assimetria entre elas é fundamental e contraintuitiva: nós assumimos $H_0$ como verdadeira e só a abandonamos se os dados forem suficientemente incompatíveis com ela. É a lógica do tribunal, presunção de inocência: não provamos que a alternativa é verdadeira, mostramos que a nula é insustentável diante da evidência. Nunca aceitamos $H_0$; no máximo, falhamos em rejeitá-la, que é coisa diferente.

O experimento A/B é o caso canônico. Dividimos unidades elegíveis aleatoriamente entre o controle (A), que recebe a versão atual, e o tratamento (B), que recebe a nova. A randomização torna a atribuição independente dos resultados potenciais em probabilidade, equilibrando confundidores conhecidos e desconhecidos ao longo de repetições. Em uma realização pequena, os grupos ainda podem sair desequilibrados por acaso; por isso o mecanismo de sorteio e a análise planejada importam.

A interpretação causal também exige consistência entre a versão atribuída e a intervenção realmente recebida, ausência de interferência relevante entre usuários, mensuração comparável, tratamento de não adesão e atrito, além de nenhuma mudança simultânea aplicada apenas a um grupo. O estimando mais protegido pela randomização é o efeito da atribuição, chamado intenção de tratar. Efeitos entre quem aderiu, permaneceu ou foi exposto podem reintroduzir seleção. A randomização é a base da identificação, mas execução e análise determinam se essa base foi preservada.

Vamos fixar o exemplo que percorrerá o artigo. Uma página é testada em duas versões: a versão A recebe $200$ visitantes e converte $20$ ($10\%$); a versão B recebe $200$ e converte $40$ ($20\%$). A diferença observada é de $10$ pontos percentuais, a favor de B. A pergunta do teste é precisa: se as duas versões fossem de fato igualmente boas (a hipótese nula), qual a probabilidade de observarmos uma diferença tão grande quanto $10$ pontos, ou maior, só por acaso? Se essa probabilidade for pequena, a hipótese de igualdade fica difícil de sustentar, e concluímos que B é melhor. Se for grande, a diferença é compatível com o acaso, e não concluímos nada. As próximas seções tornam essa pergunta quantitativa.

1.1 Exercícios da Seção 1

1. Formule $H_0$ e $H_1$ para o experimento A/B do texto.

Solução:

A hipótese nula é que as duas versões têm a mesma taxa de conversão populacional, $H_0:p_A=p_B$, e a diferença observada é acaso amostral. A alternativa é que as taxas diferem, $H_1:p_A\ne p_B$ (bicaudal), ou especificamente que B é melhor, $H_1:p_B>p_A$ (unicaudal). A escolha entre bicaudal e unicaudal deve ser feita antes de ver os dados, e a Seção 4 discute o compromisso.

2. Por que dizemos falhar em rejeitar $H_0$ e não aceitar $H_0$?

Solução:

Um teste não reunir evidência suficiente contra a nula não prova que a nula seja verdadeira; pode apenas significar que a amostra foi pequena demais para detectar um efeito real. Ausência de evidência não é evidência de ausência. Falhar em rejeitar reconhece essa assimetria: o teste ou derruba a nula ou fica em silêncio, nunca a confirma. Concluir $p_A=p_B$ exatamente exigiria poder infinito.

3. Por que a aleatorização da divisão A/B torna o experimento causal?

Solução:

O sorteio torna a atribuição independente dos resultados potenciais e equilibra confundidores em média sobre randomizações possíveis. Sob consistência, ausência de interferência, mensuração comparável e análise por atribuição, a diferença entre grupos estima causalmente o efeito da oferta da versão. Desequilíbrio casual, não adesão, atrito diferencial ou contaminação devem ser considerados na incerteza e na interpretação.

4. Qual o papel do grupo de controle em um teste A/B?

Solução:

O grupo de controle recebe a versão atual e fornece a linha de base contra a qual o tratamento é comparado. Sem ele, uma alta de conversão poderia ser atribuída à nova versão quando, na verdade, viria de sazonalidade, de uma campanha simultânea ou de regressão à média. O controle, exposto às mesmas influências externas que o tratamento, absorve esses efeitos comuns, deixando visível apenas a diferença devida à versão.

5. Reformule, como pergunta probabilística condicionada em $H_0$, a questão do experimento do texto.

Solução:

A pergunta é: dado que $p_A=p_B$ (isto é, sob $H_0$), qual a probabilidade de observar uma diferença de conversão de $10$ pontos percentuais ou mais extrema entre dois grupos de $200$? Note que a probabilidade condiciona na nula, $P(\text{dados}\mid H_0)$; ela não é $P(H_0\mid\text{dados})$, a probabilidade de a nula ser verdadeira, confusão que a Seção 3 desfaz. O teste avalia a compatibilidade dos dados com a nula, não a verdade da nula.

2. Teste de permutação

Como calcular a raridade de uma diferença sob a hipótese nula? O teste de randomização usa exatamente as atribuições permitidas pelo desenho. Sob a nula aguda de Fisher, cada unidade teria o mesmo resultado sob A e B; assim, todos os resultados potenciais ausentes ficam determinados pelos observados, e podemos recalcular a estatística para cada atribuição possível. Em um experimento completamente randomizado com tamanhos fixos, isso coincide com embaralhar os rótulos A e B.

Em dados não experimentais, um teste de permutação exige permutabilidade sob a nula. Igualdade apenas das médias não torna automaticamente duas distribuições permutáveis, sobretudo com variâncias, dependências ou formas diferentes. Pares devem trocar rótulos dentro do par; blocos, dentro do bloco; séries temporais e conglomerados pedem esquemas próprios. Não paramétrico significa não especificar uma família como a normal, não significa ausência de hipóteses.

A mecânica é direta. Juntam-se todas as observações dos dois grupos em um único conjunto; sorteia-se, sem reposição, uma partição em dois grupos dos tamanhos originais; calcula-se a estatística (a diferença de médias ou de proporções); repete-se. A diferença observada é então comparada a essa distribuição: se ela cai na cauda, é improvável sob a nula; se cai no miolo, é comum sob a nula. O número de partições distintas de dois grupos de tamanhos $m$ e $n$ é $\binom{m+n}{m}$, que cresce rápido: para grupos pequenos, enumeram-se todas (teste de permutação exato); para grupos grandes, sorteia-se uma amostra grande de partições (teste de permutação aproximado), porque $\binom{m+n}{m}$ torna-se astronômico.

Um exemplo minúsculo, enumerável à mão, fixa a mecânica. Sejam o grupo A $={10,12,14}$ e o grupo B $={16,18,20}$, com diferença de médias observada $\bar{B}-\bar{A}=18-12=6$. Há $\binom{6}{3}=20$ maneiras de dividir os seis valores em dois grupos de três. Dessas $20$ partições, apenas uma, a original, produz diferença $\ge6$ na direção observada, então o p-valor unicaudal é $1/20=0{,}05$; contando também a partição espelhada com diferença $\le-6$, o p-valor bicaudal é $2/20=0{,}10$. O teste não pediu normalidade nem fórmula de erro padrão. Pediu algo substantivo: que as atribuições consideradas sejam exatamente as autorizadas pelo desenho e pela hipótese nula.

2.1 Exercícios da Seção 2

1. Construa a distribuição de permutação da diferença de médias para A $={2,4}$ e B $={6,8}$.

Solução:

Os quatro valores são ${2,4,6,8}$, e há $\binom{4}{2}=6$ partições em dois grupos de dois. As diferenças $\bar{B}-\bar{A}$ das seis partições são: ${2,4}\mid{6,8}\to5$; ${2,6}\mid{4,8}\to2$; ${2,8}\mid{4,6}\to0$; ${4,6}\mid{2,8}\to0$; ${4,8}\mid{2,6}\to-2$; ${6,8}\mid{2,4}\to-5$. A distribuição é simétrica em torno de zero, como a nula prevê. A diferença observada $5$ é a mais extrema.

2. Estime o p-valor unicaudal do exemplo anterior para a diferença observada $5$.

Solução:

Das seis partições, apenas uma produz diferença $\ge5$ (a original, com $5$). Logo, o p-valor unicaudal é $1/6\approx0{,}167$. Com apenas duas observações por grupo, o menor p-valor possível é $1/6$, grande demais para rejeitar a $5\%$: amostras minúsculas não conseguem produzir evidência forte, por mais separados que estejam os grupos.

3. Quantas partições distintas há para dois grupos de tamanhos $m=4$ e $n=4$?

Solução:

O número de maneiras de escolher quais $4$ das $8$ observações vão para o primeiro grupo é $\binom{8}{4}=70$. Para $m=n=10$, esse número já é $\binom{20}{10}=184\,756$, ainda enumerável; para $m=n=50$, é maior que $10^{28}$, o que força o teste aproximado por amostragem de partições.

4. Qual a diferença entre o teste de permutação exato e o aproximado?

Solução:

O exato enumera todas as $\binom{m+n}{m}$ partições e calcula o p-valor exatamente como a fração de partições tão extremas quanto a observada. O aproximado sorteia um grande número de partições ao acaso (vamos dizer $10^4$ ou $10^5$) e estima o p-valor pela fração amostral, com erro de Monte Carlo $\propto1/\sqrt{B}$. Usa-se o exato quando $\binom{m+n}{m}$ é pequeno e o aproximado quando é grande demais para enumerar.

5. Como aplicar o teste de permutação a uma estatística que não seja a diferença de médias?

Solução:

A mecânica não muda: embaralham-se os rótulos e recalcula-se a estatística escolhida em cada partição. Para a diferença de medianas, calcula-se a mediana de cada grupo falso; para a diferença de proporções de um teste A/B, a proporção de conversão de cada grupo falso. O teste de permutação é agnóstico à estatística, o que o torna aplicável quando não há fórmula de erro padrão, como para a mediana do oitavo artigo.

3. O p-valor

O teste de permutação produziu um número, o p-valor. Fixados a hipótese nula, a estatística e o plano de análise, o p-valor é a probabilidade, calculada sob a nula, de a estatística aleatória ser tão ou mais incompatível com $H_0$ que o valor observado:

Ele não é a probabilidade dos dados observados, pois agrega todos os resultados definidos como tão ou mais extremos. No experimento A/B, $p\approx0{,}007$ indica que atribuições permitidas pela nula aguda produziriam uma diferença absoluta pelo menos tão grande quanto a observada em cerca de $0{,}7\%$ dos casos. A conclusão depende da estatística, da definição de extremidade e do desenho.

A decisão formaliza-se com um limiar, o nível de significância $\alpha$, fixado antes do experimento, tipicamente $0{,}05$. Se $p\le\alpha$, rejeitamos $H_0$ e chamamos o resultado de estatisticamente significativo; se $p>\alpha$, falhamos em rejeitar. O valor $0{,}05$ é uma convenção, não uma lei da natureza, e a fronteira entre $p=0{,}049$ e $p=0{,}051$ não tem significado especial. É preciso resistir à tentação de tratar $\alpha$ como uma verdade cósmica; ele é uma taxa de erro que escolhemos tolerar, assunto da próxima seção.

O p-valor não é a probabilidade de a hipótese nula ser verdadeira. Ele é calculado em um mundo que assume $H_0$; obter $P(H_0\mid\text{dados})$ exigiria um modelo para hipóteses e probabilidades prévias. Também não é a probabilidade de que o acaso causou o resultado, nem a probabilidade de replicação. Por fim, não mede tamanho ou utilidade do efeito. Em modelos regulares, uma amostra enorme pode tornar detectável uma diferença minúscula. Significância estatística não é relevância prática; decisões exigem estimativa do efeito, intervalo de confiança, custos e validade do desenho.

3.1 Exercícios da Seção 3

1. Calcule o p-valor bicaudal correspondente a uma estatística padronizada $z=2$.

Solução:

O p-valor bicaudal é $2\,P(Z>\vert z\vert)=2\,P(Z>2)$. Como $P(Z>2)=1-\Phi(2)\approx0{,}0228$, o p-valor é $2\times0{,}0228\approx0{,}0455$. Está logo abaixo de $0{,}05$, de modo que $z=2$ é aproximadamente a fronteira da significância a $5\%$ em um teste bicaudal, o que explica a familiaridade do valor crítico $1{,}96$.

2. Interprete corretamente um p-valor de $0{,}03$.

Solução:

Significa que, sob a hipótese nula e o procedimento especificado, a estatística de teste seria tão ou mais extrema que a observada em $3\%$ das repetições. Não é a probabilidade dos dados exatos, da nula, da alternativa ou de uma futura replicação. Sua interpretação pressupõe que estatística, caudas e regra de parada não foram escolhidas depois de observar o resultado.

3. Aponte o erro na frase o p-valor é a probabilidade de a hipótese nula ser verdadeira.

Solução:

O cálculo assume a nula e mede uma probabilidade de cauda da estatística, $P_{H_0}(T\text{ tão ou mais extremo que }T_{\text{obs}})$. A probabilidade de $H_0$ após os dados é outra quantidade, que exigiria probabilidades prévias e um modelo bayesiano. Além disso, o p-valor nem sequer é $P(\text{dados exatos}\mid H_0)$.

4. Por que um efeito fixo produz p-valor cada vez menor à medida que $n$ cresce?

Solução:

A comparação será:

Assim, qualquer efeito diferente de zero pode se tornar estatisticamente significativo com uma amostra grande o bastante. O p-valor sinaliza incompatibilidade com o efeito nulo, mas não mede a magnitude nem a relevância do efeito observado.

5. Dê um exemplo de resultado estatisticamente significativo mas praticamente irrelevante.

Solução:

Um teste A/B com dez milhões de usuários por grupo detecta uma diferença de conversão de $0{,}02$ pontos percentuais com $p<0{,}001$. O resultado é altamente significativo, porque a amostra enorme torna o erro padrão minúsculo, mas a diferença é irrelevante: não justifica o custo de trocar a versão. A significância confirma que a diferença não é acaso; a relevância, ausente aqui, exigiria que a magnitude importasse para a decisão, o que o tamanho de efeito da próxima seção mede.

4. Erros, poder e tamanho de efeito

Todo teste de hipótese pode errar de dois modos. O erro do tipo I é rejeitar $H_0$ quando ela é verdadeira. Um teste de nível $\alpha$ é construído para que essa probabilidade seja no máximo $\alpha$ sob a nula; em testes contínuos bem calibrados ela costuma ser igual, enquanto testes discretos podem ser conservadores. O erro do tipo II é falhar em rejeitar uma alternativa específica quando ela é verdadeira, com probabilidade $\beta$. Reduzir $\alpha$ mantendo desenho e tamanho amostral tende a aumentar $\beta$ para essa alternativa.

O complemento do erro do tipo II é o poder (power) do teste, $1-\beta$: a probabilidade de detectar um efeito quando ele de fato existe. Um teste de poder $0{,}80$ encontra o efeito em $80\%$ das vezes em que ele está presente e o perde em $20\%$. O poder depende de quatro grandezas entrelaçadas: o nível $\alpha$ (mais rígido, menos poder), o tamanho do efeito verdadeiro (maior efeito, mais fácil de detectar), a variabilidade dos dados (menos ruído, mais poder) e o tamanho da amostra (mais dados, mais poder). Um experimento com poder baixo é um desperdício: se não detecta o efeito, não sabemos se o efeito não existe ou se apenas não tínhamos dados para vê-lo, e a conclusão fica vazia.

Para comparar separações em escalas diferentes, pode-se padronizar a diferença. O $d$ de Cohen divide a diferença de médias pelo desvio padrão combinado, $d=(\bar{x}_1-\bar{x}_2)/s_p$. Valores de $0{,}2$, $0{,}5$ e $0{,}8$ são referências históricas, não definições universais de pequeno, médio e grande. Relevância depende da unidade natural, do domínio e dos custos; sempre que possível, deve-se relatar também a diferença original e seu intervalo. Para médias $74$ e $70$ com $s_p\approx4{,}95$, $d\approx0{,}81$, isto é, uma separação de cerca de $0{,}81$ desvio padrão.

A escolha entre teste unicaudal e bicaudal também afeta o poder. O unicaudal concentra $\alpha$ em uma direção, mas não permite declarar significância se o efeito importante aparecer na direção oposta. Essa escolha deve vir da pergunta e do plano anterior aos dados. Escolher a cauda depois de observar o sinal duplica, em um caso simétrico, a oportunidade de falso positivo.

4.1 Exercícios da Seção 4

1. Identifique os erros do tipo I e II em um teste A/B que decide trocar a versão da página.

Solução:

O erro do tipo I é trocar a versão (rejeitar $H_0$) quando as versões são de fato iguais: gasta-se esforço em uma mudança inócua, um falso positivo com probabilidade $\alpha$. O erro do tipo II é manter a versão antiga (não rejeitar $H_0$) quando a nova é de fato melhor: perde-se uma melhoria real, um falso negativo com probabilidade $\beta$. Os custos dos dois erros raramente são iguais, e isso deveria informar a escolha de $\alpha$.

2. Aproxime o poder de um teste $z$ bicaudal para duas médias, com $\alpha=0{,}05$, $d=0{,}5$ e $n=30$ por grupo.

Solução:

Com grupos iguais e variância comum, a estatística padronizada tem deslocamento aproximado $d\sqrt{n/2}=0{,}5\sqrt{15}\approx1{,}936$. O poder é $P(Z>1{,}96-1{,}936)+P(Z<-1{,}96-1{,}936)\approx0{,}490$. Portanto, trinta unidades por grupo oferecem apenas cerca de $49\%$ de poder para esse efeito. A confusão com $d\sqrt{n}$ corresponderia a um problema de uma amostra, não a dois grupos de tamanho $n$.

3. Qual o efeito de reduzir $\alpha$ de $0{,}05$ para $0{,}01$ sobre o poder, tudo mais constante?

Solução:

O poder diminui. Reduzir $\alpha$ eleva o valor crítico (de $1{,}96$ para $2{,}576$ no bicaudal), exigindo evidência mais forte para rejeitar; com o mesmo efeito, a mesma variabilidade e o mesmo $n$, a estatística ultrapassa o novo limiar menos vezes, então $\beta$ cresce e $1-\beta$ cai. É a tensão fundamental: mais proteção contra falsos positivos custa mais falsos negativos, e recuperar o poder exige aumentar $n$.

4. Calcule o $d$ de Cohen entre os grupos ${70,75,80,68,77}$ e ${66,71,76,64,73}$.

Solução:

As médias são $74$ e $70$, com diferença $4$. Cada grupo tem variância amostral $24{,}5$, então o desvio combinado é $s_p=\sqrt{\frac{4\times24{,}5+4\times24{,}5}{8}}=\sqrt{24{,}5}\approx4{,}95$. O $d$ de Cohen é $4/4{,}95\approx0{,}81$, um efeito grande pela convenção. A padronização torna esse $0{,}81$ comparável a efeitos medidos em qualquer outra unidade.

5. Quando escolher um teste unicaudal, e qual o risco de decidir isso depois de ver os dados?

Solução:

O teste unicaudal é apropriado quando só interessa detectar efeito em uma direção declarada de antemão, por exemplo se a nova versão é melhor, sem interesse em detectar que seja pior. Ele ganha poder concentrando $\alpha$ em uma cauda. O risco de escolhê-lo após ver os dados é grave: olhar a direção observada e então testar só aquela cauda dobra, na prática, a taxa de erro do tipo I, porque se testaria qualquer direção que os dados sugerissem. A caudalidade deve ser fixada antes da coleta.

5. Dimensionando um experimento

Um experimento A/B mal dimensionado é um desperdício antes de começar: pequeno demais, não terá poder para detectar o efeito de interesse; grande demais, gastará tráfego além do necessário. O cálculo de tamanho de amostra resolve isso invertendo a fórmula do poder. Fixamos quatro ingredientes: o nível $\alpha$, o poder desejado $1-\beta$, e o efeito mínimo detectável, a menor diferença que faria diferença prática e que queremos ter poder para encontrar. Desses, a fórmula devolve o $n$ necessário.

Para comparar as médias de dois grupos, seja $d$ o efeito padronizado que desejamos detectar, $\alpha$ a taxa de erro do tipo I, $1-\beta$ o poder e $z_q$ o quantil de ordem $q$ da normal padrão. O tamanho $n$ necessário por grupo é aproximadamente

na qual $z_{1-\alpha/2}$ e $z_{1-\beta}$ são quantis da normal padrão. Para $\alpha=0{,}05$ bicaudal ($z_{1-\alpha/2}=1{,}96$), poder $0{,}80$ ($z_{1-\beta}=0{,}842$) e efeito médio $d=0{,}5$, isso dá $n=2(1{,}96+0{,}842)^2/0{,}5^2\approx63$ por grupo. Exigir poder $0{,}90$ ($z_{1-\beta}=1{,}282$) eleva o número para $n\approx85$ por grupo: mais poder custa mais amostra, e a relação com o efeito é quadrática, $n\propto1/d^2$, de modo que detectar um efeito duas vezes menor exige quatro vezes mais dados.

Para um teste A/B de proporções, com taxas $p_1$ e $p_2$, a fórmula análoga usa as variâncias das proporções, e o tamanho por grupo cresce rápido quando as taxas são baixas e a diferença a detectar é pequena. Detectar uma melhora de $10\%$ para $15\%$ na conversão, com $\alpha=0{,}05$ e poder $0{,}80$, exige cerca de $686$ usuários por grupo; detectar uma melhora de $10\%$ para $11\%$ exigiria dezenas de milhares. Duas lições saltam do cálculo. Primeira, a variabilidade importa: como $n\propto\sigma^2$, dobrar o ruído dos dados quadruplica a amostra necessária. Segunda, e mais importante, o dimensionamento deve ser feito antes do experimento; calcular o poder depois de um resultado não significativo, o chamado poder post hoc, é uma prática enganosa, porque apenas reexpressa o p-valor obtido e não informa nada de novo sobre o desenho.

5.1 Exercícios da Seção 5

1. Calcule o tamanho de amostra por grupo para detectar $d=0{,}5$ com poder $0{,}80$ e $\alpha=0{,}05$ bicaudal.

Solução:

Com $z_{0{,}975}=1{,}96$ e $z_{0{,}80}=0{,}842$, a fórmula dá $n=2(1{,}96+0{,}842)^2/0{,}5^2=2\times2{,}802^2/0{,}25=2\times7{,}851/0{,}25\approx63$ por grupo. São necessárias cerca de $63$ observações em cada grupo, $126$ no total, para ter $80\%$ de chance de detectar um efeito médio.

2. Quanto muda o tamanho de amostra ao exigir poder $0{,}90$ em vez de $0{,}80$?

Solução:

Troca-se $z_{0{,}80}=0{,}842$ por $z_{0{,}90}=1{,}282$. O tamanho passa a $n=2(1{,}96+1{,}282)^2/0{,}5^2=2\times3{,}242^2/0{,}25\approx85$ por grupo. O aumento de $63$ para $85$, cerca de $35\%$ mais dados, é o preço de reduzir o erro do tipo II de $20\%$ para $10\%$. Mais poder nunca é grátis.

3. Por que a amostra necessária cresce com o quadrado do inverso do efeito?

Solução:

Na fórmula, $n\propto1/d^2$. Isso decorre de a estatística de teste escalar com $d\sqrt{n}$: para manter o mesmo poder ao reduzir $d$ por um fator $k$, é preciso que $\sqrt{n}$ cresça por $k$, ou seja, $n$ por $k^2$. Detectar efeitos sutis é caro de forma quadrática, razão pela qual experimentos que buscam melhorias marginais precisam de tráfego enorme.

4. Estime o tamanho por grupo para detectar uma melhora de conversão de $10\%$ para $15\%$ com poder $0{,}80$.

Solução:

Com $p_1=0{,}10$, $p_2=0{,}15$, média $\bar{p}=0{,}125$, e a fórmula de duas proporções $n=\big(z_{1-\alpha/2}\sqrt{2\bar{p}(1-\bar{p})}+z_{1-\beta}\sqrt{p_1(1-p_1)+p_2(1-p_2)}\big)^2/(p_2-p_1)^2$, obtém-se $n\approx686$ por grupo. A diferença de cinco pontos em uma base baixa exige quase mil e quatrocentos usuários no total, o que dimensiona o tráfego e o tempo do experimento.

5. Por que calcular o poder após um resultado não significativo (poder post hoc) é enganoso?

Solução:

O poder post hoc, calculado usando o efeito observado na amostra, é uma função monótona do p-valor obtido: um p-valor alto sempre corresponde a um poder post hoc baixo, por construção. Ele não traz informação nova sobre o desenho nem sobre a existência do efeito, e cria a ilusão de explicar o resultado nulo. O poder deve ser calculado antes, com um efeito de interesse fixado independentemente dos dados, para orientar o tamanho da amostra.

6. Teste A/B em C++

Implementamos o teste de permutação para o experimento A/B, estimando o p-valor por reamostragem dos rótulos. O programa recebe as contagens de conversão dos dois grupos, monta um vetor de zeros e uns, embaralha os rótulos muitas vezes e conta a fração de permutações cuja diferença de proporções iguala ou supera a observada, em módulo (teste bicaudal). Compile com g++ -std=c++23 -O2 -Wall -Wextra -Wconversion -Wshadow -pedantic ab_test.cpp -o ab_test.

#include <algorithm>
#include <cmath>
#include <cstdint>
#include <iomanip>
#include <iostream>
#include <numeric>
#include <random>
#include <vector>

int main() {
    // Group A has 20 conversions; group B has 40.
    constexpr int nA = 200, cA = 20;
    constexpr int nB = 200, cB = 40;

    // The sharp null permits reallocating the pooled binary outcomes.
    std::vector<int> dados(static_cast<std::size_t>(nA + nB), 0);
    std::fill(dados.begin(), dados.begin() + (cA + cB), 1);

    const double dif_obs = static_cast<double>(cB) / nB
                         - static_cast<double>(cA) / nA;

    constexpr std::uint64_t B = 100'000;
    std::mt19937 gerador(42);
    std::uint64_t extremos = 0;

    for (std::uint64_t b = 0; b < B; ++b) {
        std::shuffle(dados.begin(), dados.end(), gerador);
        const int convA = std::accumulate(dados.begin(), dados.begin() + nA, 0);
        const int convB = std::accumulate(dados.begin() + nA, dados.end(), 0);
        const double dif = static_cast<double>(convB) / nB
                         - static_cast<double>(convA) / nA;
        if (std::abs(dif) >= std::abs(dif_obs)) {
            ++extremos;
        }
    }

    // The plus-one correction prevents a zero Monte Carlo p-value.
    const double p = static_cast<double>(extremos + 1)
                   / static_cast<double>(B + 1);
    std::cout << std::fixed << std::setprecision(4)
              << "diferenca observada = " << dif_obs << '\n'
              << "p-valor permutacao  = " << p << '\n';
}

A saída aproximada, com a semente $42$, é

diferenca observada = 0.1000
p-valor permutacao  = 0.0076

O p-valor Monte Carlo, aproximadamente $0{,}008$, fica abaixo de $\alpha=0{,}05$ para a análise planejada. O programa amostra atribuições da mesma distribuição hipergeométrica usada pelo teste exato de Fisher quando totais e tamanhos dos grupos são fixos. Definições bicaudais podem diferir em problemas discretos, portanto a igualdade numérica não é universal. O teste $z$ de duas proporções do próximo artigo usa uma aproximação normal e dá aproximadamente $0{,}005$. A discrepância não torna um método automaticamente correto e o outro errado; ela mostra que a hipótese nula, a estatística, o condicionamento e a aproximação devem ser relatados.

6.1 Exercícios da Seção 6

1. Por que o programa embaralha um vetor de zeros e uns em vez de recalcular proporções de outra forma?

Solução:

O vetor codifica os resultados binários observados. Sob a nula aguda e o desenho completamente randomizado, cada atribuição admissível desses resultados aos grupos pode ser avaliada. Somar os uns em cada parte recupera as conversões. Em um desenho por blocos ou conglomerados, embaralhar livremente o vetor não seria fiel ao mecanismo de atribuição.

2. Qual a complexidade de tempo do teste de permutação implementado?

Solução:

Cada uma das $B$ iterações embaralha $n_A+n_B$ elementos, $O(n_A+n_B)$, e soma duas metades, também $O(n_A+n_B)$. O total é $O(B\,(n_A+n_B))$. Para $B=100\,000$ e $400$ observações, são quarenta milhões de operações elementares, trabalho de fração de segundo. O espaço é $O(n_A+n_B)$, apenas o vetor de dados.

3. O que muda no código para um teste unicaudal na direção $p_B>p_A$?

Solução:

Troca-se a condição std::abs(dif) >= std::abs(dif_obs) por dif >= dif_obs, sem os valores absolutos. Assim, contam-se apenas as permutações cuja diferença é tão grande quanto a observada na mesma direção, não na oposta. O p-valor unicaudal resultante é aproximadamente metade do bicaudal quando a distribuição nula é simétrica, refletindo a concentração de $\alpha$ em uma cauda da Seção 4.

4. Por que os dígitos exatos do p-valor variam entre execuções ou bibliotecas?

Solução:

O p-valor é estimado por Monte Carlo a partir de $B$ atribuições sorteadas, então depende da sequência do gerador. O erro padrão Monte Carlo é aproximadamente $\sqrt{p(1-p)/B}$, cerca de $0{,}0003$ para $B=10^5$ e $p\approx0{,}008$. A correção $(r+1)/(B+1)$ evita reportar zero quando nenhuma réplica sorteada é tão extrema.

5. Como o teste de permutação se compara ao teste $z$ de proporções para estes dados?

Solução:

Os dois rejeitam a $5\%$, com $p\approx0{,}008$ pelo teste de randomização Monte Carlo e $p\approx0{,}005$ pela aproximação $z$. A enumeração seria exata para a nula aguda e o desenho especificado; a aproximação normal depende de contagens suficientes. Em amostras pequenas, uma inferência exata compatível com o desenho pode ser preferível, mas ainda é preciso declarar condicionamento e definição bicaudal.

7. Um laboratório para o teste A/B

O teste de permutação é um método que a intuição absorve vendo a distribuição nula se formar e a diferença observada cair, ou não, na sua cauda. O laboratório abaixo deixa a leitora definir as taxas de conversão e os tamanhos dos dois grupos e desenha a distribuição de permutação da diferença sob a hipótese nula, com a diferença observada e o p-valor destacados. Presets reproduzem o experimento do texto, $10\%$ contra $20\%$ em grupos de $200$, e casos de fronteira em que a diferença some no ruído.

O que o laboratório torna tátil é a dependência do p-valor de três alavancas simultâneas. Aumentar a diferença de conversão empurra a observada para a cauda e reduz o p-valor; aumentar o tamanho dos grupos estreita a distribuição nula, tornando a mesma diferença mais significativa; e reduzir a diferença afunda a observada no miolo, elevando o p-valor. Ao mover essas alavancas, a leitora reconstrói, com os olhos, a relação entre efeito, tamanho de amostra e significância que a Seção 5 escreveu em fórmula.

7.1 Exercícios da Seção 7

1. No preset do texto, onde a diferença observada cai na distribuição de permutação?

Solução:

A diferença observada de $10$ pontos percentuais cai na cauda direita da distribuição nula, além de mais de $99\%$ da massa, o que corresponde a um p-valor bicaudal de aproximadamente $0{,}008$. A sua posição na ponta da cauda, e não no miolo, é a razão gráfica para rejeitar a hipótese de igualdade: sob a nula, diferenças assim são raras.

2. Reduza a diferença de conversão mantendo os tamanhos. O que acontece com o p-valor?

Solução:

A diferença observada se aproxima do centro da distribuição nula, onde a massa é alta, e o p-valor cresce. Uma diferença pequena o suficiente fica indistinguível do acaso, com p-valor bem acima de $0{,}05$, e o teste falha em rejeitar. O laboratório mostra a linha da observada deslizando do rabo para o miolo conforme a diferença encolhe.

3. Aumente os tamanhos dos grupos mantendo as taxas. Por que o p-valor cai?

Solução:

Grupos maiores reduzem a variabilidade da diferença sob a nula, estreitando a distribuição de permutação em torno de zero. A mesma diferença observada passa a cair mais longe, em desvios, do centro estreitado, elevando a sua raridade e derrubando o p-valor. É a dependência $1/\sqrt{n}$ do erro padrão vista de outro ângulo: mais dados tornam a mesma diferença mais significativa.

4. Configure duas taxas iguais. Como fica a distribuição e o p-valor?

Solução:

Com taxas iguais, a diferença observada é próxima de zero e cai bem no centro da distribuição de permutação, que é simétrica em torno de zero. O p-valor fica alto, tipicamente perto de $1$, indicando que a diferença é perfeitamente compatível com o acaso. É o caso em que a hipótese nula é, de fato, verdadeira, e o teste corretamente falha em rejeitá-la quase sempre.

5. Encontre, ajustando os controles, uma combinação de diferença e tamanho que deixe o p-valor logo abaixo de $0{,}05$.

Solução:

Há muitas: por exemplo, uma diferença moderada com grupos grandes, ou uma diferença maior com grupos menores, ajustadas até a observada tocar a fronteira da cauda de $2{,}5\%$ (bicaudal). O exercício mostra que a significância não é propriedade só do efeito nem só do tamanho, mas da combinação dos dois via erro padrão, e que $p=0{,}05$ é uma linha móvel no plano efeito-tamanho, não um marco absoluto.

8. Conclusão

Este artigo construiu o aparato que responde a uma decisão estatística planejada. Partimos do experimento A/B e vimos que randomização identifica o efeito da atribuição quando execução, mensuração, interferência, adesão e atrito são tratados corretamente. O teste de randomização passou a reproduzir o mecanismo de atribuição sob uma nula definida, não a funcionar sem hipótese alguma. Definimos o p-valor como probabilidade de cauda da estatística sob $H_0$, distinguindo-o da probabilidade da nula, do tamanho do efeito e da utilidade prática. Por fim, corrigimos a relação de poder para dois grupos e dimensionamos amostras a partir de um efeito mínimo relevante.

O fio a levar adiante é que randomização e modelagem paramétrica justificam inferências por caminhos diferentes. Quando um modelo probabilístico é razoável, testes de fórmula fechada podem ser eficientes e transparentes; quando o desenho oferece atribuições permutáveis, a distribuição de randomização ancora o cálculo. O próximo artigo apresenta os testes $t$, $z$ e qui-quadrado, declara suas hipóteses e compara as perguntas que cada procedimento realmente responde.

Acrônimos e Abreviações neste artigo

A seguir está a lista de todos os acrônimos e abreviações identificados no texto, organizados em ordem alfabética com o termo original em inglês e a tradução para o português:

Referências

BRUCE, P.; BRUCE, A.; GEDECK, P. Practical Statistics for Data Scientists. 2. ed. Sebastopol: O’Reilly, 2020.

LARSON, R.; FARBER, B. Estatística aplicada. 6. ed. São Paulo: Pearson, 2015.

LARSON, R. E. Estatística aplicada: retratando o mundo. 8. ed. São Paulo: Bookman, 2023. E-book. Disponível em: https://plataforma.bvirtual.com.br/Acervo/Publicacao/208455. Acesso em: 23 jul. 2026.

ORLOFF, J.; BLOOM, J. 18.05 Introduction to Probability and Statistics. MIT OpenCourseWare, 2022. Disponível em: https://ocw.mit.edu/courses/18-05-introduction-to-probability-and-statistics-spring-2022/. Acesso em: 23 jul. 2026.

SEMINAR FOR STATISTICS, ETH ZÜRICH. On Hypothesis Testing. Notas de aula de Applied Statistical Regression. Disponível em: https://stat.ethz.ch/lectures/. Acesso em: 23 jul. 2026.

WASSERMAN, L. All of Statistics: A Concise Course in Statistical Inference. New York: Springer, 2004.