Calculadora de Significância de Testes A/B
Esse "aumento de 10%" no seu experimento — é real ou ruído aleatório?
Por que "10% mais conversões" geralmente é ruído
O erro mais comum em testes A/B: declarar um vencedor muito cedo. Com tamanhos de amostra pequenos, um ganho de 10% pode ser facilmente variação aleatória. Você precisa de significância estatística (tipicamente p < 0,05, ou confiança de 95%) antes de confiar em um resultado.
Para uma taxa de conversão base de 5% e um ganho relativo de 10% (para 5,5%), você precisa de aproximadamente 28.000 visitantes por grupo. A maioria dos times para seus testes muito cedo.
Requisitos de tamanho de amostra
Visitantes mínimos por grupo necessários para detectar um ganho com confiança de 95% / poder de 80%:
| Taxa base | Ganho 5% | Ganho 10% | Ganho 20% |
|---|---|---|---|
| 1% | 635K | 159K | 40K |
| 2% | 312K | 78K | 20K |
| 5% | 118K | 30K | 7.5K |
| 10% | 54K | 14K | 3.5K |
| 20% | 24K | 6.1K | 1.6K |
É por isso que sites com pouco tráfego lutam com testes A/B — detectar ganhos pequenos requer amostras enormes.
Erros comuns em testes A/B
Espiada: Verificar resultados diariamente e parar quando parecem bons infla as taxas de falso positivo para 25%+ (da meta de 5%).
Variantes múltiplas: Testar 5 variantes sem correção significa uma chance de 23% de um vencedor falso.
Efeitos sazonais: Um teste executado de segunda a sexta perde o comportamento do fim de semana. Sempre execute múltiplos de semana completa.