Calculatrice de Significativité des Tests A/B
Ce "gain de 10 %" dans votre expérience — est-il réel ou du bruit aléatoire ?
Pourquoi "10% plus de conversions" est généralement du bruit
L'erreur la plus courante en test A/B : déclarer un gagnant trop tôt. Avec des tailles d'échantillon petites, un gain de 10% peut facilement être une variation aléatoire. Vous avez besoin d'une signification statistique (généralement p < 0,05, ou confiance à 95%) avant de faire confiance à un résultat.
Pour un taux de conversion de base de 5% et un gain relatif de 10% (à 5,5%), vous avez besoin d'environ 28 000 visiteurs par groupe. La plupart des équipes arrêtent leurs tests bien trop tôt.
Exigences de taille d'échantillon
Visiteurs minimum par groupe nécessaires pour détecter un gain à confiance 95% / puissance 80%:
| Taux de base | Gain 5% | Gain 10% | Gain 20% |
|---|---|---|---|
| 1% | 635K | 159K | 40K |
| 2% | 312K | 78K | 20K |
| 5% | 118K | 30K | 7.5K |
| 10% | 54K | 14K | 3.5K |
| 20% | 24K | 6.1K | 1.6K |
C'est pourquoi les sites à faible trafic ont du mal avec les tests A/B — détecter les petits gains nécessite des échantillons énormes.
Erreurs courantes dans les tests A/B
Coup d'œil: Vérifier les résultats quotidiennement et s'arrêter lorsqu'ils semblent bons augmente les taux de faux positifs à 25%+ (par rapport à l'objectif de 5%).
Variantes multiples: Tester 5 variantes sans correction signifie une chance de 23% d'avoir un faux gagnant.
Effets saisonniers: Un test s'exécutant du lundi au vendredi rate le comportement du week-end. Toujours exécuter des multiples de semaine complète.