Signifikanzrechner für A/B-Tests
Ist dieser "10%-Anstieg" in Ihrem Experiment echt oder zufälliges Rauschen?
Warum "10% mehr Konvertierungen" meist Rauschen ist
Der häufigste A/B-Test-Fehler: einen Gewinner zu früh bekannt zu geben. Bei kleinen Stichprobengrößen kann ein Anstieg von 10% leicht eine zufällige Variation sein. Sie benötigen statistische Signifikanz (typischerweise p < 0,05 oder 95% Konfidenz), bevor Sie einem Ergebnis vertrauen.
Für eine Basis-Konvertierungsrate von 5% und einen relativen Anstieg von 10% (bis 5,5%) benötigen Sie ungefähr 28.000 Besucher pro Gruppe. Die meisten Teams beenden ihre Tests viel zu früh.
Stichprobengrößenanforderungen
Mindestanzahl Besucher pro Gruppe, die erforderlich sind, um einen Anstieg bei 95% Konfidenz / 80% Stärke zu erkennen:
| Basisrate | 5% Anstieg | 10% Anstieg | 20% Anstieg |
|---|---|---|---|
| 1% | 635K | 159K | 40K |
| 2% | 312K | 78K | 20K |
| 5% | 118K | 30K | 7.5K |
| 10% | 54K | 14K | 3.5K |
| 20% | 24K | 6.1K | 1.6K |
Dies ist der Grund, warum Websites mit geringem Datenverkehr bei A/B-Tests kämpfen — kleine Anstiege zu erkennen erfordert enorme Stichproben.
Häufige Fehler beim A/B-Testen
Heimliches Anschauen: Das tägliche Überprüfen von Ergebnissen und das Stoppen, wenn sie gut aussehen, erhöht die Rate der falschen Positive auf 25%+ (vom Ziel von 5%).
Mehrere Varianten: Das Testen von 5 Varianten ohne Korrektur bedeutet eine 23% Chance für einen falschen Gewinner.
Saisonale Effekte: Ein Test, der von Montag bis Freitag läuft, verpasst das Wochenendverhalten. Immer vollständige Wochen testen.