Fehler 1: Tests zu früh beenden
Der häufigste Testfehler ist das Beenden eines Tests, wenn Sie das erhoffte Ergebnis sehen. Ein Test, der zeigt, dass Variante B nach 3 Tagen um 25 Prozent besser ist und 200 Besuche kein zuverlässiges Ergebnis erbracht haben. Es hat Lärm erzeugt, der in die Richtung zeigt, die Sie wollten.
Die Mindestdauer für einen aussagekräftigen Conversion Rate Test beträgt 2 Wochen, unabhängig vom Traffic-Volumen. Dadurch werden Wochentagseffekte kontrolliert: Montagskäufer verhalten sich anders als Freitagskäufer. Das minimale Conversion-Volumen liegt bei 100 bis 200 Conversions pro Variante, was für die meisten DTC-Marken mit 2 bis 4 Prozent Conversion-Raten 2.500 bis 10.000 Visits pro Variante erfordert. Wenn Ihr Verkehrsaufkommen unter diesem Schwellenwert liegt, können Sie keine zuverlässigen A/B-Tests durchführen. Konzentrieren Sie sich zuerst auf andere Optimierungsmethoden.
Fehler 2: zu viele Dinge auf einmal testen
Ein multivariater Test, der die Überschrift, das Heldenbild, den CTA-Button und den Preis gleichzeitig ändert, kann keinen Leistungsunterschied zu einer einzelnen Änderung zuschreiben. Wenn Variante B die Variante A übertrifft, wissen Sie, dass etwas funktioniert hat. Du weißt nicht was, was bedeutet, dass du nicht daraus lernen und es anderswo anwenden kannst.
Testen Sie jeweils eine Variable. Die Frage sollte so spezifisch wie möglich sein: Übertrifft eine Überschrift, die mit dem Vorteil führt, eine Überschrift, die mit dem Produktnamen führt? Übertrifft ein modellgetragenes Heldenbild ein flaches Heldenbild? Eine Frage, ein Test, eine Antwort.
Fehler 3: Nicht Berechnung der Stichprobengröße vor dem Start
Die Berechnung der Stichprobengröße ist eine zehnminütige Übung, die die meisten Marken überspringen. Geben Sie vor Beginn eines Tests an: Ihre aktuelle Conversion-Rate, die Mindestverbesserung, die Sie erkennen möchten (normalerweise 5 bis 15 Prozent für die praktische Signifikanz) und Ihr gewünschtes statistisches Konfidenzniveau (normalerweise 90 bis 95 Prozent). Geben Sie diese in einen beliebigen Stichprobengrößenrechner ein, um festzustellen, wie viele Besuche pro Variante Sie benötigen.
Wenn Sie einen Test ausführen, ohne die Stichprobengröße vorab zu berechnen, wissen Sie nicht, wie lange Sie ihn ausführen oder wann Sie dem Ergebnis vertrauen müssen. Dies ist die Ursache für die meisten frühen Testenden und die meisten falschen Gewinnererklärungen.
Fehler 4: Ignorieren sekundärer Metriken
Eine Testvariante, die die Add-to-Cart-Rate verbessert, aber die Abschlussrate beim Checkout verringert, kann sich neutral oder negativ auf die Gesamtkonversionsrate auswirken. Wenn Sie nur die primäre Metrik (Konversionsrate oder Umsatz) verfolgen, können Sie einen Gewinner angeben, der eine nachgelagerte Metrik tatsächlich beschädigt hat.
Verfolgen Sie sekundäre Metriken neben Ihrer primären Metrik: Add-to-Cart-Rate, Checkout-Initiationsrate, Checkout-Abschlussrate, AOV und Rückgaberate innerhalb von 30 Tagen. Eine Variante, die bei der Conversion-Rate gewinnt, aber 15 Prozent mehr Retouren generiert, ist nicht unbedingt ein Gewinner, wenn Sie die volle Wirtschaftlichkeit berücksichtigen.
Fehler 5: Tests während atypischer Perioden
Ein Test, der über einen großen Werbezeitraum, eine saisonale Spitze oder einen viralen Moment läuft, kann nicht auf normale Bedingungen verallgemeinert werden. Wenn 40 Prozent Ihres Test-Traffics angekommen sind, weil Sie in dieser Woche eine Promotion durchgeführt haben, ist das Verhalten dieses Traffics nicht repräsentativ für Ihren Standard-Traffic.
Schließen Sie Werbezeiten und anomale Wochen aus Ihrem Testkalender aus. Wenn während eines bereits laufenden Tests eine Anomalie auftritt, markieren Sie diese Tage in Ihren Ergebnissen und verlängern Sie den Testzeitraum, um äquivalente Daten für den normalen Zeitraum zu sammeln.
---