Fout 1: te vroeg stoppen
De meest voorkomende testfout is een test beëindigen zodra je het gewenste resultaat ziet. Een test die na 3 dagen en 200 bezoeken laat zien dat variant B 25 procent beter is, heeft geen betrouwbaar resultaat opgeleverd. De test heeft ruis opgeleverd die toevallig in de gewenste richting wijst.
De minimale duur van een zinvolle test van de conversieratio is 2 weken, ongeacht het verkeersvolume. Zo corrigeer je voor effecten van de weekdag: klanten op maandag gedragen zich anders dan klanten op vrijdag. Het minimale conversievolume is 100 tot 200 conversies per variant. Voor de meeste DTC-merken met conversieratio's van 2 tot 4 procent zijn daarvoor 2,500 tot 10,000 bezoeken per variant nodig. Als je verkeersvolume onder die drempel ligt, kun je geen betrouwbare A/B-tests uitvoeren. Richt je eerst op andere optimalisatiemethoden.
Fout 2: te veel tegelijk
Een multivariate test die tegelijkertijd de kop, de hero-afbeelding, de CTA-knop en de prijs wijzigt, kan een prestatieverschil niet aan één specifieke verandering toeschrijven. Als variant B beter presteert dan variant A, weet je dat iets heeft gewerkt. Je weet niet wat. Daardoor kun je er niets van leren en het resultaat niet elders toepassen.
Test één variabele tegelijk. De vraag moet zo specifiek mogelijk zijn: presteert een kop die met het voordeel begint beter dan een kop die met de productnaam begint? Presteert een hero-afbeelding met een model dat het product draagt beter dan een flatlay van het product? Eén vraag, één test, één antwoord.
Fout 3: geen sample size vooraf
De steekproefgrootte berekenen kost tien minuten, maar de meeste merken slaan deze stap over. Bepaal voordat je een test start je huidige conversieratio, de minimale verbetering die je wilt detecteren, meestal 5 tot 15 procent voor praktische significantie, en het gewenste niveau van statistische betrouwbaarheid, doorgaans 90 tot 95 procent. Voer deze gegevens in een willekeurige calculator voor steekproefgrootte in om te bepalen hoeveel bezoeken je per variant nodig hebt.
Als je een test uitvoert zonder vooraf de steekproefgrootte te berekenen, weet je niet hoelang de test moet duren of wanneer je het resultaat kunt vertrouwen. Dit is de oorzaak van de meeste tests die te vroeg worden beëindigd en de meeste varianten die ten onrechte tot winnaar worden uitgeroepen.
Fout 4: secundaire metrics negeren
Een testvariant die het percentage toevoegingen aan de winkelwagen verhoogt maar het voltooiingspercentage van de checkout verlaagt, kan een neutraal of negatief effect op de totale conversieratio hebben. Als je alleen de primaire metric bijhoudt, zoals de conversieratio of omzet, kun je een winnaar aanwijzen die in werkelijkheid een metric verderop in de funnel heeft verslechterd.
Houd naast je primaire metric ook secundaire metrics bij: het percentage toevoegingen aan de winkelwagen, het percentage gestarte checkouts, het voltooiingspercentage van de checkout, AOV en het retourpercentage binnen 30 dagen. Een variant die op conversieratio wint maar 15 procent meer retouren oplevert, is niet noodzakelijk een winnaar als je de volledige economische impact meerekent.
Fout 5: testen in atypische weken
Een test die tijdens een belangrijke promotieperiode, een seizoenspiek of een viraal moment loopt, kun je niet generaliseren naar normale omstandigheden. Als 40 procent van je testverkeer binnenkwam door een promotie die je die week uitvoerde, is het gedrag van dat verkeer niet representatief voor je reguliere verkeer.
Sluit promotieperioden en afwijkende weken uit van je testkalender. Als zich tijdens een lopende test een afwijking voordoet, markeer die dagen dan in je resultaten en verleng de testperiode om een even grote hoeveelheid gegevens uit een normale periode te verzamelen.
---