Waarom creative de echte bid is
Een standaard A/B-test in Meta of Google vergelijkt creative A met creative B en wijst op basis van ROAS of CTR een winnaar aan. Het probleem is dat de twee creatives aan verschillende gebruikers worden getoond, in verschillende contexten en op verschillende momenten van de dag. De winnaar presteert mogelijk beter doordat deze aan een beter doelgroepsegment werd getoond, niet doordat het een betere creative is.
Op grote schaal, met omvangrijke doelgroepen, heft de willekeurige toewijzing de verschillen grotendeels op. De meeste DTC-merken opereren echter niet op die schaal. Een test waarbij gedurende twee weken 1,000 euro aan elke creative wordt besteed, heeft onvoldoende statistische bewijskracht om prestaties van creatives te onderscheiden van variatie in de doelgroep. De conclusies zijn ruis die als signaal wordt gepresenteerd.
Concept versus variant
Isoleer één variabele per test. De meest waardevolle variabele om als eerste te testen is de hook: de eerste twee seconden van een video of de kop van een statische advertentie. Houd al het andere identiek. Dezelfde visuele stijl, dezelfde aanbieding, dezelfde CTA en hetzelfde product. Verander alleen de eerste twee seconden.
Laat drie tot vijf hookvarianten gelijktijdig aan dezelfde doelgroep zien, met een gelijke budgetverdeling per variant. Pauzeer na 7 tot 10 dagen, of na minimaal 50 linkklikken per variant, de twee slechtst presterende varianten. Laat de overige varianten nog een week draaien. De winnaar wordt je controlevariant voor de volgende testcyclus.
Deze aanpak is langzamer dan alles tegelijk testen, maar levert resultaten op waar je daadwerkelijk van kunt leren. Een hook die voor hetzelfde product van vier alternatieven wint, vertelt je iets betrouwbaars over je doelgroep. Een creative die in een chaotische test met meerdere variabelen wint, vertelt je vrijwel niets.
Steekproef en wanneer je mag killen
Houd je aanbiedingstest gescheiden van je creativetest. Een wijziging in de aanbieding, zoals een ander kortingspercentage, een bundel in plaats van één product of een drempelbedrag voor gratis verzending, verandert de economische kenmerken van de advertentie fundamenteel. De resultaten zijn daardoor niet overdraagbaar naar andere creatieve contexten.
Test je aanbieding in een aparte campagne met één creative waarvan je weet dat die goed presteert. Test je creative in een campagne met je bewezen beste aanbieding. Als je beide combineert, kun je prestatieverschillen niet met zekerheid aan een van de variabelen toeschrijven.
Cadans op schaal
Winnende creatives hebben een houdbaarheid die wordt bepaald door doelgroepvermoeidheid. De gebruikelijke prestatiecurve van een winnende DTC-creative ziet er zo uit: verbetering in de eerste twee weken terwijl het algoritme de vertoning optimaliseert, piekprestaties in week drie tot en met zes en daarna een gestage daling doordat de frequentie toeneemt en de mensen die reageren de advertentie al hebben gezien en erop hebben gereageerd.
Plan je kalender voor creativetests terug vanuit deze levenscyclus. Als je weet dat een winnende creative ongeveer een piekperiode van 6 weken heeft, moet er elke drie weken een nieuwe creative de testfase ingaan. Zo staat er een vervanger klaar voordat de prestaties afnemen. Merken die op grote schaal consequent beter presteren, vinden niet betere creatives. Ze vinden sneller goede creatives.
Van winnaar naar systeem
Bepaal de criteria voor winst vóór de test, niet erna. Leg het minimale conversievolume, de minimale testduur en de prestatiemetric waarop je optimaliseert vast. Schrijf deze criteria op voordat de test begint. Als je bureau of team de resultaten beoordeelt aan de hand van achteraf opgestelde criteria, ben je niet aan het testen. Je bevestigt dan wat je al dacht.
Eis voor elk resultaat van een creativetest een betrouwbaarheidsinterval. Een winnaar die 15 procent beter presteert met 65 procent betrouwbaarheid is geen winnaar. Het is een hypothese. Een winnaar die 10 procent beter presteert met 90 procent betrouwbaarheid is een bevinding waarop je kunt handelen.
---