Correlatie versus causaliteit
Elk attributiemodel meet hetzelfde: had een klant vóór de aankoop interactie met je advertentie? Zo ja, dan krijgt de advertentie de eer. Dit vertelt je niets over de vraag of de klant sowieso zou hebben gekocht. Een klant die op Google naar je merknaam zoekt, op een merkgerichte zoekadvertentie klikt en converteert, wordt als een Google-conversie geteld. Maar die klant kende je merk al en was van plan te kopen. De Google-advertentie was een taxi naar een bestemming waar de klant al naartoe liep.
Incrementality-tests stellen een andere vraag: als deze klant deze advertentie nooit had gezien, zou die dan nog steeds hebben gekocht? Voor het antwoord is een controlegroep nodig die de advertentie niet heeft gezien. Platformattributie kan dit niet bieden, omdat platforms je advertenties per definitie aan iedereen in je doelgroep tonen.
Geo holdout zonder datascience
De eenvoudigste incrementality-test verdeelt je markt op basis van geografie in twee groepen. Groep A krijgt je normale advertentiecampagnes te zien. Groep B krijgt geen advertenties te zien of ontvangt een beperkt uitgavenniveau voor de controlegroep, doorgaans minder dan 10 procent van normaal. Je voert dit twee tot vier weken uit en meet het verschil in conversiepercentage tussen beide groepen.
De uplift, het verschil in conversiepercentage tussen de behandelde groep en de controlegroep, is je geschatte incrementality. Als Groep A op 2.4 procent converteert en Groep B op 1.8 procent, bedraagt je incrementele stijging 0.6 procentpunt, ongeveer 25 procent incrementeel. Dat betekent dat 75 procent van de conversies in Groep A sowieso zou hebben plaatsgevonden, met of zonder de advertentie.
Geografische controlegroepen werken het best wanneer de twee groepen echt vergelijkbaar zijn. Koppel regio's op bevolkingsomvang, inkomensverdeling, historische aankooppercentages uit je eigen data en seizoenspatronen. Een controlegroep die systematisch afwijkt van je behandelde groep levert een betekenisloos resultaat op.
Wat een eerlijk resultaat is
Meta en Google bieden beide experimenten met ghost ads aan, waarbij een controlegroep een boodschap van algemeen nut of een vervangende uiting te zien krijgt in plaats van je werkelijke advertentie. Dit is nauwkeuriger dan een geografische controlegroep, omdat de twee groepen echt willekeurig op gebruikersniveau worden ingedeeld en niet op geografisch niveau.
De beperking is dat je voor de uitvoering van de controlegroep afhankelijk bent van het platform, waardoor het platform de methodologie bepaalt. De Conversion Lift-studie van Meta is betrouwbaar, maar vereist minimale uitgavendrempels en een minimale omvang van de controlegroep. Daardoor is deze onpraktisch voor merken die maandelijks minder dan 50,000 euro aan Meta uitgeven.
Platform lift-studies en hun limieten
Een incrementality-percentage van 30 procent betekent dat 30 procent van je toegeschreven conversies daadwerkelijk door je advertenties wordt veroorzaakt. De overige 70 procent zou via organische kanalen, direct verkeer of herhaalaankopen zijn geconverteerd, ongeacht of je advertenties had ingezet.
Dit betekent niet dat je advertenties waardeloos zijn. Het betekent dat je er te veel aan toeschrijft. De relevante vraag is: wat is de incrementele omzet per euro aan advertentie-uitgaven, niet de totale omzet per euro aan advertentie-uitgaven? Een kanaal met een gerapporteerde ROAS van 5.0 en een incrementality-percentage van 30 procent heeft een werkelijke incrementele ROAS van 1.5. Dat leidt tot een heel andere investeringsbeslissing.
Hoe vaak je moet testen
Voer elk kwartaal een geografische controletest uit voor het kanaal waaraan je het meest uitgeeft. Reserveer 15 tot 20 procent van de uitgaven aan dat kanaal voor de controleregio. De kosten van de test zijn de omzet die je tijdens de testperiode in de controleregio misloopt. Bij een test van de juiste omvang is dit doorgaans 2 tot 4 procent van de maandelijkse omzet.
Het rendement op die investering is dat je weet of je grootste marketinguitgave vraag creëert of alleen de eer opeist voor vraag die al bestond. Voor de meeste merken met een jaaromzet boven 5 miljoen euro is die kennis de testkosten ruimschoots waard.
---