Pourquoi le test A/B standard échoue pour la créativité
Un test A/B standard dans Meta ou Google compare la création A à la création B et déclare un gagnant basé sur ROAS ou CTR. Le problème est que les deux créations sont servies à différents utilisateurs, dans différents contextes, à différents moments de la journée. Le gagnant pourrait gagner parce qu'il a été servi à un meilleur segment d'audience, pas parce que c'est un meilleur créatif.
À l'échelle avec un grand public, l'affectation aléatoire annule largement. Mais la plupart des marques DTC ne sont pas à cette échelle. Un test de 1000 euros sur chaque créatif sur deux semaines n'a pas le pouvoir statistique de distinguer la performance créative de la variance du public. Les conclusions sont le bruit présenté comme signal.
Essai d ' isolement du crochet
Isolez une seule variable par test. La variable la plus élevée à tester est le crochet : les deux premières secondes d'une vidéo ou le titre d'une statique. Gardez tout le reste identique. Même style visuel, même offre, même CTA, même produit. Changez seulement les deux premières secondes.
Exécutez simultanément trois à cinq variantes de crochet pour le même public avec une allocation budgétaire égale par variante. Après 7 à 10 jours ou un minimum de 50 clics de lien par variante, arrêtez les deux résultats les plus bas. Exécutez les variantes restantes pendant une semaine. Le gagnant devient votre contrôle pour le prochain cycle d'essai.
Cette approche est plus lente que tout exécuter à la fois, mais produit des résultats que vous pouvez réellement apprendre. Un crochet qui gagne contre quatre alternatives pour le même produit vous dit quelque chose de vrai sur votre public. Un créatif qui gagne dans un test chaotique multi-variable vous dit presque rien.
L'offre contre la distinction créative
Séparez votre test d'offre de votre test créatif. Un changement d'offre, un pourcentage d'escompte différent, un forfait par rapport à un produit unique, un seuil d'expédition libre, modifie fondamentalement l'économie de la publicité et produit des résultats qui ne sont pas transférables à d'autres contextes créatifs.
Testez votre offre dans une campagne dédiée avec un créatif que vous connaissez fonctionne bien. Testez votre créativité dans une campagne avec votre meilleure offre éprouvée. Mélanger les deux signifie que vous ne pouvez attribuer les différences de performance à aucune variable avec confiance.
Cycles d'apprentissage créatifs et durée de conservation
Les créateurs gagnants ont une durée de vie déterminée par la fatigue du public. La courbe de performance typique pour un DTC créatif gagnant est : amélioration au cours des deux premières semaines que l'algorithme optimise la livraison, performance de pointe au cours des semaines trois à six, puis baisse régulière à mesure que la fréquence augmente et le public qui répond a déjà vu et répondu.
Planifiez votre calendrier de test créatif à partir de ce cycle de vie. Si vous savez qu'un créateur gagnant a à peu près un sommet de 6 semaines, vous avez besoin d'un nouveau test de création toutes les trois semaines pour avoir un remplacement prêt avant que la performance tombe. Les marques qui surpassent constamment à l'échelle ne trouvent pas de meilleurs créateurs. Ils trouvent de bonnes créations plus rapidement.
Signaler les tests créatifs à votre équipe ou agence
Définir les critères de réussite avant le test, pas après. Précisez le volume minimal de conversion, la durée minimale de test et la mesure des performances que vous optimisez. Écrivez-les avant le début du test. Si votre organisme ou votre équipe évalue les résultats avec des critères définis après coup, vous ne faites pas de test. Vous confirmez ce que vous avez déjà cru.
Exiger un intervalle de confiance sur chaque résultat de test créatif. Un gagnant qui est 15 pour cent mieux avec 65 pour cent de confiance n'est pas un gagnant. C'est une hypothèse. Un gagnant qui est 10 pour cent mieux avec 90% de confiance est une conclusion que vous pouvez agir sur.
---