Erreur 1: Fin des essais trop tôt
L'erreur de test la plus courante est de terminer un test lorsque vous voyez le résultat que vous espériez. Un test qui montre la variante B est 25 pour cent meilleur après 3 jours et 200 visites n'a pas produit de résultat fiable. Il a produit du bruit qui arrive à pointer dans la direction que vous vouliez.
La durée minimale d'un test de taux de conversion significatif est de 2 semaines, quel que soit le volume de trafic. Ce contrôle des effets du jour de la semaine : les acheteurs du lundi se comportent différemment des acheteurs du vendredi. Le volume minimum de conversion est de 100 à 200 conversions par variante, ce qui pour la plupart des marques de DTC avec des taux de conversion de 2 à 4 pour cent nécessite 2 500 à 10 000 visites par variante. Si votre volume de trafic est inférieur à ce seuil, vous ne pouvez pas exécuter des tests A/B fiables. Se concentrer d'abord sur d'autres méthodes d'optimisation.
Erreur 2: Tester trop de choses à la fois
Un test multivarié qui change le titre, l'image du héros, le bouton CTA et le prix simultanément ne peuvent attribuer une différence de performance à aucun changement. Si la variante B surpasse la variante A, vous savez que quelque chose a marché. Vous ne savez pas quoi, ce qui signifie que vous ne pouvez pas apprendre et l'appliquer ailleurs.
Testez une variable à la fois. La question devrait être aussi précise que possible : un titre qui mène avec le bénéfice dépasse-t-il un titre qui mène avec le nom du produit? Est-ce qu'une image de héros de modèle a surperformé une image de héros de plan ? Une question, un test, une réponse.
Erreur 3: Ne pas calculer la taille de l'échantillon avant de commencer
Le calcul de la taille de l'échantillon est un exercice de dix minutes que la plupart des marques sautent. Avant de commencer un test, précisez : votre taux de conversion actuel, l'amélioration minimale que vous voulez détecter (habituellement de 5 à 15 pour cent pour l'importance pratique) et votre niveau de confiance statistique souhaité (habituellement de 90 à 95 pour cent). Introduisez-les dans n'importe quel calculateur de taille d'échantillon pour déterminer le nombre de visites par variante dont vous avez besoin.
Exécuter un test sans précalculer la taille de l'échantillon signifie que vous ne savez pas combien de temps pour l'exécuter ou quand faire confiance au résultat. C'est la cause de la plupart des terminaisons de test précoces et des déclarations des gagnants les plus incorrectes.
Erreur 4: Ignorer les paramètres secondaires
Une variante de test qui améliore le taux d'ajout à la caisse, mais qui diminue le taux d'achèvement de la caisse, pourrait avoir un impact neutre ou négatif sur le taux de conversion global. Si vous suivez seulement la métrique primaire (taux de conversion ou revenu), vous pouvez déclarer un gagnant qui a en fait endommagé une métrique en aval.
Suivez les métriques secondaires à côté de votre métrique primaire: taux d'ajout à la caisse, taux d'initiation de la commande, taux d'achèvement de la commande, AOV, et taux de retour dans les 30 jours. Une variante qui gagne sur le taux de conversion mais génère 15 pour cent plus de rendements n'est pas nécessairement un gagnant lorsque vous comptez pour l'économie complète.
Erreur 5: Essais en cours pendant des périodes atypiques
Un test qui s'étend sur une période promotionnelle majeure, une pointe saisonnière ou un moment viral ne peut être généralisé à des conditions normales. Si 40 pour cent de votre trafic test est arrivé parce que vous avez fait une promotion cette semaine-là, le comportement de ce trafic n'est pas représentatif de votre trafic standard.
Exclure les périodes promotionnelles et les semaines anormales de votre calendrier d'essai. Si une anomalie survient lors d'un test déjà en cours, indiquez ces jours dans vos résultats et prolongez la période de test pour recueillir des données équivalentes sur la période normale.
---