Tests A/B

#Avant de commencer

• Deux versions. L'un des côtés d'un test est toujours la version en ligne au moment où vous commencez. L'autre est la version enregistrée de votre choix. Faites donc d'abord la modification à tester, puis décidez quelle version doit être en ligne.
• De vrais visiteurs. Chaque version a besoin d'environ 100 visiteurs pour que le résultat ait du sens. Une adresse d'aperçu est tenue à l'écart des moteurs de recherche et en reçoit rarement autant : la plupart des tests ont leur place sur un site en production.
• Droits de modification. Les Editors, les Admins et les Owners peuvent lancer et terminer des tests.
• Un moment calme. Un test ne peut pas démarrer pendant qu'une création est en cours, et un site ne mène qu'un test à la fois.

#Lancer un test

#Comment les visiteurs sont répartis

Quand vous appuyez sur Test against live, choisissez combien de nouveaux visiteurs voient la version testée : Half (50%), A quarter (25%), A tenth (10%) ou Custom pour toute part de 5 à 95 pour cent. Appuyez ensuite sur Start test. Le bandeau indique la répartition, par exemple « 90% see v11, 10% see v12 ». Une part plus petite ménage un changement audacieux, mais met plus de temps à donner une réponse claire.

Chaque visiteur garde la version qu'il a vue en premier, grâce à un cookie valable 30 jours. Toutes les pages qu'il ouvre viennent de sa version : quelqu'un qui lit la page d'accueil, repart et revient la semaine suivante voit donc toujours la même.

#Ce qui compte comme une conversion

Chaque visiteur compte une fois comme visiteur et au plus une fois comme conversion. Les comptes provenant d'une même adresse internet sont aussi plafonnés à 20 par heure, pour que personne ne puisse fausser un test en rechargeant la page.

#Lire les résultats

Le bandeau se actualise toutes les 15 secondes tant que le studio est ouvert. Chaque version a sa propre case : la part de ses visiteurs qui ont converti, puis une ligne comme « 18 of 410 visitors converted ». La version qui était en ligne au début est marquée « live before the test ». Sous les cases, une ligne résume la situation :

La même ligne indique le Change in conversion (l'écart, en pourcentage, entre la version choisie et l'autre) et la Chance qu'elle convertisse mieux.

#Terminer le test et garder la version gagnante

Garder une version est le seul moyen de mettre fin à un test. Démarrer et terminer un test ne mobilisent aucun crédit, car les deux publient des versions enregistrées sans rien construire.

#Ce qui est verrouillé pendant un test

Les deux versions sont publiées ensemble : tout ce qui publierait quelque chose de nouveau attend que vous en gardiez une. Pendant un test, vous ne pouvez pas :

• demander une modification (« An A/B test is running on this site. End it by keeping one version, then ask for your change. ») ;
• annulez, rétablissez ou appuyez sur Make live ;
• lancer un autre test ;
• enregistrer du code depuis le File Explorer, publier depuis le Visual Editor, ou utiliser Replace pour une image dans l'onglet Media ;
• utilisez Apply to the live site, Publish ou Back to preview ;
• enregistrer le projet comme modèle, ou changer son adresse.

Les questions fonctionnent toujours : vous pouvez interroger Briks sur le site à tout moment. Voir Poser des questions.

#Exemple concret : un plombier teste deux titres

Harbour Plumbing est une entreprise d'exemple : une société de deux personnes à Bristol dont le site est en production. Le titre de sa page d'accueil dit « Plumbing and heating repairs across Bristol ». Le propriétaire pense qu'une promesse de rapidité lui apporterait plus d'appels.