La clé : l’or-ga-ni-sa-tion

Contrairement à ce qu’on pourrait penser, la difficulté principale liée aux AB Tests ne se situe pas au niveau technique mais au niveau organisationnel.

La raison est simple : souvent les AB Tests sont créés par l’équipe optimisation qui est rattachée au marketing digital. L’équipe optimisation collecte les besoins, crée les variations à tester dans l’outil d’AB Testing et analyse des résultats.

Trop souvent les développeurs ne sont intégrés à la démarche d’AB Testing qu’au dernier moment, c’est-à-dire lorsqu’une variation gagnante a été identifiée. Or, la mise en production sur un site web est souvent loin d’être flexible et rapide :

  • 1 / parce que le site suit un cycle de développement agile et que chaque modification doit s’intégrer dans un sprit avant d’être visible. Cela prend au mieux plusieurs semaines mais il faut souvent compter plusieurs mois.
  • 2 / parce que comme le site est en perpétuelle évolution, vous pouvez tout à fait avoir lancé un ab test sur une fonctionnalité qui sera supprimée dans les prochains mois…
  • 3 / parce que les développeurs détestent être mis devant le fait accompli et avoir à réaliser une mise en production qu’ils n’avaient pas intégrés en amont

Il est donc indispensable d’intégrer les devs sur l’ensemble de la démarche car un AB Test pour lequel la variation gagnante n’est pas déployé en production n’a que très peu d’intérêt

Pour y arriver l’équipe optimisation doit donc trouver un relais chez les développeurs, qui doit notamment pouvoir :

  • 1/ Donner de la visibilité sur la roadmap d’intégration en amont, quelles sont les prochaines fonctionnalités qui vont être déployées ? quand ?
  • 2/ Solliciter l’équipe testing en amont d’une refonte significative : pour limiter le risque qu’une refonte ne soit pas comprise par les utilisateurs et génère une chute du chiffre d’affaires…
  • 3/ Indiquer la faisabilité technique de la mise en production d’un AB Test : certains ciblage peuvent être très difficiles à reproduire lorsque l’AB test doit passer en production
  • 4/ Enfin et surtout : mettre en production la variation gagnante

Les Product Owners sont les mieux outillés pour répondre à l’ensemble de ces besoins. Ils constituent un relais idéal entre les équipes optimisations et les développeurs. L’équipe optimisation doit donc s’efforcer de communiquer avec l’ensemble des PO dans une logique d’intérêt mutuel :

  • Grâce au pôle testing, les PO testent leur évolutions avant de les déployer en production et s’évitent ainsi de mauvaises surprises…
  • Grâce aux PO, le pôle testing peut travailler sur les prochaines mises en productions impactantes et voir les variations gagnantes passer en production