Analyse comparative

AB testing

L'AB testing est une méthode d'expérimentation qui consiste à présenter deux versions différentes d'un élément interactif à des groupes d'utilisateurs choisis au hasard et de mesurer la différence entre ces groupes. Vous pouvez, par exemple, tester deux designs de site web différents, deux textes de call-to-action, ou même deux prix différents pour un produit. (Bien sûr il est possible de comparer non pas 2 mais 3, 4 ou 5 versions simultanément).

Ce qui rend l'AB testing si puissant, c'est qu'il permet de mesurer de manière précise et objective l'impact de chaque variation sur les comportements des utilisateurs, comme le taux de clics, le taux de conversion, ou le temps passé sur une page. En analysant ces données, il est possible ensuite de prendre des décisions plus éclairées et optimiser site web, application, prix, pour obtenir de meilleurs résultats.

Imaginez que vous puissiez savoir avec certitude quel design de site web attire le plus de clients, ou quel titre de produit incite le plus à l'achat. C'est exactement ce que l'AB testing permet de faire.

La clé de la réussite d'un AB test est de le définir précisément en amont !

Pour faire un scoping propre d'un AB test il faut définir : son périmètre, son KPI principal (ou de succès), son écart minimum à partir duquel une décision sera prise et une action enclenchée, la taille minimum de l'échantillon nécessaire à l'observation significative de cet écart minimum (et donc une durée de test), ses KPI secondaires (ou de contrôles). Si tout ceci est bien réalisé puis bien respecté alors l'AB test fournira une réponse claire et précise pour choisir entre deux versions d'un même élément.

Dans un marché concurrentiel, disposer d'un outil comme l'AB testing peut vraiment faire la différence entre le succès et la stagnation. Il permet une amélioration permanente et, lorsqu'il est bien fait, un gain de temps et d'énergie considérable.

Comparaison Avant/Après

La méthode de comparaison Avant-Après est une approche utilisée en recherche et en évaluation pour évaluer l'impact d'une intervention, d'un traitement ou d'un événement sur un KPI donné.

La limite de l'AB testing est en grande partie le temps d'attente entre le lancement du test en production et l'analyse des résultats. Lorsque le changement ne peut attendre suffisamment longtemps ou lorsque des problématiques techniques, juridiques, ou de satisfaction client forcent au lancement direct d'un changement, alors un analyse comparative avant/après est toujours faisable pour remplacer l'AB test pour évaluer l'impact de ce changement (prix, couleur, wording, etc.).

Le plus important pour que cette méthode d'analyse soit pertinente est de bien choisir la période de comparaison !

En effet il faut bien réfléchir et choisir une période de comparaison la plus semblable à la période à analyser afin de mesurer avec précision les effets du changement. La saisonnalité par exemple peut être contrée en comparant YoY (year over year) plutôt que MoM (month over month). Par contre une comparaison à l'année précédente implique plusieurs changements structurels entre nos périodes : marché, pouvoir d'achat, comportements client, produits proposés, concurrence, etc. A ce moment là, une comparaison des évolutions mensuelles de cette année vs. l'année dernière permet une analyse de l'impact précise et non biaisée.

En bref : cette méthode compare un comportement avant changement à ce même comportement après changement et mesure l'écart. Il est une bonne solution lorsque les moyens de faire un AB test ne sont pas disponibles. Optimiser la période de comparaison est la clé de la réussite de cette analyse !

Contrôle synthétique

La méthode du contrôle synthétique est une technique plus poussée et précise que l'avant/après mais plus complexe également. Elle est très utilisée en recherche économique et politique, notamment pour mesurer l'impact d'une décision, d'une reforme, ou d'un évènement.

Le contrôle synthétique consiste à prendre la période précédent le changement, observer l'évolution de notre KPI de suivi sur cette période et appliquer des outils statistiques pour approcher cette évolution par ces mêmes évolutions mais d'un périmètre différent (mais le plus proche possible) et pas impacté par le changement. Après cela il suffit d'utiliser l'approximation statistique créée pour prédire l'évolution du KPI de suivi sur la période qui suit le changement et cela nous donnera à quoi ressemblerait l'évolution du KPI si le changement n'avait pas eu lieu. Il ne reste plus qu'à comparer cette courbe prédictive créée à la courbe réelle de l'évolution de ce KPI.

Cette méthode est plus facile à comprendre par l'exemple : le design et le packaging d'un produit ont été retravaillé et un investissement pub a été enclenché sur ce produit. Pour mesurer l'impact de ces changements sur le CA (chiffre d'affaires) que rapporte ce produit, nous allons prendre le CA des derniers mois de ce produit, l'approximer par des méthodes statistiques comme la régression linéaire multiple ou autre, avec le CA de d'autres produits proches (même gamme) non concernés par des changements sur cette période. Ensuite, nous allons prédire cette approximation sur la période après changement et la comparer à la vraie courbe de CA après changement du produit, ce qui nous donnera un écart précis et mesurable.

Deux points essentiels pour réaliser un contrôle synthétique efficace !

Premièrement, il faut bien choisir le groupe de comparaison par lequel on va approximer notre KPI, ce doit être le plus proche possible et le moins impacté par le changement possible (produits de la même gamme, clients d'autres segments, etc.). Deuxièmement, l'application des méthodes statistiques de prédiction appliquées doivent être intelligemment choisies et correctement entrainées car ce sera la clé de la mesure de l'écart entre les courbes et donc de l'impact du changement.

Pour résumer, s'il y a eu un changement quelconque même structurel ou organisationnel et qu'il est important de d'en mesurer l'impact avec précision alors la méthode du contrôle synthétique peut être la solution la plus adaptée. Cela compare la courbe après le changement à ce qu'elle aurait été sans changement et mesure l'écart entre les deux.