Comment Jellyfish et LVMH ont établi un nouveau standard pour le tracking, l’analyse et la gestion des AB tests

Les outils d’optimisation de l’expérience client tels qu’AB Tasty offrent des fonctionnalités de reporting qui permettent de suivre la performance de vos tests. Ils peuvent notamment répondre à des questions cruciales telles que quelle est la version gagnante ou quelle version génère le plus de revenus ? Ils permettent également de valider statistiquement que les variations observées sont significatives et reflètent une véritable tendance.

Ces rapports permettent une vision globale de la performance d’un test, mais nous avons besoin de comprendre le comportement utilisateur dans son intégralité pour interpréter avec plus de profondeur les résultats obtenus et ainsi optimiser nos futures approches :

Pourquoi la version A ou B est-elle gagnante ?

Quelle segmentation serait la plus pertinente pour la prochaine itération ?

Quelles sont les frictions rencontrées sur chacune des variations ?

C'est en répondant à toutes ces questions, et bien plus encore, qu'un tracking avancé, combiné au CRO, devient indispensable.

Les insights issus d’un tracking précis permettent d’affiner l’analyse du parcours utilisateur et, à long terme, de développer des stratégies de campagne plus performantes pour optimiser les coûts alloués au CRO.

En anticipant les besoins d’analyses avancées, le tracking ouvre la voie à des exploitations successives via BigQuery, puis l’intelligence artificielle : plus il est détaillé et granulaire, plus les analyses avec BQ gagnent en précision, offrant à l’IA la capacité de détecter des tendances et comportements grâce à des données contextuelles enrichies.

Les limites des connecteurs natifs pour le suivi des campagnes d’optimisation

La solution la plus simple pour tracker les campagnes d’optimisation est d’activer un connecteur depuis la plateforme d’A/B test à Google Analytics.

Avec AB Tasty par exemple, en activant cette fonctionnalité, un événement GA4 "abtasty" sera envoyé avec les paramètres abtasty_campaign et abtasty_variation.

Cette solution, bien qu'utile, peut nécessiter quelques ajustements

Un ordre de déclenchement incontrôlé et asynchrone

Les solutions d'A/B testing, comme AB Tasty, envoient des événements à Google Analytics sans contrôle direct sur le déclenchement des tags. Cela peut entraîner des incohérences dans les rapports d'attribution, des événements envoyés sans paramètres, ou des données manquantes (ex. : "(not set)").

De plus, l'événement “abtasty” ne garantit pas que le test ait été vu. L'absence de gestion centralisée via un TMS (Tag management system - dans notre cas, Google tag Manager)  complique la gestion du consentement, la configuration et les destinations côté serveur, ce qui nuit à la fiabilité des données.

Une nomenclature imposée

Les solutions tierces imposent leur propre nomenclature pour les événements envoyés à Google Analytics, ce qui limite la personnalisation. Cette absence de flexibilité empêche d'aligner les événements avec les guidelines de nomenclature utilisées en interne, créant ainsi de la confusion et compliquant les analyses, surtout lorsqu'on utilise plusieurs outils.

Un tracking limité

Les connecteurs d'A/B testing ne proposent qu'un suivi basique, permettant seulement d'identifier le déclenchement du test. Cependant, les interactions détaillées des utilisateurs au sein du test ne sont pas suivies. Cela empêche d'analyser en profondeur le comportement des utilisateurs, d'identifier des tendances subtiles ou des points de friction, et de prendre des décisions éclairées pour optimiser les expériences.

Un test ne se limite pas simplement à valider un uplift global, il est essentiel de comprendre comment les utilisateurs interagissent précisément avec chaque élément de l'expérience. Cela inclut la manière dont ils naviguent, les points de friction qu'ils rencontrent, ou encore les actions spécifiques qu'ils entreprennent à chaque étape.

Sans une granularité suffisante dans le suivi, ces informations cruciales restent invisibles, ce qui empêche d'identifier les leviers d'amélioration spécifiques et d’adapter les stratégies de manière optimale.

Un framework universel pour le tracking des A/B tests

Avec la deadline de juillet 2024 pour le sunset de GA360, nos équipes chez Jellyfish, en collaboration avec l’Optimization Lab de LVMH Digital, se sont mobilisées pour déployer une nouvelle stratégie de tracking adaptée à GA4 sur l’ensemble des Maisons du Lab.

Nos objectifs :

• Harmoniser la stratégie de tracking des A/B tests du groupe grâce à une source de données unique et une solution automatisable, scalable, fiable, offrant une plus grande flexibilité d'analyse

• Minimiser les efforts dédiés au tracking pour les experts CRO et développeurs (tâches redondantes, plan de taggage, datalayer push)

• Limiter les erreurs et incohérences de tracking

• Créer un véritable réflexe tracking avec une guideline claire qui motive la mise en place d'analyses plus précises

• Utiliser les nombreuses fonctionnalités natives plus avancées de plateformes comme AB tasty

Une fonction uniforme sur tous les comptes A/B tests

Après avoir constaté que chaque outil d’optimisation permettait d'utiliser des APIs javascript pour réagir à des lancements de tests, nous avons conçu un framework JavaScript hybride pouvant être intégré à n'importe quelle solution d'optimisation.

Cette fonction gère l'ensemble des pushs datalayer nécessaires au suivi des campagnes, ainsi que tous les suivis personnalisés associés. Que ce soit pour des campagnes d’A/B testing, de personnalisation, un patch ou des tests multi-pages, nous avons optimisé cette fonction afin qu’elle s'adapte de manière homogène à tous les cas d’usage.

Elle se déclenche sur toutes les pages où un test est présent et n'envoie une donnée au datalayer que lorsque le test est actif pour un utilisateur. Cette fonction ne nécessite d'être implémentée qu'une seule fois par compte directement via l'interface d’A/B test, et permet d’automatiser en partie l'implémentation du tracking et l’envoi de données vers GA4.

Avec cette fonction en place, nous avons désormais le contrôle sur les pushs de données liés aux tests A/B, et la capacité de contextualiser tous les events custom envoyés.

La maîtrise des événements via GTM

Tous les tags que nous avons définis ont été intégralement configurés via Google Tag Manager. Grâce à la gouvernance centralisée du Tracking Lab (dans les équipes LVMH Digital), en charge de l’implémentation des tags, la configuration nécessaire a pu être facilement déployée de façon homogène sur l’ensemble des Maisons du groupe après avoir validé un POC avec une Maison, en moins d’une semaine.

Une guideline de tracking custom spécifique aux A/B tests, alignée avec les guidelines du groupe

Un tag générique, conçu pour remplacer le connecteur GA4, transmet désormais automatiquement les paramètres définis selon notre guideline dès qu’un test est activé sur une page. 

Configuration GTM : 

Le tag “view_experiment” ci-dessus est automatiquement déclenché par un dataLayer.push généré par la fonction, sans intervention manuelle. Celle-ci identifie lorsqu’un utilisateur est affecté à une variation et assure l’envoi des pushs au bon moment. Les paramètres au scope user ou event sont également renseignés de manière automatique grâce à la fonction mise en place. 

Pour évaluer avec précision l’efficacité et l’engagement de chaque variation, il est indispensable d’implémenter un suivi spécifique au sein des tests, en complément du tag générique déclenché initialement. En collaboration étroite avec l'Optimization Lab  et le Tracking Lab, nous avons défini un ensemble d'événements et de paramètres (à la fois sur les scopes user et event) permettant un suivi détaillé des interactions incluses dans le test.

Un second tag permet ainsi l’envoi de tout le tracking custom ajouté sur un test avec les mêmes paramètres que nous avons définis. 

Configuration GTM : 

Ce tag enverra à GA4 n’importe quel événement que l’on souhaite tracker sur un test. Le nom de l’event correspondra à l’event_name défini dans le datalayer et respectera la guideline de naming que nous appliquons en interne. Ce tag ne s’enverra que si  “la valeur du datalayer “experiment_tracking” est égale à “true” et que ce tag est précédé d’un “view_experiment”, ces conditions sont gérées directement par la fonction. De nouveau, grâce à cette même fonction implémentée sur ABTasty, tous les paramètres associés à ce tag seront envoyés automatiquement à GA4.

Ces tags sont conditionnés selon la configuration GA4 spécifique à chaque Maison et au consentement de l’utilisateur. 

Réduction des risques d'erreur dans le set-up des tests

• Les pushs vers le datalayer et les déclenchements de tags via GTM sont maîtrisés pour garantir la qualité des données envoyées à GA4.

• Les événements ne sont transmis qu'après que les conditions préalables (comme des événement de dataLayer particuliers) sont respectées, minimisant les risques d'envoi trop tôt ou erroné.

• Les paramètres des tests sont intégrés automatiquement dans chaque événement, sans besoin d’intervention manuelle, réduisant les erreurs humaines.

Automatisation et facilité de déploiement

• Chaque nouveau test bénéficie automatiquement d’une partie du tracking grâce à la fonction, limitant les efforts de documentation et d’implémentation pour les développeurs.

• Les modifications du tracking peuvent être déployées rapidement sur plusieurs environnements, accélérant la mise en œuvre.

Analyse des comportements plus précise et enrichie

• Le séquençage et la richesse des informations transmises assurent une analyse plus fiable et complète des données collectées.

• L’utilisation de paramètres au scope utilisateur simplifie et permet une analyse plus approfondie du parcours de l’utilisateur 

• Grâce à la réduction des efforts manuels techniques, les analystes peuvent se concentrer sur l’interprétation des résultats et la prise de décisions plutôt que sur des ajustements techniques.