| Conférencier |
Transcription |
| Bill Worley |
Salut. |
| Steve C |
Je suis Steve Crist. Merci de me rejoindre aujourd'hui pour aller au-delà des tests A/B et examiner un cas d'utilisation des tests multivariés et de l'analyse avancée pour l'optimisation des pages web. |
| |
Plan de la séance d'aujourd'hui : nous commencerons par une vue d'ensemble du cas d'utilisation, puis nous entrerons dans les détails. Nous examinerons une démonstration de JMP. |
| |
examiner comment nous évaluons un plan d'expérience spécifique. |
| |
Nous examinerons également les résultats obtenus lors du test et la manière dont nous avons pu tirer parti du modèle de partitionnement JMP pour améliorer ces informations. |
| |
D'un point de vue général, ce cas d'utilisation comprend deux tests. Dans le premier test, nous avons examiné certains éléments de la conception de la bannière et la mise en page du corps de la page. |
| |
Nous avons obtenu des résultats concluants avec un test multivarié, ce qui a entraîné une augmentation de 7 % des candidatures. Nous avons pu aller plus loin. |
| |
pour découvrir une information concernant un contenu relégué en bas de page, que nous avons jugée très importante et que nous avons pu exploiter dans le deuxième test. Nous avons pu |
| |
Nous avons ainsi amélioré nos performances de 4 % supplémentaires par rapport au résultat du premier test. Ce cas d'utilisation illustre comment la plateforme JMP DOE et son modèle DOE personnalisé nous ont permis de réaliser le premier test, puis comment les modèles de partitionnement JMP nous ont aidés à extraire des résultats plus probants. |
| |
Nous avons pu tirer profit de ces informations supplémentaires lors du deuxième test. |
| |
Entrons donc dans les détails. |
| |
Lorsque nous consultons notre page actuelle, il s'agit de la page d'accueil du compte courant Wells Fargo. |
| |
Nos partenaires marketing et commerciaux ont fait un excellent travail pour recueillir les commentaires des clients. L'objectif principal de ce test était donc de tester la mise en page de type A (ou style de corps A). |
| |
par rapport à la version B, où nos clients avaient indiqué souhaiter voir davantage de produits apparaître plus haut dans l'expérience utilisateur. Et nos partenaires marketing et commerciaux ont déclaré : |
| |
Pendant que nous procédons à ce changement, nous pensons également que nous pourrions améliorer l'image que nous avons véhiculée depuis un certain temps. |
| |
Nous pensons également que cette conception de bannière, où le contenu est placé à gauche, là où le regard est plus naturellement attiré et où l'espace est plus réduit, nous permet de mettre en avant le contenu qui, selon nos clients et visiteurs, les intéresse davantage. Nos partenaires nous ont donc proposé un test A/B. |
| |
Mais vous pouvez rapidement constater qu'il se passe bien plus de choses ici. Nous n'avons que deux des huit combinaisons possibles. |
| |
Nous avons abordé ce sujet et, d'après la conversation que nous avons eue avec nos partenaires, ce design était excellent, mais il comportait certains risques. |
| |
Le risque est que certains de ces composants fonctionnent bien, tandis que d'autres nuisent aux performances et s'annulent mutuellement. Par conséquent, si nous n'avons effectué qu'un test A/B, |
| |
Nous ne saurons pas quels composants fonctionnent bien et lesquels fonctionnent moins bien. C'est là que nous avons proposé un test multivarié, ce qui a semblé excellent à notre partenaire. « Faisons-le ! » a-t-il dit. Mais… nous avions des contraintes commerciales à gérer. |
| |
Quelles étaient donc ces contraintes commerciales ? |
| |
Ils l'étaient, |
| |
Comme je l'ai mentionné, la principale motivation concernait la mise en page du corps de la page et l'intégration du nouveau contenu. |
| |
Ainsi, lorsque nous avons examiné l'ensemble des possibilités de conception, nos partenaires n'ont manifesté aucun intérêt, ni même aucune envie, de tester d'autres variantes qui auraient conservé l'ancienne mise en page du corps de page. |
| |
C'était un élément clé... le facteur clé numéro un. |
| |
Deuxièmement, l'intérêt était faible… Dans ce bloc, il s'agissait d'une page présentant l'ancienne image avec la nouvelle mise en page, et là encore, l'intérêt était limité. |
| |
Ce faisant, nos partenaires ont été très précis quant aux tests qu'ils étaient prêts à réaliser. |
| |
La question qui se pose naturellement est donc : ce test fonctionne-t-il comme un plan d'expérience multivarié holistique ? C'est là qu'intervient la plateforme JMP de conception d'expériences personnalisée. Je vous laisse donc la parole pour que nous voyions comment nous avons procédé. |
| |
Nous allons donc nous adresser au Département de l'Énergie (DOE) et nous avons examiné une conception personnalisée. |
| |
Nous avons trois... trois facteurs. Nous avons notre image |
| |
avec une version A et une version B, nous avons une autre variable catégorielle à deux niveaux de bannière avec un A et un B, |
| |
Et enfin, nous avons la mise en page de notre page principale avec une version A et une version B. |
| |
Et |
| |
lorsque nous cliquons sur Continuer, |
| |
Pour l'instant, tout se déroule bien. On constate qu'il est possible de couvrir cet espace de conception à quatre cellules avec seulement quatre cellules, ce qui est très positif. |
| |
pour nous dans cette situation, mais nous savons par expérience, et ceux qui connaissent bien ce domaine le savent, que |
| |
Le moteur d'optimisation JMP ne vous proposera jamais ce plan comme un plan factoriel fractionnaire à quatre cellules. Ce n'est pas le plan le plus optimal. |
| |
pour quatre cellules, mais c'est la conception que nous essayons d'utiliser pour gérer nos contraintes commerciales. Et donc, pour imposer cette conception particulière, vous pouvez utiliser la combinaison interdite |
| |
Il s'agit essentiellement de spécifier chaque cellule à exclure, afin de ne conserver que celles à exécuter. Dans JMP, il n'existe pas de méthode directe pour définir un plan de test précis, mais vous pouvez utiliser le script des combinaisons interdites pour y parvenir. |
| |
Et c'est quelque chose que nous faisons très souvent, |
| |
Dans notre secteur d'activité, celui des tests de pages web, nous recevons de nombreux retours de nos partenaires. C'est un cas d'utilisation assez courant pour nous, et c'est donc une technique que nous employons fréquemment. |
| |
Et donc, comme nous travaillons avec des variables catégorielles, pour expliquer le script, nous devons les coder : la valeur de A reçoit 1 et la valeur de B reçoit 2. Ainsi, lorsque nous regardons cette cellule particulière que nous ne voulons pas tester… |
| |
Je vais revenir sur ce point. |
| |
Regardez cette cellule particulière que nous ne voulons pas exécuter, il s'agit de l'image A avec la bannière B et le style de corps A, donc ABA ou un 121. |
| |
Cette cellule contient l'image B, la bannière A et le style de corps A, soit 2211. Ainsi, vous pouvez spécifier les quatre cellules à exclure. Cliquez ensuite sur « Créer la mise en page ». |
| |
Le rendu ne prend qu'une seconde. |
| |
Le fait que nous n'obtenions pas immédiatement un message d'erreur indiquant que la convergence n'est pas atteinte est un bon signe, et donc, en réalité, nous... |
| |
JMP confirme que cette conception est fonctionnelle. Voici donc notre page de contrôle, représentée ici dans l'exemple numéro un : une page AAA avec l'image A, la bannière A et le style de corps A. Voici notre page dans l'exemple numéro trois. |
| |
variante que nos partenaires nous ont présentée dans la proposition A/B originale, qui comporte l'image B avec la bannière B et le corps B. |
| |
Nous avons également les variantes un et deux représentées ici, avec BAB et AAB, et nous obtenons donc les résultats attendus. Je vais donc faire un bref commentaire sur l'évaluation. L'un des éléments que j'examine généralement est la carte de couleurs des corrélations. |
| |
et les diagnostics de conception. |
| |
Et pour ceux qui connaissent ces éléments, vous remarquerez que |
| |
Comme je l'ai mentionné, ce n'est pas la conception la plus optimale, mais elle fonctionne, et c'est là que réside la science et l'art de ce projet. |
| |
Il nous faut donc trouver une solution qui fonctionne avec nos partenaires. Et dans la mesure où cela fonctionne, c'était le facteur le plus important pour nous. |
| |
De plus, sachant que nous disposons d'une solution de repli, à savoir les données réelles, nous pourrions effectuer des comparaisons par morceaux, si nous le souhaitions, mais cela représente un gain d'efficacité considérable. |
| |
En effectuant une analyse multivariée, nous pouvons déduire certains de ces résultats. Je me permets également une remarque, même si ce n'est pas le sujet principal de notre discussion aujourd'hui. |
| |
Mais une analyse multivariée bien conçue et correctement analysée ne prend pas plus de temps qu'un test A/B, ce qui peut paraître contre-intuitif au premier abord. Je tenais donc à le préciser d'emblée. Si cela vous intéresse, n'hésitez pas à me poser des questions lors de la séance de questions-réponses ou à me contacter directement. |
| |
Nous en revenons donc à la présentation. |
| |
Nous avons donc examiné ce modèle et l'avons évalué. Nous savons maintenant qu'il fonctionne comme un modèle factoriel fractionnaire multivarié holistique. Qu'avons-nous appris ? |
| |
Nous avons appris, en consultant l'aperçu, que |
| |
Cette deuxième variante a enregistré une augmentation de 7 %. Il s'agissait de notre meilleure performance dans cet espace de conception, et grâce à un test multivarié holistique, nous avons également pu exploiter des techniques de régression pour effectuer une analyse rétrospective. |
| |
Que se serait-il passé si nous avions exécuté certaines de ces pages pendant ce test ? Nous disposions donc non seulement des valeurs réelles, mais aussi de celles que nous pouvions obtenir. |
| |
Nous avons validé et vérifié par analyse de régression, et nous avons obtenu une bonne concordance. De plus, grâce à cela, nous pouvons calculer et analyser a posteriori les performances qu'auraient eues ces pages si nous les avions testées. Et c'est… c'est l'un des… |
| |
Les tests multivariés offrent des avantages considérables, notamment dans une situation comme la nôtre où il faut développer et créer de nombreuses pages différentes. Nous pouvons tirer parti de cette technique. |
| |
Cela nous épargne beaucoup de travail initial, tout en nous permettant d'en tirer des enseignements. Cela permet également d'isoler |
| |
Qu'est-ce qui détermine les performances ? Et vous pouvez constater ici que si nous avions effectué le test A/B initial, |
| |
nous aurions... nous aurions eu... |
| |
Notre variante aurait nui aux performances. Et si nous n'avions pas effectué d'analyse multivariée, l'interprétation aurait été que cette nouvelle page destinée à nos clients… |
| |
Ou alors, si nos clients avaient dit apprécier ce nouveau concept et ce nouveau design, nous aurions interprété cela comme un manque d'enthousiasme de leur part. Mais en réalité, vous pouvez constater que… |
| |
Ce sont toutes les versions B des bannières qui ont nui aux performances. En fait… ce nouveau style de bannière n'a pas particulièrement plu à nos visiteurs. |
| |
et nos clients. |
| |
Nous avons donc pu les extraire. Non seulement nous avons un meilleur vainqueur pour la suite, mais nous comprenons aussi facilement cette conception. |
| |
Ce que nos clients disaient vouloir, c'est en réalité, au final, ce qui fonctionne bien. |
| |
On aurait donc pu s'arrêter là et dire : « Parfait, le test a été concluant. Merci, c'est terminé. » Mais… est-ce vraiment terminé ? Nous avons une multitude de données. Peuvent-elles encore nous apprendre quelque chose ? |
| |
Et dans nos rapports, l'une des choses que nous avons remarquées, c'est que nous avons constaté une baisse significative de l'engagement et du nombre de clics. |
| |
Cette section compare les comptes et trouve celui qui vous convient, vous offrant ainsi une expérience guidée. Et dans l'interface de contrôle, ceux... |
| |
Ce contenu était placé beaucoup plus haut. Il se trouvait juste en dessous de la bannière, et donc, sans surprise du point de vue du clic, |
| |
Avons-nous constaté une baisse significative du nombre de clics ? C'est assez courant sur les pages web : plus on descend dans la page, plus les visiteurs doivent faire défiler, et donc moins ils cliquent. C'est plutôt logique, mais nous nous sommes posé la question car le contraste était frappant. |
| |
Est-ce un problème ? Nous pensons que ces expériences et ce contenu sont de très bonne qualité, et nous sommes un peu surpris par cette baisse importante. Nous nous attendions à une légère diminution. |
| |
Mais la baisse a été bien plus importante que prévu. Est-ce problématique ? Afin de mieux comprendre ce phénomène, nous avons utilisé le modèle de partitionnement JMP, et plus particulièrement l’algorithme d’arbre de décision. |
| |
Nous avons donc opté pour la deuxième variante et analysé les soumissions de candidatures afin d'essayer de déterminer quel contenu, et à quel moment il avait été cliqué ou non, |
| |
a contribué à cette augmentation. Et nous avons constaté une séparation nette avec un taux de soumission de candidatures plus élevé. |
| |
Et donc, au sommet de la hiérarchie, le plus important, et c'est encore une fois très intuitif, sans aucune surprise, c'est que les personnes qui ont cliqué |
| |
Sur certains contenus de la page, comparés aux personnes qui ont visité la page mais n'ont cliqué sur rien, les personnes qui ont cliqué avaient un taux de soumission d'applications 20 fois plus élevé. |
| |
C'est très simple. Ils sont motivés. Ils interagissent avec votre page. Ils ont donc cliqué, mais sur quoi ont-ils cliqué ? |
| |
Le nœud suivant de l'arbre correspond au contenu « Postuler maintenant » et « Ouvrir maintenant », donc les personnes qui ont cliqué sur « Ouvrir maintenant » ou « Postuler » |
| |
Comparativement aux personnes ayant cliqué directement sur cette page sans cliquer sur « Postuler », celles qui ont cliqué sur « Postuler » ont soumis leur candidature sept fois plus souvent. C'est très simple et intuitif. |
| |
Mais ce qui nous a surpris, c'est que même s'ils ne cliquent pas sur « Postuler maintenant », il existe de nombreuses autres options sur cette page. |
| |
Cliquez sur la page de détails du produit et postulez à partir de là. Vous pouvez aussi accéder à l'outil de comparaison, par exemple, et postuler directement depuis cet outil. Vous pouvez explorer l'outil plus en détail et postuler quand même. Le deuxième contenu le plus important de cette page, après « Ouvrir maintenant », est donc la comparaison de tous les comptes. |
| |
(CTA). Et nous l'avons tout simplement relégué en bas de page. En fait, le bouton de comparaison de tous les comptes est tout aussi important que le contenu de la bannière, ce qui nous a beaucoup surpris. |
| |
Nous pouvons donc dialoguer avec nos partenaires afin d'exploiter cette information : lorsqu'un utilisateur clique sur « Comparer », il est 40 % plus susceptible de soumettre une candidature. Il nous faut maintenant tester si nous pouvons remettre cet élément en avant et évaluer son impact sur nos performances. |
| |
Et ce que nous avons constaté, vous savez, ici dans la zone de contrôle, c'est que nous avions le contenu de comparaison et le contenu du produit sélectionné, tous deux en bas. |
| |
Ma proposition personnelle était simplement de les remettre tous les deux en haut, mais heureusement, nous avions suffisamment sensibilisé nos partenaires marketing et commerciaux pour qu'ils acceptent de mener une analyse multivariée afin de déterminer s'il est vraiment nécessaire de les placer tous les deux en haut. Y a-t-il une préférence ? |
| |
En termes de retour de nos visiteurs, de performance et de conversion du site ? Devrions-nous n'en garder qu'un seul ? Ce contenu de contact est-il… distrayant ? |
| |
Nous avons constaté que c'était le cas. Vous savez, dans notre version la plus performante, comme nous l'avons mentionné, c'était cette variante qui affichait le comparatif en haut de la liste. |
| |
et le sélecteur en bas. Vous savez, le sélecteur, en particulier, moins de gens étaient plus |
| |
Cela nous intéressait. Du coup, en le plaçant en haut, c'était un peu distrayant. On a donc pu simplifier et optimiser l'expérience utilisateur en ne gardant que l'outil de comparaison en haut de la page. |
| |
Donc, pour revenir à l'essentiel, nous avons effectué deux tests et nous avons pu utiliser la plateforme JMP lors du premier test. |
| |
pour nous aider à nous orienter dans la discussion sur les tests multivariés. |
| |
Nous avons ensuite utilisé le modèle de partitionnement JMP pour exploiter ces informations et les mettre en œuvre. Ainsi, entre ces deux tests réalisés en un laps de temps relativement court, nous avons pu augmenter le nombre total d'applications de notre site de 11 %. |
| |
En conclusion, les tests multivariés, |
| |
En général, c'est une méthode très efficace pour isoler et comprendre ce qui se passe lors de votre test. Comme la plupart des gens le savent, |
| |
Dès qu'on commence à changer trop de choses, on perd en perspicacité. |
| |
Et j'ajouterai que, dans le domaine des tests de services financiers, l'une des principales différences réside dans le fait que |
| |
Certaines personnes pourraient se demander pourquoi elles n'ont pas simplement effectué une série de tests A/B séquentiels. Et cela tient en partie au fait d'évoluer dans le secteur des services financiers. |
| |
Et je pense que d'autres secteurs connaissent également cette situation : chaque modification apportée à une page doit faire l'objet d'un examen juridique, d'une évaluation des risques et d'un contrôle de conformité. |
| |
Pour nous, la méthode multivariée est très efficace, car nous pouvons effectuer ce processus une seule fois, tandis que les tests A/B séquentiels finissent par être très fastidieux. |
| |
Cette méthode permet de réaliser les tests beaucoup plus rapidement. Et en ce qui concerne la plateforme JMP DOE, elle est vraiment la meilleure de sa catégorie. |
| |
C'est tellement visuel et tellement efficace pour faciliter ces conversations avec vos partenaires, car, |
| |
Vous savez, en tant qu'analyste, c'est quelque chose que je fais quotidiennement, mais ce n'est pas quelque chose auquel nos partenaires, qu'ils soient marketing ou commerciaux, pensent très souvent. |
| |
La plateforme JMP est donc essentielle et nous aide à mener cette conversation et à expliquer pourquoi c'est la meilleure voie à suivre. |
| |
Là encore, la flexibilité du script des combinaisons interdites vous permet d'évaluer des conceptions spécifiques et de gérer ces contraintes métier. |
| |
Et en allant encore plus loin, le modèle de partition et l'analyse par arbre de décision permettent d'extraire encore plus d'informations, de sorte que |
| |
L'un de nos objectifs constants est de nous situer sur cette continuité, où nous réalisons un test, espérons obtenir des résultats significatifs et en tirer des enseignements. |
| |
Mais nous apprenons aussi quelque chose que nous n'avions pas vraiment apprécié et, en réalité, nous cherchons à obtenir ces informations pour savoir ce qu'il faut tester ensuite. |
| |
La présentation est donc terminée. Je tiens à remercier tous mes collègues, notamment mes collègues des tests, chez Wells Fargo, pour leur leadership et leur collaboration. |
| |
couvrant tout le spectre de la gestion de projet, du développement de pages web et de notre équipe d'assurance qualité. Un grand merci à tous, et un merci tout particulier à Rudy pour son… |
| |
Je tiens à exprimer ma reconnaissance pour son amitié et ma longue collaboration, ainsi que pour ses conseils, son expertise et sa ténacité, et pour son soutien constant à l'équipe afin qu'elle puisse toujours se surpasser. Merci de votre présence aujourd'hui. |
