Conférencier
|
Transcription
|
| Bill Worley |
Salut. |
| Steve C |
Je suis Steve Christ. Merci de m'avoir rejoint aujourd'hui alors que nous allons au-delà des tests A/B et examinons un cas d'utilisation de tests multivariés et d'analyses avancées pour l'optimisation des pages Web. |
| |
Le schéma d'aujourd'hui. Nous commencerons par un aperçu de haut niveau de l'ensemble du cas d'utilisation, puis plongerons dans les détails. Nous allons jeter un œil à une démo JMP |
| |
pour voir comment nous évaluons un plan d'expérience spécifique. |
| |
Nous examinerons également les résultats que nous avons obtenus du test et comment nous avons pu tirer parti du modèle de partition JMP pour améliorer ces informations. |
| |
D'un point de vue général, ce cas d'utilisation se compose de deux tests. Dans le premier test, nous avons examiné certains composants de la conception de la bannière et le corps de la mise en page. |
| |
Et nous avons réussi un test multivarié qui a entraîné une augmentation de 7 % des candidatures. Nous avons pu aller plus loin |
| |
pour découvrir un aperçu de certains contenus qui avaient été poussés au bas de la page que nous avons découvert était très important et nous sommes en mesure de tirer parti de cela dans le test deux. Nous sommes capables de |
| |
augmenter nos performances en plus du premier vainqueur du test de 4% supplémentaires. Ainsi, le cas d'utilisation met en évidence comment la plate-forme JMP DOE et son DOE personnalisé ont pu nous aider à activer le test un, puis les modèles de partition JMP nous ont aidés à en extraire plus |
| |
des informations supplémentaires que nous avons pu exploiter dans le test deux. |
| |
Entrons donc dans les détails. |
| |
Lorsque nous regardons notre page actuelle, il s'agit de la page d'accueil de vérification de Wells Fargo. |
| |
Et nos partenaires marketing et nos partenaires commerciaux ont fait un excellent travail pour obtenir une voix des commentaires des clients, donc la principale motivation pour ce test était autour de ce style de corps A ou mise en page A |
| |
par rapport à B, où nos clients avaient déclaré qu'ils souhaitaient voir plus de produits apparaître plus haut dans l'expérience. Et nos partenaires marketing et commerciaux ont dit : |
| |
pendant qu'on est... pendant qu'on fait ce changement, on se dit aussi que cette image qu'on a depuis un moment, on pourrait mieux faire. |
| |
Nous pensons également que cette conception de bannière, où nous amenons le contenu vers la gauche, où les yeux des gens sont plus naturellement dessinés et physiquement plus petits, afin que nous puissions faire apparaître ce contenu qui intéresse davantage nos clients et visiteurs. Nos partenaires sont donc venus nous voir avec un test A/B. |
| |
Mais vous pouvez rapidement voir qu'il se passe beaucoup plus de choses ici. Nous n'avons que deux des huit combinaisons possibles |
| |
couvert et la conversation que nous avons eue avec nos partenaires était que cette conception avait l'air géniale, mais nous avons un certain risque. |
| |
Et ce risque est que certains de ces composants fonctionnent bien et que certains d'entre eux nuisent aux performances et s'annulent. Et donc, si nous n'avons exécuté qu'un test A/B, |
| |
nous ne saurons pas quels composants fonctionnent et ne fonctionnent pas bien. Et il y a là... c'est là que nous avons proposé un test multivarié, qui, selon notre partenaire, a l'air génial. Faisons cela. Mais... et ils... nous avions des contraintes commerciales que nous devions gérer. |
| |
Alors, quelles étaient ces contraintes commerciales ? |
| |
Ils étaient, |
| |
comme je l'ai mentionné, la principale motivation était autour de cette disposition du corps et de l'apport du nouveau contenu à la page. |
| |
Et donc, quand nous regardons l'espace de conception global, nos partenaires n'avaient aucun intérêt et aucune envie, vraiment, de tester l'une de ces autres variantes qui auraient l'ancienne disposition de la page principale. C'était |
| |
c'était une clé... facteur clé numéro un. |
| |
Deuxièmement, il n'y avait pas beaucoup d'appétit... dans ce bloc, cela représente une page qui avait l'ancienne image avec la nouvelle mise en page, et encore une fois il n'y avait pas beaucoup d'intérêt |
| |
en faisant cela. Et donc, dans ce cas particulier, nos partenaires étaient très normatifs sur les tests qu'ils étaient à l'aise d'exécuter. |
| |
Et donc la question naturelle est la suivante : ce test fonctionne-t-il comme une conception de test multivariée holistique ? Et c'est là qu'intervient la plate-forme DOE personnalisée JMP. Alors permettez-moi de changer de place et nous verrons comment nous avons fait cela. |
| |
Nous allons donc nous adresser au DOE, et nous avons examiné une conception personnalisée. |
| |
Nous avons trois... trois facteurs. Nous avons notre image |
| |
avec une version A et une version B, nous avons une autre variable catégorielle à deux niveaux de bannière avec un A et un B, |
| |
et enfin, nous avons notre mise en page de corps de page avec une version A et une version B. |
| |
Et |
| |
lorsque nous cliquons sur continuer, |
| |
nous cherchons bien jusqu'à présent. Et ce que nous remarquons ici, c'est que nous pouvons couvrir cet espace de conception à quatre cellules en aussi peu que quatre cellules, ce qui fonctionne bien |
| |
pour nous dans cette situation, mais nous savons par expérience, et les personnes qui connaissent cela sauraient, que le |
| |
Le moteur d'optimisation JMP ne vous donnera jamais cette conception sous la forme d'une factorielle fractionnaire à quatre cellules. Ce n'est pas la conception la plus optimale |
| |
pour quatre cellules, mais c'est la conception avec laquelle nous essayons de travailler pour gérer nos contraintes commerciales. Et donc, afin de forcer cette conception particulière, vous pouvez utiliser la combinaison non autorisée |
| |
pour spécifier essentiellement chaque cellule que nous ne voulons pas exécuter, de sorte qu'il nous reste ce que nous voulons exécuter. Dans JMP, il n'y a aucun moyen de spécifier la conception exacte des tests, mais vous pouvez utiliser le script de combinaisons non autorisées pour pouvoir le forcer. |
| |
Et c'est quelque chose que nous faisons très souvent, |
| |
parce que dans notre... dans notre monde où nous testons des pages Web, nous recevons beaucoup d'informations de la part de nos partenaires. Et c'est un cas d'utilisation assez typique pour nous, et c'est donc une technique que nous utilisons souvent. |
| |
Et donc, parce que nous avons affaire à des variables catégorielles, juste pour expliquer le script ici, nous devons les coder, donc la valeur de A, obtient un 1 et la valeur B obtient un 2, donc quand nous regardons cette cellule particulière que nous pas envie de tester... |
| |
Permettez-moi de revenir là-dessus. |
| |
Regardez cette cellule particulière que nous ne voulons pas exécuter, c'est l'image A avec la bannière B et le style de corps A, donc ABA ou un 121. |
| |
Et cette cellule ici est l'image B avec la bannière A et le style de corps A, ou 2211. Et donc de cette manière, vous pouvez spécifier ces quatre cellules que nous ne voulons pas exécuter. Alors nous cliquons sur créer un design. |
| |
Prend juste une seconde pour le rendu. |
| |
Le fait que nous n'obtenions pas immédiatement une erreur disant, ne converge pas, est un bon signe, et donc, en fait, nous nous... |
| |
JMP dit oui, cette conception fonctionnera. Et donc voici notre... voici notre page de contrôle, représentée dans la série numéro un ici, c'est un AAA, image A avec la bannière A et le style de corps A. Ici, dans la troisième manche, c'est notre |
| |
variante que nos partenaires nous ont proposée dans la proposition A/B originale qui a l'image B avec la bannière B et le corps B. |
| |
Et puis nous avons également les variantes un et deux représentées ici, avec BAB et AAB, et nous récupérons donc ce que nous nous attendions à récupérer. Je vais donc commenter ici juste un instant sur l'évaluation. L'une des choses que je regarde généralement est la carte des couleurs sur les corrélations |
| |
et les diagnostics de conception. |
| |
Et pour ceux qui les connaissent, vous remarquerez que |
| |
ce n'est, comme je l'ai mentionné, pas la conception la plus optimale, mais cela fonctionne et c'est là que la science et l'art de cela |
| |
se rassemble, que nous devons le faire fonctionner avec nos partenaires. Et donc, dans la mesure où cela fonctionne, c'était le facteur le plus important pour nous. |
| |
Aussi, sachant que nous avons une solution de repli, que nous avons les données réelles. Nous pourrions faire des comparaisons par morceaux, si nous le voulons, mais il y a beaucoup de gain d'efficacité |
| |
en exécutant une multivariée que nous pouvons déduire certains de ces résultats. Je vais faire un commentaire ici aussi, pas le point principal de cette conversation aujourd'hui, |
| |
mais une multivariée bien construite et correctement analysée ne prend pas plus de temps qu'un test A/B, ce qui est très contre-intuitif à première vue. Je voulais donc faire cette déclaration dès le départ. Si vous êtes intéressé, n'hésitez pas à me le demander lors de la séance de questions-réponses ou à me contacter hors ligne. |
| |
Alors, revenons à la présentation. |
| |
Nous venons donc d'examiner cette conception et nous avons pu l'évaluer, nous savons maintenant que cela fonctionne comme une multivariée factorielle fractionnaire holistique. Alors qu'avons-nous appris ? |
| |
Nous avons appris, en examinant l'aperçu, que |
| |
cette variante deux, nous avons eu une augmentation de 7%. C'était notre test le plus performant dans cet espace de conception, et parce que nous étions ... avions un test multivarié holistique, nous sommes également en mesure de tirer parti de certaines techniques de régression pour pouvoir déduire, faire une analyse rétrospective de |
| |
que se serait-il passé si nous avions exécuté certaines de ces pages pendant ce test. Ainsi, non seulement avions-nous les valeurs réelles que nous pouvions |
| |
valider et vérifier avec une analyse de régression et nous avions un bon accord, mais nous aussi... à cause de cela, nous pouvons également calculer et revenir sur la façon dont ces pages auraient fonctionné si nous les avions testées. Et ça... c'est l'un des |
| |
choses puissantes sur les tests multivariés, surtout si vous êtes dans une situation comme la nôtre, où vous devez développer et créer toutes ces différentes pages. Nous pouvons tirer parti de cette technique |
| |
pour nous épargner un peu de travail à l'avance, tout en étant capable d'extraire les apprentissages. Il aide également à isoler |
| |
ce qui motive la performance. Et vous pouvez voir ici que si nous avions fait le test A/B original, |
| |
nous aurions... nous aurions eu... |
| |
notre variante aurait supprimé les performances. Et si nous n'avions pas exécuté une multivariée, l'interprétation aurait été que cette nouvelle page que nos clients... |
| |
ou ce nouveau concept et design que nos clients ont dit qu'ils aimeraient, nous aurions interprété qu'ils ne l'aimaient pas vraiment. Mais en réalité, vous pouvez voir que |
| |
ce sont toutes les versions de la bannière B qui ont supprimé les performances. C'était... ce nouveau style de bannière n'a pas particulièrement plu à nos visiteurs |
| |
et nos clients. |
| |
Et ainsi nous avons pu les extraire. Non seulement nous avons eu un meilleur gagnant à l'avenir, mais nous sommes en mesure de comprendre facilement que cette conception |
| |
que nos clients ont dit qu'ils voulaient, c'est en fait, au fond, ce qui... ce qui fonctionne bien. |
| |
Nous aurions donc pu tout aussi bien nous arrêter là et dire, super, nous avons eu un test réussi. Merci et nous avons terminé. Mais... mais est-ce qu'on a fini ? Nous avons beaucoup de données. Y a-t-il autre chose que les données peuvent nous dire ? |
| |
Et dans nos rapports, l'une des choses que nous avons remarquées, c'est que nous avons eu beaucoup moins d'engagement et beaucoup moins de clics |
| |
sur cette comparaison de comptes et la recherche du bon compte, qui vous amène à une expérience guidée. Et dans l'expérience de contrôle, ceux... |
| |
ce contenu était beaucoup, beaucoup plus haut. C'était juste sous la bannière, et donc, sans surprise du tout du point de vue du clic, |
| |
avons-nous vu beaucoup moins de clics ici. C'est assez typique de n'importe quelle page Web, plus bas sur la page, plus les gens doivent faire défiler, moins ils cliquent dessus. C'est assez intuitif, mais on s'est posé la question tellement c'était un contraste saisissant. |
| |
Est-ce un problème? Nous pensons que ces expériences et ce contenu sont plutôt bons, et nous sommes un peu surpris qu'ils aient autant baissé. On s'attendait à ce qu'il baisse un peu, |
| |
mais il a chuté beaucoup plus que ce à quoi nous nous attendions. Est-ce un problème? Et donc pour nous aider à comprendre cet aspect, nous avons utilisé le modèle de partition JMP, et en particulier, l'algorithme d'arbre de décision. |
| |
Nous avons donc pris la deuxième variante et nous avons analysé les soumissions d'applications pour essayer de déterminer quel contenu, quand il a été cliqué ou non, |
| |
contribué à augmenter. Et nous avons vu une séparation avec un taux de soumission de candidature plus élevé. |
| |
Et donc en haut de l'arbre, le plus important, encore une fois très intuitif, pas du tout surprenant, c'est que les personnes qui ont cliqué |
| |
sur certains contenus de la page par rapport aux personnes qui ont visité mais n'ont cliqué sur rien, les personnes qui ont cliqué ont eu un taux de soumission d'application 20 fois... 20 fois plus élevé. |
| |
Très simple. Ils sont motivés. Ils interagissent avec votre page. Alors ils ont cliqué, mais sur quoi ont-ils cliqué ? |
| |
Le nœud suivant de l'arborescence est le contenu Appliquer maintenant et Ouvrir maintenant, donc les personnes qui ont cliqué sur Ouvrir maintenant ou Appliquer |
| |
directement à partir de cette page par rapport aux personnes qui ont cliqué sur autre chose mais n'ont pas cliqué sur Appliquer, ces cliqueurs d'application avaient un taux de soumission d'application sept fois plus élevé. Encore une fois, très simple, très intuitif. |
| |
Mais ce qui nous a surpris, c'est que s'ils ne cliquent pas sur Appliquer maintenant, il y a beaucoup d'autres chemins sur cette page que vous pouvez |
| |
cliquez sur la page de détails du produit et postulez à partir de là. Ou vous pouvez accéder à l'expérience de comparaison, par exemple, et postuler à partir de là. Comme vous pouvez aller plus loin dans l'expérience et toujours postuler. Et donc le deuxième contenu le plus important sur cette page, autre que ouvert maintenant, est la comparaison de tous les comptes, |
| |
(CTA). Et nous l'avons juste enterré au bas de la page. Et en fait, la comparaison de tous les comptes est tout aussi importante que le contenu de la bannière, ce qui nous a beaucoup surpris. |
| |
Nous sommes donc en mesure d'avoir cette conversation avec nos partenaires pour ensuite tirer parti de cette idée que lorsque les gens cliquent sur comparer, ils sont 40 % plus susceptibles de soumettre une candidature. Nous devons tester pour voir si nous pouvons mettre cela plus haut dans l'expérience et ce que cela fait pour nous en termes de performances. |
| |
Et ce que nous avons trouvé, vous savez, donc ici sous contrôle, nous avions la comparaison et le contenu sélectionné du produit, tous deux en bas. |
| |
Et ma proposition personnelle était juste de les remettre tous les deux au sommet, mais heureusement, notre... nous avions suffisamment éduqué nos partenaires marketing et commerciaux pour qu'ils disent, eh bien, lançons une multivariée pour savoir, avons-nous besoin des deux au sommet? Vous savez, y a-t-il une préférence, |
| |
en termes de visiteurs, en termes de performances et de conversion de site ? Doit-on n'en avoir qu'un ? Est-ce que... une partie de ce contenu de contact... est-elle gênante ? |
| |
Nous avons découvert que c'était le cas. Vous savez, dans notre meilleure performance, comme nous l'avons mentionné, le top était cette variante qui avait la comparaison en haut |
| |
et le sélecteur en bas. Vous savez, le sélecteur, en particulier, moins de gens étaient plus |
| |
intéressé par ça. Et donc, en l'ayant au sommet, c'était un peu distrayant. Et donc nous sommes en mesure de vraiment nettoyer et optimiser notre expérience en gardant juste la comparaison en haut. |
| |
Donc, pour en revenir au haut niveau ici, vous savez, c'est... nous avons eu deux tests et nous avons pu utiliser la plate-forme JMP lors du premier test |
| |
pour nous aider à naviguer dans la discussion sur les tests multivariés. |
| |
Ensuite, utilisez le modèle de partition JMP pour découvrir ces informations et les alimenter. Et donc, encore une fois, entre ces deux tests dans une période de temps assez courte, nous sommes passés de... nous sommes en mesure d'augmenter nos applications de site de 11 % au total. |
| |
Et donc, en conclusion, les tests multivariés, |
| |
en général, c'est une méthode très efficace pour pouvoir isoler et comprendre ce qui se passe avec votre test. Vous savez, comme la plupart des gens le savent, |
| |
une fois que vous commencez à changer trop de choses, vous perdez un certain niveau de perspicacité. |
| |
Et je dirai aussi que, vous savez, dans les tests de services financiers, l'une des principales différences ici est que |
| |
les gens peuvent... peuvent se demander, pourquoi n'avez-vous pas simplement fait un tas de tests A/B séquentiels ? Et une partie de cela repose sur le fait d'être dans les services financiers, |
| |
et je pense que d'autres industries ont cela aussi, que chaque modification d'une page doit passer par un niveau d'examen juridique, de risque et de conformité. Et ainsi |
| |
pour nous, la méthode multivariée est très efficace, car nous pouvons passer par ce processus une fois, et les tests A/B séquentiels finissent par être très lourds, et nous pouvons |
| |
passer les tests beaucoup plus rapidement avec cette méthode. Et en ce qui concerne JMP la plate-forme DOE, la plate-forme DOE de JMP est vraiment la meilleure de sa catégorie. |
| |
C'est tellement visuel et c'est tellement percutant pour vous aider à naviguer dans ces conversations avec vos partenaires, car, |
| |
vous savez, en tant qu'analyste, c'est quelque chose que je fais au quotidien, mais ce n'est pas quelque chose auquel nos partenaires, marketing et commerciaux, pensent vraiment très souvent. |
| |
La plate-forme JMP est donc essentielle et nous aide à naviguer dans cette conversation et à expliquer pourquoi c'est la meilleure voie à suivre. |
| |
Et encore une fois, la flexibilité du script de combinaisons non autorisées vous donne la possibilité d'évaluer des conceptions spécifiques et de naviguer et de gérer ces contraintes commerciales. |
| |
Et puis, en poussant tout cela un peu plus loin, le modèle de partition et l'analyse de l'arbre de décision aident à extraire encore plus d'informations, de sorte que |
| |
l'une des choses que nous recherchons toujours est d'être sur ce continuum, où nous effectuons un test, nous espérons avoir des résultats percutants et apprendre quelque chose. |
| |
Mais que nous apprenons aussi quelque chose que nous n'avons pas vraiment apprécié et vraiment, nous cherchons à obtenir cette idée pour savoir quoi tester ensuite. |
| |
Voilà qui conclut la présentation. Je tiens à remercier tous mes collègues, collègues testeurs, chez Wells Fargo pour tout leur leadership et leur collaboration |
| |
couvrant la gamme de la gestion de projet au développement de pages Web aux membres de notre équipe d'assurance qualité. Alors merci à tous, et un merci spécial à Rudy pour son |
| |
amitié et être un collègue de longue date pour ses conseils, son expertise et sa ténacité, et toujours aider l'équipe à s'efforcer de faire mieux. Merci d'être venu aujourd'hui. |
