| Oratore |
Trascrizione |
| Bill Worley |
CIAO. |
| Steve C |
Sono Steve Crist. Grazie per essere qui con me oggi, per andare oltre i test A/B e analizzare un caso d'uso di test multivariati e analisi avanzate per l'ottimizzazione delle pagine web. |
| |
Il programma di oggi. Inizieremo con una panoramica generale dell'intero caso d'uso, per poi addentrarci nei dettagli. Daremo un'occhiata a una demo di JMP. |
| |
per esaminare come valutiamo uno specifico progetto sperimentale. |
| |
Esamineremo anche i risultati ottenuti dal test e come siamo riusciti a sfruttare il modello di partizione JMP per migliorare tali informazioni. |
| |
Da una panoramica generale, questo caso d'uso consiste in due test. Nel primo test, abbiamo esaminato alcuni componenti del design del banner e del corpo del layout di pagina. |
| |
E abbiamo avuto un test multivariato di successo che ha portato a un aumento del 7% delle candidature. Siamo stati in grado di fare un ulteriore passo avanti. |
| |
per scoprire un'intuizione per alcuni contenuti che erano stati spostati in fondo alla pagina e che abbiamo scoperto essere molto importanti e siamo in grado di sfruttarli nel secondo test. Siamo in grado di |
| |
aumentare le nostre prestazioni rispetto al vincitore del primo test di un ulteriore 4%. Quindi il caso d'uso evidenzia come la piattaforma JMP DOE e il suo DOE personalizzato siano stati in grado di aiutarci ad abilitare il primo test, e quindi i modelli di partizione JMP ci hanno aiutato a estrarre di più |
| |
ulteriori informazioni che siamo riusciti a sfruttare nel secondo test. |
| |
Entriamo quindi nei dettagli. |
| |
Quando guardiamo la nostra pagina attuale, questa è la homepage del conto corrente di Wells Fargo. |
| |
E i nostri partner di marketing e commerciali hanno fatto un ottimo lavoro nel raccogliere il feedback dei clienti, quindi la motivazione principale per questo test era incentrata su questo stile di corpo A o layout di pagina A |
| |
rispetto al gruppo B, dove i nostri clienti avevano affermato di voler vedere più prodotti emergere più in alto nell'esperienza. E i nostri partner di marketing e commerciali hanno affermato: |
| |
mentre stiamo...mentre stiamo apportando questo cambiamento, pensiamo anche che questa immagine che abbiamo da un po' di tempo, potremmo migliorarla. |
| |
Riteniamo inoltre che questo design del banner, in cui spostiamo il contenuto a sinistra, sia più naturale e fisicamente più piccolo, in modo da poter mostrare i contenuti che i nostri clienti e visitatori hanno dichiarato di apprezzare di più. Quindi i nostri partner si sono rivolti a noi con un test A/B. |
| |
Ma puoi vedere subito che c'è molto di più in ballo. Abbiamo solo due delle otto possibili combinazioni. |
| |
coperto e la conversazione che abbiamo avuto con i nostri partner è stata che questo design sembrava fantastico, ma comportava qualche rischio. |
| |
E il rischio è che alcuni di questi componenti possano funzionare bene, mentre altri possano compromettere le prestazioni e annullarsi a vicenda. Quindi, se abbiamo eseguito solo un test A/B, |
| |
Non sapremo quali componenti funzionano bene e quali no. Ed è lì che abbiamo proposto un test multivariato, che il nostro partner ha detto: "Sembra fantastico. Facciamolo". Ma... e loro... avevamo alcuni vincoli aziendali che dovevamo gestire. |
| |
Quali erano quindi questi vincoli aziendali? |
| |
Li avevamo, |
| |
come ho detto, la motivazione principale era legata a questo layout e all'inserimento di nuovi contenuti nella pagina. |
| |
E così, quando abbiamo esaminato lo spazio di progettazione complessivo, i nostri partner non avevano alcun interesse e nessuna voglia, in realtà, di testare nessuna di queste altre varianti che avrebbero avuto il vecchio layout della pagina del corpo. Questo era |
| |
quello è stato un fattore chiave...il fattore chiave numero uno. |
| |
In secondo luogo, non c'era molto interesse...in questo blocco, questa rappresenta una pagina che aveva la vecchia immagine con il nuovo layout, e ancora una volta non c'era molto interesse |
| |
nel farlo. E quindi, in questo caso particolare, i nostri partner sono stati molto prescrittivi riguardo ai test che si sentivano a loro agio a eseguire. |
| |
Quindi la domanda naturale è: questo test funziona come un test multivariato olistico? Ed è qui che entra in gioco la piattaforma DOE personalizzata di JMP. Ora passiamo alla fase successiva e vediamo come abbiamo fatto. |
| |
Quindi andremo al DOE e prenderemo in esame un progetto personalizzato. |
| |
Abbiamo tre...tre fattori. Abbiamo la nostra immagine. |
| |
con una versione A e una B, abbiamo un'altra variabile categoriale a due livelli di banner con una A e una B, |
| |
e infine abbiamo il layout della pagina del corpo con una versione A e una B. |
| |
E |
| |
quando clicchiamo su continua, |
| |
Finora le cose vanno bene. E quello che notiamo qui è che possiamo coprire questo spazio di progettazione a quattro celle in appena quattro celle, il che funziona bene. |
| |
per noi in questa situazione, ma sappiamo per esperienza, e le persone che hanno familiarità con questo lo saprebbero, che il |
| |
Il motore di ottimizzazione JMP non fornirà mai questo progetto come fattoriale frazionario a quattro celle. Questo non è il progetto più ottimale. |
| |
per quattro celle, ma è il design con cui stiamo cercando di lavorare per gestire i nostri vincoli aziendali. Quindi, per forzare questo particolare design, è possibile utilizzare la combinazione non consentita. |
| |
per specificare essenzialmente ogni singola cella che non vogliamo eseguire, in modo da avere a disposizione solo ciò che vogliamo eseguire. In JMP, non c'è un modo per specificare un design di test esatto, ma è possibile sfruttare lo script delle combinazioni non consentite per forzarlo. |
| |
E questa è una cosa che facciamo molto spesso, |
| |
Perché nel nostro... nel nostro mondo in cui testiamo le pagine web, riceviamo molti input dai nostri partner. E questo è un caso d'uso abbastanza tipico per noi, quindi è una tecnica che utilizziamo spesso. |
| |
E quindi, poiché abbiamo a che fare con variabili categoriali, giusto per spiegare lo script qui, dobbiamo codificarle, quindi il valore di A assume 1 e il valore B assume 2, quindi quando guardiamo questa particolare cella che non vogliamo testare... |
| |
Vorrei tornare su questo punto. |
| |
Guarda questa particolare cella che non vogliamo eseguire: questa è l'immagine A con il banner B e lo stile del corpo A, quindi ABA o 121. |
| |
E questa cella qui è l'immagine B con banner A e stile corpo A, ovvero 2211. In questo modo, puoi specificare tutte e quattro le celle che non vogliamo eseguire. Quindi clicchiamo su "Crea design". |
| |
Il rendering richiede solo un secondo. |
| |
Il fatto che non si riceva immediatamente un errore che dice "non converge" è un buon segno e quindi, di fatto, noi... |
| |
JMP dice di sì, questo design funzionerà. E quindi ecco la nostra... ecco la nostra pagina di controllo, rappresentata nella prima esecuzione, che è una AAA, immagine A con banner A e stile del corpo A. Qui nella terza esecuzione c'è la nostra |
| |
variante che i nostri partner ci hanno presentato nella proposta A/B originale che presenta l'immagine B con il banner B e il corpo B. |
| |
E poi abbiamo anche le varianti uno e due rappresentate qui, con BAB e AAB, e quindi otteniamo ciò che ci aspettavamo di ottenere. Quindi, vorrei commentare brevemente la valutazione. Una delle cose che di solito guardo è la mappa dei colori sulle correlazioni. |
| |
e la diagnostica di progettazione. |
| |
E per coloro che hanno familiarità con queste cose, noteranno che |
| |
questo, come ho detto, non è il design più ottimale, ma funziona ed è qui che entra in gioco la scienza e l'arte di questo |
| |
si unisce, dobbiamo farla funzionare con i nostri partner. E quindi, nella misura in cui funziona, questo è stato il fattore più importante per noi. |
| |
Inoltre, sapendo di avere un fallback, di avere i dati effettivi, potremmo fare dei confronti parziali, se vogliamo, ma il guadagno in termini di efficienza è notevole. |
| |
Eseguendo un'analisi multivariata possiamo dedurre alcuni di questi risultati. Farò anche un commento qui, che non è il punto principale di questa conversazione di oggi, |
| |
Ma un test multivariato ben costruito e correttamente analizzato non richiede più tempo di un test A/B, il che è molto controintuitivo a prima vista. Quindi volevo chiarire questa cosa fin da subito. Se siete interessati, chiedetemelo durante la sessione di domande e risposte o contattatemi offline. |
| |
Quindi, torniamo alla presentazione. |
| |
Abbiamo quindi esaminato questo modello e siamo stati in grado di valutarlo. Ora sappiamo che funziona come un'analisi fattoriale frazionaria olistica multivariata. Cosa abbiamo imparato? |
| |
Abbiamo appreso, guardando la panoramica, che |
| |
Con questa seconda variante, abbiamo avuto un incremento del 7%. È stata la nostra versione con le prestazioni più elevate in questo ambito di progettazione e, poiché avevamo un test multivariato olistico, siamo anche in grado di sfruttare alcune tecniche di regressione per dedurre e fare un'analisi retrospettiva di |
| |
cosa sarebbe successo se avessimo eseguito alcune di queste pagine durante questo test. Quindi non solo avevamo i valori effettivi che potevamo |
| |
convalidare e verificare con l'analisi di regressione e abbiamo raggiunto un buon accordo, ma anche... per questo motivo, possiamo anche calcolare e rivedere come queste pagine si sarebbero comportate se le avessimo testate. E questo... questo è uno dei |
| |
Le potenzialità dei test multivariati, soprattutto se ci si trova in una situazione come la nostra, in cui è necessario sviluppare e creare tutte queste pagine diverse. Possiamo sfruttare questa tecnica |
| |
per risparmiarci un bel po' di lavoro iniziale, ma essere comunque in grado di estrarre gli insegnamenti. Aiuta anche a isolare |
| |
cosa determina le prestazioni. E qui puoi vedere che se avessimo eseguito il test A/B originale, |
| |
avremmo avuto...avremmo avuto... |
| |
La nostra variante avrebbe ridotto le prestazioni. E se non avessimo eseguito un'analisi multivariata, l'interpretazione sarebbe stata che questa nuova pagina che i nostri clienti... |
| |
o questo nuovo concetto e design che i nostri clienti hanno detto che gli sarebbe piaciuto, avremmo interpretato che non gli piacesse molto. Ma in realtà, puoi vedere che |
| |
Sono tutte le versioni B del banner che hanno ridotto le prestazioni. Cioè... quel nuovo stile del banner non ha avuto un impatto particolarmente positivo sui nostri visitatori. |
| |
e i nostri clienti. |
| |
E così siamo riusciti a estrarli. Non solo abbiamo avuto un vincitore migliore per il futuro, ma siamo anche in grado di capire facilmente che questo design |
| |
che i nostri clienti hanno detto di volere, è, in realtà, cosa...cosa funziona bene. |
| |
Quindi avremmo potuto tranquillamente fermarci qui e dire: "Ottimo, test riuscito". Grazie e abbiamo finito. Ma... ma abbiamo finito? Abbiamo molti dati. C'è qualcos'altro che i dati possono dirci? |
| |
E nei nostri report, una delle cose che abbiamo notato è che abbiamo ottenuto molto meno coinvolgimento e molti meno clic |
| |
In questa sezione puoi confrontare i conti e trovare il conto giusto, che ti porterà a un'esperienza guidata. E nell'esperienza di controllo, quelli... |
| |
Quel contenuto era molto, molto più in alto. Era proprio sotto il banner, e quindi, non sorprende affatto dal punto di vista del clic, |
| |
Abbiamo visto molti meno clic qui? È abbastanza tipico di qualsiasi pagina web: più si scende nella pagina, più le persone devono scorrere, meno cliccano. È abbastanza intuitivo, ma ci siamo posti questa domanda perché c'era un netto contrasto. |
| |
È un problema? Pensiamo che queste esperienze e questi contenuti siano piuttosto buoni, e siamo un po' sorpresi che siano calati così tanto. Ci aspettavamo un calo un po', |
| |
Ma il calo è stato molto più marcato di quanto ci aspettassimo. È un problema? Per aiutarci a comprendere questo aspetto, abbiamo utilizzato il modello di partizione JMP e, in particolare, l'algoritmo dell'albero decisionale. |
| |
Quindi abbiamo preso la variante due e l'abbiamo analizzata per le candidature inviate per cercare di capire quale contenuto, quando è stato cliccato o meno, |
| |
ha contribuito ad aumentare. E abbiamo assistito a una separazione con un tasso di presentazione delle domande più elevato. |
| |
E quindi in cima all'albero, la cosa più importante, ancora una volta molto intuitiva, per niente sorprendente, è che le persone che hanno cliccato |
| |
su alcuni contenuti della pagina rispetto alle persone che hanno visitato ma non hanno cliccato su nulla, le persone che hanno cliccato hanno avuto un tasso di invio dell'app 20 volte...20 volte superiore. |
| |
Molto semplice. Sono motivati. Stanno interagendo con la tua pagina. Quindi hanno cliccato, ma su cosa hanno cliccato? |
| |
Il nodo successivo dell'albero è il contenuto "Applica ora" e "Apri ora", quindi le persone che hanno cliccato su "Apri ora" o "Applica ora" |
| |
direttamente da questa pagina rispetto alle persone che hanno cliccato su qualcos'altro ma non hanno cliccato su "Applica", questi ultimi hanno avuto un tasso di invio dell'app sette volte superiore. Di nuovo, molto semplice, molto intuitivo. |
| |
Ma ciò che ci ha sorpreso è che se non hanno cliccato su Applica ora, ci sono molti altri percorsi in questa pagina che puoi |
| |
Clicca sulla pagina dei dettagli del prodotto e fai domanda da lì. Oppure puoi accedere all'esperienza di confronto, ad esempio, e fare domanda da lì. Puoi approfondire l'esperienza e comunque fare domanda. Quindi, il secondo contenuto più importante di questa pagina, oltre ad "Apri ora", è "Confronta tutti gli account". |
| |
(CTA). E l'abbiamo semplicemente nascosto in fondo alla pagina. E in effetti, il confronto di tutti gli account è importante tanto quanto il contenuto del banner, il che ci ha sorpreso molto. |
| |
Quindi possiamo dialogare con i nostri partner per poi sfruttare questa intuizione: quando le persone cliccano su "Confronta", hanno il 40% di probabilità in più di inviare una candidatura. Dobbiamo testare se possiamo migliorare ulteriormente questa caratteristica nell'esperienza e vedere cosa significa per noi in termini di performance. |
| |
E quello che abbiamo scoperto, sapete, qui sotto controllo, era che avevamo il confronto e il contenuto del prodotto selezionato, entrambi in basso. |
| |
E la mia proposta personale era semplicemente di rimetterli entrambi in cima, ma per fortuna... avevamo istruito i nostri partner di marketing e commerciali a sufficienza, così hanno detto: "Bene, eseguiamo un'analisi multivariata per scoprire se abbiamo bisogno di entrambi in cima". Sai, c'è una preferenza? |
| |
In termini di visitatori, prestazioni e conversioni del sito? Dovremmo averne solo uno? Alcuni di questi contatti... contenuti distraggono? |
| |
Abbiamo scoperto che lo era. Sai, nel nostro caso con le migliori prestazioni, come abbiamo detto, il top, c'era questa variante che aveva il confronto in alto. |
| |
e il selettore in basso. Sai, il selettore, in particolare, meno persone erano più |
| |
Interessato a questo. E quindi, averlo in alto, distraeva un po'. E così siamo riusciti a ripulire e ottimizzare la nostra esperienza mantenendo solo il confronto in alto. |
| |
Quindi, tornando al livello più alto, sai, questo è...abbiamo fatto due test e siamo stati in grado di utilizzare la piattaforma JMP nel primo test |
| |
per aiutarci a orientarci nella discussione sui test multivariati. |
| |
E poi abbiamo utilizzato il modello di partizione JMP per scoprire questa intuizione e alimentarla ulteriormente. E così, ancora una volta, tra questi due test, in un periodo di tempo piuttosto breve, siamo passati da... siamo in grado di aumentare le applicazioni del nostro sito dell'11% in totale. |
| |
E quindi, in conclusione, il test multivariato, |
| |
In generale, è un metodo molto efficace per isolare e comprendere cosa sta succedendo nel tuo test. Sai, come molti sanno, |
| |
quando si comincia a cambiare troppe cose, si perde un certo livello di comprensione. |
| |
E dirò anche che, sapete, nei test sui servizi finanziari, una delle differenze chiave qui è che |
| |
La gente potrebbe... potrebbe chiedersi: perché non hai semplicemente fatto una serie di test A/B sequenziali? E parte di ciò dipende dal fatto che lavori nel settore dei servizi finanziari, |
| |
e penso che anche altri settori abbiano questo problema, ovvero che ogni modifica a una pagina debba essere sottoposta a un livello di revisione legale, di rischio e di conformità. E quindi |
| |
per noi, il metodo multivariato è molto efficace, perché possiamo ripetere quel processo una volta sola, e i test A/B sequenziali finiscono per essere molto macchinosi, e possiamo |
| |
Con questo metodo, è possibile eseguire i test molto più rapidamente. E per quanto riguarda la piattaforma JMP DOE, la piattaforma DOE di JMP è davvero la migliore della categoria. |
| |
È così visivo e di grande impatto per aiutarti a gestire le conversazioni con i tuoi partner, perché, |
| |
Sai, come analista, è qualcosa che faccio quotidianamente, ma non è qualcosa a cui i nostri partner, quelli di marketing e commerciali, pensano molto spesso. |
| |
Ecco perché la piattaforma JMP è fondamentale e ci aiuta a gestire questa conversazione e a spiegare perché questa è la strada migliore da seguire. |
| |
E ancora, la flessibilità dello script delle combinazioni non consentite ti dà la possibilità di valutare progetti specifici e di navigare e gestire tali vincoli aziendali. |
| |
E poi, portando tutto questo un passo avanti, il modello di partizione e l'analisi dell'albero decisionale aiutano a estrarre ancora più informazioni, in modo che |
| |
Una delle cose a cui aspiriamo sempre è quella di essere su questo continuum, in cui eseguiamo un test, speriamo di ottenere risultati significativi e di imparare qualcosa. |
| |
Ma impariamo anche qualcosa che non avevamo veramente apprezzato e, in realtà, cerchiamo di ottenere quella comprensione per sapere cosa testare dopo. |
| |
Con questo si conclude la presentazione. Vorrei ringraziare tutti i miei colleghi, i colleghi addetti ai test, di Wells Fargo per la loro leadership e collaborazione. |
| |
che spaziano dalla gestione dei progetti allo sviluppo di pagine web, fino ai membri del nostro team di garanzia della qualità. Grazie a tutti, e un ringraziamento speciale a Rudy per il suo |
| |
Grazie per la vostra amicizia e per essere un collega di lunga data, per la sua guida, competenza e tenacia, e per aver sempre aiutato il team a impegnarsi per migliorare. Grazie per essere qui oggi. |
