Altoparlante
|
Trascrizione
|
| Bill Worley |
CIAO. |
| Steve C |
Sono Steve Crist. Grazie per esserti unito a me oggi mentre andiamo oltre i test A/B e esaminiamo un caso d'uso di test multivariati e analisi avanzate per l'ottimizzazione delle pagine web. |
| |
Lo schema di oggi. Inizieremo con una panoramica di alto livello dell'intero caso d'uso, quindi ci addentreremo nei dettagli. Daremo un'occhiata a una demo di JMP |
| |
per vedere come valutiamo uno specifico progetto di esperimento. |
| |
Esamineremo anche i risultati ottenuti dal test e come siamo stati in grado di sfruttare il modello di partizione di JMP per migliorare tali informazioni. |
| |
Da una panoramica di alto livello, questo caso d'uso è costituito da due test. Nel primo test, abbiamo esaminato alcuni componenti del design del banner e il corpo del layout della pagina. |
| |
E abbiamo avuto un test multivariato di successo che ha portato a un aumento del 7% nelle domande. Siamo stati in grado di fare un ulteriore passo avanti |
| |
scoprire un'intuizione per alcuni contenuti che erano stati spostati in fondo alla pagina che abbiamo scoperto essere molto importante e siamo in grado di sfruttarli nel test due. Era in grado di |
| |
aumentare le nostre prestazioni rispetto al primo vincitore del test di un ulteriore 4%. Quindi il caso d'uso evidenzia come la piattaforma JMP DOE e il suo DOE personalizzato sono stati in grado di aiutarci ad abilitare il test uno, e quindi i modelli di partizione JMP ci hanno aiutato a estrarre di più |
| |
ulteriori informazioni che siamo stati in grado di sfruttare nel test due. |
| |
Quindi entriamo nei dettagli. |
| |
Quando guardiamo la nostra pagina attuale, questa è per la home page di controllo di Wells Fargo. |
| |
E i nostri partner di marketing e partner commerciali hanno fatto un ottimo lavoro nell'ottenere la voce del feedback dei clienti, quindi la motivazione principale per questo test era attorno a questo stile del corpo A o layout di pagina A |
| |
rispetto a B, dove i nostri clienti avevano affermato di voler vedere più prodotti affiorare più in alto nell'esperienza. E i nostri partner di marketing e commerciali hanno detto: |
| |
mentre stiamo... mentre stiamo apportando questo cambiamento, pensiamo anche che questa immagine che abbiamo avuto per un po', potremmo fare di meglio. |
| |
Pensiamo anche che questo design del banner, in cui portiamo il contenuto a sinistra, dove gli occhi delle persone siano disegnati in modo più naturale e fisicamente più piccoli in modo da poter far emergere questo contenuto a cui i nostri clienti e visitatori hanno dichiarato di essere più interessati. Quindi i nostri partner sono venuti da noi con un test A/B. |
| |
Ma puoi vedere rapidamente che c'è molto di più da fare qui. Abbiamo solo due delle otto combinazioni possibili |
| |
coperto e ciò che la conversazione che abbiamo avuto con i nostri partner è stata che questo design sembrava fantastico, ma abbiamo qualche rischio. |
| |
E quel rischio è che alcuni di questi componenti possano funzionare bene e alcuni di essi possano ridurre le prestazioni e annullarsi a vicenda. Quindi, se abbiamo eseguito solo un test A/B, |
| |
non sapremo quali componenti fanno e non funzionano bene. Ed è lì... è lì che abbiamo proposto un test multivariato, che il nostro partner ha detto, che suona alla grande. Facciamolo. Ma... e loro... avevamo alcuni vincoli commerciali che dovevamo gestire. |
| |
Quindi quali erano quei vincoli aziendali? |
| |
Li avevamo, |
| |
come ho già detto, la motivazione principale riguardava questo layout del corpo e l'introduzione del nuovo contenuto nella pagina. |
| |
E così, quando guardiamo allo spazio di progettazione complessivo, i nostri partner non avevano alcun interesse e nessun appetito, davvero, per testare nessuna di queste altre varianti che avrebbero il vecchio layout di pagina del corpo. Quello era |
| |
quella era una chiave... il fattore chiave numero uno. |
| |
In secondo luogo, non c'era molto appetito...in questo blocco, questo rappresenta una pagina che aveva la vecchia immagine con il nuovo layout, e ancora una volta non c'era molto interesse |
| |
nel farlo. E così, in questo caso particolare, i nostri partner sono stati molto prescrittivi riguardo ai test che si sentivano a proprio agio nell'eseguire. |
| |
E quindi la domanda naturale è: questo test funziona come un progetto di test multivariato olistico? Ed è qui che entra in gioco la piattaforma DOE personalizzata di JMP. Quindi fammi cambiare e daremo un'occhiata a come l'abbiamo fatto. |
| |
Quindi andremo al DOE e abbiamo esaminato un design personalizzato. |
| |
Abbiamo tre... tre fattori. Abbiamo la nostra immagine |
| |
con una versione A e una B, abbiamo un'altra variabile categoriale a due livelli di banner con una A e una B, |
| |
e infine, abbiamo il nostro layout di pagina del corpo con una versione A e una B. |
| |
E |
| |
quando clicchiamo su continua, |
| |
stiamo guardando bene finora. E quello che notiamo qui è che possiamo coprire questo spazio di progettazione a quattro celle in appena quattro celle, il che funziona bene |
| |
per noi in questa situazione, ma sappiamo per esperienza, e le persone che hanno familiarità con questo saprebbero, che il |
| |
Il motore di ottimizzazione JMP non ti fornirà mai questo progetto come fattoriale frazionario a quattro celle. Questo non è il design più ottimale |
| |
per quattro celle, ma è stato il design con cui stiamo cercando di lavorare per gestire i nostri vincoli aziendali. E così, per forzare questo particolare design, puoi usare la combinazione non consentita |
| |
per specificare essenzialmente ogni singola cella che non vogliamo eseguire, in modo da rimanere con ciò che vogliamo eseguire. All'interno di JMP, non c'è ... non c'è un modo per specificare il design esatto del test, ma puoi sfruttare lo script delle combinazioni non consentite per poterlo forzare. |
| |
E questo è qualcosa che facciamo molto spesso, |
| |
perché nel nostro... nel nostro mondo che fa il test delle pagine web, riceviamo molti input dai nostri partner. E questo è un caso d'uso abbastanza tipico per noi, quindi questa è una tecnica che usiamo spesso. |
| |
E quindi, poiché abbiamo a che fare con variabili categoriali, solo per spiegare lo script qui, dobbiamo codificarle, quindi il valore di A, ottiene un 1 e il valore B ottiene un 2, quindi quando guardiamo questa particolare cella che noi non voglio provare... |
| |
Lascia che te lo riporti. |
| |
Guardando questa particolare cella che non vogliamo eseguire, questa è l'immagine A con il banner B e lo stile del corpo A, quindi ABA o un 121. |
| |
E questa cella qui è l'immagine B con il banner A e lo stile del corpo A, o 2211. E così in quel modo, puoi specificare tutte e quattro queste celle che non vogliamo eseguire. Quindi facciamo clic su crea design. |
| |
Richiede solo un secondo per il rendering. |
| |
Il fatto che non otteniamo immediatamente un errore che dice, non converge, è un buon segno, e quindi, infatti, noi noi... |
| |
JMP dice di sì, questo progetto funzionerà. E quindi ecco la nostra... ecco la nostra pagina di controllo, rappresentata nella tiratura numero uno qui, che è un AAA, immagine A con banner A e corpo stile A. Qui nella terza manche c'è il nostro |
| |
variante con cui i nostri partner sono venuti da noi nella proposta A/B originale che ha l'immagine B con banner B e corpo B. |
| |
E poi abbiamo anche le varianti uno e due rappresentate qui, con BAB e AAB, e quindi otteniamo ciò che ci aspettavamo di ottenere. Quindi commenterò qui solo per un momento la valutazione. Una delle cose che di solito guardo è la mappa dei colori sulle correlazioni |
| |
e la diagnostica del progetto. |
| |
E per coloro che hanno familiarità con questi, lo noterai |
| |
questo, come ho detto, non è il design più ottimale, ma funziona ed è qui che la scienza e l'arte di questo |
| |
si riunisce, che dobbiamo farlo funzionare con i nostri partner. E quindi, nella misura in cui funziona, questo è stato il fattore più importante per noi. |
| |
Inoltre, sapendo che abbiamo un fallback, che abbiamo i dati effettivi. Potremmo fare alcuni confronti a pezzi, se lo vogliamo, ma c'è molto guadagno in termini di efficienza |
| |
eseguendo un multivariato che possiamo dedurre alcuni di questi risultati. Farò anche un commento qui, non il punto principale di questa conversazione di oggi, |
| |
ma un multivariato ben costruito e adeguatamente analizzato non richiede più tempo di un test A/B, che è molto controintuitivo al valore nominale. Quindi volevo fare questa dichiarazione in anticipo. Se sei interessato, chiedimelo durante le domande e risposte o contattami offline. |
| |
Quindi, mentre torniamo alla presentazione. |
| |
Quindi abbiamo appena esaminato questo progetto e siamo stati in grado di valutarlo, ora sappiamo che funziona come un multivariato fattoriale frazionario olistico. Quindi cosa abbiamo imparato? |
| |
Abbiamo imparato, mentre guardavamo nella panoramica, che |
| |
questa variante due, abbiamo avuto un aumento del 7%. Quello è stato il nostro più performante in questo spazio di progettazione, e poiché avevamo... un test multivariato olistico, siamo anche in grado di sfruttare alcune tecniche di regressione per essere in grado di dedurre, per fare un'analisi retrospettiva di |
| |
cosa sarebbe successo se avessimo eseguito alcune di queste pagine durante questo test. Quindi non solo avevamo i valori effettivi che potevamo |
| |
convalidare e verificare con l'analisi di regressione e abbiamo avuto un buon accordo, ma anche noi ... grazie a ciò, possiamo anche calcolare e guardare indietro a come si sarebbero comportate queste pagine se le avessimo testate. E quello... quello è uno dei |
| |
cose potenti sui test multivariati, specialmente se ti trovi in una situazione come la nostra, in cui devi sviluppare e creare tutte queste pagine diverse. Possiamo sfruttare questa tecnica |
| |
per risparmiarci un bel po' di lavoro in anticipo, ma essere ancora in grado di estrarre gli apprendimenti. Aiuta anche a isolare |
| |
cosa sta guidando la performance. E puoi vedere qui che se avessimo fatto il test A/B originale, |
| |
avremmo...avremmo avuto... |
| |
la nostra variante avrebbe soppresso le prestazioni. E se non avessimo eseguito un multivariato, l'interpretazione sarebbe stata che questa nuova pagina che i nostri clienti... |
| |
o questo nuovo concetto e design che i nostri clienti hanno detto che avrebbero apprezzato, avremmo interpretato che non gli piaceva davvero. Ma in realtà, puoi vederlo |
| |
sono tutte le versioni banner B che hanno soppresso le prestazioni. Quello era... che il nuovo stile del banner non piaceva particolarmente ai nostri visitatori |
| |
e i nostri clienti. |
| |
E così siamo stati in grado di estrarli. Non solo abbiamo avuto un vincitore migliore in futuro, ma siamo in grado di capire facilmente che questo design |
| |
che i nostri clienti hanno detto di volere, è, infatti, quando si arriva al punto, cosa... cosa funziona bene. |
| |
Quindi avremmo potuto fermarci altrettanto facilmente lì e dire, fantastico, abbiamo avuto un test di successo. Grazie e abbiamo finito. Ma... ma abbiamo finito? Abbiamo molti dati. C'è qualcos'altro che i dati possono dirci? |
| |
E nei nostri rapporti, una delle cose che abbiamo notato è che abbiamo ottenuto molto meno coinvolgimento e molto meno clic |
| |
su questo confronta gli account e trova l'account giusto, che ti porta a un'esperienza guidata. E nell'esperienza di controllo, quelli... |
| |
quel contenuto era molto, molto più in alto. Era proprio sotto lo striscione e quindi, non sorprendentemente dal punto di vista del clic, |
| |
abbiamo visto molti meno clic qui. Questo è abbastanza tipico di qualsiasi pagina web, che più in basso nella pagina, più persone devono scorrere, meno ci cliccano sopra. È abbastanza intuitivo, ma ci poniamo la domanda perché era un contrasto così netto. |
| |
È un problema? Pensiamo che queste esperienze e contenuti siano piuttosto buoni e siamo piuttosto sorpresi che siano diminuiti così tanto. Ci aspettavamo che calasse un po', |
| |
ma è sceso molto più di quanto ci aspettassimo. È un problema? Quindi, per aiutarci a comprendere questo aspetto, abbiamo utilizzato il modello di partizione di JMP e, in particolare, l'algoritmo dell'albero decisionale. |
| |
Quindi abbiamo preso la seconda variante e abbiamo analizzato le candidature inviate per cercare di capire quale contenuto, quando è stato o non è stato cliccato, |
| |
contribuito ad aumentare. E abbiamo visto la separazione con un tasso di presentazione delle domande più elevato. |
| |
E quindi in cima all'albero, la cosa più importante, ancora una volta molto intuitiva, per niente sorprendente, è che le persone che hanno cliccato |
| |
su alcuni contenuti della pagina rispetto alle persone che hanno visitato ma non hanno fatto clic su nulla, le persone che hanno fatto clic hanno avuto un tasso di invio dell'app 20 volte... 20 volte superiore. |
| |
Molto semplice. Sono motivati. Stanno interagendo con la tua pagina. Quindi hanno cliccato, ma su cosa hanno cliccato? |
| |
Il nodo successivo dell'albero è il contenuto Applica ora e Apri ora, quindi le persone che hanno fatto clic su Apri ora o Applica ora |
| |
direttamente da questa pagina rispetto alle persone che hanno fatto clic su qualcos'altro ma non hanno fatto clic su applica, quei clicker applicati hanno avuto un tasso di invio di app sette volte superiore. Ancora una volta, molto semplice, molto intuitivo. |
| |
Ma ciò di cui siamo rimasti sorpresi è che se non hanno fatto clic su applica ora, ci sono molti altri percorsi in questa pagina che puoi |
| |
fai clic sulla pagina dei dettagli del prodotto e fai domanda da lì. Oppure puoi entrare nell'esperienza di confronto, ad esempio, e candidarti da lì. Come se tu potessi approfondire l'esperienza e applicare ancora. Quindi il secondo contenuto più importante di questa pagina, oltre a quello aperto ora, è il confronto di tutti gli account, |
| |
(invito all'azione). E l'abbiamo appena seppellito in fondo alla pagina. E infatti, il confronto di tutti gli account è importante tanto quanto il contenuto del banner, che ci ha sorpreso molto. |
| |
Quindi siamo in grado di avere quella conversazione con i nostri partner per sfruttare questa intuizione che quando le persone fanno clic su confronta, hanno il 40% di probabilità in più di inviare una domanda. Abbiamo bisogno di testare per vedere se possiamo portare quel backup più in alto nell'esperienza e cosa fa per noi in termini di prestazioni. |
| |
E quello che abbiamo trovato, sai, quindi qui sotto controllo, abbiamo avuto il confronto e il contenuto selezionato del prodotto, entrambi in fondo. |
| |
E la mia proposta personale è stata di rimetterli entrambi in cima, ma fortunatamente il nostro... abbiamo istruito abbastanza i nostri partner commerciali e di marketing da dire, beh, eseguiamo un multivariato per scoprire, abbiamo bisogno di entrambi in cima? Sai, c'è una preferenza, |
| |
in termini di visitatori, in termini di prestazioni e conversione del sito? Dovremmo averne solo uno? È... alcuni di questi contatti... contenuti distraggono? |
| |
Abbiamo scoperto che lo era. Sai, nella nostra migliore performance, come abbiamo detto che la parte superiore, era questa variante che aveva il confronto in cima |
| |
e il selettore in basso. Sai, il selezionatore, in particolare, meno persone erano di più |
| |
interessato a ciò. E quindi, avendolo in cima, è stato un po' fonte di distrazione. E così siamo in grado di ripulire e ottimizzare davvero la nostra esperienza mantenendo solo il confronto in alto. |
| |
Quindi, tornando all'alto livello qui, sai, questo è... abbiamo fatto due test e siamo stati in grado di utilizzare la piattaforma JMP nel primo test |
| |
per aiutarci a navigare nella discussione sui test multivariati. |
| |
E poi usa il modello di partizione di JMP per scoprire quell'intuizione e alimentarla in avanti. E così, ancora una volta, tra questi due test in un periodo di tempo abbastanza breve, siamo passati da... siamo in grado di aumentare le applicazioni del nostro sito dell'11% in totale. |
| |
E quindi, in conclusione, il test multivariato, |
| |
in generale, è un metodo molto efficace essere in grado di isolare e capire cosa sta succedendo con il tuo test. Sai, come molti sanno, |
| |
una volta che inizi a cambiare troppe cose, perdi un certo livello di intuizione lì. |
| |
E dirò anche che, sai, nei test sui servizi finanziari, una delle differenze chiave qui è questa |
| |
le persone potrebbero...potrebbero chiedersi, perché non hai semplicemente fatto una serie di test A/B sequenziali? E parte di questo dipende dall'essere nei servizi finanziari, |
| |
e penso che anche altri settori abbiano questo, che ogni modifica a una pagina deve essere sottoposta a un livello di revisione legale, di rischio e di conformità. E così |
| |
per noi, il metodo multivariato è molto efficace, perché possiamo eseguire quel processo una volta, e il test A/B sequenziale finisce per essere molto macchinoso, e possiamo |
| |
passare attraverso i test molto più rapidamente con questo metodo. E per quanto riguarda JMP, la piattaforma DOE, la piattaforma DOE di JMP è davvero la migliore della categoria. |
| |
È così visivo ed è così d'impatto per aiutarti a navigare in quelle conversazioni con i tuoi partner, perché, |
| |
sai, come analista, questo è qualcosa che faccio quotidianamente, ma non è qualcosa a cui i nostri partner, partner di marketing e commerciali, pensano davvero molto spesso. |
| |
E quindi la piattaforma JMP è fondamentale e ci aiuta a navigare in quella conversazione e ad articolare perché questo è il miglior percorso da seguire. |
| |
E ancora, la flessibilità dello script delle combinazioni non consentite ti dà la possibilità di valutare progetti specifici e navigare e gestire quei vincoli aziendali. |
| |
E poi facendo un ulteriore passo avanti, il modello di partizione e l'analisi dell'albero decisionale aiutano a estrarre ancora più informazioni, in modo che |
| |
una delle cose per cui ci battiamo sempre è essere su questo continuum, dove eseguiamo un test, speriamo di avere dei risultati di grande impatto e imparare qualcosa. |
| |
Ma impariamo anche qualcosa che non abbiamo davvero apprezzato e davvero, stiamo cercando di ottenere quell'intuizione per sapere cosa testare dopo. |
| |
Quindi questo conclude la presentazione. Voglio ringraziare tutti i miei colleghi, colleghi collaudatori, di Wells Fargo per tutta la loro leadership e collaborazione |
| |
dalla gestione del progetto allo sviluppo di pagine web fino ai membri del nostro team di garanzia della qualità. Quindi grazie a tutti e un ringraziamento speciale a Rudy per il suo |
| |
amicizia ed essendo un collega di lunga data per la sua guida, competenza e tenacia, e aiutando sempre il team a fare meglio. Grazie per essere intervenuto oggi. |
