Vocero
|
Transcripción
|
| bill worley |
Hola. |
| steve c |
Soy Steve Crist. Gracias por acompañarme hoy mientras vamos más allá de las pruebas A/B y observamos un caso de uso de pruebas multivariadas y análisis avanzados para la optimización de páginas web. |
| |
El esquema de hoy. Comenzaremos con una descripción general de alto nivel de todo el caso de uso y luego profundizaremos en los detalles. Echaremos un vistazo a una demostración de JMP |
| |
para ver cómo evaluamos un diseño específico de experimento. |
| |
También veremos los resultados que obtuvimos de la prueba y cómo pudimos aprovechar el modelo de partición JMP para mejorar esos conocimientos. |
| |
Desde una visión general de alto nivel, este caso de uso consta de dos pruebas. En la prueba uno, analizamos algunos componentes del diseño del banner y el cuerpo del diseño de la página. |
| |
Y tuvimos una prueba multivariante exitosa que dio como resultado un aumento del 7 % en las solicitudes. Pudimos llevar eso un paso más allá |
| |
para descubrir una idea de algún contenido que había sido empujado hacia abajo en la parte inferior de la página que descubrimos que era muy importante y podemos aprovechar eso en la prueba dos. somos capaces de |
| |
aumentar nuestro rendimiento además del ganador de la primera prueba en un 4% adicional. Entonces, el caso de uso destaca cómo la plataforma JMP DOE y su DOE personalizado pudieron ayudarnos a habilitar la prueba uno, y luego los modelos de partición JMP nos ayudaron a extraer más |
| |
información adicional que pudimos aprovechar en la prueba dos. |
| |
Así que entremos en los detalles. |
| |
Cuando miramos nuestra página actual, se trata de la página de inicio de cheques de Wells Fargo. |
| |
Y nuestros socios de marketing y socios comerciales han hecho un gran trabajo al obtener algunos comentarios de los clientes, por lo que la principal motivación para esta prueba fue este Estilo de cuerpo A o Diseño de página A. |
| |
versus B, donde nuestros clientes habían dicho que querían ver más productos aparecer más arriba en la experiencia. Y nuestros socios comerciales y de marketing dijeron: |
| |
mientras estamos... mientras estamos haciendo este cambio, también pensamos que esta imagen que hemos tenido por un tiempo, podríamos hacerla mejor. |
| |
También pensamos que este diseño de banner, donde traemos el contenido a la izquierda, donde los ojos de las personas se dibujan de forma más natural y físicamente más pequeños para que podamos mostrar este contenido que nuestros clientes y visitantes dijeron que están más interesados. Así que nuestros socios acudieron a nosotros con una prueba A/B. |
| |
Pero puedes ver rápidamente que hay mucho más sucediendo aquí. Solo tenemos dos de las ocho combinaciones posibles |
| |
cubierto y lo que la conversación que tuvimos con nuestros socios fue que este diseño se veía muy bien, pero tenemos algún riesgo. |
| |
Y ese riesgo es que algunos de estos componentes pueden funcionar bien y algunos de ellos pueden restar rendimiento y anularse entre sí. Entonces, si solo hemos realizado una prueba A/B, |
| |
no sabremos qué componentes funcionan y qué no funcionan bien. Y ahí… ahí propusimos un test multivariante, que dijo nuestro compañero, que suena muy bien. Vamos a hacer eso. Pero... y ellos... teníamos algunas limitaciones comerciales que necesitábamos manejar. |
| |
Entonces, ¿cuáles eran esas limitaciones comerciales? |
| |
Ellos eran, |
| |
como mencioné, la principal motivación fue en torno a este diseño de cuerpo y traer el nuevo contenido a la página. |
| |
Y así, cuando observamos el espacio de diseño general, nuestros socios no tenían interés ni apetito, en realidad, para probar cualquiera de estas otras variantes que tendrían el diseño de página del cuerpo anterior. Eso fue |
| |
esa fue una clave... el factor clave número uno. |
| |
En segundo lugar, no había mucho apetito... en este bloque, esto representa una página que tenía la imagen anterior con el nuevo diseño, y de nuevo no había mucho interés. |
| |
al hacer eso Y así, en este caso particular, nuestros socios fueron muy prescriptivos acerca de las pruebas que se sentían cómodos realizando. |
| |
Entonces, la pregunta natural es: ¿funciona esta prueba como un diseño de prueba holístico multivariado? Y ahí es donde entra en juego la plataforma DOE personalizada de JMP. Así que permítanme cambiar y veremos cómo lo hicimos. |
| |
Así que vamos a ir al DOE y buscamos un diseño personalizado. |
| |
Tenemos tres... tres factores. Tenemos nuestra imagen |
| |
con versiones A y B, tenemos otra variable categórica de dos niveles de banner con A y B, |
| |
y, por último, tenemos nuestro diseño de página de cuerpo con una versión A y B. |
| |
Y |
| |
cuando hacemos clic en continuar, |
| |
nos vemos bien hasta ahora. Y lo que notamos aquí es que podemos cubrir este espacio de diseño de cuatro celdas en tan solo cuatro celdas, lo que funciona bien. |
| |
para nosotros en esta situación, pero sabemos por experiencia, y las personas que están familiarizadas con esto sabrían, que el |
| |
El motor de optimización JMP nunca le dará este diseño como un factorial fraccional de cuatro celdas. Este no es el diseño más óptimo. |
| |
para cuatro celdas, pero era el diseño con el que estamos tratando de trabajar para manejar nuestras limitaciones comerciales. Entonces, para forzar este diseño en particular, puede usar la combinación no permitida |
| |
para especificar esencialmente cada celda que no queremos ejecutar, de modo que nos quede lo que sí queremos ejecutar. Dentro de JMP, no... no hay una manera de especificar el diseño de prueba exacto, pero puede aprovechar el script de combinaciones no permitidas para poder forzarlo. |
| |
Y esto es algo que hacemos muy a menudo, |
| |
porque en nuestro... en nuestro mundo haciendo pruebas de páginas web, recibimos muchos aportes de nuestros socios. Y este es un caso de uso bastante típico para nosotros, por lo que esta es una técnica que usamos a menudo. |
| |
Y así, debido a que estamos tratando con variables categóricas, solo para explicar el script aquí, tenemos que codificarlas, por lo que el valor de A obtiene un 1 y el valor B obtiene un 2, así que cuando miramos esta celda en particular que no quiero probar... |
| |
Déjame traer eso de vuelta. |
| |
Mire esta celda en particular que no queremos ejecutar, esta es la imagen A con el banner B y el estilo de cuerpo A, así que ABA o 121. |
| |
Y esta celda aquí es la imagen B con el banner A y el estilo de cuerpo A, o 2211. Y de esa manera, puede especificar las cuatro celdas que no queremos ejecutar. Entonces hacemos clic en hacer diseño. |
| |
Toma solo un segundo para renderizar. |
| |
El hecho de que no obtengamos inmediatamente un mensaje de error que diga que no converge, es una buena señal, por lo que, de hecho, nosotros... |
| |
JMP dice que sí, este diseño funcionará. Y aquí está nuestra... aquí está nuestra página de control, representada en la ejecución número uno aquí, que es un AAA, imagen A con banner A y estilo de cuerpo A. Aquí en la carrera tres está nuestro |
| |
variante con la que nos llegaron nuestros socios en la propuesta A/B original que tiene la imagen B con el banner B y el cuerpo B. |
| |
Y luego también tenemos las variantes uno y dos representadas aquí, con BAB y AAB, y así recuperamos lo que esperábamos recuperar. Así que voy a comentar aquí por un momento acerca de la evaluación. Una de las cosas que normalmente miro es el mapa de color en las correlaciones |
| |
y el diagnóstico de diseño. |
| |
Y para aquellos que están familiarizados con estos, notarán que |
| |
este, como mencioné, no es el diseño más óptimo, pero funciona y ahí es donde está la ciencia y el arte de esto. |
| |
se junta, que tenemos que hacer que funcione con nuestros socios. Y en la medida en que funcione, ese fue el factor más importante para nosotros. |
| |
Además, sabiendo que tenemos un respaldo, que tenemos los datos reales. Podríamos hacer algunas comparaciones por partes, si queremos, pero hay una gran ganancia de eficiencia |
| |
ejecutando un multivariante que podemos inferir algunos de estos resultados. También haré un comentario aquí, que no es el punto principal de esta conversación de hoy, |
| |
pero un multivariante bien construido y adecuadamente analizado no toma más tiempo que una prueba A/B, que es muy contraria a la intuición a primera vista. Así que quería hacer esa declaración desde el principio. Si está interesado, pregúnteme durante la sesión de preguntas y respuestas o comuníquese conmigo fuera de línea. |
| |
Entonces, volvamos a la presentación. |
| |
Así que solo miramos este diseño y pudimos evaluarlo, ahora sabemos que esto funciona como un multivariado factorial fraccional holístico. Entonces ¿Que aprendimos? |
| |
Aprendimos, mientras miramos en la descripción general, que |
| |
esta variante dos, tuvimos un aumento del 7%. Ese fue el de mayor rendimiento en este espacio de diseño, y debido a que... teníamos una prueba multivariada holística, también podemos aprovechar algunas técnicas de regresión para poder inferir, hacer un análisis retrospectivo de |
| |
qué hubiera pasado si hubiéramos corrido algunas de estas páginas durante esta prueba. Así que no solo teníamos los valores reales que podíamos |
| |
validar y verificar con análisis de regresión y tuvimos un buen acuerdo, pero también... debido a eso, también podemos calcular y mirar hacia atrás sobre cómo se habrían desempeñado estas páginas si las hubiéramos probado. Y ese... ese es uno de los |
| |
cosas poderosas sobre las pruebas multivariadas, especialmente si se encuentra en una situación como la nuestra, en la que necesita desarrollar y crear todas estas páginas diferentes. Podemos aprovechar esta técnica |
| |
para ahorrarnos un poco de trabajo por adelantado, y aún así ser capaces de extraer los aprendizajes. También ayuda a aislar |
| |
lo que está impulsando el rendimiento. Y puedes ver aquí que si hubiéramos hecho la prueba A/B original, |
| |
habríamos... habríamos tenido... |
| |
nuestra variante habría suprimido el rendimiento. Y si no hubiéramos ejecutado un multivariado, la interpretación habría sido que esta nueva página que nuestros clientes... |
| |
o este nuevo concepto y diseño que nuestros clientes decían que les gustaría, hubiésemos interpretado que no les gustaba mucho. Pero en realidad, puedes ver que |
| |
son todas las versiones del banner B las que suprimen el rendimiento. Eso fue... ese nuevo estilo de banner no resonó particularmente bien con nuestros visitantes. |
| |
y nuestros clientes. |
| |
Y así pudimos extraerlos. No solo tuvimos un mejor ganador en el futuro, sino que podemos entender fácilmente que este diseño |
| |
que nuestros clientes dijeron que querían, es, de hecho, cuando se trata de eso, qué... qué funciona bien. |
| |
Así que podríamos habernos detenido allí con la misma facilidad y haber dicho, genial, tuvimos una prueba exitosa. Gracias y listo. Pero... pero ¿hemos terminado? Tenemos muchos datos. ¿Hay algo más que los datos puedan decirnos? |
| |
Y en nuestros informes, una de las cosas que notamos fue que obtuvimos mucho menos interacción y mucho menos clics. |
| |
en este compare cuentas y encuentre la cuenta correcta, que lo lleva a una experiencia guiada. Y en la experiencia de control, esos... |
| |
ese contenido estaba mucho, mucho más arriba. Estaba justo debajo del banner, por lo que, como era de esperar desde la perspectiva del clic, |
| |
vimos muchos menos clics aquí. Eso es bastante típico de cualquier página web, cuanto más abajo en la página, más personas tienen que desplazarse, menos clics hacen. Eso es bastante intuitivo, pero nos hacemos la pregunta porque fue un contraste muy marcado. |
| |
¿Es eso un problema? Creemos que estas experiencias y contenido son bastante buenos, y estamos un poco sorprendidos de que haya bajado tanto. Esperábamos que bajara un poco, |
| |
pero bajó mucho más de lo que esperábamos. ¿Es eso un problema? Entonces, para ayudarnos a comprender ese aspecto, usamos el modelo de partición JMP y, en particular, el algoritmo del árbol de decisión. |
| |
Así que tomamos la variante dos y analizamos los envíos de aplicaciones para tratar de averiguar qué contenido, cuándo se hizo clic o no, |
| |
ayudó a aumentar. Y vimos la separación con una mayor tasa de presentación de solicitudes. |
| |
Y así, en la parte superior del árbol, lo más importante, nuevamente muy intuitivo, para nada sorprendente, es que las personas que hicieron clic |
| |
en algún contenido de la página en comparación con las personas que visitaron pero no hicieron clic en nada, las personas que hicieron clic tenían una tasa de envío de aplicaciones 20 veces... 20 veces mayor. |
| |
Muy sencillo. Están motivados. Están interactuando con tu página. Así que hicieron clic, pero ¿en qué hicieron clic? |
| |
El siguiente nodo del árbol es el contenido Aplicar ahora y Abrir ahora, por lo que las personas que hicieron clic en Abrir ahora o Aplicar |
| |
directamente desde esta página en comparación con las personas que hicieron clic en otra cosa pero no hicieron clic en aplicar, los que hicieron clic en aplicar tuvieron una tasa de envío de aplicaciones siete veces mayor. Una vez más, muy sencillo, muy intuitivo. |
| |
Pero lo que nos sorprendió fue que si no hicieron clic en aplicar ahora, hay muchos otros caminos en esta página que puede |
| |
haga clic en la página de detalles del producto y solicite desde allí. O puede acceder a la experiencia de comparación, por ejemplo, y presentar su solicitud desde allí. Como si pudieras profundizar en la experiencia y seguir aplicando. Y entonces, el segundo contenido más importante en esta página, además de abrir ahora, es comparar todas las cuentas, |
| |
(CTA). Y simplemente lo enterramos en la parte inferior de la página. Y, de hecho, comparar todas las cuentas es tan importante como el contenido del banner, lo que nos sorprendió mucho. |
| |
Entonces podemos tener esa conversación con nuestros socios para luego aprovechar esta información de que cuando las personas hacen clic en comparar, tienen un 40% más de probabilidades de enviar una solicitud. Necesitamos probar para ver si podemos volver a poner eso más alto en la experiencia y qué hace eso por nosotros en términos de rendimiento. |
| |
Y lo que encontramos, ya sabes, así que aquí en control, teníamos la comparación y el contenido seleccionado del producto, ambos en la parte inferior. |
| |
Y mi propuesta personal fue simplemente volver a colocarlos a ambos en la parte superior, pero afortunadamente nuestro... habíamos educado a nuestros socios comerciales y de marketing lo suficiente como para que dijeran, bueno, hagamos una prueba multivariante para averiguar si los necesitamos a ambos. ¿en la cima? Ya sabes, hay una preferencia, |
| |
en términos de nuestros visitantes, en términos de rendimiento y conversión del sitio? ¿Deberíamos tener sólo uno? ¿Es... parte de este contacto... contenido que distrae? |
| |
Descubrimos que lo era. Ya sabes, en nuestro mejor desempeño, como mencionamos que la parte superior, fue esta variante la que tenía la comparación en la parte superior |
| |
y el selector hacia abajo en la parte inferior. Ya sabes, el selector, en particular, menos gente era más |
| |
interesado en eso. Y así, al tenerlo en la parte superior, distraía un poco. Y así podemos realmente limpiar y optimizar nuestra experiencia manteniendo solo la comparación en la parte superior. |
| |
Entonces, volviendo al nivel alto aquí, ya sabes, esto es... tuvimos dos pruebas y pudimos usar la plataforma JMP en la primera prueba |
| |
para ayudarnos a navegar la discusión sobre las pruebas multivariadas. |
| |
Y luego use el modelo de partición JMP para descubrir esa información y alimentarla. Y así, nuevamente, entre esas dos pruebas en un período de tiempo bastante corto, pasamos de... podemos aumentar las aplicaciones de nuestro sitio en un 11% en total. |
| |
Y así, en conclusión, la prueba multivariante, |
| |
en general, es un método muy efectivo para aislar y comprender lo que sucede con su prueba. Ya sabes, como la mayoría de la gente sabe, |
| |
una vez que comienzas a cambiar demasiadas cosas, pierdes cierto nivel de percepción. |
| |
Y también diré que, en las pruebas de servicios financieros, una de las diferencias clave aquí es que |
| |
la gente puede... puede preguntarse, ¿por qué no hiciste un montón de pruebas A/B secuenciales? Y parte de eso se basa en estar en servicios financieros, |
| |
y creo que otras industrias también tienen esto, que cada cambio en una página debe pasar por un nivel de revisión legal, de riesgo y de cumplimiento. Y entonces |
| |
para nosotros, el método multivariante es muy efectivo, porque podemos pasar por ese proceso una vez, y las pruebas A/B secuenciales terminan siendo muy engorrosas, y podemos |
| |
avance a través de las pruebas mucho más rápido con este método. Y en lo que se refiere a la plataforma DOE de JMP, la plataforma DOE de JMP es realmente la mejor de su clase. |
| |
Es tan visual y tan impactante ayudar a navegar esas conversaciones con sus socios, porque, |
| |
Ya sabes, como analista, esto es algo que hago a diario, pero no es algo en lo que nuestros socios comerciales y de marketing realmente piensen muy a menudo. |
| |
Entonces, la plataforma JMP es fundamental y nos ayuda a navegar esa conversación y articular por qué este es el mejor camino a seguir. |
| |
Y nuevamente, la flexibilidad del script de combinaciones no permitidas le brinda la capacidad de evaluar diseños específicos y navegar y administrar esas restricciones comerciales. |
| |
Y luego, llevando todo eso un paso más allá, el modelo de partición y el análisis del árbol de decisiones ayudan a extraer aún más información, de modo que |
| |
una de las cosas por las que siempre nos esforzamos es estar en este continuo, donde realizamos una prueba, con suerte tenemos algunos resultados impactantes y aprendemos algo. |
| |
Pero que también aprendemos algo que realmente no apreciamos y realmente, estamos buscando obtener esa información para saber qué probar a continuación. |
| |
Así concluye la presentación. Quiero dar las gracias a todos mis colegas, colegas de pruebas, en Wells Fargo por todo su liderazgo y colaboración. |
| |
abarcando desde la gestión de proyectos hasta el desarrollo de páginas web para los miembros de nuestro equipo de control de calidad. Así que gracias a todos, y un agradecimiento especial a Rudy por su |
| |
amistad y ser un colega de mucho tiempo por su orientación, experiencia y tenacidad, y siempre ayudando al equipo a esforzarse por hacerlo mejor. Gracias por asistir hoy. |
