| Vocero |
Transcripción |
| Bill Worley |
Hola. |
| Steve C |
Soy Steve Crist. Gracias por acompañarme hoy. Vamos más allá de las pruebas A/B y analizamos un caso práctico de pruebas multivariables y análisis avanzado para la optimización de páginas web. |
| |
El esquema de hoy. Comenzaremos con una descripción general de todo el caso de uso y luego profundizaremos en los detalles. Analizaremos una demostración de JMP. |
| |
para ver cómo evaluamos un diseño específico de experimento. |
| |
También analizaremos los resultados que obtuvimos de la prueba y cómo pudimos aprovechar el modelo de partición JMP para mejorar esos conocimientos. |
| |
Desde una perspectiva general, este caso de uso consta de dos pruebas. En la primera, analizamos algunos componentes del diseño del banner y el cuerpo de la página. |
| |
Y tuvimos una prueba multivariable exitosa que resultó en un aumento del 7% en las solicitudes. Logramos llevarlo aún más lejos. |
| |
Para descubrir información sobre contenido que se había desplazado al final de la página y que consideramos muy importante, podemos aprovecharla en la segunda prueba. |
| |
Aumentar nuestro rendimiento en un 4 % adicional respecto al ganador de la primera prueba. El caso práctico destaca cómo la plataforma JMP DOE y su DOE personalizado nos ayudaron a habilitar la primera prueba, y luego los modelos de partición JMP nos ayudaron a extraer más |
| |
información adicional que pudimos aprovechar en la segunda prueba. |
| |
Así que entremos en detalles. |
| |
Cuando miramos nuestra página actual, esta es la página de inicio de cuenta corriente de Wells Fargo. |
| |
Y nuestros socios de marketing y socios comerciales han hecho un gran trabajo para obtener la opinión de algunos clientes, por lo que la motivación principal para esta prueba fue en torno a este Estilo de cuerpo A o Diseño de página A. |
| |
En comparación con B, nuestros clientes habían expresado su deseo de ver más productos en una posición más alta de la experiencia. Y nuestros socios comerciales y de marketing afirmaron: |
| |
Mientras estamos...mientras estamos haciendo este cambio, también pensamos que esta imagen que tenemos desde hace tiempo, la podríamos hacer mejor. |
| |
También creemos que este diseño de banner, donde llevamos el contenido a la izquierda, donde los ojos de las personas se dibujan de forma más natural y físicamente más pequeños, nos permite mostrar este contenido que nuestros clientes y visitantes dijeron que les interesaba más. Así que nuestros socios acudieron a nosotros con una prueba A/B. |
| |
Pero puedes ver rápidamente que hay mucho más en juego. Solo tenemos dos de las ocho combinaciones posibles. |
| |
cubierto y lo que la conversación que tuvimos con nuestros socios fue que este diseño se veía genial, pero tenemos algunos riesgos. |
| |
Y ese riesgo radica en que algunos de estos componentes pueden funcionar bien y otros pueden reducir el rendimiento y anularse mutuamente. Por lo tanto, si solo hemos realizado una prueba A/B, |
| |
No sabremos qué componentes funcionan bien y cuáles no. Y ahí es donde propusimos una prueba multivariable, y nuestro socio dijo: «Suena genial. Hagámoslo». Pero teníamos algunas limitaciones empresariales que debíamos gestionar. |
| |
¿Cuáles fueron entonces esas limitaciones comerciales? |
| |
Ellos eran, |
| |
Como mencioné, la motivación principal fue este diseño del cuerpo y traer el nuevo contenido a la página. |
| |
Así que, al analizar el diseño general, nuestros socios no tenían ningún interés ni deseo, en realidad, de probar ninguna de estas otras variantes que tendrían el antiguo diseño de página del cuerpo. Eso fue... |
| |
Ese fue un factor clave...clave número uno. |
| |
En segundo lugar, no había mucho apetito... en este bloque, esto representa una página que tenía la imagen antigua con el nuevo diseño, y nuevamente no hubo mucho interés. |
| |
Al hacerlo. En este caso particular, nuestros socios fueron muy prescriptivos sobre las pruebas que se sentían cómodos realizando. |
| |
La pregunta natural es: ¿funciona esta prueba como un diseño de prueba multivariante holístico? Y ahí es donde entra en juego la plataforma JMP de DOE personalizada. Veamos cómo lo hicimos. |
| |
Entonces iremos al DOE y analizaremos un diseño personalizado. |
| |
Tenemos tres...tres factores. Tenemos nuestra imagen. |
| |
Con una versión A y una B, tenemos otra variable categórica de dos niveles de banner con una A y una B, |
| |
y por último tenemos el diseño de nuestra página de cuerpo con una versión A y una B. |
| |
Y |
| |
Cuando hacemos clic en continuar, |
| |
Hasta ahora, todo va bien. Y lo que notamos es que podemos cubrir este espacio de diseño de cuatro celdas en tan solo cuatro, lo cual funciona bien. |
| |
para nosotros en esta situación, pero sabemos por experiencia, y la gente que está familiarizada con esto lo sabría, que el |
| |
El motor de optimización JMP nunca le proporcionará este diseño como un factorial fraccional de cuatro celdas. Este no es el diseño más óptimo. |
| |
Para cuatro celdas, pero era el diseño con el que intentábamos trabajar para gestionar las limitaciones de nuestro negocio. Por lo tanto, para forzar este diseño en particular, se puede usar la combinación no permitida. |
| |
Para especificar cada celda que no queremos ejecutar, de modo que solo quede lo que sí queremos ejecutar. En JMP, no hay forma de especificar el diseño de prueba exacto, pero se puede usar el script de combinaciones no permitidas para forzarlo. |
| |
Y esto es algo que hacemos muy a menudo, |
| |
Porque en nuestro mundo de pruebas de páginas web, recibimos mucha información de nuestros socios. Este es un caso de uso bastante común, por lo que es una técnica que usamos a menudo. |
| |
Y entonces, debido a que estamos tratando con variables categóricas, solo para explicar el script aquí, tenemos que codificarlas, por lo que el valor de A obtiene un 1 y el valor B obtiene un 2, entonces cuando miramos esta celda en particular que no queremos probar... |
| |
Permítame volver a traer esto a colación. |
| |
Mire esta celda en particular que no queremos ejecutar, esta es la imagen A con el banner B y el estilo de cuerpo A, entonces ABA o 121. |
| |
Y esta celda es la imagen B con el banner A y el estilo de cuerpo A, o 2211. De esta manera, puedes especificar las cuatro celdas que no queremos ejecutar. Luego, hacemos clic en "Crear diseño". |
| |
Se procesa en tan solo un segundo. |
| |
El hecho de que no nos aparezca inmediatamente un error que diga "no converge" es una buena señal, y por eso, de hecho,... |
| |
JMP dice que sí, que este diseño funcionará. Así que aquí está nuestra... aquí está nuestra página de control, representada en la primera ejecución, que es una AAA, imagen A con banner A y estilo de carrocería A. Aquí en la tercera ejecución está nuestra... |
| |
variante que nos trajeron nuestros socios en la propuesta A/B original que tiene la imagen B con el banner B y el cuerpo B. |
| |
También tenemos representadas aquí las variantes uno y dos, con BAB y AAB, por lo que obtenemos lo que esperábamos. Comentaré brevemente la evaluación. Uno de los aspectos que suelo revisar es el mapa de colores de las correlaciones. |
| |
y el diagnóstico del diseño. |
| |
Y para aquellos que están familiarizados con estos, notarán que |
| |
Este, como mencioné, no es el diseño más óptimo, pero funciona y ahí es donde radica la ciencia y el arte de esto. |
| |
se une, que tenemos que lograr que funcione con nuestros socios. Y, en la medida en que funcione, ese fue el factor más importante para nosotros. |
| |
Además, sabiendo que tenemos una alternativa, que contamos con los datos reales, podríamos hacer comparaciones individuales si queremos, pero hay una gran ganancia de eficiencia. |
| |
Al ejecutar un análisis multivariante, podemos inferir algunos de estos resultados. Haré un comentario aquí también, que no es el punto principal de esta conversación de hoy. |
| |
Pero un análisis multivariante bien construido y correctamente analizado no lleva más tiempo que una prueba A/B, lo cual, a primera vista, parece contradictorio. Por eso quería dejar esto claro. Si te interesa, pregúntame durante la sesión de preguntas y respuestas o contáctame en persona. |
| |
Entonces, volvamos a la presentación. |
| |
Acabamos de analizar este diseño y pudimos evaluarlo. Ahora sabemos que funciona como un multivariante factorial fraccional holístico. ¿Qué aprendimos? |
| |
Aprendimos, al mirar la descripción general, que |
| |
En esta segunda variante, tuvimos un aumento del 7 %. Fue la de mayor rendimiento en este ámbito de diseño, y gracias a una prueba multivariante holística, también podemos aprovechar algunas técnicas de regresión para inferir y realizar un análisis retrospectivo. |
| |
¿Qué habría pasado si hubiéramos ejecutado algunas de estas páginas durante esta prueba? Así que no solo teníamos los valores reales que podíamos... |
| |
Validamos y verificamos con análisis de regresión y obtuvimos una buena concordancia, pero también... gracias a eso, podemos calcular y analizar cómo habrían funcionado estas páginas si las hubiéramos probado. Y esa... esa es una de las... |
| |
Ventajas de las pruebas multivariables, especialmente si te encuentras en una situación como la nuestra, donde necesitas desarrollar y crear todas estas páginas diferentes. Podemos aprovechar esta técnica. |
| |
Para ahorrarnos bastante trabajo al principio, y aun así poder extraer los aprendizajes. También ayuda a aislar |
| |
qué impulsa el rendimiento. Y aquí se puede ver que si hubiéramos hecho la prueba A/B original, |
| |
Habríamos...Habríamos tenido... |
| |
Nuestra variante habría reducido el rendimiento. Y si no hubiéramos ejecutado un análisis multivariable, la interpretación habría sido que esta nueva página que nuestros clientes... |
| |
O este nuevo concepto y diseño que nuestros clientes dijeron que les gustaría, habríamos interpretado que no les gustó mucho. Pero en realidad, se puede ver que... |
| |
Fueron todas las versiones del banner B las que redujeron el rendimiento. Ese nuevo estilo de banner no tuvo mucha aceptación entre nuestros visitantes. |
| |
y nuestros clientes. |
| |
Y así pudimos extraerlos. No solo tuvimos un mejor ganador para el futuro, sino que también pudimos comprender fácilmente que este diseño... |
| |
Lo que nuestros clientes dijeron que querían es, de hecho, cuando se llega al fondo del asunto, lo que funciona bien. |
| |
Así que fácilmente podríamos habernos detenido ahí y decir: «Genial, la prueba fue exitosa. Gracias y concluimos». Pero... ¿concluimos? Tenemos muchos datos. ¿Qué más nos pueden decir los datos? |
| |
Y en nuestros informes, una de las cosas que notamos fue que obtuvimos mucho menos participación y muchos menos clics. |
| |
En esta función, compara cuentas y encuentra la cuenta correcta, lo que te lleva a una experiencia guiada. Y en la experiencia de control, esas... |
| |
Ese contenido estaba mucho más arriba. Estaba justo debajo del banner, así que, desde la perspectiva de los clics, no es sorprendente. |
| |
¿Vimos muchos menos clics aquí? Es bastante común en cualquier página web: cuanto más abajo, más tienen que desplazarse los usuarios, menos clics hacen. Es bastante intuitivo, pero nos preguntamos por el marcado contraste. |
| |
¿Es un problema? Creemos que estas experiencias y contenido son bastante buenos, y nos sorprende un poco que haya bajado tanto. Esperábamos que bajara un poco. |
| |
Pero la caída fue mucho mayor de lo esperado. ¿Es un problema? Para comprender mejor este aspecto, utilizamos el modelo de partición JMP y, en particular, el algoritmo del árbol de decisión. |
| |
Entonces, tomamos la variante dos y analizamos los envíos de aplicaciones para intentar averiguar qué contenido, cuándo se hizo clic en él o no, |
| |
Ayudó a aumentar. Y vimos una separación con una mayor tasa de presentación de solicitudes. |
| |
Y entonces, en la parte superior del árbol, lo más importante, nuevamente muy intuitivo, para nada sorprendente, es que las personas que hicieron clic |
| |
en algún contenido de la página en comparación con las personas que visitaron pero no hicieron clic en nada, las personas que hicieron clic tuvieron una tasa de envío de aplicaciones 20 veces... 20 veces mayor. |
| |
Muy sencillo. Están motivados. Interactúan con tu página. Así que hicieron clic, pero ¿en qué hicieron clic? |
| |
El siguiente nodo del árbol es el contenido de aplicar ahora y abrir ahora, por lo que las personas que hicieron clic en abrir ahora o aplicar |
| |
Directamente desde esta página, en comparación con las personas que hicieron clic en otra cosa, pero no en "Aplicar", quienes hicieron clic en "Aplicar" tuvieron una tasa de envío de aplicaciones siete veces mayor. Nuevamente, muy sencillo, muy intuitivo. |
| |
Pero lo que nos sorprendió fue que si no hacen clic en aplicar ahora, hay muchas otras rutas en esta página que pueden seguir. |
| |
Haz clic en la página de detalles del producto y solicita desde allí. O, por ejemplo, puedes ir a la experiencia de comparación y solicitar desde allí. Puedes profundizar en la experiencia y solicitarla. El segundo contenido más importante de esta página, además de "Abrir ahora", es comparar todas las cuentas. |
| |
(CTA). Lo incluimos al final de la página. De hecho, la función para comparar todas las cuentas es tan importante como el contenido del banner, lo cual nos sorprendió mucho. |
| |
Así, podemos conversar con nuestros socios para aprovechar esta información: cuando las personas hacen clic en "Comparar", tienen un 40 % más de probabilidades de enviar una solicitud. Necesitamos hacer pruebas para ver si podemos mejorar esta experiencia y cómo nos beneficia en términos de rendimiento. |
| |
Y lo que encontramos, ya sabes, aquí en control, teníamos la comparación y el contenido del producto seleccionado, ambos en la parte inferior. |
| |
Mi propuesta personal era simplemente volver a colocarlos en la parte superior, pero por suerte... informamos lo suficiente a nuestros socios de marketing y comerciales, y dijeron: «Hagamos un análisis multivariable para averiguar si necesitamos ambos en la parte superior». ¿Hay alguna preferencia? |
| |
¿En cuanto a nuestros visitantes, rendimiento y conversión del sitio? ¿Deberíamos tener solo uno? ¿Algún contenido de contacto distrae? |
| |
Descubrimos que sí. En nuestra versión con mejor rendimiento, como mencionamos, la superior era esta variante que tenía la comparación en la parte superior. |
| |
Y el selector abajo. Ya sabes, el selector, en particular, menos gente era más... |
| |
Me interesaba eso. Por eso, al tenerlo arriba, distraía un poco. Así que pudimos optimizar nuestra experiencia manteniendo solo la comparación arriba. |
| |
Entonces, volviendo al nivel alto aquí, ya sabes, esto es...tuvimos dos pruebas y pudimos usar la plataforma JMP en la primera prueba. |
| |
para ayudarnos a navegar la discusión sobre pruebas multivariadas. |
| |
Y luego usamos el modelo de partición JMP para descubrir esa información y alimentarla. De nuevo, entre esas dos pruebas, en un período bastante corto, logramos aumentar las aplicaciones de nuestro sitio en un 11 % en total. |
| |
Y así, en conclusión, las pruebas multivariadas, |
| |
En general, es un método muy eficaz poder aislar y comprender qué sucede con la prueba. Como la mayoría de la gente sabe, |
| |
Una vez que empiezas a cambiar demasiadas cosas, pierdes cierto nivel de comprensión. |
| |
Y también diré que, ya sabes, en las pruebas de servicios financieros, una de las diferencias clave aquí es que |
| |
La gente podría preguntarse: "¿Por qué no hiciste varias pruebas A/B secuenciales?". Y parte de eso se debe a que trabajas en servicios financieros. |
| |
Y creo que otras industrias también lo tienen: cada cambio en una página debe pasar por un nivel de revisión legal, de riesgo y de cumplimiento. Y así... |
| |
Para nosotros, el método multivariado es muy efectivo, porque podemos pasar por ese proceso una vez, y las pruebas A/B secuenciales terminan siendo muy engorrosas, y podemos |
| |
Con este método, las pruebas se realizan con mayor rapidez. Y en lo que respecta a la plataforma JMP DOE, esta es realmente la mejor de su clase. |
| |
Es muy visual y tiene un gran impacto para ayudar a navegar esas conversaciones con sus socios, porque, |
| |
Ya sabe, como analista, esto es algo que hago a diario, pero no es algo en lo que nuestros socios, tanto de marketing como comerciales, piensen muy a menudo. |
| |
Por eso, la plataforma JMP es fundamental y nos ayuda a navegar esa conversación y a explicar por qué este es el mejor camino a seguir. |
| |
Y nuevamente, la flexibilidad del script de combinaciones no permitidas le brinda la capacidad de evaluar diseños específicos y navegar y administrar esas restricciones comerciales. |
| |
Y luego, llevando todo esto un paso más allá, el modelo de partición y el análisis del árbol de decisiones ayudan a extraer aún más información, de modo que |
| |
Una de las cosas por las que siempre nos esforzamos es estar en este continuo, donde realizamos una prueba, esperamos tener algunos resultados impactantes y aprender algo. |
| |
Pero también aprendemos algo que realmente no valoramos y realmente estamos buscando obtener ese insight para saber qué probar a continuación. |
| |
Con esto concluye la presentación. Quiero agradecer a todos mis colegas, colegas de pruebas, en Wells Fargo por su liderazgo y colaboración. |
| |
Desde la gestión de proyectos hasta el desarrollo de páginas web y los miembros de nuestro equipo de control de calidad. Gracias a todos, y un agradecimiento especial a Rudy por su... |
| |
Gracias por su amistad y por ser un colega de toda la vida, por su guía, experiencia y tenacidad, y por siempre ayudar al equipo a mejorar. Gracias por su presencia. |
