Recientemente, mi colega Ryan Lekivetz escribí sobre nuestro viaje a Discovery Summit Europe en Bruselas y nuestro plan para probar si el chocolate belga fue realmente mejor que el chocolate estadounidense. Ryan ha blogueado en detalle sobre las limitaciones de diseño del estudio, así como los factores involucrados. En esta entrada del blog, describiré cómo recopilamos los datos y analizamos los resultados.
Análisis sensorial es un gran tema con una literatura bien desarrollada (MacFie & Thomson 1994 y Næs T, Brockhoff PB, Tomic O. (2010) son buenas referencias para aprender sobre el tema). Solo queríamos responder a una pregunta: en una prueba de sabor a ciegas, ¿preferirían las personas el chocolate belga que habíamos llevado a través del Océano Atlántico o el chocolate estadounidense que podríamos comprar en la tienda de comestibles de la esquina? ¡Teniendo en cuenta el tipo de cambio dólar / euro y el espacio limitado en mi maleta, esta fue una pregunta importante a responder antes de Discovery Summit Europe 2016!
El experimento diseñado por Ryan no solo equilibró nuestros dos efectos hipotéticos (origen y contenido de cacao), sino que también aleatorizó el orden de las preguntas. Los participantes del estudio se cansan, especialmente en las pruebas de sabor, por lo que necesitábamos asegurarnos de que las personas vieran sus chocolates en los pedidos aleatorios asignados sin revelar los chocolates que estaban probando. También me encargaron de encontrar un chocolate estadounidense que fuera de una calidad comparable a nuestro chocolate belga. Más sobre eso más adelante.
La recolección de datos limpia requiere preparación.
Por lo tanto, pasé una noche en la mesa de mi cocina marcando platos de papel con los números de los conjuntos de elección, las ID de la encuesta y una flecha de "Comenzar aquí" (ver arriba). Cada uno de los sujetos de la encuesta obtendría un plato con cinco pares de chocolates de lado a lado. Hay 10 piezas de chocolate en cada plato y 25 placas en total (250 piezas en total).
Sheila Loring, clasificando laboriosamente los chocolates.
Cada par de lado a lado representa un conjunto de elección en el experimento, y cada sujeto tenía que elegir qué chocolate de cada par (conjunto de elección) prefería.
Configurar esas 25 piezas de chocolate no fue una tarea fácil. Muchas gracias a nuestra especialista en documentación Sheila Loring y al probador de JMP Bryan Shepherd por su asistencia. (Extrañamente, no aceptarían chocolate extra como agradecimiento).
Una vez que tuvimos los platos de papel cargados, llegó el momento de ejecutar las encuestas. Hicimos nuestras encuestas en dos grupos, por lo que no tuvimos que pelear con 25 participantes a la vez; Al comienzo de cada sesión, nos aseguramos de que los participantes supieran cómo probar su chocolate y marcar sus platos.
Si lo intentas en casa, te recomiendo que hagas las encuestas justo después del almuerzo. Es difícil hacer que tus sujetos de prueba escuchen la orientación cuando hay un delicioso chocolate justo frente a ellos.
Dos de nuestros sujetos de prueba, reflexionando sobre los misterios del chocolate.
Una vez que tuvimos la información recolectada, la ingresé JMP . Mi primer trabajo fue asegurarme de que habíamos recopilado los datos correctamente, y para eso usé la plataforma Categórica. El diseño de Ryan fue equilibrado, pero también recopilamos información de los encuestados (preferencia de chocolate y división JMP) como parte de nuestra información de la encuesta. También quería asegurarme de que mi entrada de datos era correcta.
Nota: Esto se ejecutó en los datos de respuesta de mi elección, que tienen 10 filas por participante, por lo que en realidad hay cinco personas que no prefieren el chocolate negro, no 50.
Figura 1
Encontré algunos errores de entrada de datos usando categóricos. En algún momento durante el proceso de entrada de datos, me cansé de escribir "Desarrollo" una y otra vez y empecé a escribir "Dev" en su lugar. También tuve que cambiar la forma en que medía la preferencia de chocolate porque en lugar de marcar "Leche" u "Oscuro", dos de mis encuestados se pusieron firmes y escribieron en "Ninguno". La Figura 1 muestra los datos después de usar Cols-> Utilidades-> Recode para limpiarlo.
Una vez que mis datos estuvieron limpios, llegó el momento de utilizar la plataforma Choice. Analizar-> Investigación del consumidor-> Elección me llevó al diálogo, donde pude especificar cómo se recopilaron los datos e ingresar los efectos.
Figura 2
En la Figura 2, puede ver que las columnas de Agrupación son: ID de participante, ID de encuesta e ID de conjunto de elección. Esto le indica a JMP qué ID de columna identifican de forma exclusiva un conjunto de opciones único para un participante determinado. Consulte la documentación de Choice para obtener más información sobre cómo especificar columnas de agrupación para una encuesta de una sola tabla.
figura 3
Una vez que identifiqué mis columnas de agrupación, llegó el momento de especificar los efectos. La figura 3 muestra los efectos que ingresé por primera vez en el modelo. Observe que las Preferencias Chocolate y la División JMP solo aparecen como efectos de interacción. Los modelos de elección siempre comparan la elección de un sujeto hecho con todas las elecciones que se mostraron en un conjunto de elecciones dado, lo que significa que no puede estimar un efecto principal (fijo) para algo que es específico del sujeto (como si una persona Prefiere el chocolate negro). Solo puede estimar cómo afecta a las preferencias de los sujetos por los factores de nivel de producto (como el porcentaje de cacao en un trozo de chocolate natural).
Figura 4
Para este análisis, me alegré mucho de que el diálogo del modelo de elección permanezca abierto incluso después de hacer clic en el botón "Ejecutar". Al usar el AIC (más bajo es mejor) y las pruebas de relación de probabilidad, pude reducir los efectos de mi modelo con bastante rapidez. La figura 4 muestra mi modelo final. Puede ver que el origen no es estadísticamente significativo en el nivel del 95%. Lo dejé ya que era nuestra variable de interés, y quería discutirlo en contexto con los otros efectos, pero estoy bastante seguro de que tenía mi respuesta en la Figura 4.
La Figura 5 ilustra los resultados usando el Probability Profiler:
Figura 5
En este caso, mi grupo de comparación es el chocolate belga con un 41% de cacao, y me aseguro de que los efectos del tema sean consistentes (de modo que los amantes del chocolate negro se comparan con otros amantes del chocolate negro).
Como habrás adivinado, los amantes del chocolate negro prefieren el chocolate oscuro (como se puede ver en el hecho de que la línea sube y luego vuelve a subir a medida que aumenta el contenido de cacao). También parecen tener una ligera preferencia por los chocolates belgas en los Estados Unidos. Cuando muevo la palanca para las preferencias de los productos de base y de comparación a "No Oscuro", permanece la ligera preferencia por el chocolate belga, pero se puede ver una fuerte caída en la "Probabilidad de compra" entre el 41% y el 60% de cacao. (Figura 6).
Figura 6
De hecho, el Probability Profiler muestra que si presentó a nuestros cinco sujetos de prueba que no expresaron una preferencia por el chocolate negro con dos piezas de chocolate que solo diferían en cacao (un 41% de cacao y el otro 60% de cacao), nuestro modelo predice solo un 1% de probabilidad de que escojan el chocolate negro. El porcentaje de cacao es el factor más importante para predecir cuál preferirá una persona.
Así que el ganador es ...
Si comparamos US vs. Belga, manteniendo constantes el contenido de cacao y las preferencias de chocolate, vemos que hay una diferencia mucho menor en las probabilidades predichas. Si tenemos dos trozos de chocolate con el mismo contenido de cacao, uno de los EE. UU. Y otro de Bélgica, y le pedimos a alguien que elija entre ellos, el modelo predice una probabilidad del 39% de que elija el chocolate de los EE. UU. Y un 61% de probabilidad. Que elegirían el chocolate belga. Se podría argumentar que hay una ligera preferencia por el chocolate belga.
Intenté algunas otras variaciones, incluido un análisis sin los cinco amantes del chocolate con leche. El origen fue estadísticamente significativo en algunos de los modelos en competencia, pero el efecto se mantuvo igual: 39% de probabilidad de EE. UU. Frente a 61% de Bélgica. los Los datos están disponibles en la comunidad de usuarios de JMP. Si quieres probar algunos análisis por tu cuenta.
Ahora, un estudio de solo 25 participantes es bastante pequeño, y si estuviera trabajando con un cliente, le advierto que no tome una gran decisión basada en mi análisis. Sin embargo, cuando se trata de decidir si voy a rellenar mi maleta con chocolate pesado, melty, que consume espacio en mi próximo viaje a Europa, creo que tengo mi respuesta.
- Lo más importante es asegurarse de traer chocolate con leche para mis amigos a quienes les gusta el chocolate con leche y chocolate negro para mis amigos a los que les gusta el chocolate negro.
- Controlando ese factor, el chocolate belga podría ser un poco mejor (aunque no puedo demostrar que sea significativamente Mejor), pero el efecto es pequeño.
Referencias
- MacFie, H. y Thomson, D. (Eds.) (1994) Medición de las preferencias alimentarias . Londres: Blackie.
- Næs T, Brockhoff PB, Tomic O. (2010) Estadística para la ciencia sensorial y del consumidor . Londres: John Wiley & Sons.
