Los proveedores de computadoras portátiles necesitan saber qué características se valoran en una computadora portátil y cuánto están dispuestos a pagar los clientes por ellas. Los fabricantes podrían aprender esto a través de una técnica de investigación de mercado conocida como experimento de elección . Esta publicación cubre los elementos de diseño experimental para experimentos de elección utilizando JMP 8.
Pero primero, tengo que dar crédito a lo que es debido. Tanto la I + D como los ejemplos que se utilizan aquí son obra de Bradley Jones y Chris Gotwalt , quien implementó las técnicas en JMP 8.
Así que diseñemos un experimento de elección para descubrir el valor de una serie de funciones para los clientes. En particular, nos centramos en lo siguiente:
| Factor |
Niveles |
|---|
| Velocidad |
Rápido lento |
| Tamaño de disco |
Grande pequeño |
| Duración de la batería |
Largo corto |
| Precio |
Barato caro |
En el experimento, un sujeto tiene que elegir entre dos configuraciones, seleccionando la configuración que le resulte más atractiva. Por ejemplo, una opción podría ser entre una computadora portátil cara pero con todas las funciones y una barata pero con funciones comprometidas.
| Elección |
Velocidad |
Tamaño de disco |
Duración de la batería |
Precio |
|---|
| un |
Rápido |
Grande |
Largo |
Costoso |
| segundo |
Lento |
Pequeña |
Corto |
Barato |
Suponga que usamos un diseño experimental ordinario para usar en un experimento de elección. Cada elección podría especificarse como un bloque en un diseño tradicional. ¿Sería esa una buena idea?
Considere la siguiente elección entre ayb:
| Elección |
Velocidad |
Tamaño de disco |
Duración de la batería |
Precio |
|---|
| un |
Rápido |
Pequeña |
Largo |
Costoso |
| segundo |
Rápido |
Pequeña |
Largo |
Costoso |
Se trata de carreras en las que los factores tienen los mismos valores. Aquí no hay elección real; no se puede obtener información porque la elección es arbitraria. Por lo tanto, tenemos nuestra primera regla de experimentos de elección:
Directriz: En los experimentos de elección, no hay réplicas dentro del bloque, es decir, las alternativas probadas tienen que ser diferentes para aprender algo.
Esto es bastante diferente de, digamos, un diseño de superficie de respuesta industrial, donde las réplicas son valiosas para estimar factores con mayor precisión, para obtener una estimación más precisa del error experimental y para obtener una estimación del error puro por falta de prueba de ajuste. Por tanto, los diseños de elección son diferentes de los diseños experimentales.
Ahora consideremos una situación en la que una opción supera a todas las demás. Esto podría suceder fácilmente si los niveles de los factores se distribuyen mucho más en un factor que en otro, en relación con la situación. Por ejemplo, suponga que el precio alto es tan alto que nadie podría elegirlo, a pesar de cualquier otro valor de factor. Ahora considere ejecutar el diseño clásico típico, en el que todos los factores varían dentro de los bloques. Suponga que a cada sujeto se le dan tres preguntas de elección, cada una con dos opciones.
| Conjunto |
Elección |
Velocidad |
Tamaño de disco |
Duración de la batería |
Precio |
|---|
| 1 |
un |
Lento |
Grande |
Largo |
Barato |
| 1 |
segundo |
Rápido |
Pequeña |
Corto |
Costoso |
| 2 |
un |
Lento |
Pequeña |
Largo |
Costoso |
| 2 |
segundo |
Rápido |
Grande |
Corto |
Barato |
| 3 |
un |
Rápido |
Pequeña |
Corto |
Costoso |
| 3 |
segundo |
Lento |
Grande |
Largo |
Barato |
Este diseño puede decirnos mucho sobre un factor dominante, como el precio. ¿Puede mostrar algo más? Si el precio domina la decisión, el usuario ni siquiera tiene que mirar los valores de otros factores para tomar una decisión. Los otros factores ni siquiera son medibles, aparte de ser más pequeños que el efecto del precio. Sacrificas aprender sobre otros factores. Para solucionar este problema, debemos mantener algunos factores iguales dentro de un conjunto de opciones para algunas de las pruebas.
Directriz: Debe tener conjuntos de opciones donde un factor sea constante en todo el conjunto de opciones, para cada factor.
Hay otra razón por la que no debe variar demasiados factores en un conjunto de opciones: los sujetos se confunden demasiado y se fatigan cuando hay dos diferencias para evaluar las compensaciones. Si las dos opciones son muy diferentes, la elección tenderá a parecer una elección entre dos cosas muy diferentes; decimos que es como comparar manzanas y naranjas: cada una es buena o mala a su manera, y en realidad no se comparan entre sí.
Directriz: Nunca varíe más de tres o cuatro factores como máximo en un conjunto de opciones.
Existe otro problema con los diseños ordinarios. Considere el siguiente conjunto de opciones para una computadora portátil:
| Elección |
Velocidad |
Tamaño de disco |
Duración de la batería |
Precio |
|---|
| un |
Rápido |
Grande |
Largo |
Barato |
| segundo |
Lento |
Pequeña |
Corto |
Costoso |
Esta elección será fácil para el sujeto. No hay que hacer concesiones. El experimento de la computadora portátil se creó para compensar porque todos los factores tienen un nivel naturalmente preferido. Siempre se prefiere más rápido a más lento. Siempre se prefiere un disco más grande al más pequeño. Siempre se prefiere una batería de mayor duración a una menor. Siempre se prefiere un precio más barato al más caro, en igualdad de condiciones. Este experimento tiene todos los factores polares. Por lo tanto, este conjunto de opciones no nos dice nada que no sepamos. Este conjunto de opciones es un insulto para el sujeto. Sin embargo, los diseños experimentales tradicionales producirán carreras como esta.
Directriz: Los factores polares siempre deben tener una mezcla de polaridad. Ningún conjunto de opciones debe tener todos los factores polares establecidos en la misma dirección dentro de las opciones.
Hay otros problemas con algunas encuestas:
- Algunas encuestas hacen demasiadas preguntas, apuntando a detalles de "perfil completo" que le permitan estimar un modelo diferente para cada persona. Pero la gente se cansa de las encuestas que son demasiado largas; se detienen temprano en cualquier encuesta que desafíe su paciencia, a menos que realmente les pague. Aproximadamente 15 preguntas es lo máximo que podemos esperar de las encuestas de voluntarios.
- Algunas encuestas no varían lo suficiente. En un extremo, suponga que solo un factor varía en cualquier conjunto de opciones. En ese caso, solo se pueden estimar los efectos principales; no se pueden estimar interacciones. No se pueden evaluar las compensaciones muy bien porque nunca se prueba la compensación relativa entre factores.
- Si equilibra la necesidad de estimar las compensaciones e interacciones con la necesidad de no hacer demasiadas preguntas, debe darse cuenta de que la encuesta debe proporcionar diferentes conjuntos de preguntas a diferentes personas para lograr ambos objetivos. Aunque esto hace que la aplicación de la encuesta sea más compleja, no es un problema real porque las encuestas son generadas por computadora.
Todas estas reglas suenan bastante obvias en retrospectiva, ¿verdad? La ironía es que estas consideraciones no se suelen seguir, especialmente las últimas. A menudo, los investigadores de mercado utilizan el mismo software de diseño de experimentos (DOE) para experimentos de elección que utilizan para experimentos industriales, pensando que DOE es un concepto abstracto y general que es el mismo en todas las situaciones. No es lo mismo. Los experimentos de elección son más difíciles de diseñar bien.
El único buen enfoque para las necesidades muy específicas de cada experimento de elección es utilizar las herramientas de diseño experimental óptimo, pero adaptadas a las necesidades específicas de los experimentos de elección y a las necesidades específicas de cada situación individual.
La técnica del diseño óptimo en general organiza los ajustes de los factores en las corridas para que se aprenda al máximo de un número determinado de corridas. En los modelos de aprendizaje, la disposición óptima no varía con respecto a los valores reales de los parámetros, por lo que la situación es sencilla.
Resulta que los modelos de elección, que se ajustan a un tipo especializado de regresión logística, no son lineales en los parámetros, por lo que el diseño óptimo depende del valor real de los parámetros, que se desconoce. Por lo tanto, se utiliza algún rango, o distribución previa, de los parámetros para representar el rango que debe considerar. La optimización del diseño para esto es bastante difícil, ya que implica la integración de densidades anteriores para crear el diseño óptimo. [Chaloner, K. y Verdinelli, I. (1995). Diseño experimental bayesiano: una revisión, Statistical Science 10: 273-304.] Pero JMP pudo tomar lo que había aprendido para DOE no lineal y aplicarlo a los diseños Choice [Gotwalt, C., Jones, B. y Steinberg, D. (2009) Cálculo rápido de diseños robustos a la incertidumbre de los parámetros para configuraciones no lineales aceptado en Technometrics. ]
Por lo tanto, un buen diseño experimental para un experimento de elección es diferente del de otros experimentos, y las técnicas de diseño óptimas pueden manejarlos mejor.
En mi próxima publicación, veremos cómo se diseñó y ejecutó realmente el experimento de la computadora portátil.
