Es posible que haya oído hablar de la crisis de replicación en la investigación, particularmente en el campo de la psicología. Una de las pruebas de fuego para la investigación es que los resultados deben ser replicables, es decir, otro investigador que trabaje en las mismas condiciones y utilice los mismos métodos debería ser capaz de producir resultados similares. Cada vez más, los científicos están preocupados de que Muchas investigaciones publicadas no son replicables. , ya sea porque los datos no están disponibles o porque los hallazgos se basan en muestras pequeñas que no se generalizan a la población más grande. La naturaleza complicada de algunas investigaciones significa que los errores de codificación en el análisis de datos pueden causar resultados engañosos , y esos problemas pueden ser casi imposibles de encontrar. También hay mucha preocupación por pag -hacking - donde los investigadores probar docenas de hipótesis y solo informar aquellas que sean significativas .
Esto debería hacernos reflexionar a quienes nos dedicamos a la ciencia del marketing y a la investigación de mercados. Muchas de las críticas anteriores se aplican a nuestros métodos rutinarios. A menudo revisamos las encuestas de clientes en busca de patrones, ignorando aquellos que no parecen encajar. Nuestros informes a la gerencia destacan hallazgos importantes y omiten los detalles de cómo llegamos allí, incluidas las transformaciones de datos, los sujetos excluidos y la metodología de investigación. Los plazos cortos para la mayoría de los proyectos de investigación de mercado significan que los resultados deben obtenerse rápidamente, y trabajar rápidamente hace que sea más fácil cometer errores.
No importa que las cosas que más queremos medir sean conceptos. La felicidad del cliente, la probabilidad de recomendar, el atractivo del producto: todas estas son ideas valiosas para nuestro negocio. También son intrínsecamente ruidosos y notoriamente engañosos. A un cliente potencial le puede gustar el aspecto de un automóvil nuevo, pero eso no significa que lo comprará. Un cliente que está satisfecho con la oferta de un producto hoy podría enfurecerse cuando un competidor ofrezca un producto similar a un precio más bajo mañana. La probabilidad de recomendar puede tener sentido para servicios profesionales como abogados y plomeros, pero ¿significa algo para una cafetería local?
Nada de esto nos excusa de hacer nuestro trabajo con cuidado. De hecho, en mi opinión, las cuestiones particulares de la investigación de mercados hacen aún más importante que sigamos las reglas de la buena ciencia, algunas de las cuales mencioné en un publicación anterior .
La falla en nuestras herramientas (analíticas)
Tradicionalmente, las herramientas de análisis estadístico se basan en algún tipo de lenguaje de programación (R, SAS , SPSS), o en acciones de apuntar y hacer clic por parte del usuario ( JMP , Excel). Para reproducir los pasos de un análisis, debe depender del investigador para documentar y cotejar el código (no es una tarea fácil), o debe documentar de alguna manera los clics del mouse. En ambos casos, corresponde al investigador anotar todo, lo que lleva mucho tiempo y es propenso a errores. La necesidad de una mejor documentación del proceso de investigación ha inspirado a los científicos a construir Herramientas que ayudan a combinar datos, código y documentación. para que otros científicos puedan reproducir sus hallazgos.
Lenguaje de scripting JMP como documentación para análisis
Uno de mis favoritos JMP Las características son la opción "Guardar script en la tabla de datos" que se encuentra debajo del menú del triángulo rojo de cualquier plataforma. JMP fue desarrollado originalmente para científicos e ingenieros. Desde el principio, se hizo obvio que, aunque el producto estaba destinado a apuntar y hacer clic, nuestros usuarios previstos necesitaban recrear esos clics del mouse con solo presionar un botón, y así nació JMP Scripting Language.
Guardar el script en la tabla de datos significa que cualquiera que tenga los datos puede recrear el análisis. También pueden explorar más, cambiar la configuración, excluir o eliminar filas o probar diferentes transformaciones. Luego, su trabajo también se puede guardar en la tabla de datos y volver a compartir con otros colegas. Sí, puedes hacer esto con otras plataformas de software, pero las herramientas de JMP son algunas de las más fáciles e intuitivas que he visto.
Ocultar y excluir filas, columnas de fórmula: cambios de datos autodocumentados
No todo el mundo responde cuidadosamente a sus preguntas; incluso las mediciones mecánicas a veces son inexactas o engañosas. Existen razones válidas para excluir filas del análisis, pero también hay muchas razones para asegurarse de que todas esas filas excluidas estén documentadas y disponibles cuando desee volver a verificar su trabajo.
En JMP, puede excluir filas de su análisis para que no afecten las estadísticas calculadas pero sigan apareciendo en los gráficos. Puede Ocultar y excluir si no quieres verlos en absoluto.La tabla de datos muestra cuántas filas hay. oculto y excluido , para que siempre puedas estar consciente de que no estás utilizando todos los datos. También está el Filtro de datos , que le permite ver subgrupos de forma interactiva.
La transformación de datos es un método común para el análisis de regresión. Usando la tabla de datos JMP Editor de fórmulas , puedes crear nuevas columnas transformadas y tener siempre un registro de exactamente cómo lo hiciste.
Evaluación de respuesta: Verifique relaciones sin accidentes pag -Hackear
Es muy fácil probar hipótesis una a la vez sin darte cuenta de cuántas estás probando o sin realizar un seguimiento de tu error “verdadero”. También lleva mucho tiempo. ¿No sería fantástico probar todas las relaciones de sus datos sin tener que realizar análisis individuales? y ¿Estás seguro de que no estás viendo solo ruido en los datos? Puedes - con el Plataforma de evaluación de respuestas .
La plataforma Response Screening le permite especificar todas las relaciones por pares que desea probar. Para cada par, detecta el tipo de datos que tiene (Norminal, Ordinal y Continuo) y realiza el tipo correcto de prueba para ese par. El informe resultante tiene en cuenta cuantas pruebas usted solicitó y le brinda una visión realista de qué relaciones son estadísticamente significativas.
Esta no es una técnica perfecta porque sólo prueba relaciones por pares. Cada punto del informe representa una prueba que se realiza sin considerar las relaciones con las otras columnas. Sin embargo, es rápido y fácil de usar, y es mucho mejor que simplemente abrirse camino a través de todas las comparaciones posibles y tratar de realizar un seguimiento de cuántas ha verificado.
A veces la respuesta es incierta y es necesario volver a intentarlo
Una de mis historias favoritas sobre investigación de mercado es un ejemplo que mostraré en nuestra El evento de JMP Explorer en Londres dentro de dos semanas . Es un experimento MaxDiff que diseñé para ver qué eventos de un grupo local de ciencia de datos eran los más populares. Los resultados fueron... anodinos. Sin embargo, ese resultado poco interesante nos llevó a mí y a mi equipo a pensar de manera diferente sobre cómo planificamos eventos y nos acercamos a nuestros clientes.
Si su equipo de investigación de mercado se siente presionado a mostrar los resultados de cada análisis, encontrarán resultados para mostrar . Ese es otro aspecto de la crisis de reproducibilidad del que no hablamos mucho. Los resultados negativos pueden ofrecer tanta información como los resultados positivos si damos permiso a nuestros equipos de investigación para informarlos, pero si se sienten presionados a informar algo nuevo de cada proyecto que ejecutan, nunca encontrará esas joyas de información ocultas.
El informe no es el producto final
Como dije en un publicación de blog anterior , los informes estáticos sin datos y sin los pasos para reproducir el análisis son una oportunidad perdida. Los análisis anteriores pueden ser un tesoro para su equipo de investigación de mercado, si proporciona una infraestructura que haga que la reproducción de esos resultados sea fácil e intuitiva. JMP es un sistema de software que tiene soporte integrado para mantener sus informes, códigos y datos en un solo lugar. Pruébalo gratis !
Sí, hay una crisis. Logworth es una especie de "indicador de sorpresa", los factores Bayes y otras herramientas técnicas son relevantes, pero la capacidad de rastrear el trabajo y documentar el diseño del estudio es ciertamente clave.
Otro aspecto es cómo presentar realmente los resultados. para una implementación de la dimensión de generalización de InfoQ para presentar afirmaciones de reproducibilidad, consulte https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3035070
¡Esa publicación de blog es encantadora, Chelsea! ¡Lo compartí con nuestro grupo local de usuarios de matemáticas, #rtpanalysts!
Qué gran artículo, pero también una buena manera de prevenir análisis deshonestos y "p-hacking". A menudo no hacemos un seguimiento de nuestro "verdadero error"
Me encanta enviar a mis colegas una tabla JMP con todos los scripts de análisis que ejecuté guardados en la tabla.
Escribí una publicación muy tonta sobre p-hacking a principios de este año, tal vez la disfrutes 
https://medium.com/@chelseaparlett/everyone-p-hacks-a-lighthearted-guide-for-new-academics-55f68c9f78cb
