varbanov.ar nos pasó algunas preguntas respecto a la opción de Respuesta Múltiple en la plataforma Categórica.
Estoy respondiéndoles aquí para que lleguen a un público más amplio.
Requests/Questions for JMP Categorical Experts:We need more clarity on the different Multiple Response options and output in JMP Categorical. Can someone of the JMP Categorical Experts give us a short demo with answering some questions about it? Is there a technical report with some more explanation for the different statistical test used by this Platform. In particular, we have also the following questions:1) What is the definition of multiple responses?
En JMP Categorical, los datos de respuesta múltiple se derivan de elementos de encuesta (u otros procesos) en los que las categorías de respuesta no son mutuamente excluyentes. Una fuente común de datos de respuesta múltiple son los elementos de encuesta del tipo “marque todas las opciones que correspondan”. La respuesta múltiple no se refiere a datos de mediciones repetidas.
Existen varias formas de representar datos de respuestas múltiples en un archivo de datos. Los datos pueden ser largos, es decir, hay una fila para cada combinación única de elemento de respuesta e identificación de encuestado (consulte Sample Data Library > Quality Control > Failure3ID.jmp > columna “failure” como ejemplo). Los datos pueden ser anchos, es decir, cada fila representa a un encuestado y hay varias columnas que indican las opciones de respuesta seleccionadas (consulte Sample Data Library > Consumer Preferences.jmp > columnas “Brush After Waking Up” a “Brush Another Time”). También puede haber una fila por encuestado y una columna que incluya una lista delimitada de las opciones de respuesta seleccionadas (consulte Sample Data Library > Consumer Preferences.jmp > columna “Brush Delimited”). Con el último enfoque, la propiedad de columna “Multiple Response” se puede asignar a la columna y las correcciones adecuadas para muestras superpuestas se aplicarán a las comparaciones estadísticas cuando la columna se use como una variable “superior” en una tabla estructurada. (Nota: Es fácil moverse entre los dos últimos formatos utilizando las utilidades “Crear columnas de indicador” y “Combinar columnas” en el menú Columnas).
Hay más información disponible sobre el uso de variables de respuesta múltiples en la plataforma Categórica en Ayuda > Libros > Investigación del consumidor, a partir de la página 62.
2) Is there a proper mean score comparison between two groups within JMP Categorical in presence of overlapping samples (e.g., each consumer evaluated both products)? If yes, what is the way to get it (Multiple Response tab does not seem to provide it)? Also can this analysis be done in the structured tab?
La plataforma Categórica no corrige las muestras superpuestas, como las ha descrito, para las comparaciones de medias.
Lo que usted describe como muestras superpuestas es lo que consideramos medidas repetidas.
En la pestaña “Relacionados” de Categorical, hay una opción de “Medidas repetidas”. Tal como se esperaría de la plataforma Categorical, esta opción informa sobre cuestiones como frecuencias, gráficos de participación, medias y otras estadísticas resumidas. Sin embargo, no realiza pruebas de comparación.
Las medidas repetidas significan que hay comparaciones disponibles en otras áreas del JMP:
- La plataforma Matched Pairs comparará y probará dos medias (como calificaciones de productos) a la vez. Sin embargo, si faltan datos, realiza una eliminación por lista, eliminando el caso completo de todas las comparaciones.
- Dado que hay datos faltantes en sus datos (aunque no los haya), puede considerar usar Fit Model con un modelo mixto con el ID del producto como efecto fijo y el ID del encuestado como efecto aleatorio. Los datos de ejemplo que enviaron ya tienen el diseño correcto para este enfoque, pero no para los otros dos enfoques anteriores.
- Obviamente, la idoneidad real de cualquiera de estos métodos depende de muchos detalles, por lo que estas son solo sugerencias generales; los resultados pueden variar.
3) What statistics is JMP using when you invoke the categorical variable as multiple response?
Recordando que el tipo de Respuesta Múltiple es diferente de lo que has descrito como "muestras superpuestas", esto es lo que se hace:
- Cuando una columna a la que se le ha asignado la propiedad “Respuesta múltiple” se utiliza como variable “superior” en una tabla estructurada, se aplica un ajuste de Rao-Scott de primer orden para tener en cuenta la superposición (p. ej., Lavassani et al., 2009, Developments in Analysis of Multiple Response Survey Data in Categorical Data Analysis, Journal of Applied Quantitative Methods). Las pruebas se manejan de manera diferente cuando la tabla se crea en la pestaña “Múltiple”; la corrección solo se aplica cuando la tabla se crea a través de la pestaña Estructurada.
- Cuando se asigna una variable con la propiedad de respuesta múltiple a las dimensiones “laterales”, no hay corrección por superposiciones.
- Las pruebas estadísticas son las siguientes:
- Comparar cada celda: estas son pruebas exactas de Fischer. Estas pruebas no se diferencian de otras categorías de respuestas.
- Comparar cada muestra: es una prueba de Pearson que utiliza la corrección de Rao-Scott (cuando la columna de respuesta múltiple se asigna a la posición “superior”)
- Homogeneidad de respuesta de prueba: tiene dos opciones.
- Binomial: trata cada fila como si fueran dos filas. Una fila para “marcó esa casilla” y otra para “no marcó esa casilla”. Esta opción se agregó en función de una solicitud anterior de P&G.
- Poisson: trata los recuentos como si se estuvieran modelando como la variable dependiente en una regresión de Poisson. Las columnas de la tabla se tratan como si fueran niveles de la variable independiente (X). El valor p es equivalente al valor p que se calcularía para una prueba de modelo general calculada de esta manera.
4) Within the categorical platform, it is possible to provide p-values for the mean comparison?
La posibilidad de guardar informes de pruebas t y valores p se agregó previamente a partir de una solicitud de P&G. Es posible hacerlo a través del menú del triángulo rojo.
5) Is the general formulae that “adjust” for overlapping samples implemented as used in Desktop Reporter Software? Is there an efficient way/data structure/grids to “tell” JMP that there are overlapping samples?
Como se señaló anteriormente, usar Fit Model para ajustar un modelo mixto puede ser la forma más adecuada de manejar esto en JMP.
6) Jeremy’s issue: (JMP contacted on this before by Mike Creed/Diane Farris)a. When doing the calculation, it appears that JMP is not adjusting the degrees of freedom when using the Rao Scott first order correction.
Creemos que había cierta confusión entre "muestras superpuestas" y "respuestas múltiples", pero hay un defecto en JMP 12.1 en el que la corrección de Rao-Scott no se aplicó correctamente. Este defecto se ha corregido en JMP 12.2, que se lanzará en enero.
b. When no overlap exists, but a column is defined as multi-response, the overlap formula is used when it should not. So you get different results when defining a column as multi-response versus not when no overlap does exist.
La propiedad de respuesta múltiple es la que permite a JMP saber que debe aplicar la corrección de Rao-Scott. No se debe aplicar a columnas que no sean de tipo de respuesta múltiple.
Añadiendo a mi último mensaje:
Si el objetivo es hacer coincidir los resultados de JMP con lo que se implementa en Desktop Reporter, se puede utilizar como referencia el conjunto de datos de prueba adjunto con los resultados. Contiene datos de CATA, así como múltiples evaluaciones de productos por consumidor. La variable CATA se llama Vitamin/Dietary Supmnt Prod N Future Use . En las pestañas 2 y 3 de Excel, donde esta variable se coloca "encima" de la tabla, se puede ver que se aplica la fórmula de superposición.
Gracias,
Alex
Preferimos utilizar la misma implementación en JMP que en Desktop Reporter, lo que supongo que significa el cálculo de la "base efectiva". Esto se hace principalmente para evitar preguntas sobre por qué los resultados serían diferentes de otra manera. No estamos tan familiarizados con la diferencia entre las dos opciones como para proporcionar una mejor información que esta.
El cálculo del enlace es el promedio ponderado de los errores estándar de las medias que se comparan. Eso tiene sentido y lo implementaré de esa manera.
¿Prefieres el cálculo de "base efectiva", que utiliza la relación entre la suma al cuadrado de los pesos y la suma de los pesos al cuadrado, o preferirías solo los pesos en el denominador?
Para mí tiene más sentido utilizar los pesos como denominador.
Esto haría que los grados de libertad para la prueba t fueran = w1 + w2 - w0 - 2, donde w0 es el recuento de la superposición. ¿Estás de acuerdo?
Dado que ya no agrupamos las desviaciones estándar de las comparaciones de medias, parece que la fórmula para la varianza de la diferencia entre dos medias de columna, Col 1 y Col 2, con superposiciones se reduce a lo siguiente:
(s1^2+s2^2)/2*[1+P]
donde s1^2 y s2^2 son las varianzas de las medias de Col 1 y Col2, respectivamente.
P es el 2*overlapCount/(n1+n2)
donde n1 y n2 son los tamaños de muestra para las columnas 1 y 2
Mi edición de Kish no menciona el caso en el que los tamaños de muestra no son iguales. ¿Esperas un promedio ponderado entre s1^2 y s2^2?
No corregimos las superposiciones en la prueba de medios en la plataforma categórica.
Si la misma persona compara dos productos, hay muchas formas de calcular una comparación adecuada fuera de la plataforma categórica.
Jeff,
Gracias por brindar respuestas a las preguntas anteriores. Nos resulta muy útil comprender la capacidad y las limitaciones de la plataforma categórica JMP. A partir de la respuesta, entendemos que esta plataforma no debe usarse con datos en los que tengamos múltiples evaluaciones de productos o múltiples evaluaciones de puntos temporales por consumidor.
La única pregunta de seguimiento que tengo es la siguiente:
Entendemos que JMP NO ha implementado la fórmula de Kish para muestras superpuestas ( sec. 12.4, p. 437 del libro Survey Sampling (1965) de Leslie Kish) en la Plataforma Categórica JMP. Esa fórmula se ha utilizado en Desktop Reporter para analizar muestras superpuestas cuando se producen a partir de una prueba monádica secuencial, es decir, un estudio con dos productos por consumidor evaluados en orden secuencial. ¿Es correcto?
Gracias,
Alex
