varbanov.ar pasó algunas dudas sobre la opción de Respuesta Múltiple en la plataforma Categórica.
Las respondo aquí para llegar a una audiencia más amplia.
Solicitudes/Preguntas para expertos categóricos del JMP:Necesitamos más claridad sobre las diferentes opciones de respuesta múltiple y los resultados en JMP Categórico. ¿Alguien de los expertos categóricos de JMP puede darnos una breve demostración respondiendo algunas preguntas al respecto? ¿Existe algún informe técnico con alguna explicación más detallada de las diferentes pruebas estadísticas utilizadas por esta Plataforma? En particular, también tenemos las siguientes preguntas:1) ¿Cuál es la definición de respuestas múltiples?
En JMP Categorical, los datos de respuestas múltiples se derivan de elementos de encuestas (u otros procesos) en los que las categorías de respuestas no son mutuamente excluyentes. Una fuente común de datos de respuestas múltiples son los elementos de la encuesta de “marque todo lo que corresponda”. La respuesta múltiple no se refiere a datos de mediciones repetidas.
Hay varias formas de representar múltiples datos de respuesta en un archivo de datos. Los datos pueden ser largos, es decir, hay una fila para cada elemento de respuesta único y combinación de ID de encuestado (consulte Biblioteca de datos de muestra > Control de calidad > Failure3ID.jmp > columna “fallo” como ejemplo). Los datos pueden ser amplios, es decir, cada fila representa a un encuestado y hay varias columnas que indican las opciones de respuesta seleccionadas (consulte Biblioteca de datos de muestra > Preferencias del consumidor.jmp > columnas “Cepillarse después de despertarse” hasta “Cepillarse otra vez”). También puede haber una fila por encuestado y una columna que incluya una lista delimitada de las opciones de respuesta seleccionadas (consulte Biblioteca de datos de muestra > Preferencias del consumidor.jmp > columna “Delimitado por pincel”). Con este último enfoque, la propiedad de la columna "Respuesta múltiple" se puede asignar a la columna y se aplicarán las correcciones apropiadas para muestras superpuestas a las comparaciones estadísticas cuando la columna se utiliza como variable "superior" en una tabla estructurada. (Nota: es fácil moverse entre los dos últimos formatos usando las utilidades “Crear columnas de indicador” y “Combinar columnas” en el menú Cols.)
Más información sobre el uso de múltiples variables de respuesta en la plataforma Categórica está disponible en Ayuda > Libros > Investigación del consumidor, a partir de la página. 62
2) ¿Existe una comparación adecuada de la puntuación media entre dos grupos dentro de JMP Categórico en presencia de muestras superpuestas (por ejemplo, cada consumidor evaluó ambos productos)? En caso afirmativo, ¿cuál es la forma de obtenerlo (la pestaña Respuesta múltiple no parece proporcionarlo)? ¿También se puede realizar este análisis en la pestaña estructurada?
La plataforma Categórica no corrige las muestras superpuestas, como las describió, para las comparaciones de medias.
Lo que usted describe como muestras superpuestas es lo que consideramos medidas repetidas.
Hay una opción de "Medidas repetidas" en la pestaña "Relacionadas" en Categórico. De acuerdo con lo que uno esperaría de la plataforma Categorical, informa cosas como frecuencias, gráficos de acciones, medias y otras estadísticas resumidas. Sin embargo, no realiza pruebas de comparación.
Las medidas repetidas significan que hay comparaciones disponibles en otras áreas del JMP:
- La plataforma Matched Pairs comparará y probará dos medias (como calificaciones de productos) a la vez. Sin embargo, en presencia de datos faltantes, realiza una eliminación en forma de lista, eliminando el caso completo de todas las comparaciones.
- Dado que faltan datos (pero incluso si no los tuviera), podría considerar usar Ajustar modelo con un modelo mixto con el ID del producto como efecto fijo y el ID del encuestado como efecto aleatorio. Los datos de ejemplo que enviaron ya tienen el diseño correcto para este enfoque, pero no para los otros dos enfoques anteriores.
- Obviamente, la idoneidad real de cualquiera de estos métodos depende de muchos detalles, por lo que estas son sólo sugerencias generales; su kilometraje puede variar.
3) ¿Qué estadísticas utiliza JMP cuando invoca la variable categórica como respuesta múltiple?
Recordar que el tipo de respuesta múltiple es diferente de lo que ha descrito como "muestras superpuestas", esto es lo que se hace:
- Cuando una columna a la que se le ha asignado la propiedad “Respuesta múltiple” se utiliza como variable “superior” en una tabla estructurada, se aplica un ajuste de Rao-Scott de primer orden para tener en cuenta la superposición (p. ej., Lavassani et al., 2009, Desarrollos en el análisis de datos de encuestas de respuesta múltiple en análisis de datos categóricos, Journal of Applied Quantitative Methods). Las pruebas se manejan de manera diferente cuando la tabla se crea en la pestaña "Múltiples"; la corrección solo se aplica cuando la tabla se crea a través de la pestaña Estructurado.
- Cuando una variable con la propiedad de respuesta múltiple se asigna a las dimensiones "laterales" no hay corrección para las superposiciones.
- Las pruebas estadísticas son las siguientes:
- Compare cada celda: estas son pruebas exactas de Fischer. Estas pruebas no son diferentes de otras categorías de respuestas.
- Comparar Cada Muestra: Es una prueba de Pearson que utiliza la Corrección de Rao-Scott (cuando la columna de respuestas múltiples se asigna a la posición “superior”)
- Homogeneidad de respuesta de la prueba: Tiene dos opciones.
- Binomial: Trata cada fila como si fuera dos filas. Una fila para "marcó esa casilla". Una fila para "no marcó esa casilla". Esta opción se agregó en base a una solicitud anterior de P&G.
- Poisson: trata los recuentos como si se estuvieran modelando como la variable dependiente en una regresión de Poisson. Las columnas de la tabla se tratan como si fueran niveles para la variable independiente (X). El valor p es equivalente al valor p que se calcularía para una prueba de modelo general calculada de esta manera.
4) Dentro de la plataforma categórica, ¿es posible proporcionar valores p para la comparación de medias?
La capacidad de guardar informes de prueba t y valor p se agregó anteriormente en función de una solicitud de P&G. Es posible a través del menú del triángulo rojo.
5) ¿Las fórmulas generales que se “ajustan” para muestras superpuestas están implementadas como se usan en el software Desktop Reporter? ¿Existe una forma/estructura de datos/cuadrículas eficientes para "decirle" a JMP que hay muestras superpuestas?
Como se señaló anteriormente, usar Fit Model para ajustar un modelo mixto puede ser la forma más adecuada de manejar esto en JMP.
6) El problema de Jeremy: (JMP fue contactado anteriormente sobre esto por Mike Creed/Diane Farris)a. Al realizar el cálculo, parece que JMP no está ajustando los grados de libertad cuando utiliza la corrección de primer orden de Rao Scott.
Creemos que hubo cierta confusión entre "muestras superpuestas" y "respuestas múltiples", pero hay un defecto en JMP 12.1 donde la corrección de Rao-Scott no se aplicó correctamente. Este defecto se corrigió en JMP 12.2, que se lanzará en enero.
b. Cuando no existe superposición, pero una columna está definida como de respuesta múltiple, se utiliza la fórmula de superposición cuando no debería. Por lo tanto, se obtienen resultados diferentes cuando se define una columna como de respuesta múltiple y cuando no se define cuando no existe superposición.
La propiedad de respuesta múltiple es la forma en que JMP sabe aplicar la corrección de Rao-Scott. No debe aplicarse a columnas que no sean de varios tipos de respuesta.
Agregando a mi último mensaje:
Si un objetivo es hacer coincidir los resultados de JMP con lo implementado en Desktop Reporter, el conjunto de datos de prueba adjunto con los resultados podría usarse como referencia. Contiene datos CATA, así como múltiples evaluaciones de productos por consumidor. La variable CATA se llama Vitamina/Suplemento dietético Prod N Uso futuro . En las pestañas 2 y 3 de Excel, donde esta variable se coloca “encima” de la tabla, puede ver que se aplica la fórmula de superposición.
Gracias,
Alex
Preferimos utilizar la misma implementación en JMP que en Desktop Reporter, lo que supongo que significa el cálculo de la "base efectiva". Esto se debe principalmente a evitar preguntas sobre por qué los resultados diferirían de otra manera. No estamos tan familiarizados con la diferencia entre las dos opciones como para brindar mejores comentarios que este.
El cálculo en el enlace es el promedio ponderado de los errores estándar de las medias que se comparan. Eso tiene sentido y lo implementaré de esa manera.
¿Prefiere el cálculo de "base efectiva", que utiliza la relación entre la suma al cuadrado de las ponderaciones y la suma de las ponderaciones al cuadrado, o preferiría solo las ponderaciones en el denominador?
Usar los pesos como denominador tiene más sentido para mí.
Esto haría que los grados de libertad para la prueba t = w1 + w2 - w0 - 2, donde w0 es el recuento de la superposición. ¿Está de acuerdo?
Dado que ya no agrupamos las desviaciones estándar de las comparaciones de medias, parece que la fórmula para la varianza de la diferencia entre las medias de dos columnas Col 1 y Col 2 con superposiciones se reduce a lo siguiente:
(s1^2+s2^2)/2*[1+P]
donde s1^2 y s2^2 son las varianzas de las medias de Col 1 y Col2, respectivamente.
P es el 2*overlapCount/(n1+n2)
donde n1 y n2 son los tamaños de muestra para las columnas 1 y 2
Mi edición de Kish no menciona el caso en el que los tamaños de muestra no son iguales. ¿Espera un promedio ponderado entre s1^2 y s2^2?
No corregimos las superposiciones en la prueba de medios en la plataforma Categórica.
Si la misma persona compara dos productos, hay muchas formas de calcular una comparación adecuada fuera de la plataforma categórica.
Jeff,
Gracias por proporcionar respuestas a las preguntas anteriores. Es muy útil para nosotros comprender la capacidad y las limitaciones de la plataforma categórica JMP. A partir de la respuesta, entendemos que esta plataforma no debe usarse con datos en los que tengamos múltiples evaluaciones de productos o múltiples evaluaciones puntuales por consumidor.
La única pregunta de seguimiento que tengo es la siguiente:
Tenemos entendido que JMP NO ha implementado la fórmula de Kish para muestras superpuestas ( sección 12.4, p. 437 del libro Survey Sampling (1965) de Leslie Kish) en JMP Categorical Platform. Esa fórmula se ha utilizado en Desktop Reporter para analizar muestras superpuestas cuando se producen a partir de una prueba monádica secuencial, es decir, un estudio con dos productos por consumidor evaluados en orden secuencial. ¿Es eso correcto?
Gracias,
Alex
