624646_es-ES

liliconcom

Análisis de datos categóricos: ajuste de Chi-cuadrado para tamaños de muestra grandes

Estimada comunidad JMP,

Usamos JMP Pro 16.2.0. Estamos realizando un experimento con variables categóricas independientes y dependientes a través de internet. El punto es que si se cuenta con un gran número de participantes que determinan el recuento de frecuencias, la prueba de chi-cuadrado siempre alcanzará la significancia. Esto se puede observar en los datos ficticios del archivo JMP que incluí y en el análisis de la revista adjunta. Multipliqué la baja frecuencia por 100 y se observa que los gráficos de mosaico son exactamente iguales, pero en la condición de baja frecuencia no son significativos, mientras que en la condición de alta frecuencia sí lo son. Ese es el problema de la prueba de chi-cuadrado, que alcanza la significancia fácilmente con muestras grandes (la prueba F= es menos sensible).

Existen soluciones para esto; a veces se pueden convertir los conteos en proporciones y realizar una prueba F, pero en nuestro caso esto no es posible. Otra solución se encuentra en este artículo:

http://expsylab.psych.uoa.gr/fileadmin/expsylab.psych.uoa.gr/uploads/papers/Bergh_2015.pdf

Mi pregunta es: ¿JMP Pro tiene alguna implementación para este problema o conoces algún complemento? Creo que con la disponibilidad de programas de recopilación de datos en internet (p. ej., Amazon Turk, Qualtrics), abordar muestras de gran tamaño cobra cada vez mayor relevancia, especialmente en el análisis de datos categóricos. Quizás exista una opción en la investigación de consumidores, pero no la he encontrado.

Espero que el problema esté claro.

Gracias por tus comentarios,

Atentamente,

René

Exploración y visualización de datosPersonalización masivaRe: Análisis de datos categóricos: ajuste de chi-cuadrado para tamaños de muestra grandes

Hola @RvEDelft ,

 

¡Bienvenido a la Comunidad!

 

Solo observando brevemente su problema, ¿intentó verificar el otro análisis disponible en el "Informe de medidas de asociación" (accesible al hacer clic en el triángulo rojo)? Depende de cuál sea su pregunta, pero hay muchas otras opciones, y algunas ya tienen en cuenta el tamaño del conjunto de datos: Informe de Medidas de Asociación (jmp.com)

Se proporciona un ejemplo con variables nominales como la suya aquí: Ejemplo de la Opción Medidas de Asociación (jmp.com) donde el Las medidas Lambda e Incertidumbre se utilizan para ayudar a tomar una decisión (en general, para saber cuánta variación de Y puede explicarse por la variación de X).

 

Al usar su conjunto de datos y las columnas de frecuencia en niveles bajo y alto, puede ver que las medidas de Lambda e Incertidumbre no cambian según el tamaño del conjunto de datos/la frecuencia de los valores.

 

FRECUENCIA BAJA frente a FRECUENCIA ALTA:

 

No conozco su tema y objetivo y no soy un experto en estas pruebas estadísticas, pero se puede encontrar literatura sobre este tema en Internet.

Espero que esta primera respuesta te pueda ayudar,

 

 

Re: Análisis de datos categóricos: ajuste de chi-cuadrado para tamaños de muestra grandes

No voy a abordar directamente tu pregunta, ya que hay otros que pueden responder mejor.Pero, en general, creo que casi todos los grandes conjuntos de datos terminarán mostrando significación estadística para casi cualquier análisis que realice: el nulo que se prueba no tiene ninguna asociación y, en realidad, las cosas casi siempre están asociadas.Por lo tanto, no me preocuparía el hecho de que las pruebas de chi-cuadrado siempre muestren importancia en grandes conjuntos de datos.En la medida en que su pregunta se centre en la generación de grandes conjuntos de datos de cosas como Amazon Turk, etc., Creo que una pregunta más importante es que estos tamaños de muestra grandes generalmente no se pueden considerar como muestras aleatorias de las poblaciones que desea estudiar.Es decir, la importancia estadística se basa en el muestreo aleatorio, y las muestras que obtiene, aunque son grandes, probablemente no sean aleatorias.Eso me preocuparía más que el hecho de que todo termine mostrando significación estadística.

Re: Análisis de datos categóricos: ajuste de chi-cuadrado para tamaños de muestra grandes

De acuerdo,

Mi pregunta es solo sobre el chi cuadrado. Creo que sus comentarios se relacionan más con la validez de una prueba que con la fiabilidad. La primera es, me parece muy importante. Pero la mayoría de las veces ganan las adaptaciones de significado. Nunca encontrarás trabajos con resultados nulos. Lo cual es una lástima. Una vez tuve un compañero de doctorado que tenía un diseño experimental perfecto pero nunca encontró efectos significativos.

 

Para profundizar en esto más. Los estudiantes míos que tienen que hacer investigaciones de usuarios con una pequeña muestra tienen problemas con eso. Hay una pregunta simple que puedes hacerte; Una persona que interactúa con un producto en un determinado contexto se encuentra con un problema. ¿Sería esta la única persona en el mundo que tiene este problema? Probablemente no, no creo que nadie pueda argumentar lo contrario, no hay estadísticas disponibles para esto...

por favor quédate con mi pregunta inicial...

 

Me siento bien para hacer otro enlace sobre el aspecto de validez.

 

René

 

 

 

 

Re: Análisis de datos categóricos: ajuste de chi-cuadrado para tamaños de muestra grandes

Bueno, dije que no iba a abordar directamente tu pregunta.En cualquier caso, lo he vuelto a mirar y no es mi área de especialización, pero tengo una duda sobre la que agradecería informarme.Te refieres a esto como un "problema" con la prueba de chi-cuadrado.No entiendo por qué se refiere a un problema.Me parece que la prueba está haciendo exactamente lo que debería: se considera que es más probable que se hayan obtenido las mismas diferencias en la respuesta de la Variable A a la Variable B a través de un muestreo aleatorio (a partir de una suposición de ausencia de relación) cuando la muestra el tamaño es 240 en lugar de 24000.No entiendo el contexto bajo el cual esto es un "problema".Y, cuando explica con más detalle que sus estudiantes a menudo tienen muestras pequeñas, no veo esto como un problema que pueda solucionarse mediante la manipulación estadística.Las muestras pequeñas son muy variables, por lo que encontrar significación estadística debería ser más difícil, ¿no es así?

 

Dado que esta no es mi área de especialización, realmente me gustaría comprender mejor el contexto de por qué esto se considera un problema y qué tipo de "solución" se busca.Desde mi comprensión muy limitada, sospecharía mucho de cualquier solución que hiciera que el caso de la muestra pequeña fuera más definitivo, además de sospechar más de cualquier solución que exigiera un estándar más alto para la significación estadística con tamaños de muestra más grandes.En este último punto, una de mis principales críticas al NHST es que la hipótesis nula que se está probando prácticamente nunca es cierta, por lo que normalmente se debe esperar que se rechace.Lo que interesa son los tamaños de las diferencias o la fuerza de la relación, no si se puede o no rechazar la nulidad.La incapacidad de rechazar el nulo simplemente me dice que hay demasiada variabilidad en relación con el tamaño de la muestra para decir algo (y desde mi experiencia, esto es cierto para la mayoría de las investigaciones de tipo encuesta de estudiantes que utilizan datos primarios).