624646_fr-FR

liliconcom

Analyse des données catégorielles : ajustement du khi-carré pour les échantillons de grande taille

Chère communauté JMP,

Nous utilisons JMP Pro 16.2.0. Nous menons une expérience avec des variables indépendantes catégorielles et des variables dépendantes catégorielles via Internet. L'idée est que si le nombre de participants est important et détermine la fréquence, le khi-deux sera toujours significatif. Vous pouvez le constater dans les données fictives du fichier JMP que j'ai inclus et dans l'analyse du journal inclus. J'ai multiplié la fréquence basse par 100 et vous constatez que les graphiques en mosaïque sont identiques, mais qu'ils ne sont pas significatifs à basse fréquence, tandis qu'ils le sont à haute fréquence. C'est le problème du test du khi-deux : il est facilement significatif avec des échantillons de grande taille (le test F est moins sensible).

Il existe des solutions à ce problème. Il est parfois possible de convertir les nombres en proportions et d'effectuer un test F, mais dans notre cas, ce n'est pas possible. Une autre solution est présentée dans cet article :

http://expsylab.psych.uoa.gr/fileadmin/expsylab.psych.uoa.gr/uploads/papers/Bergh_2015.pdf

Ma question est la suivante : JMP Pro propose-t-il une implémentation pour ce problème ou connaissez-vous un module complémentaire ? Avec la disponibilité des logiciels de collecte de données sur Internet (par exemple, Amazon Turk, Qualtrics), il est de plus en plus pertinent de gérer des échantillons de grande taille, notamment en analyse de données catégorielles. Il existe peut-être une option pour les études de consommation, mais je ne l'ai pas encore découverte.

J'espère que le problème est clair,

Merci pour vos idées,

Cordialement,

René

Exploration et visualisation des donnéesPersonnalisation de masseObjet : Analyse des données catégorielles : Chi-carré pour l'ajustement de la taille des échantillons de grande taille

Salut @RvEDelft ,

 

Bienvenue dans la Communauté !

 

En regardant brièvement votre problème, avez-vous essayé de vérifier l'autre analyse disponible sous le "Measures of Association Report" (accessible en cliquant sur le triangle rouge) ? Cela dépend de votre question, mais il existe de nombreuses autres options, et certaines prennent déjà en compte la taille du jeu de données : Mesures du rapport d'association (jmp.com)

Un exemple est fourni avec des variables nominales comme la vôtre ici : Exemple d'option Mesures d'association (jmp.com) où le Les mesures Lambda et Incertitude sont utilisées pour aider à prendre une décision (en général, pour savoir quelle variation de Y peut être expliquée par une variation de X).

 

Lorsque vous utilisez votre ensemble de données et les colonnes de fréquence aux niveaux bas et élevé, vous pouvez voir que les mesures Lambda et Incertitude ne sont pas modifiées en fonction de la taille de l'ensemble de données/de la fréquence des valeurs.

 

FREQLOW vs FREQHIGH :

 

Je ne connais pas votre sujet et votre objectif et je ne suis pas un expert concernant ces tests statistiques, mais la littérature sur ce sujet peut être trouvée sur Internet.

J'espère que cette première réponse pourra t'aider,

 

 

Objet : Analyse des données catégorielles : Chi-carré pour l'ajustement de la taille des échantillons de grande taille

Je ne vais pas répondre directement à votre question, car il y en a d'autres qui peuvent mieux répondre.Mais, en général, je pense que presque tous les grands ensembles de données finiront par montrer une signification statistique pour presque toutes les analyses que vous faites - le nul testé n'est pas associé et les choses sont, en réalité, presque toujours associées.Donc, je ne serais pas troublé par le fait que les tests du chi carré montrent toujours une signification dans les grands ensembles de données.Dans la mesure où votre question porte sur la génération de grands ensembles de données à partir de choses comme Amazon Turk, etc., Je pense qu'une question plus importante est que ces grands échantillons ne peuvent généralement pas être considérés comme des échantillons aléatoires des populations que vous souhaitez étudier.Autrement dit, la signification statistique repose sur un échantillonnage aléatoire et les échantillons que vous obtenez, bien que volumineux, ne sont probablement pas aléatoires.Cela me préoccuperait plus que le fait que tout finit par montrer une signification statistique.

Objet : Analyse des données catégorielles : Chi-carré pour l'ajustement de la taille des échantillons de grande taille

D'accord,

Ma question porte uniquement sur le chi carré. Je pense que vos remarques portent davantage sur la validité d'un test que sur sa fiabilité. Le premier est, je pense très important. Mais le plus souvent, les adaptations de signification gagnent. Vous ne trouverez jamais d'articles avec des résultats nuls. Ce qui est dommage. J'ai eu une fois un collègue doctorant qui avait un plan expérimental parfait mais qui n'a jamais trouvé d'effets significatifs.

 

Pour approfondir cela. Mes étudiants qui doivent faire des recherches sur les utilisateurs avec un petit échantillon ont des problèmes avec ça., Il y a une question simple que vous pouvez vous poser ; Une personne qui interagit avec un produit dans un certain contexte rencontre un problème. Serait-ce la seule personne au monde à avoir ce problème ? Probablement pas, je ne pense pas que quiconque dira le contraire, aucune statistique disponible pour cela...

s'il vous plaît restez avec ma question initiale...

 

Je me sens bien pour faire un autre lien sur l'aspect de la validité.

 

René

 

 

 

 

Objet : Analyse des données catégorielles : Chi-carré pour l'ajustement de la taille des échantillons de grande taille

Eh bien, j'ai dit que je n'allais pas répondre directement à votre question.En tout cas, je l'ai revu et ce n'est pas mon domaine d'expertise, mais j'ai une question dont j'aimerais être informé.Vous appelez cela un "problème" avec le test du chi carré.Je ne comprends pas pourquoi on parle de problème.Il me semble que le test fait exactement ce qu'il devrait - les mêmes différences dans la réponse de la variable A à la variable B sont considérées comme plus susceptibles d'avoir été obtenues via un échantillonnage aléatoire (à partir d'une hypothèse d'absence de relation) lorsque l'échantillon la taille est de 240 au lieu de 24000.Je ne comprends pas le contexte dans lequel il s'agit d'un "problème".Et, lorsque vous expliquez plus en détail que vos étudiants ont souvent de petits échantillons, je ne vois pas cela comme un problème qui peut être résolu par une manipulation statistique.Les petits échantillons sont très variables, donc trouver une signification statistique devrait être plus difficile, n'est-ce pas ?

 

Comme ce n'est pas mon domaine d'expertise, j'aimerais sincèrement mieux comprendre le contexte pour expliquer pourquoi cela est considéré comme un problème et quelle sorte de "solution" est recherchée.D'après ma compréhension très limitée, je serais très méfiant à l'égard de toute solution qui rendrait le cas des petits échantillons plus définitif, ainsi que plus méfiant à l'égard de toute solution qui exigerait une norme plus élevée de signification statistique avec des échantillons de plus grande taille.Sur ce dernier point, c'est l'une de mes principales critiques de NHST que l'hypothèse nulle testée n'est pratiquement jamais vraie, donc il faut généralement s'attendre à la rejeter.Ce sont les tailles des différences ou la force de la relation qui sont intéressantes, pas si vous pouvez ou non rejeter la valeur nulle.L'incapacité de rejeter le nul me dit simplement qu'il y a trop de variabilité par rapport à la taille de votre échantillon pour dire quoi que ce soit (et d'après mon expérience, cela est vrai pour la plupart des recherches de type enquête auprès des étudiants utilisant des données primaires).