Échec du test de normalitéChers tous,
J'essaie d'effectuer un test de normalité sur une série d'ensembles de données similaires à celui présenté dans la figure ci-jointe, puis de les comparer à l'aide de l'ANOVA. Cependant, lorsque j'effectue le test de normalité, j'obtiens toujours ce que je considère comme un « faux négatif ». Comme vous pouvez le voir sur la capture d'écran du journal, l'ensemble de données dans son ensemble ressemble à une distribution normale, même s'il n'y a qu'environ 7 à 8 compartiments remplis. Ma meilleure hypothèse est que, comme il y a « très » de compartiments vides entre ceux remplis, JMP interprète l'ensemble de données comme multimodal. J'aimerais qu'il effectue l'ajustement/test sur l'ensemble global, comme indiqué graphiquement.
Quelle que soit la manière dont JMP interprète la distribution des données, cela affecte également les conclusions tirées de l'ANOVA. Je serais très reconnaissant si quelqu'un pouvait donner un aperçu de la façon d'effectuer l'analyse statistique sur ces données (c'est-à-dire tester la normalité de chaque ensemble de données, puis les comparer à l'aide de l'ANOVA).
Merci,
Re : Échec du test de normalitéen utilisant @garibay90 les données, J'ai utilisé Fit Y by X au lieu de Graph Builder car la plateforme offre plus d'options pour colorer et modifier les courbes de niveau.J'ai également découvert cette option "Mesh Plot" qui ressemble à un histogramme bivarié.
Re : Échec du test de normalitéJe comprends. Merci!
Re : Échec du test de normalitéJe ne peux pas approuver, vérifier ou valider une méthode utilisée par quelqu'un d'autre.
Je pense que vous recevrez généralement des suggestions utiles ici, mais vous devez décider si les conseils sont appropriés dans votre cas.
Re : Échec du test de normalité@Mark_Bailey @Chris_Kirchberg Seriez-vous en mesure de vérifier que la méthodologie indiquée ci-dessus est logique et conforme aux pratiques statistiques standard ? Merci! PS Je fais référence à mon message au dessus de celui de Patrick.
Re : Échec du test de normalité@PatrickGiuliano Merci beaucoup d'avoir pris le temps d'examiner mes données avec autant de détails. J'ai vérifié et malheureusement je n'ai pas l'ajustement SHASH disponible - je travaille avec JMP 10. Cependant, je suis d'accord qu'à ce stade, une approche non paramétrique pour la comparaison des moyennes est probablement mon meilleur pari.
" Par exemple, si j'exécute un test de Wilcoxon qui examine la différence de score entre les groupes, puis-je être sûr que l'intervalle de confiance de la différence moyenne des scores est vraiment représentatif de la différence moyenne de la population ?Si je choisis un test comparant les médianes, ai-je des raisons de penser que l'estimation de la médiane de mon échantillon en « Y » et l'intervalle de confiance correspondant autour de l'estimation, sont représentatifs de l'endroit où pourrait se situer la véritable estimation dans la population ? " Bonne question, je suis nouveau dans les tests non paramétriques donc je n'en suis pas sûr mais si je comprends bien, ce qui compte c'est l'ordre des rangs les uns par rapport aux autres et pas tellement la valeur numérique réelle. Si quelqu'un pouvait clarifier cela, ce serait génial.
Les deux colonnes se comportent différemment car les données brutes sont un histogramme, où X (colonne 1) sont les compartiments et Y (colonne 2) sont les décomptes dans chaque compartiment. D'où le nombre de valeurs "0,0000" dans l'ensemble de données.
Merci beaucoup pour toutes vos contributions !
Re : Échec du test de normalité@garibay90 , je ne suis pas sûr des tests que vous exécutez, je n'ai pas lu grand-chose, voire rien, à leur sujet.
J'ai essayé d'ajuster vos colonnes de données "X" et "Y" à l'aide de la plate-forme de distribution de vie et le meilleur que JMP pouvait proposer strictement sur la base de Liklihood, AICc et BIC sont Lognormal et Zero Inflated Weibull, respectivement.L'ajustement du Nether est bon à mon avis : utilisez vos yeux pour voir dans quelle mesure les points suivent et le chemin cohérent non linéaire sur les tracés NQ transformés.Si les points ne sont pas assez proches de la ligne droite et/ou ne présentent pas une courbure, alors la transformation n'est pas très bien adaptée.
D'après ma compréhension, si vous souhaitez effectuer une comparaison à 2 groupes en utilisant un test d'hypothèse statistique paramétrique normal standard (tel que ANOVA = test t pour le cas à 2 échantillons, vous devrez alors appliquer la même transformation à la normalité pour les deux groupes. Et les données doivent être raisonnablement normales après avoir appliqué cette transformation aux deux.
La distribution SHASH de JMP peut convenir parfaitement à votre colonne "X", en fait la meilleure que j'ai pu trouver (vous pouvez utiliser Analyser la distribution > Ajuster tout et JMP générera un ajustement à celle-ci pour vous).Mais cela ne vous donnera pas un bon ajustement pour votre colonne « Y ».En fait, d'après mon expérience, il vous sera très difficile de trouver toute transformation qui correspondra valablement à ces données.Vous avez trop de valeurs « 0,0000 » dans votre ensemble de données.J'ai déjà traité de ce problème et en fin de compte, vous n'avez vraiment pas d'autre choix que d'exécuter une analyse non paramétrique.Avec des données comme "Y", je ne ferais pas confiance aux inférences que je fais à partir des tests non paramétriques à moins d'être raisonnablement sûr que les estimations que j'essaie de déduire sont raisonnablement représentatives de la population dont provient l'échantillon.Par exemple, si j'exécute un test de Wilcoxon qui examine la différence de score entre les groupes, puis-je être sûr que l'intervalle de confiance de la différence moyenne des scores est vraiment représentatif de la différence moyenne de la population ?Si je choisis un test comparant les médianes, ai-je des raisons de penser que l'estimation de la médiane de mon échantillon en « Y » et l'intervalle de confiance correspondant autour de l'estimation, sont représentatifs de l'endroit où pourrait se situer la véritable estimation dans la population ?
Je ne connais pas de correction de test non paramétrique pour des variances extrêmement inégales.Mais je peux me tromper.Pour les tests paramétriques normaux, il existe une correction standard pour les variances inégales, mais la correction est basée sur une estimation et ne constitue pas une solution exacte. Recherchez le « problème de Behrens Fisher » sur Google.
Si vous utilisez la distribution SHASH pour transformer vos données (ce qui, je ne pense pas, fonctionne particulièrement bien pour vos données « Y »), vous obtenez alors la preuve d'une variance égale entre les groupes.Vous obtenez la preuve qu'il existe une différence statistiquement significative entre les moyennes entre les groupes, où la moyenne de la colonne « Y » est inférieure de 0,62 unités à la moyenne de la colonne « X ».
En prenant simplement du recul et en regardant ces groupes, malgré le fait que vous disposiez de données « indisciplinées », il est assez clair pour moi que ces groupes se comportent numériquement différemment. Vous obtenez un tas de valeurs 0 pour « Y » mais pas pour votre groupe « X ».
Re : Échec du test de normalitéSalut tout le monde,
Après avoir fait quelques recherches sur le sujet, j'ai décidé de calculer les classements de chaque ensemble de données et d'effectuer l'ajustement Y par X en utilisant les classements (continus) comme valeurs Y et les étiquettes (nominales) de chaque ensemble de données comme X. Ensuite, j'ai procédé en effectuant un test de variances égales, puisque des variances égales sont nécessaires pour tous les tests non paramétriques. Après avoir établi que mes variances sont égales (les données originales non seulement ne sont pas normales, mais échouent également au test d'égalité des variances), j'ai effectué un test de Kruskal-Wallis et j'ai terminé avec les tests Steel et Dunn Post Hoc. À ce stade, je pense que l’approche statistique a du sens et que les conclusions des tests sont conformes aux observations réelles.
Quelqu'un peut-il nous dire si la méthodologie ci-dessus est la bonne approche du point de vue statistique ? Et comme dernière question, en termes de tests post hoc, qu'est-ce qui est considéré comme une pratique standard par les statisticiens : Steel ou Dunn ? Les deux donnent le même classement et arrivent à la même conclusion. Je pense que les deux sont corrects pour une erreur gonflée de type I lors de la comparaison des paires.
Merci beaucoup pour toutes vos contributions !
Re : Échec du test de normalitéMerci!
Pour la partie ANOVA, j'ai empilé les données et utilisé l'étiquette pour chaque ensemble de données comme X, Y étant chaque collection de nombres comme celle que j'ai jointe ci-dessus. J'examinais un peu plus les données et la méthode de Dunnett semble prometteuse, car la matrice de différence peut me dire à quel point les ensembles de données sont différents. Cependant, le R au carré indiqué sous « Résumé de l'ajustement » est encore très faible (0,002).
J'ai également essayé d'utiliser Fit Model avec une personnalité de modèle linéaire généralisé, une distribution de Poisson et une fonction de lien Log, mais Prob>ChiSq est toujours inférieur à 0,05. Fonctionne de la même manière si j'utilise une distribution normale.
Re : Échec du test de normalitéJ'essaierais également de représenter graphiquement les données. Placez la colonne affichée dans la distribution sur Y et tout ce que vous prévoyez pour le X dans l'ANOVA sur X dans le générateur de graphiques. Si vous remarquez le regroupement des données dans les deux dimensions, alors vous ne disposez pas de données continues et les tests de normalité n'ont pas de sens, pas plus que l'utilisation de l'ANOVA dans Fit Model. Il serait plus probable que vous utilisiez Ajuster le modèle avec une distribution différente (en utilisant des modèles linéaires généralisés) pour effectuer votre ANOVA.
Honnêtement, il semble que les données soient catégoriques et non continues. Un peu comme une réponse d’évaluation.
Re : Échec du test de normalitéMerci. Voici l'exemple de données brutes et les données générées à l'aide du script.
Re : Échec du test de normalitéSans regarder vos données, je vous suggère d'exécuter votre analyse sur le brut
les données en premier. L'augmentation de la taille de votre échantillon ne vous aide pas pour le
test de normalité. Sauf si la taille de votre échantillon est extrêmement petite, mais pas trop
petit, et vos bas à la date de votre stimulation sont valables pour
votre expérience, essayer de simuler des valeurs ne vous aidera pas à dessiner des valeurs valides
déductions de vos tests d’hypothèses.
Je serais heureux de consulter vos données ! Assurez-vous simplement de supprimer tout ce qui
pourrait être considéré comme exclusif. 
Re : Échec du test de normalité@PatrickGiuliano Merci! Maintenant, je comprends où vous voulez en venir. Dans ce cas oui, les données brutes générées sont regroupées. Fondamentalement, ma sortie est constituée de deux colonnes : le bac et les comptes. Je ne suis pas sûr qu'il existe un moyen de contourner celui-ci. Cependant, je suis allé de l'avant et j'ai écrit un script pour générer autant de valeurs de chaque bac que celles indiquées dans la colonne des comptes. Il s'agit de l'ensemble de nombres que je saisirai plus tard dans JMP pour effectuer le test de normalité. J'espérais que JMP générerait un ensemble différent de bacs afin que ma distribution apparaisse/soit interprétée comme plus continue. Je peux joindre un exemple d'ensemble de données si nécessaire. Merci pour toute la contribution!
Re : Échec du test de normalité@garibay90 je suis d'accord avec @P_Bartel , mais quand tu dis " Il s'agit en fait d'une collection de nombres et JMP effectue le regroupement. " Vous avez raison mais en même temps, vous n'avez pas tout à fait raison.Oui, l'histogramme effectue le regroupement automatique pour vous, et vous pouvez ajuster ce regroupement de manière dynamique en utilisant l'outil "grabber".MAIS les données sont les données, et les données montrent, avec une taille de compartiment "raisonnable" - et assez fortement corroborées par le tracé NQ - que les données sont regroupées, c'est-à-dire, dans mon langage, sont "partitionnées" en "groupes" distincts. ".Mon choix de mots n’est probablement pas un langage statistique correct, mais j’espère que nous sommes sur la même longueur d’onde.je crois quoi @P_Bartel ce que dit : vous devez répondre à la question « pourquoi vos données sont-elles structurées comme ceci ? »Répondre à cette question est probablement essentiel pour exécuter une ANOVA.La nature et le contexte de vos données doivent d'abord être compris, puis vous pouvez appliquer diverses techniques statistiques inférentielles pour tester diverses hypothèses (par exemple sur la moyenne, la variance, etc.).
Re : Échec du test de normalitéLes données ne sont pas regroupées. Il s'agit en fait d'une collection de nombres et JMP effectue le regroupement. Ci-joint une autre figure du journal qui montre clairement la répartition des bacs remplis.
Re : Échec du test de normalitéMerci! Oui, je suis d'accord avec ce que vous dites. Il ne s'agit que d'un seul ensemble de données. J'en ai plusieurs comme celui indiqué sur la figure.
Re : Échec du test de normalitéVos données sont divisées en compartiments, comme le montre le diagramme de probabilité normal. Avez-vous créé cet arrangement de regroupement ou les données vous sont-elles parvenues de cette manière ? Si vous avez créé le regroupement, avez-vous essayé d'utiliser les données brutes avant le regroupement ?
Re : Échec du test de normalité@garibay90 vos données peuvent également être limitées en résolution, comme en témoignent les « écarts » apparents entre les barres de votre graphique à barres, mais encore plus clairement dans le motif « bavardé » des points de votre diagramme de probabilité normal.ces données ne semblent pas particulièrement bien comportées pour l'ANOVA, à moins que cet ensemble de données ne soit composé de plusieurs groupes (échantillons) !Dans ce cas, vous devez d'abord exécuter l'évaluation de la normalité séparément par groupe.Et alors vous pouvez exécuter l'ANOVA.Mais même lorsque vous exécutez l'ANOVA, comme mentionné, votre analyse sera « statistiquement biaisée » par la taille extrêmement grande de votre échantillon.Les tests d'hypothèse en général (y compris l'ANOVA) ont un pouvoir beaucoup plus élevé pour rejeter l'hypothèse nulle à mesure que la taille de l'échantillon augmente.Pour l'ANOVA, vous testez l'hypothèse nulle selon laquelle le décalage de traitement pour la moyenne de chaque groupe (par rapport à la moyenne générale) est le même pour tous les groupes de traitement.Si vous rejetez la valeur nulle, alors tout ce que vous pouvez affirmer, c'est que au moins une différence dans le traitement, un décalage entre les groupes est observé.Remarque : une autre hypothèse centrale ici est que la variance entre les groupes est la même.Vous pouvez vérifier cette hypothèse en utilisant Ajuster Y par X> Variances inégales et en examinant les valeurs p associées aux tests d'hypothèse produits automatiquement par JMP.
Mais l’ANOVA est principalement un test comparant les moyennes entre groupes (en tenant compte de la variance globale entre les groupes, qui est supposée égale d’un groupe à l’autre).
Re : Échec du test de normalitéMerci pour votre réponse rapide. Même si je reconnais que la distribution est asymétrique, je ne m'attends pas à ce qu'elle échoue complètement au test de normalité étant donné que l'ensemble semble distribué normalement - mais oui, je n'ai pas de moyen quantitatif de le justifier pour le moment. Si je me souviens bien, j'ai également essayé moins de points dans chaque bac et j'ai quand même eu un test de normalité qui a échoué. Les autres ensembles de données se ressemblent également.
Fondamentalement, j'essaie de comparer ces ensembles et de déterminer lesquels sont différents par rapport à un scénario idéal. Je suis ouvert à d'autres alternatives. ANOVA est l'approche que je connais.
Re : Échec du test de normalitéVous disposez d'un large échantillon, ces tests sont donc extrêmement sensibles à un écart par rapport à la (parfaite) normalité.Cependant, les observations à chaque extrémité s'écartent de la linéarité du diagramme quantile normal, ce qui indique que la distribution est asymétrique vers la droite. Pourquoi pensez-vous qu’il n’y a pas de départ ?
Cet exemple fait-il partie des échantillons à analyser dans l’ANOVA ? A quoi ressemblent les autres échantillons ?
