Modification de l'écart type avec les poids dans la plate-forme "Distribution"Ce sujet général a déjà été abordé ici mais je ne suis pas satisfait. L'expert JMP a publié une formule qui explique peut-être ce qui se passe. Mais j'ai une question conceptuelle. Je pense que la pondération est utile pour ajuster les estimations si l’on souhaite pondérer, par exemple, certains sous-échantillons plus que d’autres. Comme si l’on avait 100 hommes et 1 000 femmes et que l’on voulait estimer la moyenne et l’écart-type d’un échantillon composé d’un nombre égal d’hommes et de femmes, on pourrait pondérer les observations de 1 100/100 et 1 100/1 000, respectivement.
Voici le problème : si je commence avec une distribution d'observations dans JMP et que je change le poids de "1", la moyenne reste la même (comme elle devrait l'être – peu importe si je pondère toutes les observations par 1, 2, 3, ou 6 000), cela ne devrait pas changer la moyenne de distribution, mais l'écart type change. Pourquoi est-ce que cela a du sens ? Experts JMP, veuillez ne pas simplement fournir la formule montrant, si c'est le cas, que cela se produit. Pourquoi cela aurait-il du sens sur le plan conceptuel ? Il me semble que ni la moyenne ni l'écart-type ne devraient changer si vous pondérez par 2 (ce qui ne fait que doubler la taille de votre échantillon) ou 3 (ce qui la triple). Bien sûr, cela augmente les sommes des carrés, mais SD est fonction de la somme MOYENNE des carrés.
Merci.
Mike Bailey
ps Je joins un fichier "Weightsdata" que vous pouvez utiliser pour vérifier si vous le souhaitez. La variable « Poids » a une valeur de 1, donc la pondération avec elle ne devrait pas changer les choses ; « Poids 2 » a une valeur de 2 et « Poids 3 » a une valeur de 3.
Modélisation statistique avancéeAnalyse et modélisation des données de baseÉtudes de consommation et de marchéAccès aux donnéesExploration et visualisation des donnéesConception d'expériencesPersonnalisation de masseIngénierie Qualité et ProcédésRe : Modification de l'écart type avec les poids dans la plateforme « Distribution »Salut @PMort3 : Je suis désolé, mais je ne vois pas en quoi votre dernière puce est pertinente ; qu'est-ce que « statistiquement improbable » a à voir avec la définition de l'écart-type pondéré ?c'est-à-dire que vous dites que la valeur p est d'environ 0,95. Et à quelle hypothèse statistique correspond cette valeur p ?c'est-à-dire, quelle est votre hypothèse nulle et alternative ?
Et... je ne sais pas quelle est la définition "correcte" du SD pondéré (il me semble que cela dépend de ce que vous essayez d'estimer). Et cela me rappelle une citation du lien stackexchange ci-dessus qui mérite peut-être d'être répétée pour notre considération : "À la lumière de la référence ajoutée (qui ne fait pas autorité, mais c'est une référence), je supprime le vote négatif. Cependant, je ne vote pas pour cette réponse, car les calculs montrent que la pondération proposée ne produit pas du tout une estimation impartiale de quoi que ce soit (sauf lorsque tous les poids sont égaux à 1). La vraie difficulté ici - qui est la faute de la question, pas de la réponse - est qu'il n'est pas clair ce que cet "écart type pondéré" tente d'estimer (c'est moi qui souligne) . Sans estimation précise, il n'y a aucune justification pour introduire un facteur (M−1)/M pour « réduire les biais » (ou pour toute autre raison).
Re : Modification de l'écart type avec les poids dans la plateforme « Distribution »J'aimerais faire suite à la question de Mike.Mike, je partage votre frustration face au calcul de JMP.
La formule décrite dans la documentation JMP n'est pas cohérente avec la norme NIST qui est sous-référencée dans le lien stackexchange, voir itl.nist.gov/div898/software/dataplot/refman2/ch2/weightsd.pdf .La définition du NIST normalise les valeurs de poids, donnant un écart type cohérent.
Une solution pour rendre JMP conforme à la norme NIST consiste à créer et à utiliser une colonne de valeurs de poids dont la somme est :
- (n-1), où n est le nombre dans l'échantillon ; ou
- n, où n est le nombre d'une population.
À titre d'exemple du problème, exécutez une distribution pondérée en utilisant les données "Y" de Mark, qui sont ~ normalement distribuées.
- En utilisant un poids de 1 pour chaque donnée (c'est-à-dire la solution de contournement JMP), nous obtenons un écart-type d'environ 0,98, ce qui est logique -- c'est-à-dire qu'ajouter 0,98 à la moyenne de ~0,02 donne une valeur de 1,0, ce qui correspond à à environ le 84e percentile de la distribution quantile (c'est-à-dire environ + 1 sigma).
- Si vous utilisez une autre valeur de poids, JMP donnera une valeur trompeuse pour le stdev pondéré.Par exemple, JMP donne un écart-type pondéré de 1,38 pour les données de Mark avec un poids de 2 pour chaque donnée, bien au-dessus du 90e percentile.Cela n'a aucun sens.Pour vous en convaincre, exécutez simplement l'option "test std dev" dans le menu de distribution - elle vous dira que 1,38 est statistiquement improbable (valeur p ~ 0,95).
-Paul
Re : Modification de l'écart type avec les poids dans la plateforme « Distribution »Au risque d'être accusé de « simplement fournir la formule », je vous renvoie à deux références pour votre considération.En fin de compte, cela dépend de ce que l’on entend par « poids ». Et toute compréhension conceptuelle ne peut, pour moi en tout cas, être évaluée indépendamment de la définition (et par conséquent de la formule). Le premier lien est la formule utilisée par JMP (coupable comme accusé). Le deuxième lien est une discussion plus nuancée qui, je l'espère, éclairera. Dans le premier cas, il est facile de comprendre pourquoi le SD augmente (de sqrt(weight)) à mesure que le poids augmente (comme vous le décrivez).
Détails statistiques pour les statistiques récapitulatives (jmp.com).
https://stats.stackexchange.com/questions/6534/how-do-i-calculate-a-weighted-standard-deviation-in-excel
.
