Théorème central limite - une question naïveCette question ne concerne pas JMP lui-même, mais représente plutôt une question fondamentale d'interprétation. Je comprends qu'en raison du phénomène que nous appelons le CLT, l'échantillonnage d'une population s'efforcera toujours d'obtenir une distribution normale des moyennes résultantes, la moyenne globale et l'écart-type se rapprochant de la moyenne et de l'écart-type de la population, quelle que soit la façon dont les données de population sont distribuées. (asymétrique ou normal), mais à condition qu’un nombre suffisant d’échantillons répétés soient prélevés (≥30). De plus, à mesure que la taille de chaque échantillon augmente, la précision de la moyenne et de l’écart-type estimés augmente. Je comprends également qu'il n'est pas nécessaire d'effectuer un échantillonnage multiple car le CLT est adapté aux tests paramétriques. Ce que j'essaie de comprendre, c'est s'il existe un seuil de taille d'échantillon, au-dessus duquel la normalité peut être catégoriquement supposée sans test. Deuxièmement, et peut-être sans rapport avec l'appel de la revue The American Statistician à abandonner les seuils de signification (p<0,05) en faveur de la déclaration des valeurs p réelles et à s'abstenir d'utiliser le terme « statistiquement significatif », comment peut-on ensuite déterminer le résultat dans des domaines tels que la confirmation d'une distribution normale, par exemple grâce aux tests de Shapiro-Wilk ? Y a-t-il une ligne grise là aussi ?
Re: Théorème central limite - une question naïve@34Sud : Concernant mon article précédent où je mentionnais la « mononumérose », lorsque j'enseignais les méthodes statistiques aux scientifiques et aux ingénieurs dans le cadre de la résolution de problèmes industriels ou du développement de produits/procédés, j'ai entouré ma mention de la maladie de quelque chose que j'ai appelé « The Gap ». "The Gap" reconnaît qu'en hypothèse, il existe deux types de risques impliqués dans TOUT processus décisionnel. Je pense que la liste des ASA '...Not To...' est fortement alignée sur "The Gap". Les deux types de risques sont :
1. Risque statistique ; Quel est le risque que nous pouvons quantifier et gérer structurellement grâce à des techniques telles que la taille de l'échantillon, les hypothèses de variance de la population, le risque bêta, le delta à détecter, etc. Les tests d'hypothèse aboutissent à des valeurs p pour guider la prise de décision et à l'énoncé « ... signification statistique ». '
2. Risque de représentation ; Quels sont TOUS les autres effets cumulatifs des caractéristiques du système qui confèrent un « risque » associé à la prise de décision. Cette famille de risques, d'après mon expérience, SWAMPS souvent le risque statistique... et est souvent impossible à contrôler ou à quantifier à l'aide de méthodes statistiques. Le risque de représentation ne peut être résolu que par une expertise sectorielle rationnelle, réfléchie et bien informée. Par exemple, à l’époque où je travaillais dans l’industrie, nous effectuions souvent des expériences sur des équipements pilotes dans le but de déterminer les spécifications de conception des produits. Mais il y avait presque TOUJOURS un énorme problème... ce que nous apprenions sur l'équipement pilote était très souvent, mais n'était tout simplement pas adaptable à l'équipement de production. Nous avions donc une « lacune » dans la compréhension qui était impossible à combler avec des méthodes qui impliquent UNIQUEMENT un risque statistique.
Donc, mon point sur la « mononumérose » a toujours été : si tout ce que vous signalez est une valeur p isolée et n'intégrez pas le risque de représentation dans votre prise de décision... eh bien, vous avez selon toute vraisemblance largement sous-représenté le risque TOTAL de faire un erreur de prise de décision.
J'espère que ça aide?
Re: Théorème central limite - une question naïveDe rien ! Je suis également curieux de voir comment les choses vont changer en ce qui concerne les valeurs p et les statistiques inférentielles. J'ai également hâte de voir comment les choses changent dans notre application des statistiques en général avec les progrès continus de la vitesse de calcul qui peuvent rendre possible l'ajustement de modèles encore plus complexes à des quantités de données encore plus importantes. Nous vivons vraiment une période passionnante et je pense que nous allons assister à des progrès vraiment passionnants dans la manière dont nous pouvons extraire un sens des données.
Je suis d'accord à 100 % avec vous à propos de JMP ; Je ne peux pas imaginer devoir apprendre des données sans elles !
Re: Théorème central limite - une question naïveCher Julien. Merci beaucoup pour votre explication très détaillée. Cela m’a donné un aperçu bien plus approfondi du CLT que je ne l’avais espéré et est très apprécié. D’un autre côté, il sera intéressant de voir jusqu’où progressera l’appel au retrait du seuil de valeur p. Peut-être que la grande majorité des scientifiques comprendront encore une fois mal comment appliquer ce concept s'il était effectivement adopté, car, je pense que pour l'instant, les lignes directrices se concentrent non pas sur ce que nous devrions faire mais plutôt sur ce que nous ne devrions pas faire. Je n'ai pas de formation dans le domaine des statistiques - en effet, à mon époque, cela était à peine enseigné à l'université et j'ai largement acquis une compréhension grâce à ma propre expérience au fil des années, JMP ayant largement contribué à ce que je sois devenu la référence pour tout requêtes statistiques dans mon domaine de recherche. Personnellement, je ne peux pas imaginer étudier les données avec un autre logiciel. J'ai certainement apprécié l'humour des autres articles et je les garderai dans ma poche arrière pour les cocktails ;->Re: Théorème central limite - une question naïveSalut @34Sud ,
Je ne dirais pas du tout que c’est une « question naïve » ! Cela approfondit en fait les fondements théoriques et les hypothèses de nos tests paramétriques habituels. Permettez-moi d'analyser chacun de vos points pour faire quelques commentaires, puis, je l'espère, terminer par quelques suggestions pratiques :
- Ce qu'affirme la limite centrale : comme vous l'avez dit, le CLT affirme que la distribution d'échantillonnage d'une statistique (supposons la moyenne à l'avenir) se rapproche d'une distribution normale à mesure que la taille de l'échantillon (n) se rapproche de l'infini. Le CLT n'affirme pas (il n'a pas besoin d'affirmer) le impartialité de la moyenne (que la distribution d'échantillonnage est centrée sur le paramètre de population) et le cohérence asymptotique de la moyenne (à mesure que vous augmentez la taille de l'échantillon, la variance de la distribution d'échantillonnage diminue/l'erreur attendue entre l'estimation et le paramètre diminue). Ceci est vrai en ce qui concerne la moyenne en tant qu'estimateur, que le CLT soit vrai ou non ; le CLT concerne la forme de distribution, et ce qu’il affirme est assez magique sans ajouter d’impartialité et de cohérence.
- Pourquoi le CLT est important : dans les tests d'hypothèses paramétriques habituels, nous formons une statistique de test basée sur des données d'échantillon, puis générons une valeur p afin d'évaluer dans quelle mesure la statistique de test de notre échantillon se serait produite par hasard uniquement. Notre méthode pour savoir ce qui se passerait par « le hasard seul » est informée par le CLT car nous présumons que la distribution d'échantillonnage de notre statistique (la moyenne dans ce cas) est normalement distribuée. Nous savons que la distribution d'échantillonnage de la moyenne sera normalement distribuée dans deux cas : si la population est normale (donc une distribution d'échantillonnage formée à partir de n'importe quelle taille n sera normalement distribuée), ou si la population est non normale mais que la taille de notre échantillon est grande. assez (nous aborderons bientôt ce qui est assez grand). Ainsi, parce que nous faisons confiance à ce qu’affirme le CLT, nous pouvons, sans réellement connaître la forme de distribution de la population, déterminer les valeurs p en partant de l’hypothèse que la distribution d’échantillonnage est normale. Et puisque nous savons que notre statistique est impartiale, avec une moyenne de 0, et que nous savons comment calculer la variance (en partie grâce à la loi de la somme des variances), nous pouvons localiser notre échantillon dans la distribution d'échantillonnage de la statistique en supposant que l'hypothèse nulle est vraie, et trouvez la proportion d'échantillons avec des statistiques plus extrêmes que notre statistique (la valeur p habituelle). Si nous n'avions pas le CLT, ou n'y croyions pas, nous devrions soit connaître à l'avance la forme de distribution de la population (afin de pouvoir connaître la forme de la distribution d'échantillonnage) afin de connaître la p -valeur, ou nécessiterait d'utiliser des statistiques de simulation pour générer notre estimation de la distribution d'échantillonnage et créer une valeur p empirique.
- Qu'est-ce qu'un échantillon « suffisamment grand » pour que le CLT puisse faire sa magie : c'est une question difficile à répondre de manière abstraite car elle dépend entièrement du degré d'anormalité de la population. S'il y a un écart mineur par rapport à la normalité dans la population, ou un écart mais une bonne symétrie, le CLT tire assez rapidement la distribution d'échantillonnage vers la normale. La conséquence de ceci est que la valeur p que vous générez sur la base de l'hypothèse normale est relativement proche de la véritable valeur p que vous ne pouvez pas connaître. Nous nous en soucions parce que a) nous ne voulons pas déclencher de fausses alarmes plus que notre proportion alpha déclarée pour le moment, et b) nous ne voulons pas que notre puissance soit inférieure à ce que nous supposons. Dans certains cas, la population est façonnée de telle sorte que nos tests deviennent hyper-conservateurs (valeurs p obtenues > valeur p réelle), ou inversement (valeurs p obtenues < valeurs p réelles). Quoi qu’il en soit, nous ne voulons pas de cela. Alors, qu’est-ce qu’un échantillon suffisamment grand ? Je peux vous dire que ce n’est pas 35 – il n’y a rien de magique dans ce nombre, c’était juste un seuil pratique à inscrire dans les manuels universitaires. Si votre population est sévèrement kurtotique (à queue lourde) ou d'une classe de formes sur lesquelles le CLT ne fonctionne pas (distribution de Cauchy, vous connard), vous allez avoir besoin de très, très gros échantillons (n> 1000) avant d'obtenir votre population. Les valeurs p sont à une distance acceptable des vraies valeurs p.
- Test d'hypothèse pour savoir si vous avez des preuves que la population n'est pas normale : je pense qu'il y a un problème fondamental avec ces tests (non pas qu'ils soient inexacts, mais que leur profil de puissance est l'inverse de ce dont nous avons besoin). UN c'est ton s un la taille simple augmente, la norme un lité de la population m un moins un et moins pour vos déductions (« m un tters moins » dans le sens où un t'es pas ton type je un ème erreur de type II r un tes un re moins un affecté par la population un tion distribution le l un augmentez votre s un La taille simple est due au fait que vos valeurs p obtenues se rapprochent plus de la véritable valeur p inconnue). C prendre en compte le fait ème un tests pour non-norme un lité (Kolmogorov-Smirnov, Sh un piro-Wilk, etc. ) un concernant un aussi des tests d’hypothèses… un et rejeter le nul pour l'un est t un NT un monter pour détecter un dépôt un rture par rapport à la norme un lité dans la population un tion. La puissance de ces tests beh un ves dans le s un moi w un oui un s un ll tests d'hypothèses… l un plus rger s un mples, puissance supérieure… ce que moi un ns e un t avec un très je un rge s un mple (le genre où dep un rtures par rapport à la norme de la population un lité c un utiliser moins de problèmes ) un Le test KS ou SW sera h un J'ai une très haute puissance pour détecter même de minuscules dépôts un rtures par rapport à la norme un lité dans la population un tion. Alors… en vrai un absurdité, avec un très je un rge s un simple, nous pouvons un n détecter le moindre dépôt un rture par rapport à la norme un lité, un ème un ce ne serait pas le cas un utiliser un problème même avec un sm un ça va un simple, un et certificat un en fait, ce n'est pas c un nous utiliser un aucun problème avec E un télé un rgage de comme un simple.
- Déclaration des valeurs p exactes : l'article du statisticien américain fait valoir d'excellents points, et la déclaration des valeurs p exactes a de grands mérites, mais je crois que nous nous berce également dans un faux sentiment de sécurité selon lequel ils pensent vraiment ce qu'ils déclarent. Je ne parle pas des idées fausses sur les valeurs p (qui sont nombreuses), mais du fait qu'il s'agit d'un chiffre "exact", elles sont connues sans erreur, ce qui n'est pas le cas. Il s'agit d'une estimation de l'emplacement de notre échantillon dans une distribution d'échantillonnage de cette statistique que nous ne pouvons pas connaître avec certitude. Signaler un nombre avec 5 décimales encourage à croire en leur précision, je pense que c'est injustifié.
Alors, que doit faire un analyste ? Tests de simulation/permutation pour un. Nous n'avons pas besoin de faire confiance à nos hypothèses et aux valeurs p obtenues avec elles. Les tests de simulation et de permutation, où nous rééchantillonnons à partir de nos données et générons une distribution d'échantillonnage empirique, nous permettent d'assouplir certaines hypothèses comme la présomption d'une distribution d'échantillonnage normalement distribuée. Ils ne résolvent pas tous les problèmes (nous devons toujours adhérer aux hypothèses d'échangeabilité/indépendance/variance égale, etc.) mais c'est peut-être un pas en avant.
J'espère que certains de ces éléments ont été utiles ! De plus, je suis désolé de ne pas avoir répondu à votre question plus tôt, j'aime toujours avoir l'occasion de parler du théorème central limite, c'est vraiment magique.
@julien
Re: Théorème central limite - une question naïveQuelques drames sur les forums de discussion JMP, quel bel ajout à ma journée de travail mdr
Re: Théorème central limite - une question naïveMême si j’apprécie un peu l’esprit, j’ai pensé qu’il aurait été tempéré par au moins un certain degré de réflexion sérieuse. La question des seuils de signification est une question sérieuse et je pensais que les protagonistes de JMP/SAS auraient fourni un minimum de conseils. Je suggérerais de lire l'éditorial dans The American Statistician Vol 73;S1 (2019).
L’essence de cet article recommande :
- Ne pas baser ses conclusions uniquement sur la question de savoir si une association ou un effet s'est révélé « statistiquement significatif » (c'est-à-dire que la valeur p a dépassé un seuil arbitraire tel que p < 0,05).
- Ne pas croient qu'une association ou un effet existe simplement parce qu'il est « statistiquement significatif ».
- Ne pas pensent qu'une association ou un effet est absent simplement parce qu'il n'est pas « statistiquement significatif ».
- Ne pas croyez que votre valeur p donne la probabilité que le hasard seul ait produit l'association ou l'effet observé ou la probabilité que votre hypothèse de test soit vraie.
- Ne rien conclure sur l'importance scientifique ou pratique basée sur la signification statistique (ou son absence).
Le journal confirme en outre qu'une déclaration "être envoyé au rédacteur en chef de chaque revue des sciences naturelles, comportementales et sociales pour transmission à leurs comités de rédaction respectifs et à leurs écuries de réviseurs de manuscrits."
Je ne suis pas en désaccord avec ces recommandations mais, comme je l'ai souligné, cela va plus loin que l'interprétation des niveaux de signification dans les tests statistiques inférentiels finaux et dicte les méthodes utilisées pour arriver à cette réponse.
Re: Théorème central limite - une question naïvePour ajouter un peu à mon ancien collègue @Jeff _Réponse de Perkinson, vous voudrez peut-être ajouter quelques commentaires sur cette redoutable maladie « mononumérose ». Les analystes de données d’affliction succombent lorsqu’ils se concentrent sur une seule statistique (la valeur p étant un excellent exemple) pour prendre une décision ou guider une action.Re: Théorème central limite - une question naïveEh bien, merci, je vais intégrer cela dans ma présentation sur le sujet – cela fera certainement rire !Re: Théorème central limite - une question naïveCela ne s'applique peut-être pas, mais assurez-vous de ne pas souffrir de leptokurtosiphobie : la peur irrationnelle de la non-normalité.
Re: Théorème central limite - une question naïveJuste pour clarifier, je sais que l'on peut effectuer une analyse de la taille de l'échantillon basée sur la variance, la puissance, etc. pour éviter les erreurs de type I, mais existe-t-il une taille d'échantillon où les tests non paramétriques sont évités par défaut ?
