765772_fr-FR

liliconcom

Signification statistique

Bonjour,

J'ai donc installé un modèle de régression. Et l'un des prédicteurs a une valeur P de 0,0538 pour l'ensemble du modèle. Dois-je supprimer complètement ce prédicteur et utiliser le modèle réduit pour les prédictions ou puis-je le conserver ?

Et quelle est la terminologie pour les valeurs P qui se situent autour de 0,05. J'ai vu dans certaines sources Web, 0,05 à 0,1 peut être qualifié de marginalement significatif. Ce terme a-t-il un sens pour expliquer les modèles statistiques ? Veuillez partager vos idées.

Merci d'avance

Jerry

Analyse et modélisation des données de baseConception d'expériencesObjet : Importance statistique

Voici ma suggestion quant à savoir s'il faut ou non conserver l'effet avec une valeur ap de 0,0538... essayez-le dans les deux sens. Répondez ensuite à la question « Quel modèle m'aide à résoudre ma question pratique ? » Et optez pour ce modèle. Il y a eu de nombreux articles et discussions sur la possibilité de laisser des termes dans un modèle ou de les supprimer. En fin de compte, c'est à vous de décider. Il n’existe pas de solution universelle à cette question particulière. Il n’y a rien de sacré ou de sacro-saint autour d’un seuil de signification de 0,05. C'est simplement une valeur que beaucoup de gens utilisent par cœur plutôt que pour toute autre raison. Vous pouvez tout aussi bien sélectionner 0,01, 0,1 ou toute autre valeur. En ce qui concerne la terminologie, je ne m'inquiète pas pour celle-là... tout ce que je dirais, c'est quelque chose comme : « L'effet x n'est pas significatif à ap - valeur de 0,05 ». et restons-en là. La signification n'est pas une falaise... et les valeurs p ont tendance à pousser la pensée des gens dans cette mentalité de falaise.

Objet : Importance statistique

Permettez-moi d'ajouter aux bons conseils de P_Bartell. Non seulement p = 0,05 n’a rien de sacré, mais je déconseille toute valeur seuil sans effectuer une sorte d’analyse décisionnelle. Si vous utilisez un seuil (et réalisez qu'aucun n'est peut-être nécessaire - généralement, je vous conseille de construire le modèle et de rapporter les résultats, quelles que soient les valeurs p) pour prendre des décisions binaires (comme conserver ou non la variable dans votre modèle) , réalisez que dans tous les cas, il existe une possibilité d'erreur. Vous devez réfléchir aux coûts relatifs des erreurs avant de décider quel seuil utiliser.

Au-delà de cela, les seuils sont généralement une mauvaise idée. Je ne conseille jamais de supprimer les variables "insignifiantes" des modèles de régression. Les variables étaient probablement là pour une raison. Vous pensiez qu'ils devraient compter. Si les données sont insuffisantes pour révéler leur influence, qu’il en soit ainsi. Supprimer la variable revient à décider que la variable n'a aucune influence, ce dont vous n'avez aucune preuve. De plus, toutes les autres variables de votre modèle verront alors leurs coefficients modifiés – êtes-vous prêt à dire qu’ils seront désormais plus précis qu’avant ?

Malgré l'utilisation répandue de p = 0,05, vous devriez vérifier la controverse de l'ASA sur les valeurs p et certaines de leurs récentes déclarations à ce sujet. Certaines revues psychiatriques sont allées jusqu’à bannir les valeurs p. De nombreuses revues rejetteront toujours les articles qui n'ont pas de valeurs p < 0,05. Au milieu d’une telle confusion, voici ma propre opinion. Je veux connaître la valeur p - je pense que c'est une indication de la force du signal concernant cette variable, dans les données dont je dispose (notez que même cette déclaration est sujette à des critiques considérables). Je préfère ne pas voir de choix binaires : j’essaie de ne jamais dire que la variable X influence ou non le résultat Y. C’est toujours une question d’incertitude et de force de preuve. La valeur p fait partie de cette preuve, et lorsqu’elle est élevée, elle vous dit quelque chose. Omettre une variable en raison de sa valeur p, c'est décider quelque chose qui n'est pas fondé sur des preuves (cela revient à dire que la variable X n'a ​​pas d'importance). Si vous avez peu d'observations par rapport au nombre de facteurs potentiels, vous pouvez utiliser Predictor Screening pour vous aider à choisir lesquels utiliser, mais vous ne pouvez rien faire qui puisse changer le fait que vos données pourraient ne pas être suffisantes pour les modèles. vous aimeriez construire.

Objet : Importance statistique

Merci d'avoir fait exactement écho à mes sentiments. Lorsque j'enseignais les tests d'hypothèses, j'introduisais le concept de valeurs p et de signification statistique avec un petit exercice avec ma classe. Je sortais une pièce de monnaie et disais aux étudiants : « Nous allons faire un petit test. » Je vais commencer le test en vous disant que je pense avoir une bonne pièce. Je vais lancer la pièce et vous dire les résultats du tirage au sort. Pile ou face. Je veux que vous écriviez devant vous le tirage au sort sur lequel vous êtes prêt à contester ma croyance en une pièce équitable. Ensuite, je commençais à lancer la pièce… à chaque fois en disant aux étudiants que c'était « face », même si ce n'était pas face. Mon objectif était de les amener à déterminer quand le « seuil de signification » est franchi pour eux et eux seuls. Habituellement, au huitième lancer environ, tout le monde a « rejeté » ma croyance. Ensuite, je commence par cette ligne de questions : « Dites-moi, lors du tirage au sort, vous avez finalement été convaincu que la pièce n'était effectivement pas juste, à main levée. Un lancer ? (Habituellement, personne ne lève la main) Deux lancers ? (Rarement) Trois lancers ? (Peut en avoir quelques-uns) Quatre lancers ? (Maintenant j'en ai plusieurs) Cinq lancers ? (Principalement tout le monde) Six lancers (Seulement quelques récalcitrants) Ensuite, nous avons une conversation sur la façon dont la notion de « signification » dépend vraiment des yeux du décideur… pas d'un nombre probabiliste magique. Je leur dis que j'espère que vous avez maintenant appris tout ce qu'il y a à savoir sur la signification statistique, ces choses que nous appellerons les valeurs p, et comment la prise de décision est réellement prise par les gens... c'est un degré de croyance... et que mes amis n'est pas une valeur statistique.

Objet : Importance statistique

Salut @Mathej01 ,

Vous pourriez être intéressé par les réponses fournies par d'autres membres de cette communauté sur ce sujet très étroitement lié à la suppression de termes d'un modèle suite à une expérience conçue.

Il n'y a pas suffisamment de contexte ou d'informations pour vous aider, mais voici quelques questions, remarques et considérations sur l'évaluation, la comparaison et la sélection des modèles :

• Quelle est votre source de données et comment les données ont-elles été collectées ? Expériences conçues, ensemble de données historiques, ... ?
  En fonction de votre réponse, vous pouvez avoir plus ou moins confiance dans les valeurs p trouvées. Pour l'ensemble de données historiques, j'exécuterais la plateforme de conception Evaluate (utilisée pour le DoE) pour évaluer la puissance disponible pour les différents termes du modèle supposé complet. Cela pourrait vous donner des indications sur la "fiabilité" des p-values ​​trouvées, mais aussi sur celles issues de termes non significatifs (en raison d'une très faible puissance disponible !).
  
  
• Quel est votre objectif avec ce modèle ? Explications causales, prédiction et optimisation, les deux (également liées à l'ensemble de données disponible et à la méthode de collecte) ?
  Lors de la comparaison de modèles, la signification statistique peut être une mesure intéressante, mais pas la seule (ajoutez toujours une expertise du domaine !). Les métriques complémentaires d'estimation et d'évaluation du modèle, comme le log de vraisemblance, les critères d'information (AICc, BIC) ou les métriques du modèle (pouvoir explicatif via R2 et R2 ajusté, pouvoir prédictif via MSE/RMSE/RASE, ...) offrent une perspective différente et peuvent mettre en évidence différents modèles.
  Vous pouvez ensuite sélectionner, en fonction de l'expertise du domaine et de l'évaluation statistique, lesquels sont les plus appropriés/pertinents pour votre sujet, et choisir d'estimer les prédictions individuelles avec les différents modèles (pour voir comment/où elles diffèrent), et/ ou d'utiliser un modèle combiné pour faire la moyenne des erreurs de prédiction.

De manière générale, évitez le « culte de la signification statistique » pour plusieurs raisons :

1. Il existe d'autres mesures disponibles et complémentaires pour vous aider à comparer et à choisir le(s) modèle(s) le(s) plus pertinent(s), et il existe de nombreuses situations dans lesquelles les valeurs p peuvent être faussées et ne doivent pas être aveuglément fiables (par exemple avec les plans de mélange et l'utilisation de modèle sans interception).
2. Supprimer un terme en raison d'un seuil spécifique peut être une pratique dangereuse. Dans votre exemple, le prédicteur avec une valeur p de 0,0538 devrait-il vraiment être écarté car il n'a pas atteint 0,05 ? Cela semble trop proche pour le rejeter, même s'il est supérieur à 0,05 (et je ne remets même pas ici en question la valeur seuil spécifique...). Et selon la puissance dont vous disposez pour cette analyse prédictive, cela pourrait expliquer pourquoi vous n'avez pas atteint le seuil de signification. Je préférerais conserver les termes non significatifs dans mon modèle plutôt que d'écarter un effet significatif possible (mais pas encore détecté).
3. " Tous les modèles sont faux, mais certains sont utiles " est une citation adéquate lorsqu'on traite plusieurs modèles possibles et qu'on essaie d'en évaluer et d'en sélectionner quelques-uns pour répondre à une question. Il peut y avoir plusieurs modèles tout aussi « statistiquement bons » dans votre cas, vous devez donc toujours utiliser l'expertise du domaine pour trier les modèles et faciliter la sélection. Vous pouvez également sélectionner plusieurs modèles et les moyenner/combiner.
4. Ne confondez pas signification statistique et signification pratique , et utilisez les deux pour choisir votre (vos) modèle(s) : puisque vous souhaitez que votre modèle soit utile, vous devez également examiner la signification pratique de ce prédicteur : dans quelle mesure influence-t-il la moyenne de réponse (taille de l'effet) ? Si ce prédicteur a une taille d’effet importante, il peut être plus judicieux de le conserver dans votre modèle.

J'espère que cette réponse complémentaire vous aidera,