819880_fr-FR

liliconcom

Réduction du modèle

Bonjour,

Selon le modèle d'apprentissage JMP pour l'analyse DOE, les termes non significatifs du modèle peuvent être supprimés, en commençant par les interactions d'ordre supérieur non significatives (= réduction du modèle).

Mais est-ce vraiment aussi simple ? Y a-t-il d'autres éléments à prendre en considération avant de supprimer les termes non significatifs ? La suppression d'un terme non significatif signifie-t-elle nécessairement que ce facteur n'a aucun effet ou qu'il a un effet mineur sur votre variable de sortie/réponse ?

De plus, la réduction du modèle s'applique-t-elle également aux modèles REML/mixtes ?

Merci pour toute précision sur ce sujet.

Sara

Planification d'expériencesRé: Réduction du modèle

Ce n'est pas si simple. La suppression ou non des termes du modèle est au même niveau que le débat en cours sur l'utilisation/l'abus/la mauvaise utilisation des valeurs p. En fait, pour moi, ce sont en quelque sorte les deux faces d'une même médaille.

Cela étant dit, je peux néanmoins dire sans me tromper que la suppression d'un terme de modèle ne signifie pas qu'un ou plusieurs facteurs impliqués dans l'estimation des paramètres ont « aucun effet/un effet mineur sur votre variable de sortie/réponse ? » Cela signifie simplement que sur cet espace d'inférence particulier, vous décidez de ne pas inclure le terme dans le modèle. Cette décision est à mille lieues de déclarer à Dieu et à tous ceux qui veulent l'entendre qu'il n'y a « aucun effet/un effet mineur ». Peut-être que les niveaux que vous avez choisis (si vous modélisez une expérience planifiée) étaient trop étroits pour qu'un signal dépasse le bruit. Peut-être que le ou les bruits dans l'espace d'inférence écrasent l'effet du ou des facteurs. Et ne me lancez pas sur l'interprétation de la « valeur p »... tous les termes sont « significatifs » à une certaine valeur p. Qui choisit cette valeur de signification ? Selon quels critères ?

Et à mon avis, la même chose peut être dite pour à peu près toutes les méthodes de modélisation (REML/mixte et autres) auxquelles je peux penser.

Ré: Réduction du modèle

Salut P_Bartell,

Je comprends la complexité de cette question. Cependant, mon raisonnement est qu'à un moment donné, vous souhaitez pouvoir faire des inférences basées sur les résultats de l'analyse d'impact que vous avez effectuée. Sinon, à quoi sert-elle de l'effectuer... Alors, d'un point de vue pratique, que faites-vous des termes non significatifs ?

Merci

Sara

Ré: Réduction du modèle

Pete a bien sûr raison et est sage dans ses conseils. En particulier sur la question de l'espace d'inférence. Lorsque vous avez mené votre expérience, dans quelle mesure le bruit était-il représentatif de l'étude ? Comment le bruit a-t-il été traité dans l'étude ? (par exemple, avez-vous restreint, bloqué, répété, répliqué, partitionné avec des parcelles divisées) ? L'estimation de l'erreur quadratique moyenne est-elle raisonnable et représente-t-elle la véritable erreur aléatoire ? Si ce n'est pas le cas, alors la signification statistique n'a pas de sens. N'oubliez pas que la signification statistique est une affirmation conditionnelle !

Lorsque vous effectuez une réduction de modèle, voici les éléments à prendre en compte :

1. Importance pratique. Cela n'a rien à voir avec la signification statistique, qui est une comparaison des effets avec l'erreur quadratique moyenne. Les facteurs/interactions ont-ils une importance pratique ? Une autre façon de le dire est que vous devez évaluer le modèle en termes de mérite scientifique ou technique. Existe-t-il des hypothèses rationnelles et logiques qui soutiennent l'identification des termes intéressants et non intéressants ?

2. R-carré-Delta ajusté au R-carré. Au fur et à mesure que vous supprimez les termes inintéressants du modèle, le delta devrait diminuer. Il en va de même pour la taille du R-carré ajusté.

3. Résidus. À quoi ressemblent-ils ? Y a-t-il des valeurs aberrantes, des tendances inhabituelles, etc. lorsque vous supprimez des termes ?

4. Valeurs p. Elles peuvent être utiles pour la première sélection, mais elles sont moins utiles (ou inutiles) au fur et à mesure que vous itérez. Qu'arrive-t-il aux carrés moyens non significatifs ? Ils sont ajoutés à l'erreur quadratique moyenne (EQM) AVEC les DF diminuant essentiellement l'EQM et augmentant les valeurs F de manière biaisée.

5. Utile. Le modèle doit être utile. La mission n'est pas de créer le modèle le plus complexe possible, mais de créer un modèle prédictif et utile.

Bien sûr, l’un des avantages de JMP est la possibilité de modifier rapidement le modèle et de le réévaluer.

Ré: Réduction du modèle

En réponse à votre question : « Sinon, quel est le but de l'exécuter... ». Par « cela », j'entends une expérience planifiée... Je répondrai à cette question à partir de mon cadre de référence quelque peu biaisé, issu de l'industrie plutôt que d'un environnement de recherche.

De loin, le but premier de nos expériences planifiées n'était pas de « ... faire des inférences... ». Mais de résoudre un problème pratique. Je ne dis pas que la recherche d'« inférences », que je définirai comme de nouvelles connaissances inédites, n'est pas une entreprise louable... ce n'est tout simplement pas ainsi que nous nous sommes retrouvés. Alors, quel est le but ultime de ces expériences planifiées ? Si c'est pour résoudre un problème pratique... alors j'essaierais les deux manières... en modélisant avec et sans les termes « insignifiants » et en considérant l'utilité du modèle dans le contexte de la résolution du problème pratique en question. S'il s'agit de nouvelles connaissances, alors j'envisagerais des expérimentations supplémentaires avant de faire des déclarations générales comme « aucun effet/effet minimal » pour élargir l'espace d'inférence sous différents bruits (fournisseurs, équipements, opérateurs, évolutivité, etc.) et variables nuisibles et autres problèmes, comme l'espacement des niveaux de facteurs, le bruit du système de mesure, ... et cela est rarement accompli avec une seule expérience. Là où je travaillais, nous appelions cela « comprendre le risque de représentation ».

Un exemple simple et purement illustratif, mais une situation que nous avons rencontrée plus souvent que nous ne l'aurions souhaité. Nous avons exécuté un DOE sur un équipement pilote et avons conclu que « la vitesse de revêtement » n'avait aucun effet sur la réponse d'intérêt. Mais nous avons ensuite étendu l'échelle à l'équipement de production... et tout d'un coup, la « vitesse de revêtement » a un effet. Comment est-ce possible ? Un nouveau processus... de nouveaux bruits. Il s'agit de savoir dans quelle mesure l'expérience est « représentative » des conditions futures. Deming a longuement écrit sur les problèmes associés aux études énumératives par rapport aux études analytiques.

Études énumératives et études analytiques

Ce n'est qu'en comprenant ce vaste paysage que l'on peut aborder en toute confiance des déclarations générales telles que « aucun effet/effet minimal ».

Ré: Réduction du modèle

Compte tenu de ces réponses, je dirais que le module d’apprentissage JMP DOE simplifie à outrance l’analyse d’un DOE.

Ré: Réduction du modèle

Pour être honnête, les modules d'apprentissage JMP sont destinés à présenter le produit et à « vendre le produit ». J'ai passé 6 mois à enseigner les bases de la conception expérimentale avec de multiples expériences pratiques et de nombreuses études de cas pratiques. À mon humble avis, il serait presque impossible d'enseigner cela en ligne (même si j'ai essayé pendant le Covid). Les modules d'apprentissage sont destinés à présenter les méthodologies et à exposer les individus, peut-être sans connaissances préalables, aux applications potentielles. À la fin de ces modules, si vous pouvez identifier des situations qui bénéficieraient des méthodologies, elles auront atteint leur objectif.

J'ai un point de vue légèrement différent de celui de Pete concernant l'utilisation de la conception expérimentale. À mon avis, il existe deux « motivations » qui motivent le travail d'investigation :

1. Explicatif - Un problème existe et vous essayez de comprendre le problème et ce qui peut en être la cause. Bien sûr, l'analyse des données peut être utile ici, mais je suis enclin à utiliser l'échantillonnage dirigé et les composantes des études de variation pour comprendre ces événements. Je peux certainement provoquer un problème avec l'analyse des données, mais ce n'est peut-être pas la raison pour laquelle le problème s'est produit en premier lieu.

2. Prédiction – Comprendre la causalité pour permettre à l’enquêteur de développer un modèle de prédiction utile. C’est là que DOE excelle et il n’existe vraiment aucune autre méthodologie aussi puissante que DOE.

Ré: Réduction du modèle

Merci pour l'explication.

Voir plus...

La suppression des termes non significatifs peut simplifier un modèle, mais il est important de prendre en compte le contexte, les hypothèses du modèle et la multicolinéarité potentielle. Un terme non significatif ne signifie pas nécessairement que le facteur n'a aucun effet ; il peut indiquer une puissance insuffisante ou une mesure incorrecte. La réduction du modèle s'applique également aux modèles REML/mixtes, mais la prudence est de mise. Pendant mes années d'université, j'ai souvent cherché de l'aide pour rédiger mes essais universitaires. Après avoir effectué quelques recherches, je suis tombé sur DoMyPaper, qui avait de nombreuses critiques positives. J'ai décidé de visiter domypaper.com pour obtenir de l'aide et cela s'est avéré être une excellente expérience. DoMyPaper dispose d'une équipe d'experts qui aident les étudiants à améliorer leurs compétences en rédaction. Aujourd'hui, je compte sur leurs services pour obtenir de l'aide pour mon travail de rédaction universitaire.

Ré: Réduction du modèle

Salut @SaraA ,

Les exemples présentés dans les modules JMP sont là pour apporter les bases de la conception et de l'analyse aux non-statisticiens qui souhaitent « démarrer ». Bien entendu, les jeux de données sont faciles à suivre et l'analyse est simplifiée, afin que tout le monde puisse les comprendre et les essayer.

Mais comme @statman l'a mentionné, le sujet de la modélisation est beaucoup plus vaste (et parfois compliqué) que de se fier « uniquement » aux valeurs p. En fonction de vos objectifs, vous pouvez avoir différents chemins vers l'évaluation et la sélection des modèles :

• Modèle explicatif :En mode explicatif, vous vous concentrez davantage sur les termes qui ont une certaine influence sur la ou les réponses. Vous pouvez donc évaluer la nécessité d'inclure les différents termes en fonction de la signification statistique (à l'aide de valeurs p et d'un seuil prédéfini comme 0,05) et de la signification pratique (taille des estimations, sélection basée sur l'expertise du domaine). R², R² ajusté (et la différence entre les deux, qui doit être minimisée) peuvent être de bonnes mesures pour comprendre dans quelle mesure la variation est expliquée par les termes identifiés et sélectionner le ou les modèles pertinents pour expliquer votre système étudié.
• Modèle prédictif :En mode prédictif, vous vous concentrez davantage sur les termes qui vous aident à minimiser les erreurs de prédiction. Vous pouvez donc évaluer la nécessité d'inclure les différents termes en fonction de la manière dont cela améliore les performances prédictives, via les visualisations du graphique réel par rapport au graphique prédictif et la taille des erreurs (graphique des résidus). Le RMSE peut être une bonne mesure pour évaluer quels modèles ont les meilleures performances prédictives (l'objectif est de minimiser le RMSE).

Vous pourriez également être intéressé par une combinaison des deux parties, afin que différentes mesures puissent être utilisées pour vous aider à évaluer et à sélectionner des modèles, comme critères d'information (AICc, BIC) qui permettent de trouver un compromis entre les performances prédictives du modèle et sa complexité. Pour évaluer et sélectionner un modèle en fonction de ces critères, plus le critère est bas, mieux c'est. Vous pouvez également utiliser le maximum de vraisemblance qui est similaire mais n'inclut pas de pénalité pour la complexité du modèle.

Je recommanderais d'être prudent avec les valeurs p et d'éviter le « culte de la signification statistique » : Résolu : Re : Signification statistique - Communauté d'utilisateurs JMP

Pour créer votre modèle, de nombreuses plateformes sont disponibles dans JMP (modèles Fit Model et Generalized Regression , Fit Two Level Screening , Fit Definitive Screening , ...), qui utilisent différentes techniques, estimations ou critères de validation, parfois en fonction de votre choix de conception. Vous pouvez les essayer et voir comment et quand vos modèles concordent et quand/où ils ne concordent pas. Essayez de tracer les résultats de vos différents résultats via des tracés raster ou des tracés plus simples comme celui-ci :

En fonction de la plateforme utilisée, vous pouvez vérifier dans quelle mesure les modèles concordent, et avec l'utilisation d'une métrique spécifique adaptée à votre objectif, vous pouvez plus facilement choisir un ou plusieurs modèles.

Pour revenir à votre question initiale, la signification statistique et la signification pratique doivent être prises en compte lors de la modélisation des réponses, et le modèle résultant doit être confronté à des experts du domaine ainsi qu'à une validation expérimentale.

J'espère que cette réponse complémentaire pourra être utile, même si elle est tardive,