Lequel pour définir la taille de l'effet : Logworth ou Scaled Estimates ?Salut la communauté,
J'ai une question concernant quel critère est le plus approprié pour déterminer l'importance de l'impact d'un facteur : est-ce le « logworth » (visualisation plus claire des valeurs p) ou est-ce les « estimations mises à l'échelle » ?
En travaillant avec l'un des exemples de données (Donev Mixture Data), j'ai obtenu ces résultats pour Logworth et pour des estimations mises à l'échelle (images ci-dessous) :
Logworth :
Estimations échelonnées :
Vous pouvez voir que sur la première image, celui avec le Logworth le plus élevé est le « Glyoxal » et je pense que c'est l'effet le plus percutant. Cependant, si l'on regarde les « Estimations mises à l'échelle » de la deuxième image, c'est plutôt l'interaction Na2S2O3*Glyoxal qui semble avoir le plus d'impact.
Pourriez-vous s'il vous plaît m'aider à comprendre cela ? et quelle est réellement la partie de mon rapport à examiner pour déterminer quel facteur a le plus d'impact ?
Merci,
julien
Modélisation statistique avancéeAnalyse et modélisation des données de baseConception d'expériencesModélisation prédictive et apprentissage automatiqueRe : Lequel définir la taille de l'effet : Logworth ou Scaled Estimates ?Salut @Julianveda ,
Vous comparez deux informations différentes et complémentaires, de signification statistique et pratique.
La signification statistique fait référence à la probabilité qu'un résultat observé ou une relation entre des variables se soit produit par hasard. En d’autres termes, il s’agit d’une mesure de notre degré de confiance dans l’existence d’une relation entre deux ou plusieurs variables. En analyse statistique, cela est généralement évalué à l'aide d'une valeur p (ou logWorth, qui est simplement calculée à l'aide d'une transformation -log de la valeur p correspondante), qui est la probabilité d'obtenir un résultat au moins aussi extrême que celui observé. étant donné que l'hypothèse nulle (c'est-à-dire l'hypothèse selon laquelle il n'y a aucune relation entre les variables) est vraie. Si la valeur p est inférieure à un certain seuil (par exemple 0,01, 0,05 ou 0,1), le résultat est considéré comme statistiquement significatif, indiquant qu'il est peu probable que la relation observée se soit produite par hasard et que l'hypothèse nulle puisse être rejetée. Dans le contexte de mélanges comme dans votre exemple, les techniques traditionnelles de sélection de modèles utilisant des valeurs p ne sont pas utiles : en raison de la multicolinéarité entre les effets estimés (alias entre effets), les erreurs types des estimations sont assez grandes, ce qui entraîne des p- valeurs. Plus d'infos dans cette discussion : https://community.jmp.com/t5/Discussions/Analysis-of-a-Mixture-DOE-with-stepwise-regression/mp/657089/highlight/true#M84611
La signification pratique fait référence à l’importance ou à la pertinence dans le monde réel d’un résultat statistique. Il s’agit de savoir si la relation observée a ou non des implications pratiques ou significatives. La signification pratique est indiquée par la taille des estimations : plus un terme est grand (en valeur absolue), plus ce terme est important et influence dans le modèle de régression de la réponse considérée.
Notez que la signification statistique et la signification pratique ne sont pas toujours étroitement liées : un résultat peut être statistiquement significatif mais pratiquement insignifiant, ou la situation inverse. Il est important de considérer les deux significations lors de l’interprétation des résultats.
J'espère que cette première réponse vous aidera,
Re : Lequel définir la taille de l'effet : Logworth ou Scaled Estimates ?Bonjour @Victor_G ,
Merci beaucoup pour votre réponse. Cela a beaucoup aidé à clarifier les choses :smiling_face_with_smiling_eyes: et en même temps cela a soulevé des questions complémentaires :
- Pour le mélange de biches, si les valeurs p ne sont pas idéales, quels pourraient être les critères les plus appropriés du rapport pour éliminer les termes non statistiquement significatifs dans le modèle ?
Est-il préférable de supprimer un terme à la fois et d'observer l'évolution de l'AIC et/ou du RMSE comme vous le mentionnez dans Résolu : Re : Analyse d'un mélange DOE avec régression pas à pas - Communauté d'utilisateurs JMP ? ou aussi, sélectionner le modèle en utilisant la sélection arrière comme indiqué dans le même fil de discussion ?
- D'un point de vue pratique, outre l'ampleur des effets dans les « estimations mises à l'échelle », la connaissance du domaine est également importante, n'est-ce pas ? Imaginons que j'ai gardé un terme quadratique dans le modèle et qu'il ait en fait prédéfini l'effet le plus élevé dans le tableau « estimations mises à l'échelle », mais ensuite (pour une raison quelconque), nous avons décidé que ce terme n'avait finalement aucun sens dans notre domaine. Nous pouvons le compléter et le rejeter malgré sa grande importance dans les estimations. Ai-je raison ?
Meilleur,
julien
Re : Lequel définir la taille de l'effet : Logworth ou Scaled Estimates ?Salut @Julianveda ,
Heureux que cette première réponse vous ait aidé.
Concernant vos questions :
- Pour les mélanges DoE, je ne compterais pas sur les valeurs p pour les raisons mentionnées ci-dessus (et dans l'autre sujet si je me souviens bien).
Je commencerais par le modèle complet supposé (c'est pourquoi je préférerais la sélection pas à pas vers l'arrière au lieu de la sélection pas à pas vers l'avant), puis j'affinerais le modèle si nécessaire en comparant les niveaux RMSE des différents modèles et/ou en utilisant l'estimation du maximum de vraisemblance ( disponible dans Régression généralisée dans JMP Pro) ou un critère d'information, comme BIC/AICc, pour déterminer un « bon » nombre de termes qui ajoutent des informations et de la prédictivité sans trop complexifier le modèle.
Il existe potentiellement de nombreux modèles de qualité équivalente, donc l'utilisation de l'expertise de domaine ainsi que de plusieurs méthodes de sélection/estimation peut aider à trier les termes et modèles importants.
- La connaissance du domaine est toujours importante, et à chaque étape du DoE.
Cependant, vous devez rester prudent lorsque vous ajoutez ou supprimez des termes dans votre modèle, car la raison pour laquelle vous faites cela est d'"aider" la modélisation statistique avec des informations de domaine (pour trier des modèles tout aussi bons mais différents), et non de déformer la réalité statistique. et les résultats dépendent de votre jugement et de votre expertise du domaine. De plus, la modélisation est un processus dynamique, l'ajout ou la suppression de termes modifiera également les estimations des autres termes, une certaine prudence est donc vraiment nécessaire. DoE est un outil pour tester, vérifier, confirmer des hypothèses, mais vous pouvez également apprendre de nouvelles choses opposées à ce qui était connu auparavant, peut-être parce que le processus expérimental n'était pas assez rigoureux pour le découvrir auparavant (comme l'utilisation de l'approche One Factor At a Time, ou ayant des résultats expérimentaux clairsemés).
Je ne peux donc pas fournir ici de réponse définitive à votre question, mais vous pouvez essayer différents modèles, voir comment chaque modèle se comporte (analyse résiduelle, réel par rapport à prévu, etc...) et tester les modèles avec de nouvelles données. Vous devriez être en mesure de classer les modèles en exécutant des points de validation, correspondant à de nouvelles combinaisons de traitements/facteurs jamais vus auparavant par le modèle ou utilisés dans la conception, et de comparer leurs résultats avec les prédictions. Le ou les modèles présentant le meilleur accord sur ces nouveaux points peuvent représenter une bonne approximation du système physique étudié.
J'espère que ces réponses vous aideront,
Re : Lequel définir la taille de l'effet : Logworth ou Scaled Estimates ?Merci @Victor_G ,
c'était limpide et perspicace 
julien
Re : Lequel définir la taille de l'effet : Logworth ou Scaled Estimates ?Victor a fait un excellent travail en décrivant les différents types d'analyse : Pratique et Quantitative. Je voudrais simplement fournir un point de vue différent sur l’importance relative de chacun et en ajouter un troisième. La signification pratique est TOUJOURS plus importante que la signification statistique. Après tout, vous contrôlez la signification statistique en déterminant comment l'expérience sera menée (par exemple, l'espace d'inférence, quel bruit changera pendant l'expérience et quel bruit ne changera pas). Il n’est pas utile d’avoir un modèle statistiquement significatif mais qui n’est pas utile dans le monde réel. Rappelons que les statistiques d'analyse sont énumératives et que le développement d'un modèle à des fins prédictives est analytique.
Deming (Deming, W. Edwards (1975), On Probability As a Basis For Action. The American Statistician, 29(4), 1975, p. 146-152) L'utilisation de données nécessite également de comprendre la distinction entre les problèmes énumératifs et analytiques. . « L’analyse de la variance, le test t, les intervalles de confiance et autres techniques statistiques enseignées dans les livres, aussi intéressantes soient-elles, sont inappropriées car elles ne fournissent aucune base de prédiction et parce qu’elles enfouissent les informations contenues dans l’ordre de production. La plupart, sinon la totalité, des progiciels informatiques destinés à l’analyse des données, comme on les appelle, fournissent des exemples flagrants d’inefficacité.
Comme le suggère Victor, les valeurs p sont de peu d’utilité pour les plans de mélange. Si vous exécutez des conceptions mixtes, la SME (connaissance du domaine) est essentielle. Déterminez d’abord, avant de lancer l’expérience, quels changements dans la réponse ont une signification pratique.
Avant d'exécuter une analyse quantitative, tracez les données. Particulièrement avec les mélanges, car l'analyse la plus importante est la surface de réponse du mélange. En théorie, les mélanges sont une stratégie d’optimisation. Cela suppose que vous savez déjà ce qui doit contenir le mélange (grâce à des expérimentations antérieures qui incluent des facteurs de transformation). La signification statistique n’est plus critique.
Pratique>Graphique>Quantitatif est l’ordre d’analyse.
