Re : Prédiction et intervalle de confiance pour DOE avec bloc aléatoire ?Bonjour @JMPLearner_2022 ,
En regardant votre dossier, voici quelques commentaires qui pourront vous aider :
- En regardant votre modèle, j'ai reconstruit le modèle étape par étape (avec la même personnalité, l'emphase et la méthode) pour voir si je trouverais les mêmes résultats que pour le modèle que vous avez enregistré. J'ai un modèle un peu différent, moins "parcimonieux" car j'ai trois termes en plus dans mon modèle : X1*X6, X2*X3 et X2*X4. En comparant les deux modèles, je vois qu'avoir trois termes de plus dans le modèle permet d'avoir un R² plus élevé (0,95 vs 0,86), un R² ajusté plus élevé (0,90 vs 0,79), un RMSE plus faible (1 ,51 vs 2,13) et une p-value plus faible pour le modèle (<0,0001 vs 0,0003), même si mon dernier terme X2*X4 a une p-value supérieure à 0,05. Ce niveau de signification vous aide à distinguer les facteurs significatifs des facteurs non significatifs, mais il ne doit pas être votre seul guide dans la phase de modélisation/analyse. Vous devriez également jeter un œil à la façon dont votre modèle explique la réponse (avec des métriques comme R², R² ajusté, ...) et à quel point il est précis (avec des métriques comme RMSE). Il peut être préférable d'arrêter de supprimer des termes même si l'on est au-dessus du seuil 0,05 si vous avez trouvé un modèle plus fiable. Vous pouvez également jeter un œil aux résidus : ils peuvent également montrer des courbures ou des motifs qui peuvent vous aider à déterminer qu'il pourrait encore y avoir un effet manquant. Egalement si possible, évaluez le modèle final et comparez-le avec l'expertise du domaine : le modèle a-t-il un sens ? Vous attendriez-vous à ce que certains effets/termes soient négligeables ou importants ? Voir le script "Fit Model 2" dans la table de données JMP pour plus de détails sur le modèle que j'ai trouvé.
- Dans votre plateforme "Fit model", puisque vous avez spécifié et introduit un bloc aléatoire, il peut être intéressant de savoir si ce bloc aléatoire est un terme significatif est le modèle ou non, ou dit autrement dans votre cas : y a-t-il un effet de bloc sur mes résultats en raison de ma limite d'équipement dont je dois faire attention/utiliser dans la modélisation ? En regardant le panneau "REML Variance Component Estimates", vous pouvez voir que la valeur p de Wald est supérieure au seuil de 0,05, ce qui signifie que l'effet de bloc n'est pas significativement différent de zéro. Cela vous donne une indication que cet effet de bloc peut être supprimé dans les expériences futures ou dans l'analyse. Plus d'infos ici : Méthode du maximum de vraisemblance restreinte (REML) (jmp.com)
- Dans mon cas, en cliquant sur le triangle rouge de "Response Y" et ensuite sur "Factor Profiling" et "Profiler", le bloc aléatoire n'apparaît pas. Vous l'avez dans le profileur de votre modèle ( Profileurs conditionnels (jmp.com) ), car l'option "Conditional Predictions" est cochée dans le triangle rouge de votre profileur. Si vous la décochez, vous ne verrez plus cet effet de bloc aléatoire et les valeurs de l'intervalle de confiance à 95 % changeront également pour refléter ce changement.
- Une fois cela fait, vous pouvez enregistrer la "Formule de prédiction" et "Intervalle de confiance moyen" à travers le triangle rouge, "Enregistrer les colonnes" et choisir la formule appropriée. Vous ne devriez pas voir avec les étapes précédentes le bloc aléatoire dans la formule.
J'espère que cela vous aidera,
Re : Prédiction et intervalle de confiance pour DOE avec bloc aléatoire ?Bonjour @Victor_G , Merci beaucoup pour votre réponse rapide. Votre explication est très utile. J'ai encore une question, comme vous l'avez mentionné, l'effet aléatoire n'est pas significatif. J'ai supprimé le bloc dans le modèle et supprimé le terme qui pvalue> 0,05, et j'ai obtenu un modèle totalement différent (Fit model 3 dans le fichier JMP), dont R2 adj est assez faible. Pourriez-vous, s'il vous plaît, expliquer dans quelle situation nous devons inclure ou non un effet aléatoire dans le modèle ? Merci beaucoup encore une fois.
Re : Prédiction et intervalle de confiance pour DOE avec bloc aléatoire ?Salut @JMPLearner_2022 ,
J'ai peut-être répondu un peu trop vite sur l'effet de bloc aléatoire et la suggestion de le supprimer, désolé pour cela.
Une question générale avant mes commentaires/réponses : connaissez-vous le vrai modèle derrière Y (puisque vous parliez de résultats simulés) afin de comparer les différents modèles avec le "vrai" modèle de simulation ?
L'effet de blocage aléatoire vous aide à réduire le bruit dans l'analyse en créant des blocs où la variabilité au sein d'un bloc sera faible. Ce processus vous aide à déterminer et à trier plus facilement les effets significatifs.
- Sur un plan "conceptuel", puisque vous avez conçu votre DoE avec, il semble plus pertinent de conserver cet effet de blocage aléatoire.
Même s'il n'est pas significatif, votre effet de bloc aléatoire semble être assez efficace pour éliminer le bruit des expériences, car il capture 70 (dans votre premier modèle) à 83 % (dans le deuxième modèle) de la variance totale à travers cet effet de bloc. Donc même si non significatif, vous gagnez certainement plus de précision dans votre modèle en le conservant (cela se voit aussi en comparant les RMSE de vos modèles 1, 2 et 3).
- Au niveau "analyse", conserver votre effet de bloc aléatoire vous aide à réduire la variance de votre modèle (et de vos prédictions).
Quelles sont les conséquences de la suppression de l'effet de blocage aléatoire ?
- L'erreur inexpliquée dans le modèle sera plus grande (comme vous pouvez le voir en regardant le RMSE de votre modèle 3 par rapport aux modèles 2 et 1),
- Par conséquent, le test de l'effet du traitement peut être moins puissant, vous pouvez donc manquer/supprimer certains effets significatifs en raison de l'augmentation du "bruit"/erreur (c'est pourquoi vous pouvez vous retrouver avec un modèle plus parcimonieux dans le modèle 3).
- Les valeurs d'estimation des paramètres et les écarts-types peuvent changer (cela se voit également lors de l'ajout/de la suppression d'un effet dans la modélisation).
Dans ce cas présent, à moins que vous n'ayez le vrai modèle simulé pour Y pour savoir quel modèle fonctionne le mieux, il est difficile de choisir un modèle en faveur d'un autre, car ils sont très proches les uns des autres (en regardant quels effets sont dans le modèle et leurs estimations de paramètres). Vous pouvez également comparer les différents profileurs de prédiction (voir le script "Comparaison des modèles - Profiler" dans le tableau de données), ils semblent être en accord sur l'importance des facteurs et quel niveau pour chaque facteur semble être l'optimum. Il existe quelques différences sur les courbures de certains facteurs (par exemple X1 a une certaine courbure dans le modèle 3, alors que X3 a une certaine courbure dans les modèles 1 et 2 avec bloc aléatoire).
Je préférerais toujours le modèle 2, car il prend en compte le blocage aléatoire et semble avoir de meilleures "performances", mais ce n'est peut-être pas le choix définitif.
Pour finir, rappelons à Georges Box que : "Tous les modèles sont faux mais certains sont utiles". Le choix du modèle doit également se faire en considération de son « utilité » et en accord avec l'expertise du domaine.
En cas de doute, vous pouvez toujours ajouter des exécutions de validation qui peuvent vous aider à voir/comparer quel(s) modèle(s) se généralise mieux que les autres.
Désolé pour cette réponse "non déterministe", mais j'espère que cela vous aidera,
Bonne année !
Re : Prédiction et intervalle de confiance pour DOE avec bloc aléatoire ?Salut @Victor_G , j'ai beaucoup apprécié votre explication, j'ai une bien meilleure compréhension de l'effet aléatoire dans l'analyse des données du DoE. Comme vous l'avez mentionné, nous pouvons mieux conserver le modèle pour l'adapter aux données existantes avec un R2 élevé et moins de RMSE.J'ai encore une question à propos de l'effet aléatoire sur la prédiction. J'ai remarqué que la formule de prédiction est conditionnelle, ce qui signifie qu'elle a des décalages différents pour différents blocs, mais qu'elle est nulle pour la future exécution. Est-ce vrai? J'ai essayé d'ajuster un modèle dont l'effet aléatoire est significatif, mais le décalage de prédiction a toujours un zéro. Pourriez-vous s'il vous plaît expliquer ma question? Merci encore pour votre aide.
Re : Prédiction et intervalle de confiance pour DOE avec bloc aléatoire ?Salut @JMPLearner_2022 ,
Vous avez le choix dans le Profiler de choisir entre "Conditional Predictions" ou des prédictions non conditionnelles (dans le triangle rouge du Profiler, vérifiez si l'option "Conditional Predictions" est cochée, juste avant la dernière option du menu "Appearance" ).
Comme vous le mentionnez, "Conditional Predictions" vous permet de choisir le niveau du bloc aléatoire (vous vous retrouverez donc avec des intervalles de confiance plus petits, puisque l'effet de bloc aléatoire n'est plus aléatoire mais ressemble plus à un effet fixe que vous pouvez choisir), alors que lorsque l'option conditionnelle est décochée, l'effet de bloc aléatoire est pris en compte pour la variance des prédictions (on ne peut pas choisir le niveau du bloc aléatoire et on se retrouve avec des intervalles de confiance plus grands).
- Dans le cas des "Conditional Predictions", de nouvelles exécutions futures seront attribuées à un nouveau bloc, mais comme l'effet de ce nouveau bloc est encore inconnu, il a une valeur d'offset de 0 par défaut (il n'est pas possible de savoir à l'avance si les nouvelles exécutions dans ce bloc seront en moyenne supérieures ou inférieures aux exécutions précédentes d'un bloc différent, il n'y a donc pas de décalage).
- Dans votre cas, vous pouvez décocher "Prédictions conditionnelles" et regarder la formule de prédiction dans le triangle rouge à côté de "Réponse Y", "Estimations", "Afficher la formule de prédiction". Vous pouvez avoir une formule similaire à celle-ci (et vous pouvez vérifier que les niveaux de blocs aléatoires ne sont pas présents dans cette formule) :
2.41318058401651 + 1.08446092046299 * :X1 + 0.672993409088489 * :X2 + 1.00977007848638 * :X3
+1.41114309105797 * :X4 + Match( :X6,
"L1", 1.46585081504277,
"L2", -1.30266943360671,
"L3", -0.163181381436053,
.
) + :X1 * (:X2 * 1.58560226366689) + :X2 * (:X3 * 1.30368310940107) + :X3 * (:X3 *
3.86103114153648) + :X2 * (:X4 * 0.591689620884462) + :X1 *
Match( :X6, "L1", 1.6824493957067, "L2", -0.835857163875241, "L3", -0.846592231831457, . ) +
:X2 * Match( :X6, "L1", 2.20524178427256, "L2", -2.78718463269197, "L3", 0.58194284841941, . )
+ :X4 * Match( :X6,
"L1", 3.57200821808011,
"L2", -3.45349090461962,
"L3", -0.118517313460483,
.
)
Vous pouvez enregistrer des formules pour la réponse et pour l'IC à 95 % inférieur/supérieur. Cela vous donnera des prédictions tenant compte de l'effet de bloc aléatoire, et peut être plus pertinent dans votre cas.
J'espère que cette réponse vous aidera,
Prédiction et intervalle de confiance pour DOE avec bloc aléatoire ?J'ai une conception personnalisée dans la pièce jointe qui comporte 5 facteurs continus, un facteur catégoriel à trois niveaux, cette conception comporte 36 expériences en 6 blocs en raison de la limite d'équipement. Les résultats de ce fichier sont simulés au lieu des résultats réels. J'ai utilisé le modèle par défaut, puis j'ai supprimé les termes dont PValue> 0,05 un par un dans le résumé de l'effet, et finalement j'ai obtenu un modèle. Cependant, dans le profileur de prédiction, il y a un bloc aléatoire [1-6], je dois en choisir un, ce qui n'a pas de sens car la nouvelle expérience sera un bloc différent. Comment puis-je choisir un bloc différent au lieu de 1-6 ? J'ai ajouté une nouvelle ligne dans le fichier JMP, qui peut prédire une nouvelle valeur, mais sans intervalle de confiance. Comment puis-je obtenir l'intervalle de confiance ? Je savais que nous pouvions calculer CI sur la base de la formule ci-dessous. Pour le DoE avec effet aléatoire, quelle est la formule pour le calcul de l'intervalle de confiance ? Dois-je ajouter la valeur moyenne de l'effet aléatoire en plus de CI ?
Je vous remercie beaucoup pour votre aide.
Conception d'expériencesles fenêtres
