Re : RMSE élevé dans l'analyse DSDPourquoi vous attendez-vous à ce que la réponse soit distribuée normalement s'il y a des effets actifs ?
Re : RMSE élevé dans l'analyse DSDJe veux dire la distribution de la réponse.
Re : RMSE élevé dans l'analyse DSDVous voulez dire une distribution normale des résidus, n'est-ce pas ?
Content que tu aies trouvé une solution !
Re : RMSE élevé dans l'analyse DSDJuste pour vous dire comment nous avons finalement résolu le problème. Nous avons essayé différentes transformations de données, afin d'obtenir une distribution plus normale, avec une variance plus constante sur toute la plage de réponse. Lorsque nous avons analysé la réponse transformée, nous avons pu détecter beaucoup plus d'effets (effets principaux et de second ordre).
Re : RMSE élevé dans l'analyse DSDUne correction par rapport à mon message précédent : je voulais dire que nous allons répéter la manche centrale deux fois, pas la deuxième (je m'excuse pour la petite confusion).
Quoi qu'il en soit, la course centrale devrait également couvrir tous les points (précautions) que vous avez mentionnés.
Puisque nous allons répéter des passages centraux, nous espérons que la variabilité des passages centraux serait la meilleure (la meilleure des 17 passes que nous pouvons répéter) approximation de la variabilité de l'ensemble du plan . De plus, nous espérons que le RMSE de notre conception chutera également, car il y aura plus d'exécutions dans le modèle. Si la baisse de la RMSE sera suffisamment importante pour détecter de nouveaux effets, nous n'aurons pas à estimer une variance basée sur seulement 3 points de données.
Re : RMSE élevé dans l'analyse DSDC'est un début. Quelques mises en garde sur ces exécutions répétées : vous supposeriez que la variabilité est constante sur l'espace de conception (en d'autres termes, l'exécution #2 est représentative de toutes les autres conditions expérimentales). La variabilité de vos exécutions répétées capture-t-elle toutes les sources de variabilité rencontrées lors de l'exécution de la conception initiale (les opérateurs ont-ils changé ? les changements d'instrumentation ? les changements de configuration ?). Dans quelle mesure êtes-vous à l'aise pour estimer une variance basée sur seulement 2 ou 3 points de données ? C'est essentiellement ce que vous faites.
Re : RMSE élevé dans l'analyse DSDOui, nous sommes conscients que les mesures pourraient également être le problème. Chaque fois, nous avons fait au moins 3 répétitions de mesure (qui ont montré un coefficient de variance relativement faible) pour chaque échantillon. Nous avons eu quelques problèmes avec l'analyse de diffraction Lasser, qui a probablement augmenté la RMSE dans certaines réponses, mais la RMSE dans les réponses qui n'incluent pas l'analyse de diffraction laser est également un peu élevée, mais pas autant.
Re : RMSE élevé dans l'analyse DSDMerci pour les très bonnes idées. Nous avons décidé de répéter la deuxième exécution deux fois, nous verrons donc si la variation est élevée également dans une exécution, ou juste dans l'ensemble du modèle. Ensuite, nous ajouterons les nouvelles exécutions au modèle et verrons si RMSE est inférieur.
Cela a-t-il un sens pour vous ?
Re : RMSE élevé dans l'analyse DSDUn dernier commentaire qui est une approche différente. Étant donné que vous avez un RMSE élevé, vous souhaiterez peut-être effectuer une étude du système de mesure. Peut-être que le RMSE élevé est dû à un système de mesure qui pourrait avoir besoin d'être amélioré en premier. Cela peut être quelque chose à considérer avant d'ajouter d'autres exécutions expérimentales.
Re : RMSE élevé dans l'analyse DSDJe tiens également à vous rappeler que vous pouvez utiliser une conception personnalisée pour augmenter votre expérience initiale s'il est possible d'effectuer plus d'exécutions. Vous avez mentionné plus tôt que vous n'avez pas les ressources pour en faire plus, mais je veux juste le mentionner quand même au cas où cela deviendrait possible plus tard. Les nouvelles exécutions sont ajoutées au DSD que vous avez déjà.
Re : RMSE élevé dans l'analyse DSDVotre modèle est aussi bon que possible compte tenu de cet échantillon de données et du processus objectif de sélection du modèle (Fit Definitive Screening).
Vous pouvez essayer de réexécuter quelques-unes de ces conditions pour voir si le RMSE est vraiment aussi élevé. Peut-être avez-vous plutôt des données historiques pour le même processus qui pourraient être réanalysées pour déterminer le RMSE. Il peut être vraiment élevé et pas nécessairement un artefact du modèle biaisé.
Une autre option, abandonnant l'analyse Fit Definitive Screening, est Analyze > Fit Model > Loglinear Variance. Cette analyse ajuste itérativement deux modèles convergents : l'un pour la moyenne et l'autre pour la variance. Vous pouvez utiliser cette analyse pour voir si l'un des facteurs de conception est responsable. Malheureusement, l'économie du DSD peut empêcher une bonne analyse, mais cela vaut la peine d'essayer.
Voir Aide > Livres > Ajuster des modèles linéaires. Un chapitre est consacré à cette analyse.
Re : RMSE élevé dans l'analyse DSDOui, vous avez formulé de très bonnes questions, qui répondent essentiellement à ma question. Je comprends ce que tu veux dire.
Il semble donc que mon modèle n'a pas été construit aussi bien qu'il pourrait l'être, d'où un grand RMSE. Je peux toujours détecter les principaux facteurs ayant la plus grande influence sur le modèle, mais malheureusement, je ne peux détecter aucune interaction de second facteur. Bien sûr, une option est qu'ils ne sont pas présents, mais l'autre, plus probable, est qu'ils sont trop petits pour être détectés avec un RMSE aussi élevé.
Merci encore pour votre aide.
Danijel
Re : RMSE élevé dans l'analyse DSDDe toute évidence, si vous avez pu ajouter de faux facteurs à votre analyse, vous êtes « autorisé ». Les "résultats (que vous) obtenez sont toujours corrects et dignes de confiance", mais que signifient-ils ? Que représente le faux facteur devenu facteur réel ? Avez-vous utilisé cette colonne de conception pour définir les niveaux de facteur ? (Non.) Quels sont ces niveaux de facteur ? Pourquoi l'incluriez-vous dans l'analyse?
Vous pouvez ajouter n'importe quelle colonne à la matrice du modèle et estimer son paramètre linéaire tant que cette colonne n'est pas confondue avec la colonne utilisée pour estimer un autre terme du modèle. S'ils sont confondus, ces deux colonnes ne sont que des alias pour la même colonne. Cette combinaison produit une singularité dans la matrice de projection pour la régression. Une telle combinaison est interdite. JMP tente d'estimer autant de paramètres qui ne sont pas confondus (jusqu'au rang de la matrice du modèle) et met à zéro le reste.
La raison pour laquelle le résultat est différent est que si vous incluez explicitement un faux facteur dans le modèle, alors ce n'est plus un faux facteur dans l'analyse et il n'est plus utilisé pour estimer le RMSE comme auparavant.
Re : RMSE élevé dans l'analyse DSDMerci pour votre réponse et vos efforts.
Je n'ai qu'une seule réponse, car d'autres points me sont maintenant tout à fait clairs.
7. Oui, cela a du sens, mathématiquement parlant. Je ne sais tout simplement pas si je suis autorisé à le faire dans Fit Definitive Screening (ainsi, les résultats que j'obtiens sont toujours corrects et dignes de confiance). Je trouve étrange que le résultat soit différent, alors lorsque je n'inclus pas de faux facteurs dans ma sélection, puisque Fit Definitive Screening calcule le RMSE initial à partir de faux facteurs dans les deux sens.
Avez-vous peut-être une explication à cela?
Re : RMSE élevé dans l'analyse DSDJe viens de perdre ma réponse lorsque j'ai cliqué sur Poster et je dois partir maintenant en voyage mais je vais essayer de recapturer rapidement ma réponse.
- Vous comprenez que la puissance est fonction de la signification, de la variance, de la taille de l'effet et de la taille de l'échantillon. Il est peu probable que l'utilisation des valeurs par défaut pour la RMSE et les coefficients fournisse une analyse de puissance pour une situation spécifique.
- Votre DSD devrait pouvoir trouver jusqu'à six effets principaux avec une puissance élevée si leur taille d'effet est importante et s'il y a peu d'effets de second ordre. Mon commentaire précédent était une généralité. Ce n'est peut-être pas une grande valeur car cela dépend de tant d'attributs.
- Vous pouvez également inclure les deux solvants non aqueux et l'eau en tant que trois facteurs de mélange (composants) et les modéliser directement. Je n'ai aucune idée si l'utilisation de la pompe péristaltique est la cause du grand RMSE.
- Exécutions entièrement aléatoires - vérifiez !
- Pas de problème avec des facteurs externes incontrôlés - vérifiez !
- Le grand RMSE reste inexpliqué - vérifiez !
- De manière générale, l'ajout de termes supplémentaires au modèle de régression linéaire réduit la RMSE même si ces termes ne sont pas significatifs. La somme des carrés attribuée à chaque nouveau terme irait autrement à la somme des carrés d'erreur.
Re : RMSE élevé dans l'analyse DSDMerci pour votre réponse complète et vos explications. Ils m'ont été très utiles. Je vais essayer de clarifier toutes les incertitudes et de répondre aux questions que vous posiez. Afin d'éviter toute confusion, je marquerai les réponses numériquement.
1. Dans la section Evaluate Design, j'ai entré 0,05 pour la signification statistique, 1 pour les coefficients anticipés et 1 pour la RMSE. J'ai saisi ces valeurs avant les expériences, car je n'ai obtenu aucune information sur les coefficients RMSE ou anticipés auxquels je peux m'attendre. J'ai obtenu la puissance 0,92 (voir la photo Evaluate design ci-dessous). Je suis conscient qu'une telle puissance ne serait le cas que si RMSE était vraiment autour de 1, je voulais juste démontrer que la conception avait l'air bien avant les expériences. Bien sûr, si je mets les valeurs que j'ai obtenues pour RMSE et les coefficients anticipés, la puissance est beaucoup plus faible (voir photo Evaluate design 2 ci-dessous).
2. Je ne sais pas avec certitude, mais je m'attends à ce qu'environ quatre effets principaux soient actifs. Cependant, M. Jones et M. Nachtsheim ont déclaré dans un article de 2016 (Bradley Jones & Christopher J. Nachtsheim (2016) : Effective
Design-Based Model Selection for Definitive Screening Designs, Technometrics), que dans l'analyse de DSD avec 6 facteurs et 4 exécutions supplémentaires (en utilisant la nouvelle approche pour l'analyse DSD), les 6 facteurs principaux pouvaient être détectés avec la puissance de 0,99. Si je regarde ce nombre, je ne vois pas le problème dans de nombreux effets principaux actifs. Ou est-ce que je manque quelque chose?
3. Oui, cette expérience contient des composants de mélange. L'un des facteurs est le rapport entre le volume de non-solvant et le volume final (dans le volume final, nous avons du non-solvant et de l'eau). Avec la pompe péristaltique j'ai ajouté la solution dans le non-solvant. Pensez-vous qu'il serait préférable de laisser ce ratio constant? Je pense que cela pourrait être la raison du grand RMSE. Cependant, je ne peux pas me permettre de faire beaucoup plus d'expériences, donc je dois atténuer ce problème (si tel est le cas), si c'est possible.
4. Oui, cette expérience a été entièrement randomisée. Je n'ai pas de facteurs difficiles à changer, j'ai également eu un contrôle relativement bon des facteurs pendant l'expérience.
5. Je suis conscient qu'il existe également d'autres facteurs qui pourraient affecter la réponse. Cependant, j'ai essayé de contrôler tous les facteurs que je pouvais, donc je ne vois pas de gros problème dans mon expérience ici.
6. Vous avez raison, la course avec le rendement le plus élevé est la valeur aberrante. Cela ressort également très clairement des Résidus Studentisés (voir photo Résidus ci-dessous). Cependant, lorsque je regarde l'analyse résiduelle des autres réponses, la valeur aberrante n'est pas présente, mais le RMSE est toujours important. Je pense donc qu'il doit y avoir une raison supplémentaire pour le grand RMSE.
7. J'ai aussi une nouvelle question. Alors que je jouais avec l'analyse avec le Fit Definitive Screening, j'ai remarqué que le RMSE est plus faible si j'inclus de faux facteurs dans l'analyse. (voir la photo Analyse avec de faux facteurs ci-dessous. Sur le côté gauche, il y a des estimations que j'ai obtenues et sur le côté droit, il y a une sélection de réponses et de facteurs).Suis-je autorisé à faire cela ?
Merci.
Danijel
Re : RMSE élevé dans l'analyse DSDMerci pour l'explication détaillée de votre situation et de votre question. Nous essaierons de vous aider en fonction de votre explication.
Oui, la plus grande différence entre l'exemple du didacticiel et votre expérience est le RMSE. Cette différence signifie une puissance inférieure. Cela signifie que le t les ratios pour tester les estimations des paramètres par rapport à zéro seront inférieurs d'un facteur de 9,6 pour des estimations équivalentes et, par conséquent, auront des valeurs beaucoup plus élevées. p -valeurs. (Cette diminution de t ratio ou augmentation de p -la valeur est équivalente à une puissance inférieure.)
Quelles valeurs avez-vous saisies pour la signification statistique (0,05), la RMSE (1) et les coefficients anticipés (1) pour déterminer la puissance ? C'est-à-dire, pour quel résultat le pouvoir est-il bon ? Quelle est la puissance que vous avez obtenue pour votre design ?
La RMSE est une estimation de l'écart type de la réponse. C'est dépendant du modèle . Il suppose que
- le modèle de régression linéaire est correct (non biaisé)
- il ne comprend que l'erreur aléatoire de la réponse
- la variance de la réponse est constante sur toute la plage de la réponse.
Si votre modèle n'inclut pas de termes pour les effets actifs (non aléatoires), cette contribution à la réponse sera regroupée avec l'estimation de la RMSE et gonflée.
Veuillez garder à l'esprit que la moyenne et l'écart type des réponses qui sont normalement distribuées sont généralement des attributs indépendants de la réponse. Autrement dit, l'écart type (RMSE) ne dépend pas de la moyenne. Les estimations des paramètres concernent le modèle de la réponse moyenne, vous ne pouvez donc rien attendre de la RMSE en fonction de l'ampleur des estimations des paramètres.
Passons en revue le principes clés du dépistage :
- Rareté des effets : il existe de nombreux facteurs potentiels (et leurs effets) mais, en fait, la plupart sont inactifs (le paramètre est nul).
- Hiérarchie des effets : la plupart des changements dans la réponse sont du premier ordre, le deuxième effet le plus important est du deuxième ordre, et ainsi de suite.
- Hérédité des effets : tous les effets d'ordre supérieur sont présentés par les mêmes facteurs qui présentent des effets d'ordre inférieur.
- Projection de conception : le plan limite l'estimation de tous les paramètres potentiels par corrélation mais la corrélation est réduite ou éliminée au fur et à mesure que les facteurs inactifs et leurs effets inactifs sont retirés du modèle.
Parmi les six facteurs, combien pensez-vous être actifs ? Il ne devrait pas y avoir plus de deux ou peut-être trois, sinon toute conception de dépistage échouera.
Les conceptions de criblage sont principalement destinées à prendre en charge les modèles de premier ordre. (Le dépistage ne consiste pas à optimiser les facteurs, mais uniquement à rechercher les quelques éléments vitaux facteurs. Le DSD est spécial car il réduit la probabilité que vous deviez augmenter pour prendre en charge le modèle plus complexe nécessaire à l'optimisation.) Les réponses d'un processus chimique tel que la cristallisation sont susceptibles de présenter des effets de second ordre tels que les interactions et la non-linéarité. Ces effets peuvent biaiser les estimations des paramètres dans le modèle de premier ordre, bien qu'un DSD, un type de plan alias-optimal, minimise une telle corrélation.
Quelques réflexions finales :
- Cette étude inclut-elle les composants du mélange ? Je m'interroge sur les solvants utilisés ensemble. Cette condition peut nécessiter une conception différente (conception personnalisée).
- Cette expérience était-elle entièrement randomisée ? Cela signifie que vous réinitialisez chaque facteur avant chaque exécution. Une autre façon de demander est, avez-vous du mal à changer les facteurs ? Cette condition nécessiterait une conception différente (conception en parcelles divisées).Si vous avez du mal à modifier les facteurs et que vous ne randomisez pas complètement l'expérience, vous affecterez le RMSE. À son tour, cela augmentera également le taux d'erreur de type I des tests pour les facteurs difficiles à modifier et augmentera le taux d'erreur de type II des tests pour les facteurs faciles à modifier. Cela pourrait expliquer l'absence d'effets significatifs.
- Qu'en est-il des autres facteurs en plus des six qui ont été variés dans l'expérience ? Avez-vous identifié tous les facteurs de chaque réponse avant de sélectionner les six facteurs à étudier ? Comment ces facteurs extérieurs ont-ils été contrôlés pendant les courses ? Des effets non contrôlés et non pris en compte contribueraient à la variation aléatoire ou, s'ils étaient corrélés avec les niveaux de facteur dans l'étude, ou contribueraient à biaiser les estimations.
- Avez-vous effectué une analyse résiduelle ? Y a-t-il une indication de problèmes de données ou de violations des hypothèses du modèle de régression linéaire ? L'analyse résiduelle est plus difficile avec des conceptions économiques qu'elle ne l'est avec des ensembles de données plus volumineux, mais toujours précieuse. Il semble que l'exécution avec le rendement le plus élevé pourrait être une valeur aberrante. Ce scénario pourrait avoir une influence inhabituellement élevée sur les estimations. Cela pourrait augmenter le RMSE.
C'est tout ce à quoi je peux penser pour le moment. J'espère que d'autres experts répondront avec plus d'idées.
Pourquoi le RMSE est-il si élevé dans cette analyse DSD ?Salut,
Je suis nouveau sur le DOE et le Definitive Screening Design, c'est pourquoi j'ai quelques questions concernant l'analyse du DSD. J'utilise JMP 13.
Je veux trouver des facteurs significatifs dans le processus de cristallisation sphérique. J'ai fait Definitive Screening Design avec 6 facteurs sur trois niveaux, avec quatre runs supplémentaires (2 faux facteurs). Je mesure plusieurs réponses différentes. L'évaluation de la conception me montre que j'ai une bonne puissance statistique. Cependant, lorsque j'essaie d'analyser les résultats à l'aide de Fit Definitive Screening, je n'obtiens aucun ou au mieux un effet principal significatif. En conséquence, je n'obtiens pas non plus d'effets de second ordre significatifs (voir la photo ajoutée ci-dessous, à droite). Je pense que la raison en est un RMSE très élevé. J'apprenais à faire Fit Defintive Screening sur l'exemple montré dans le tutoriel JMP (fichier Extraction 3, voir photo ajoutée ci-dessous, à gauche). Lorsque j'ai analysé l'exemple, j'ai obtenu les mêmes résultats que ceux indiqués dans le didacticiel. J'ai également remarqué que lors de l'analyse de l'extraction 3, la RMSE était beaucoup plus faible, bien que les réponses dans l'extraction 3 et dans mon expérience aient approximativement la même taille, puisque les deux réponses sont le rendement.
Je ne comprends pas comment est-il possible que la différence de RMSE soit si grande. Si vous regardez la distribution dans le diagramme d'effet principal, vous pouvez voir que la distribution dans mon expérience est similaire, sinon un peu plus étroite que la distribution dans l'extraction 3. J'ai également calculé le RMSE à l'aide de l'outil Fit Y by X, où j'ai obtenu un RMSE plus grand dans l'extraction 3 (environ 20) que dans mon expérience (environ 18). C'est pourquoi il semble que l'analyse avec Fit Definitive Screening fasse la différence.
Est-ce que je manque quelque chose?
Dois-je effectuer des processus de pré-analyse avec mes données avant le filtrage définitif Fit ?
Ou ai-je vraiment une expérience avec un grand RMSE. Si oui, est-il possible d'y remédier ?
Merci.
Danijel
Conception d'expériences
