J'ai reçu une question d'un client (JMP Pro) qui exécute une expérience de galvanoplastie. Il a une expérience conçue où il a varié plusieurs entrées dans le but de construire un modèle pour atteindre un résultat cible.
Il a du mal à construire un bon modèle prédictif. Il dit que lorsqu'il utilise le modèle pour prédire de nouvelles exécutions, il ne fait pas bien.
Le modèle semble changer très facilement en ce qui concerne la complexité (nombre de termes) avec la suppression de quelques points.
Cela ressemble à un problème qui pourrait bénéficier d'une consultation individuelle avec ses données et son modèle, mais la question très spécifique qu'il a posée était (je paraphrase un peu de notre conversion): "Reconnaissant que les méthodes de validation croisée" font déjà cela " moyen automatisé de générer un modèle pour chacun des sous-ensembles possibles d'essais expérimentaux . Je veux comparer le nombre de termes (et quels termes) pour chacun des modèles. "
Les questions qui me sont venues à l'esprit étaient les suivantes:
- Est-ce que vous surappliquez le modèle?
- Votre système de mesure est-il bon? (Il pense que c'est)
- Êtes-vous capable de contrôler les entrées avec précision [assez]?
Quelles sont les questions supplémentaires que je devrais poser? Comment puis-je être utile à ce client?
Merci d'avance!
Je réponds à mon propre post! Une preuve supplémentaire que je n'ai jamais été l'enfant populaire ...
J'ai discuté avec @tom_donnelly et je voulais poster ma réponse au client ici.
"Merci d'avoir passé du temps avec moi pour expliquer votre défi.
J'ai effectué des actions de sensibilisation dans la communauté technique JMP et la réponse courte à votre question: "JMP at-il un Un moyen générique de générer un modèle pour chacun des sous-ensembles possibles des analyses expérimentales ”Est non.
Cependant, lors de certaines discussions, j'ai reçu des conseils qui pourraient vous être utiles.
Je crois que vous travaillez avec des données provenant d'une expérience conçue, n'est-ce pas? Avez-vous utilisé un design personnalisé? Combien de pistes as-tu eu pour erreur?
Si tel est le cas, l’expérience que vous avez conçue… consiste en un ensemble parcimonieux d’analyses adaptées à un modèle hypothétique (à moins que vous n’ayez eu beaucoup de réplicats). Le modèle, par nature, sera très sensible aux données collectées pour chaque exécution car la conception a été créée pour répondre à la question (modèle supposé que vous avez spécifié) en aussi peu d'exécutions que possible. Si votre modèle ne réussit pas à adapter des cycles de test / validation supplémentaires, il peut être judicieux d'ajouter des éléments à votre conception d'origine afin de les adapter à un modèle d'ordre supérieur. Bien sûr, le modèle peut ne pas prédire correctement pour d'autres raisons également (par exemple, il existe des facteurs importants pour lesquels vous ne vous contrôlez pas, il est difficile de contrôler vos entrées, le système de mesure a beaucoup de bruit, etc.)
Je vous rappelle que vous avez réaménagé votre modèle avec des essais supplémentaires. Ces pistes s'ajoutaient-elles à votre conception d'origine? Ou avez-vous ajusté votre modèle en collectant les données de l'expérience?
Si la réponse est la dernière (y a-t-il une raison pratique pour laquelle vous le faites?) - vous pouvez envisager de bloquer votre conception. Par exemple, le premier ensemble d'essais (premier bloc) pourrait consister à estimer les principaux effets. La deuxième série d'essais pourrait consister à estimer les termes d'interaction, etc. De cette façon, les parcours sont configurés dans chaque bloc pour qu’ils puissent estimer un modèle complet.
Faites-moi savoir si vous souhaitez discuter davantage. "
@tom_donnelly Il a également indiqué que le client souhaitait peut-être déterminer si les transformations pouvaient être pertinentes dans la construction du modèle, mais je ne l'ai pas mentionné dans mon courrier électronique (j'attendrai que nous discutions en direct).
J'aime la réponse de Tom à cela. Je pense que c'est le meilleur. Cependant, s'il n'y a pas de temps ou de budget pour plus de lancers, j'ai également eu un peu de chance en utilisant la régression généralisée pour obtenir des modèles plus prédictifs sur les données DOE dans ma vie passée. Peter Hersh a partagé avec moi une impressionnante démo de JMP Pro qui est si proche de ce que j'ai fait, ça fait peur 
Pete, puis-je vous en parler?
Salut Wendy,
J'ai joint mon journal à l'exemple cité par Jason. La situation est très similaire dans laquelle ils ont exécuté un DSD et tentent de créer un modèle prédictif. Si vous utilisez Stepwise puis ajustez les moindres carrés (JMP standard), vous obtenez un modèle très surajusté qui finit par être une mauvaise prévision. Avec GenReg cela fonctionne beaucoup mieux. Je serai en déplacement la semaine prochaine. Je pourrai donc mieux l'expliquer, mais tous les scripts sont enregistrés dans les tableaux de données. C'est un bon cas pour GenReg vs. Pas à pas / ajustement des moindres carrés. J'espère que c'est utile.
Il pourrait être intéressant de vérifier si cette expérience inclut des facteurs de mélange. Si tel est le cas, nous ne devrions pas tenter de simplifier le modèle comme nous le ferions pour une expérience impliquant uniquement des facteurs de processus. Essayez plutôt d'utiliser des prédictions en utilisant le modèle de conception.
Meilleur,
Malcolm
