Évaluation du modèle existantSalut tout le monde,
J'avais créé un modèle prédictif et récemment, mes collègues du QC ont dû modifier l'un de leurs ingrédients, qui est l'une des nombreuses variables du modèle, pour continuer à regrouper leurs produits. Je souhaite évaluer le modèle existant au lieu de l'affiner car il n'y a pas encore suffisamment de données et le modifier réduira la précision. Ils ont de nouvelles réponses mesurées, en utilisant le nouvel ingrédient, avec lequel je peux comparer les prédictions du modèle. C'est une façon d'évaluer mon modèle. Mais je me demande si JMP dispose déjà d'outils que je peux utiliser pour le faire et peut-être pour creuser plus profondément. N'importe quoi du Graphiques de contrôle statistique des processus (SPC) ?!
Les suggestions sont grandement appréciées.
Re: Évaluation du modèle existant@statman merci beaucoup pour le lien, le livre et votre temps encore.
1. Il est significatif selon les colonnes des facteurs de sélection et des facteurs de contribution. Le nouvel ingrédient provient d’un autre fournisseur. C'est toujours dans les limites ASTM pour le même type. Oui, je peux expérimenter. Je le ferai dans un futur proche.
1. Oui, j'en suis conscient. Boosted Tree ne me donne probablement pas de R2 ajusté.
2. Oui, évidemment pour Delta. Je voulais dire quel delta utiliser. Mais il semble que cela soit basé sur ma propre décision... merci encore.
Re: Évaluation du modèle existantS'il te plait regarde équivalence univariée pour plus d'informations sur ce test dans Distribution. Voir équivalence unidirectionnelle pour plus d'informations sur Oneway.
Re: Évaluation du modèle existantDiscussion de suivi :
1. Quelle était l’importance du produit chimique précédent dans le modèle précédent ? Dans quelle mesure le nouveau produit chimique est-il différent ? Pouvez-vous expérimenter cette variable pour voir son effet ?
1. R^2 n'a rien à voir avec la précision de votre modèle. R^2 est la quantité de variation DANS L'ENSEMBLE DE DONNÉES qui est expliquée par le modèle. R^2 ne doit pas être évalué seul. Vous devez comparer R^2 avec R^2 ajusté. R^2 augmentera toujours à mesure que vous augmentez les degrés de liberté dans le modèle (dont vous avez apparemment beaucoup de DF dans le modèle), mais le but est d'inclure uniquement des variables significatives dans le modèle. R^2 ajusté prend en compte les termes insignifiants dans le modèle, vous souhaitez donc que le delta entre R^2 et R^2 ajusté soit minimal.
2. Pour créer une colonne de deltas entre le modèle précédent (colonne 1) et le nouveau modèle (colonne 2), créez simplement une colonne avec une formule soustrayant les 2 colonnes.
Pour avoir un aperçu de l'utilisation des cartes de contrôle, vous devriez lire :
Wheeler, Donald et Chambers, David (1992) « Comprendre le contrôle statistique des processus " Presse SPC (ISBN 0-945320-13-2)
Pour les distributions : https://www.jmp.com/support/help/en/15.1/?os=mac&source=application&utm_source=helpmenu&utm_medium=application#page/jmp/compare-distributions.shtml
Re: Évaluation du modèle existant@Mark_Bailey Merci beaucoup pour votre réponse. Existe-t-il une page où je peux voir un exemple et expliquer comment l'exécuter dans JMP ? Très appréciée.
Re: Évaluation du modèle existantMerci @statman et @Mark_Bailey . Je vais de l'avant et réponds à vos questions et j'espère obtenir vos meilleures réflexions/solutions finales. J'apprécie encore une fois votre temps et votre aimable aide :
1. Je pense que le modèle actuel (Boosted Tree) fonctionne bien. R2 est de 92% et j'ai vérifié ses prédictions avec de nouvelles réponses mesurées et le QC est très content. Les réponses auxquelles je fais référence proviennent de productions contenant les mêmes 30 ingrédients. Un seul ingrédient a changé récemment parce qu’ils ne peuvent pas l’importer et qu’ils en utilisent un autre.
2. Je pense avoir répondu à cette question au point 1. Le seul modèle que j'ai créé utilise donc 30 variables avec lesquelles nous travaillons depuis plusieurs années. L'un d'eux a dû être changé récemment et est d'un type similaire mais avec une composition chimique légèrement différente.
3. Oh désolé. Rien n'a été supprimé du modèle. Je veux vérifier si le seul modèle que j'ai créé prédit toujours les réponses de manière acceptable.
4. J’aime avoir la même précision que le modèle précédent. Ces 92 % de R2 étaient destinés à la formation, à la validation et à l'ensemble de tests. C'est un super modèle. Si je souhaite créer un nouveau modèle en utilisant les 29 variables précédentes et le nouvel ingrédient (30 au total), je n'aurais pas suffisamment de données pour former un bon modèle. Je dois donc attendre au moins un an pour produire suffisamment de données.Concernant le delta, comment le calculer pour vérifier que la même précision est conservée ? Puis-je utiliser la comparaison de modèles dans le menu ?
Je pense donc que votre dernier paragraphe est très intéressant. Existe-t-il des exemples d'application de la formule de prédiction dans ces graphiques ?
Je suis un débutant dans ces graphiques. Aussi, qu’entendez-vous par résumés distributifs ? Désolé, je suis un peu confus.
Re: Évaluation du modèle existantAjout à @statman , vous voulez démontrer équivalence après le changement d'ingrédient pour valider, le modèle actuel est toujours précis. Cet objectif renverse les hypothèses nulles et alternatives. Vous pouvez réaliser le test d'équivalence avec les plateformes Distribution ou Oneway. Vous devrez indiquer l'intervalle dans lequel les résultats sont considérés comme pratiquement identiques.
Re: Évaluation du modèle existantQuelques réflexions et questions :
1. Comment Bien Votre modèle prédictif fonctionnait-il avant le changement d'ingrédients ?
2. Le modèle actuel utilise-t-il un ingrédient complètement différent ou est-il « lié » d’un point de vue scientifique et théorique ?
3. Je ne suis pas sûr de ce que vous entendez par « peaufiner » le modèle ? Si vous avez supprimé une variable du modèle, le modèle pourrait être complètement différent en termes de coefficients bêta des autres termes du modèle. Qu’arrive-t-il à la précision du modèle sur les données historiques lorsque ce terme est supprimé du modèle ?
4. Je pense que votre idée d'avoir une colonne avec la valeur prédite actuelle (à partir de votre formule), une colonne de la variable de réponse mesurée et une colonne qui est le delta des 2 serait un moyen simple de comparer. Quelle différence serait importante pour vous ?
Les cartes de contrôle sont un diagnostic. Ils visent à comparer différentes sources de variation et à déterminer où se trouve le plus grand effet de levier. Pour ce faire, ils évaluent d'abord la stabilité de la base de comparaison (le tableau de plage - qui évalue la stabilité des sources de variation au sein du sous-groupe en fonction des variables changeant à cette fréquence). Ensuite, comparez l'effet de ces sources sur la variabilité de la réponse aux autres sources de votre étude (le graphique à barres X - qui compare la variation au sein des sous-groupes (limites de contrôle) aux sources de variation entre les sous-groupes.
Maintenant, vous pouvez effectuer un échantillonnage du processus tel qu'il fonctionnait avant que l'ingrédient ne soit modifié (si vous jetez simplement un coup d'œil rapide et ne recherchez pas de diagnostic, vous pouvez utiliser le graphique MR, X des données dans une série chronologique) et le processus après que l'ingrédient ait été modifié pour voir s'il y avait un changement appréciable dans la réponse. Vous pouvez également consulter les résumés de distribution pour obtenir un aperçu graphique.
