Re : Mauvais RMSE pour les données de validationSalut @AAYH ,
Bienvenue dans la Communauté !
Il semble que vous subissiez un surajustement de vos données d'entraînement. Il est un peu difficile de vous aider sans aucun exemple de données (par exemple des données anonymisées) pour étudier en détail les étapes que vous avez effectuées et le type de données dont vous disposez. Néanmoins, voici quelques questions pour commencer :
- Avez-vous vérifié les corrélations entre vos entrées (menu Analyser -> Méthodes multivariées -> Multivariées) ou
- Avez-vous vérifié la multicolinéarité entre vos facteurs de processus (dans la plate-forme "Fit Model", panneau " Estimations des paramètres (jmp.com) ", faites un clic droit sur les paramètres des colonnes et cliquez sur Colonnes -> VIF pour vérifier leurs valeurs) ?
Cela pourrait être une direction à explorer, car les corrélations ou la multicolinéarité peuvent gravement "détériorer" les performances des modèles linéaires s'il n'y a pas de précaution.
Si vous avez une corrélation ou une multicolinéarité entre vos facteurs, il peut être plus sûr de :
- Choisir un modèle capable de gérer la multicolinéarité (Partial Least Square, Bootstrap Forest par exemple), ou
- Pré-traitez vos entrées avec une PCA et utilisez les principaux composants de votre modèle linéaire, ou
- Utilisez des méthodes pénalisées (JMP Pro, Generalized Regression) comme LASSO, Ridge ou Elastic Net pour créer des modèles de régression linéaire plus robustes.
Faites-nous savoir ce que cette première enquête apporte, et si j'espère que vous pouvez fournir des exemples de données, il serait plus facile pour les autres membres de participer à cette discussion,
Re : Mauvais RMSE pour les données de validationSalut Victor Merci pour votre réponse et je pense que vous avez raison. Je vais l'examiner dès que possible.
Re : Mauvais RMSE pour les données de validationSalut Statman.
Merci d'avoir pris le temps de répondre à ma question et merci pour votre contribution valable. Je vais l'examiner dès que possible.
Re : Mauvais RMSE pour les données de validationRe-bonjour.
J'ai fait une conception de dépistage définitive où j'ai bloqué en raison de jours différents. Maintenant, je sais que j'ai peut-être fait une erreur en ne prenant pas en compte les variables incontrôlées dès le départ.
J'ai 3 variables (UB1-3) que j'ai modifiées au cours de deux cycles de production différents (Bloc 1 et Bloc 2). Var incontrôlé. 1 et 2 sont mesurés mais je ne peux pas les changer. Ma variable Qualité est mesurée à la fin du processus. La variable non contrôlée 2 dépend fortement du jour/bloc et affectera la Var non contrôlée. 1 ainsi que UB1 à UB3.
Je suis juste curieux de comprendre si je peux utiliser les données que j'ai maintenant ou si j'ai besoin de faire une autre expérience. Merci beaucoup pour votre temps.
Re : Mauvais RMSE pour les données de validationSalut @AAYH ,
Premièrement, ce DSD est-il lié au problème de changement de RMSE avec les données de validation ou est-ce différent et pas particulièrement lié ? J'essaie simplement de voir s'il s'agit de l'exemple de jeu de données pour illustrer votre problème, ou quelque chose en plus de votre problème. Quel est votre objectif avec ce DoE ? Il y a une valeur manquante dans votre table de données pour la deuxième variable non contrôlée.
Si j'ai bien compris, vous avez ajouté un facteur bloquant (dans la création du DSD vous l'avez créé comme facteur catégoriel ?), et 2 variables incontrôlables que vous avez enregistrées mais qui ne sont pas randomisées/contrôlées de manière DoE.
Comme vous l'avez déjà vu, vous avez de fortes corrélations entre vos deux variables incontrôlables, et entre Block et les variables incontrôlées 1/2, ce qui peut fortement impacter les performances prédictives de votre modèle sur de nouvelles données (script "1. Multivariée" dans le tableau de données ci-joint).
J'ai ajouté des propriétés de colonne sur votre facteur aléatoire de bloc et des variables incontrôlables (afin qu'elles puissent être utilisées correctement dans les plates-formes JMP), puis j'ai réalisé deux modèles :
- Un avec la personnalité du modèle Mixte, en spécifiant "Bloquer" comme effet aléatoire (script "2.a. Ajustement Mixte"),
- Un avec la personnalité des moindres carrés standard avec "Bloquer" comme effet aléatoire (script "2.b. Ajuster le modèle (avec bloc aléatoire)").
Sans surprise, les deux modèles fournissent des résultats similaires et, comme vous vous y attendiez, les variables incontrôlables 1 et 2 semblent avoir un effet important sur la qualité de la réponse. Le facteur de blocage aléatoire ne semble pas significatif.
Les modèles en eux-mêmes sont tout à fait corrects (selon la précision du modèle que vous attendez), avec des R² élevés (0,87) et des RMSE assez faibles (autour de 0,5). Cependant, comme déjà vu dans la plate-forme multivariée (corrélations), certains de vos facteurs sont linéairement dépendants les uns des autres, ce qui crée un VIF élevé (environ 20 pour les deux variables non contrôlées) et peut entraîner une augmentation de la variance des prédictions :
Une option pour réduire cette colinéarité pourrait être de créer des composantes principales à partir de ces 2 variables (script "3.a. ACP des variables non contrôlées 1&2"), et réaliser le même type de modèle que précédemment (mais en remplaçant les variables non contrôlées 1&2 par leurs 2 composantes principales, script "3.b. Fit Model with PCs") :
Cela ne changera pas les performances du modèle en termes de R² et de RMSE, mais la diminution des VIF aide à réduire la variance dans les estimations des paramètres (pour les paramètres impliqués dans cette situation de colinéarité).
Concernant votre question initiale, si vous pouvez utiliser les données dont vous disposez actuellement, tout dépend de votre objectif (explication et/ou prédiction), et de la manière dont vous évaluez "l'utilité" de vos données (précision de la prédiction ?).
De ce premier tableau de données, il y a déjà des choses importantes à remarquer, mais sans plus d'informations, il est difficile d'interpréter ou de conclure sur l'utilisation des données (représentativité des plages de variables non contrôlées 1 et 2, ou correction nécessaire pour la valeur manquante Par exemple...). Mais c'est une première étape intéressante sur laquelle vous pourriez augmenter votre conception, pour mieux prendre en compte vos 2 variables incontrôlées et les rendre contrôlées en étant des facteurs dans votre expérimentation.
Notez que ce que j'ai fait peut ne pas être la meilleure approche selon vos objectifs et vos besoins, et que d'autres options pourraient également être disponibles pour les mêmes tâches.
Re : Mauvais RMSE pour les données de validationTout d'abord, je ne suis pas sûr de comprendre le problème? Pouvez-vous publier votre tableau de données ? Ce qui me déroute, c'est le conflit apparent selon la façon dont vous évaluez les "nouvelles" données ? Pourriez-vous décrire comment vous avez fait cela ? Quel est le delta entre la prévision et le réel ? (résidus) Avez-vous analysé les résidus ?
En plus des excellentes réflexions de Victor concernant la multicolinéarité, voici les miennes :
1. Quelle est la source des données que vous avez utilisées pour exécuter le modèle d'ajustement ? S'agit-il de données de production ? Est-ce à partir d'une expérience?
2. Dans quelle mesure vos données sont-elles représentatives des conditions futures ?
3. Comme le suggère Victor, il y a un certain nombre de questions concernant les données. Aucune statistique ne fournit toutes les informations sur notre modèle. R-sq en lui-même a très peu d'utilité (il augmentera toujours à mesure que vous augmentez les DF dans votre modèle). Vous voulez comparer R-sq avec R-sq ajusté. Cela donnera un aperçu du sur-ajustement du modèle.
Mauvais RMSE pour les données de validationSalut
À l'aide de "Fit Model", j'ai créé un modèle pour identifier la teneur en humidité d'un produit en utilisant différents paramètres de processus. Le modèle est fin (Rsq=0.97) et un RMSE assez bas. Les variables utilisées ont toutes un Logworth supérieur à la limite.Le problème se pose lorsque je veux prendre de nouvelles données pour validation. Ici, la prédiction est très mauvaise. Les données que je veux valider ne sont pas très différentes des données utilisées dans le test-set. Lorsque j'inclus les données de validation en tant que données de test, elles s'intègrent très bien dans le modèle, l'erreur de prédiction de l'humidité est similaire aux données "d'origine"
J'ai un modèle composé à la fois d'effets principaux et d'interactions. Qu'est ce que je fais mal?
Exploration et visualisation des données
