Combien de points de données pour un modèle de commande réduit ?Je suis encore une fois dans la situation où je pense savoir ce que je veux faire, mais je n'arrive pas à trouver comment formuler correctement la question...Peut-être que quelqu'un aurait la gentillesse d'aider un ingénieur en difficulté ?
J'essaie de construire un modèle d'ordre réduit - j'ai un modèle mécaniste complexe et je souhaite développer une corrélation simple pour décrire les performances de mon système dans un espace opérationnel limité.J'ai utilisé JMP pour concevoir une expérience de « remplissage d'espace » et écrit un script pour exécuter mon modèle mécaniste afin de remplir le tableau des résultats.Je peux importer les résultats dans JMP et j'ai réussi à créer des corrélations qui répondent à mes besoins avec la plateforme « Fit Model ».
Cependant, le modèle mécaniste fonctionne relativement lentement, je suis donc motivé pour essayer de déterminer le nombre d'exécutions mécanistiques que je peux réaliser tout en générant un bon ajustement général.J'ai l'impression que je devrais pouvoir utiliser mon ensemble de données existant pour commencer à répondre à cette question - je peux masquer manuellement les données, les adapter à un sous-ensemble, puis contester cet ajustement par rapport à l'ensemble de données plus large, en comparant le r2 sur les données invisibles, Par exemple.Le faire manuellement est OK, mais cela prend du temps (ou peut-être que je suis juste paresseux) - y a-t-il un widget magique qui me manque ?
Je suppose que je pourrais utiliser la plate-forme "Neural" et augmenter la "portion de retenue" jusqu'à ce que le r2 de l'ensemble de validation commence à grimper.Je préférerais m'en tenir à un modèle "linéaire" (bien qu'avec des termes quadratiques et croisés), mais je suppose que cela permettrait d'estimer la limite.Il semble également que je ne puisse choisir le Holdback qu'une seule fois, je dois donc relancer la plateforme pour jouer à ce jeu.
Merci d'avance!
Charles
Accès aux donnéesMélange et nettoyage des donnéesConception d'expériencesModélisation prédictive et apprentissage automatiquePartager et communiquer les résultatsRe : Combien de points de données pour un modèle de commande réduite ?Merci encore Dan.Je comprends et je suis d'accord avec votre réponse.
Le modèle (mécaniste) sous-jacent est assez non linéaire, donc mon problème est que je ne suis pas sûr à l'avance si un modèle quadratique sera assez bon (ou lequel des ~ 10 paramètres d'entrée pourrait montrer une non-linéarité).J'aime l'ANN en fait, il est susceptible de détecter toute non-linéarité, mais je n'aime pas qu'il ait autant de paramètres, comme vous le dites.
Je n'avais pas réalisé que la partie Holdback de l'aNN était utilisée directement dans l'ajustement des paramètres - je pensais qu'elle était "uniquement" utilisée pour choisir quand s'arrêter.Certes, si j'augmente suffisamment cette fraction de retenue, la qualité du modèle diminue (à la fois ajustée et validée).En fait, j'ai réussi à écrire un joli script qui exécute le modèle aNN plusieurs fois dans une boucle avec des fractions de retenue croissantes, puis capture le r2 pour les ensembles d'ajustement et de validation, afin que je puisse avoir une idée de l'endroit où la qualité du modèle commence à se détériorer. ..
Quoi qu'il en soit, merci beaucoup pour votre aide - j'en sais maintenant plus sur la plateforme DoE et je me sens mieux à même de résoudre ce genre de problème à l'avenir !Si je sais que la sortie du modèle est susceptible d'être relativement fluide, j'utiliserai probablement une conception plus structurée comme vous le recommandez et testerai les bords/points centraux.Si je suis moins confiant, j'utiliserai une conception remplissant l'espace - en utilisant plus de points de données pour obtenir un ajustement, mais j'espère mieux comprendre la non-linéarité du système (s'il existe)
Tous mes vœux
Charles
Re : Combien de points de données pour un modèle de commande réduite ?La différence entre l'expérience conçue et le réseau neuronal est liée au modèle adapté.
Les modèles de réseaux neuronaux peuvent capturer un comportement TRÈS non linéaire. Pour ce faire, vous avez besoin de beaucoup plus de données. Mais le modèle résultant est beaucoup plus complexe et « ondulé » que le modèle quadratique. Il existe généralement de NOMBREUX paramètres dans un modèle de réseau neuronal. De plus, les réseaux de neurones nécessitent un ensemble de données inaccessibles (comme vous le savez), ce qui signifie que toutes les données ne sont pas utilisées pour ajuster le modèle. Cela signifie également que vous avez besoin d'un ensemble de données plus volumineux puisque seul un pourcentage des données est utilisé pour créer le modèle. Notez que les ensembles d'exclusion sont utilisés pour déterminer quand arrêter l'estimation des paramètres du réseau neuronal, donc conserver des pourcentages plus importants de données n'est pas tout à fait la même chose que d'utiliser moins de données. L'ensemble de rétention est toujours utilisé, mais dans une moindre mesure que les données de formation.
La meilleure approche dépend donc du degré de non-linéarité que vous attendez de ce modèle mécaniste. Ce sera pour vous un compromis coût/bénéfice ou risque/récompense.
Si vous pensez vraiment que le modèle quadratique fait un travail adéquat pour estimer la relation, optez pour l'approche de conception expérimentale et moins de données.
Si vous vous attendez à ce que le réseau neuronal capture mieux la relation, optez pour le réseau neuronal, mais au prix de davantage de données nécessaires.
Re : Combien de points de données pour un modèle de commande réduite ?Merci Dan. J'ai travaillé sur cela et la réponse est revenue sous la forme de 21 cas (au lieu des ~ 2 200 que j'ai réellement exécutés). Toutes mes valeurs de "puissance" dans l'analyse de puissance sont revenues à 1, donc je pense que cela implique que le modèle devrait être bon.
Cela dit, j'ai utilisé la plate-forme Neural pour adapter des parties des 2 200 cas d'origine. J'ai mis en place un script qui a exécuté le fit 4 fois et j'ai comparé le r2 et le q2 en augmentant la fraction de retenue. Les deux étaient bons (> 0,995 pour au moins 3 des 4 modèles) lorsque ma fraction de retenue était <0,925. Lorsque j'ai retenu 0,95 des variables (c'est-à-dire que j'ai utilisé 0,05*2200 = 110 conditions utilisées pour l'ajustement), alors le r2 était < 0,985 pour 3 ajustements sur 4 et le q2 était < 0,97 pour 3 sur 4.
Je ne sais pas pourquoi j'ai besoin de plus de cas lorsque j'utilise la plateforme Neural. Je suppose que le « design personnalisé » utilise un modèle -1/+1 où mon design de remplissage d'espace original était distribué dans l'espace et donc peut-être moins perspicace ?
Merci
CharlesRe : Combien de points de données pour un modèle de commande réduite ?Vous disposez donc d’un modèle quadratique dont vous vous sentez à l’aise avec l’ajustement. Maintenant, vous voulez déterminer de combien de courses auriez-vous VRAIMENT besoin pour obtenir un ajustement similaire, n'est-ce pas ? Êtes-vous plus intéressé par la valeur prédite du modèle linéaire ou par l'estimation des paramètres de ce modèle linéaire ? Je suppose que vous êtes intéressé par la prédiction.
Alors peut-être que cette approche fonctionnerait. Choisissez DOE > Conception personnalisée. Entrez vos facteurs. Spécifiez le modèle RSM (effets principaux, toutes les interactions bidirectionnelles et tous les termes au carré - je pense que c'est ce que vous avez dit). Regardez le nombre d'exécutions par défaut. Cliquez sur Créer un design.
JMP créera une conception I-optimale (la meilleure pour la prédiction) avec ce nombre d'exécutions.
Ouvrez la partie Analyse de puissance de la sortie. Remplissez le RMSE anticipé (ce sera le RMSE du modèle que vous avez déjà installé). Entrez les coefficients anticipés du modèle linéaire que vous possédez déjà. Cliquez sur Appliquer les modifications aux coefficients anticipés. Les nombres de puissance qui en résultent représentent la probabilité que cette conception détecte cet effet. Vous voudriez que ces chiffres soient élevés. La hauteur dépendra de vous. S'ils ne sont pas suffisamment élevés, revenez en arrière et augmentez le nombre de passages dans la conception.
Je vous encourage également à consulter le tracé de la fraction de l'espace de conception et le profil de variance de prédiction. Ces graphiques vous montreront la « précision » de prédiction du modèle avec ce nombre d'exécutions. Recherchez une faible variance de prédiction qui est assez plate dans tout l’espace de conception.
J'espère que ça aide!
