Prédiction de modèlesalut
Je travaille sur une base de données avec environ 3000 enregistrements et environ 100 prédicteurs. La réponse est un paramètre électrique avec une bonne distribution gaussienne. La base de données est une série chronologique à plusieurs variables car la réponse et les prédicteurs dépendent du temps. Les prédicteurs sont collectés le long de la ligne de production à une étape particulière du procédé tandis que le paramètre électrique est mesuré environ 2 semaines plus tard. L'idée ici est de prédire la mesure électrique en utilisant la machine en données en ligne (prédicteurs).
Comme premier modèle, j'ai utilisé une forêt aléatoire. Le R2 et l'erreur étaient vraiment bons pour les groupes d'entraînement et de test. Quoi qu'il en soit, lorsque j'ai essayé de déployer le modèle en production sur des données jamais vues auparavant, les performances du modèle étaient très mauvaises. J'ai pu expliquer ce comportement avec la faiblesse de la forêt aléatoire à extrapoler. Ensuite, en excluant l'arbre du modèle basé sur le modèle, le seul choix reste l'ajustement polynomial et le réseau de neurones. Le premier n'était pas acceptable en termes de R2 et d'erreur, tandis que le NN avec 2 couches et 3 fonctions d'activation était capable de renvoyer un bon R2 et une erreur sur les données d'entraînement et de test. Puis une fois que j'ai construit le modèle, je l'ai déployé en production sur des données jamais vues (astérisque dans le générateur de graphes). Même si la prédiction de tendance est correcte, les valeurs uniques ne le sont pas. En particulier, le NN sur des données jamais vues montre une très grande variabilité. Donc à la fin de cette histoire je n'ai pas d'autre modèle dans JMP à tester. Au moins c'est ce que je pense. Quelqu'un peut-il me donner une astuce ou une suggestion pour résoudre ce problème?
Dans le ppt ci-joint, tous les graphiques.
Merci Felice
AnalytiqueTableau de donnéesRe: Prédiction de modèleVoici quelques réflexions pour vous:
1. Que savez-vous de la variation de votre système de mesure? Si près de «rien» ... Je détournerais votre étude de la modélisation causale / prédictive pour inclure une étude de variabilité du système de mesure. Le décalage de deux semaines entre la collecte des données de production et la mesure de la réponse implique un système de mesure dérivant ou très variable, de la formation / validation à l'extrapolation aux prévisions et résultats futurs.
2. Avez-vous JMP Pro ... l'exploration et l'analyse de données fonctionnelles de séries chronologiques sont l'une des capacités de signature de JMP Pro et votre étude est faite sur mesure pour l'exploration de données fonctionnelles. Pour plus de détails, je suggère de regarder ce webinaire à la demande: Explorateur de données fonctionnelles
Re: Prédiction de modèleMalheureusement, développer de bons modèles en termes de prédiction n'est pas un exercice anodin. R ^ 2 est une statistique énumérative. Il s'applique uniquement aux données en main. Le RMSE du modèle est une statistique énumérative et s'applique uniquement à l'ensemble de données en main. L'extrapolation du modèle n'est pas un problème énumératif (voir Deming: problèmes énumératifs ou analytiques), mais un exercice d'acquisition de données qui représentent les conditions futures. Apparemment, les ensembles de données que vous utilisez pour modéliser les données existantes ne représentent pas les conditions futures. Aucune méthode statistique ne peut vous aider ici. Il peut y avoir des problèmes avec votre système de mesure car @P_Bartell suggère ou de nombreuses autres raisons pour lesquelles votre ensemble de données ne représente pas les conditions futures. Le processus est-il stable (selon Shewhart)? Vous devriez peut-être faire un échantillonnage dirigé pour comprendre le processus avant d'essayer de le modéliser. Je doute que les 100 variables prédictives aient la même influence sur les variables de réponse pertinentes (voir principe de rareté des effets).
Re: Prédiction de modèleQuelques autres points à considérer: il existe plusieurs options à considérer sur les modèles que vous avez essayés qui peuvent améliorer l'ajustement. Pour la forêt aléatoire: combien d'arbres avez-vous utilisé? Avez-vous essayé plus? Quelle était la taille de chaque arbre? Avez-vous essayé de les agrandir? Qu'est-ce qui vous fait penser que le réseau neuronal à 3 nœuds était suffisant? Avez-vous essayé plusieurs voyages? Avez-vous essayé d'utiliser un réseau de neurones boosté? Si oui, avez-vous essayé de modifier le taux d'apprentissage? Si vous constatez une très grande différence entre la validation et les performances de l'ensemble de test, quelque chose a-t-il changé qui rendrait l'ensemble de test si différent? Cela peut également remettre en question la manière dont vous répartissez vos données entre la formation, la validation et le test.
Mais si vous êtes à l'aise avec les créations de formation, de validation et de test et que vous pensez qu'elles sont toutes représentatives, il existe des options et des moyens d'améliorer les modèles. Avec suffisamment de nœuds et d'itérations de recherche, un réseau de neurones peut fournir un ajustement parfait car il s'agit d'un approximateur universel. Mais ce n'est pas souhaitable car cela ne correspondra qu'à ces données, pas aux données futures (voir @statman commentaires de). Rappelez-vous donc que s'attendre à une prédiction «parfaite» n'est pas réaliste. Tous les deux @P_Bartell et @statman indiquez les éléments à considérer. Vous ne devriez vraiment pas vous attendre à faire mieux que l'erreur de votre système de mesure. Cela vous permet de définir un objectif réaliste pour votre erreur de prédiction.
Re: Prédiction de modèleJe suis d'accord avec tout @Dan_Obermiller et @statman recommander ou déclarer.
Une autre pensée pour vous ... puisque vous semblez travailler avec des processus et des données de production d'historique par hasard, avez-vous la capacité d'exécuter des expériences conçues? La raison pour laquelle je vais dans cette voie est que si vos modèles basés sur des informations historiques ne sont pas particulièrement extensibles aux observations futures, alors il se peut qu'il y ait d'autres variables causales importantes entrant dans le système que les données historiques ne prennent pas en compte à partir d'un point de modélisation d'effet de vue ... mais vous pourrez peut-être en inclure certains dans une enquête centrée sur le DOE.
Vous êtes à la recherche d'aiguilles dans une botte de foin et je ne connais pas de méthode plus efficace pour les trouver que DOE. Par exemple, il y a peut-être une variation de matière première dans la production que vous ne tenez pas compte avec les données de processus historiques, mais dans une enquête de type DOE, vous avez plusieurs options pour gérer ce genre de chose, comme le blocage. Ou si comme @statman suggère que si la rareté des effets est présente, peut-être qu'une conception de dépistage définitive pourrait fonctionner?
L'idée ici est de tirer parti de votre travail de modélisation passé et de ce que vous avez appris, avec votre connaissance des processus, et d'utiliser la puissance du DOE pour vous aider à trouver ce «modèle utile».
Au cours de mes années dans l'industrie, un ingénieur avisé avec qui j'ai travaillé a dit: "Tant que nous ne pouvons pas activer et désactiver un mode de défaillance à volonté, nous ne comprenons pas le processus." C'est le DOE qui a été la méthode la plus efficace qui nous a amenés à «... comprendre le processus».
Re: Prédiction de modèleJe m'en remets aux autres commentaires ici, car ces gens en savent plus que moi sur de telles choses.Mais il y a un problème qu'ils n'ont pas mentionné et que je pensais soulever.Puisqu'il s'agit de données de séries chronologiques multivariées, quel sens y a-t-il à utiliser une validation aléatoire et des ensembles de données de test?Cela n'ignore-t-il pas la structure temporelle des données?Bien sûr, vous pouvez utiliser des réseaux neuronaux, des forêts aléatoires, etc., mais je ne m'attendrais pas à ce que les performances soient très bonnes sur les nouvelles données, car ces modèles ont ignoré la structure temporelle des données.Pour les données de séries chronologiques, je pense que les données de test devraient être une plage contiguë d'observations, de sorte que la structure temporelle puisse être modélisée et testée.Alors, est-il approprié d'utiliser ces méthodes, avec des ensembles de données de validation et de test aléatoires, sur des données de séries chronologiques telles que celles dont vous disposez?
