ModellvorhersageHallo
Ich arbeite an einer Datenbank mit ungefähr 3000 Datensätzen und ungefähr 100 Prädiktoren. Die Antwort ist ein elektrischer Parameter mit einer guten Gaußschen Verteilung. Die Datenbank ist eine multivariate Zeitreihe, da sowohl die Antwort als auch die Prädiktoren zeitabhängig sind. Die Prädiktoren werden in einem bestimmten Prozessschritt entlang der Produktionslinie gesammelt, während der elektrische Parameter etwa 2 Wochen später gemessen wird. Die Idee hier ist, die elektrische Messung unter Verwendung der Maschine in Leitungsdaten (Prädiktoren) vorherzusagen.
Als erstes Modell habe ich einen zufälligen Wald verwendet. R2 und Fehler waren sowohl für Trainings- als auch für Testgruppen sehr gut. Wie auch immer, als ich versuchte, das Modell in der Produktion für Daten bereitzustellen, die noch nie zuvor gesehen wurden, war die Modellleistung sehr schlecht. Ich konnte dieses Verhalten mit der Schwäche eines zufälligen Waldes erklären, um es zu extrapolieren. Dann bleibt die einzige Wahl, die den Modellbaum basierend ausschließt, die Polynomanpassung und das neuronale Netzwerk. Das erste war in Bezug auf R2 und Fehler nicht akzeptabel, während das NN mit 2 Schichten und 3 Aktivierungsfunktionen ein gutes R2 und einen Fehler sowohl bei Trainings- als auch bei Testdaten zurückgeben konnte. Sobald ich das Modell erstellt habe, habe ich es in der Produktion für Daten bereitgestellt, die nie gesehen wurden (Sternchen im Diagramm-Generator). Obwohl die Trendvorhersage korrekt ist, sind die Einzelwerte nicht korrekt. Insbesondere der NN bei nie gesehenen Daten zeigt eine sehr hohe Variabilität. Am Ende dieser Geschichte habe ich kein anderes Modell in JMP zum Testen. Zumindest denke ich das. Kann mir jemand einen Trick oder Vorschlag geben, um dieses Problem zu lösen?
Im beigefügten ppt alle Grundstücke.
Danke Felice
AnalytikDatentabelleBetreff: ModellvorhersageHier sind ein paar Gedanken für Sie:
1. Was wissen Sie über die Variation Ihres Messsystems? Wenn es fast nichts gibt ... würde ich Ihre Studie zur kausalen / prädiktiven Modellierung umleiten, um eine Variabilitätsstudie zum Messsystem einzuschließen. Die zweiwöchige Verzögerung zwischen der Erfassung von Produktionsdaten und der Messung der Reaktion erfordert ein driftendes oder sehr variables Messsystem von Training / Validierung über Extrapolation bis hin zu zukünftigen Vorhersagen und Ergebnissen.
2. Haben Sie JMP Pro ... Zeitreihen Die Untersuchung und Analyse funktionaler Daten ist eine der Signaturfunktionen in JMP Pro, und Ihre Studie ist maßgeschneidert für die Erforschung funktionaler Daten. Für weitere Informationen empfehle ich, dieses On-Demand-Webinar anzusehen: Funktionsdaten-Explorer
Betreff: ModellvorhersageLeider ist es keine triviale Übung, gute Modelle in Bezug auf die Vorhersage zu entwickeln. R ^ 2 ist eine Aufzählungsstatistik. Sie gilt nur für die vorliegenden Daten. Der RMSE des Modells ist eine Aufzählungsstatistik und gilt nur für den vorliegenden Datensatz. Die Extrapolation des Modells ist kein Aufzählungsproblem (siehe Deming: Aufzählungsprobleme vs. analytische Probleme), sondern eine Übung zur Datenerfassung, die zukünftige Bedingungen darstellt. Anscheinend repräsentieren die Datensätze, die Sie zum Modellieren der vorhandenen Daten verwenden, nicht die zukünftigen Bedingungen. Hier kann Ihnen keine statistische Methode helfen. Möglicherweise liegen Probleme mit Ihrem Messsystem vor @P_Bartell schlägt vor oder viele andere Gründe, warum Ihr Datensatz keine zukünftigen Bedingungen darstellt. Ist der Prozess stabil (pro Shewhart)? Vielleicht sollten Sie eine gezielte Stichprobe machen, um den Prozess zu verstehen, bevor Sie versuchen, ihn zu modellieren. Ich bezweifle, dass alle 100 Prädiktorvariablen den gleichen Einfluss auf die relevanten Antwortvariablen haben (siehe Prinzip der Wirkungsknappheit).
Betreff: ModellvorhersageNoch ein paar Punkte zu beachten: Bei den von Ihnen getesteten Modellen gibt es mehrere Optionen, die die Passform verbessern können. Für den zufälligen Wald: Wie viele Bäume haben Sie verwendet? Hast du mehr versucht? Wie groß war jeder Baum? Hast du versucht, sie größer zu machen? Was lässt Sie denken, dass das neuronale Netzwerk mit 3 Knoten genug war? Haben Sie mehrere Reisen versucht? Haben Sie versucht, ein verstärktes neuronales Netzwerk zu verwenden? Wenn ja, haben Sie versucht, die Lernrate zu ändern? Wenn Sie einen wirklich großen Unterschied zwischen der Validierung und der Leistung des Testsatzes feststellen, hat sich dann etwas geändert, das den Testsatz so unterschiedlich machen würde? Es kann auch in Frage stellen, wie Sie Ihre Daten zwischen Training, Validierung und Test aufteilen.
Wenn Sie jedoch mit den Kreationen von Training, Validierung und Test-Sets vertraut sind und glauben, dass sie alle repräsentativ sind, gibt es Optionen und Möglichkeiten, um Modelle zu verbessern. Bei genügend Knoten und Suchiterationen kann ein neuronales Netzwerk eine perfekte Anpassung bieten, da es ein universeller Approximator ist. Dies ist jedoch nicht wünschenswert, da es nur zu diesen Daten passt, nicht zu zukünftigen Daten (siehe @ Statman Kommentare). Denken Sie also daran, dass es nicht realistisch ist, eine "perfekte" Vorhersage zu erwarten. Beide @P_Bartell und @ Statman auf Dinge hinweisen, die zu beachten sind. Sie sollten wirklich nicht erwarten, dass es besser ist als Ihr Messsystemfehler. Auf diese Weise können Sie ein realistisches Ziel für Ihren Vorhersagefehler festlegen.
Betreff: ModellvorhersageIch stimme mit allem überein @ Dan_Obermiller und @ Statman empfehlen oder angeben.
Ein weiterer Gedanke für Sie ... Da Sie anscheinend mit zufälligen historischen Produktionsprozessen und Daten arbeiten, haben Sie die Möglichkeit, geplante Experimente durchzuführen? Der Grund, warum ich diesen Weg beschreite, ist, dass wenn Ihre auf historischen Informationen basierenden Modelle für zukünftige Beobachtungen nicht besonders erweiterbar sind, möglicherweise andere wichtige kausale Variablen in das System gelangen, die die historischen Daten aus Sicht der Effektmodellierung nicht berücksichtigen of view ... aber möglicherweise können Sie einige davon in eine DOE-zentrierte Untersuchung einbeziehen.
Sie sind auf der Suche nach Nadeln im Heuhaufen und ich kenne keine effizientere Methode, um sie zu finden als DOE. Zum Beispiel gibt es möglicherweise Rohstoffschwankungen in der Produktion, die Sie nicht mit den historischen Prozessdaten berücksichtigen, aber in einer DOE-Typ-Untersuchung haben Sie mehrere Möglichkeiten, um diese Art von Dingen wie das Blockieren zu handhaben. Oder wenn als @ Statman schlägt vor, wenn Effektknappheit vorliegt, könnte vielleicht ein definitives Screening-Design funktionieren?
Die Idee hier ist, Ihre bisherigen Modellierungsarbeiten und das, was Sie gelernt haben, mit Ihrem Prozesswissen zu nutzen und die Leistungsfähigkeit von DOE zu nutzen, um Ihnen dabei zu helfen, dieses „nützliche Modell“ zu finden.
Während meiner Zeit in der Industrie sagte ein weiser Ingenieur, mit dem ich zusammengearbeitet habe: "Bis wir einen Fehlermodus nach Belieben ein- und ausschalten können, verstehen wir den Prozess nicht." Es war DOE, die die effizienteste Methode war, die uns dazu brachte, "... den Prozess zu verstehen".
Betreff: ModellvorhersageIch verweise auf die anderen Kommentare hier, da diese Leute mehr über solche Dinge wissen als ich.Aber es gibt ein Problem, das sie nicht erwähnt haben und von dem ich dachte, ich würde es ansprechen.Welchen Sinn hat es, zufällige Validierungs- und Testdatensätze zu verwenden, da es sich um multivariate Zeitreihendaten handelt?Ignoriert dies nicht die Zeitstruktur in den Daten?Natürlich können Sie neuronale Netze, zufällige Gesamtstrukturen usw. verwenden, aber ich würde nicht erwarten, dass die Leistung bei neuen Daten sehr gut ist, da diese Modelle die Zeitstruktur in den Daten ignoriert haben.Für Zeitreihendaten würde ich denken, dass die Testdaten ein zusammenhängender Beobachtungsbereich sein sollten, damit die Zeitstruktur modelliert und getestet werden kann.Ist es also angemessen, diese Methoden mit zufälligen Validierungs- und Testdatensätzen für Zeitreihendaten wie Sie zu verwenden?
