338434_de-DE

liliconcom

Modellvorhersage

Hallo

Ich arbeite an einer Datenbank mit etwa 3000 Datensätzen und etwa 100 Prädiktoren. Die Antwort ist ein elektrischer Parameter mit einer guten Gauß-Verteilung. Die Datenbank ist eine multivariate Zeitreihe, da sowohl die Antwort als auch die Prädiktoren zeitabhängig sind. Die Prädiktoren werden entlang der Produktionslinie bei einem bestimmten Prozessschritt gesammelt, während der elektrische Parameter etwa 2 Wochen später gemessen wird. Die Idee dabei ist, die elektrische Messung anhand der Maschinendaten (Prädiktoren) vorherzusagen.

Als erstes Modell habe ich einen Random Forest verwendet. R2 und Fehler waren sowohl für Trainings- als auch für Testgruppen wirklich gut. Als ich jedoch versuchte, das Modell in der Produktion mit noch nie zuvor gesehenen Daten einzusetzen, war die Modellleistung sehr schlecht. Ich konnte dieses Verhalten mit der Schwäche des Random Forest bei der Extrapolation erklären. Wenn man dann das baumbasierte Modell ausschließt, bleiben als einzige Wahl die polynomische Anpassung und das neuronale Netzwerk. Das erste war in Bezug auf R2 und Fehler nicht akzeptabel, während das NN mit 2 Schichten und 3 Aktivierungsfunktionen sowohl für Trainings- als auch für Testdaten ein gutes R2 und einen guten Fehler liefern konnte. Nachdem ich das Modell erstellt hatte, setzte ich es in der Produktion mit noch nie gesehenen Daten ein (Sternchen im Graph Builder). Obwohl die Trendvorhersage korrekt ist, sind die einzelnen Werte dies nicht. Insbesondere das NN mit noch nie gesehenen Daten zeigt eine sehr hohe Variabilität. Am Ende dieser Geschichte habe ich also kein anderes Modell in JMP zum Testen. Zumindest denke ich das. Kann mir jemand einen Trick oder Vorschlag zur Lösung dieses Problems geben?

In der beigefügten PPT sind alle Diagramme dargestellt.

Danke Felice

Datenexploration und -visualisierungRe: Modellvorhersage

Danke an alle die auf meinen Beitrag geantwortet haben. Alle richtigen Beobachtungen. Ich habe versucht, ein einfaches Experiment durchzuführen, um das Problem besser zu verstehen.

In der beigefügten ppt meine Schlussfolgerungen und Ergebnisse.Jeder Kommentar und Vorschlag ist willkommen.

 

Felice

Re: Modellvorhersage

Wie Sie sagen, ordnen Sie Beobachtungen nicht zufällig Training, Validierung und Test zu. Ich habe niemanden sagen sehen, dass eine zufällige Zuordnung vorgenommen wurde, aber wenn es so wäre, sollte das nicht gemacht werden. Sie nehmen die Zuordnung nach Zeit vor. Der Trainingssatz ist der älteste, die Validierung der nächste Satz und der Test die letzte Gruppe. Auf diese Weise erhält man einen guten Hinweis auf die Prognosefähigkeit.

 

Die Trainings-, Validierungs- und Testsätze müssen repräsentativ für den stabilen Prozess sein. Wenn Training und Validierung gut passen, aber nicht der Test, führt das natürlich zu der Annahme, dass etwas passiert ist, um das Test-Set zu verändern. Was auch immer aufgetreten/geändert wurde, sollte ein weiterer Prädiktor im Modell sein.

Re: Modellvorhersage

Ich verlasse mich auf die anderen Kommentare hier, da diese Leute mehr über solche Dinge wissen als ich.Aber es gibt ein Problem, das sie nicht erwähnt haben, und ich dachte, ich würde es ansprechen.Da es sich um multivariate Zeitreihendaten handelt, welchen Sinn hat die Verwendung zufälliger Validierungs- und Testdatensätze?Ignoriert dies nicht die Zeitstruktur in den Daten?Natürlich können Sie neuronale Netze, zufällige Wälder usw. verwenden, aber ich würde nicht erwarten, dass die Leistung bei neuen Daten sehr gut ist, da diese Modelle die Zeitstruktur in den Daten ignoriert haben.Bei Zeitreihendaten würde ich denken, dass die Testdaten ein zusammenhängender Bereich von Beobachtungen sein sollten, damit die Zeitstruktur modelliert und getestet werden kann.Ist es also angemessen, diese Methoden mit zufälliger Validierung und Testdatensätzen auf Zeitreihendaten, wie Sie sie haben, anzuwenden?

Re: Modellvorhersage

Ich stimme allem zu @Dan_Obermiller Und @Statman empfehlen oder angeben.

 

Ein weiterer Gedanke für Sie: Da Sie anscheinend mit zufälligen historischen Produktionsprozessen und Daten arbeiten, haben Sie die Möglichkeit, geplante Experimente durchzuführen? Der Grund, warum ich diesen Weg einschlage, ist, dass, wenn Ihre Modelle, die auf historischen Informationen basieren, für zukünftige Beobachtungen nicht besonders erweiterbar sind, möglicherweise andere wichtige kausale Variablen in das System eindringen, die die historischen Daten aus Sicht der Effektmodellierung nicht berücksichtigen Sichtweise ... aber Sie können einige davon möglicherweise in eine DOE-zentrierte Untersuchung einbeziehen.

 

Sie suchen nach Nadeln im Heuhaufen, und ich kenne keine effizientere Methode, um sie zu finden, als DOE. Beispielsweise gibt es möglicherweise Schwankungen beim Rohmaterial in der Produktion, die Sie nicht mit den historischen Prozessdaten berücksichtigen, aber bei einer DOE-Untersuchung haben Sie mehrere Optionen, um mit solchen Dingen umzugehen, z. B. Sperren. Oder wenn als @Statman schlägt vor, wenn Effektknappheit vorhanden ist, könnte vielleicht ein definitives Screening-Design funktionieren?

 

Die Idee hier ist, Ihre frühere Modellierungsarbeit und das, was Sie gelernt haben, mit Ihrem Prozesswissen zu nutzen und die Leistungsfähigkeit von DOE zu nutzen, um Ihnen zu helfen, dieses „nützliche Modell“ zu finden.

 

Während meiner Zeit in der Industrie hatte ein weiser Ingenieur, mit dem ich zusammengearbeitet habe, ein Sprichwort: „Bis wir einen Fehlermodus nach Belieben ein- und ausschalten können, verstehen wir den Prozess nicht.“ Es war DOE, das die effizienteste Einzelmethode war, die uns dazu gebracht hat, "...den Prozess zu verstehen".

Re: Modellvorhersage

Noch ein paar Punkte, die Sie berücksichtigen sollten: Bei den Modellen, die Sie ausprobiert haben, sind mehrere Optionen zu berücksichtigen, die die Passform verbessern können. Für den zufälligen Wald: Wie viele Bäume haben Sie verwendet? Hast du mehr probiert? Wie groß war jeder Baum? Hast du versucht, sie größer zu züchten? Was lässt Sie glauben, dass das neuronale Netzwerk mit 3 Knoten ausreicht? Hast du mehrere Fahrten probiert? Haben Sie versucht, ein verstärktes neuronales Netzwerk zu verwenden? Wenn ja, haben Sie versucht, die Lernrate zu ändern? Wenn Sie einen wirklich großen Unterschied zwischen der Validierung und der Leistung des Testsets sehen, hat sich etwas geändert, das das Testset so anders machen würde? Es kann auch in Frage stellen, wie Sie Ihre Daten zwischen Training, Validierung und Test aufteilen.

 

Aber wenn Sie mit der Erstellung von Trainings-, Validierungs- und Testsets vertraut sind und glauben, dass sie alle repräsentativ sind, gibt es Optionen und Wege, um Modelle zu verbessern. Bei genügend Knoten und Suchiterationen kann ein neuronales Netzwerk eine perfekte Anpassung bieten, da es ein universeller Approximator ist. Dies ist jedoch nicht wünschenswert, da es nur zu diesen Daten passt, nicht zu zukünftigen Daten (siehe @Statmann Kommentare von ). Denken Sie also daran, dass es nicht realistisch ist, eine „perfekte“ Vorhersage zu erwarten. Beide @P_Bartel Und @Statman auf Dinge hinweisen, die zu beachten sind. Sie sollten wirklich nicht erwarten, dass Sie besser abschneiden als Ihr Messsystemfehler. Auf diese Weise können Sie ein realistisches Ziel für Ihren Vorhersagefehler festlegen.

Re: Modellvorhersage

Leider ist die Entwicklung guter Modelle im Hinblick auf die Vorhersage keine triviale Aufgabe. R^2 ist eine aufzählende Statistik. Sie gilt nur für die vorliegenden Daten. Der RMSE des Modells ist eine aufzählende Statistik und gilt nur für den vorliegenden Datensatz. Die Extrapolation des Modells ist kein enumeratives Problem (siehe Deming: Enumerative vs. analytische Probleme), sondern eine Übung zum Erfassen von Daten, die zukünftige Bedingungen darstellen. Anscheinend repräsentieren die Datensätze, die Sie verwenden, um die vorhandenen Daten zu modellieren, nicht die zukünftigen Bedingungen. Hier kann Ihnen keine statistische Methode weiterhelfen. Es kann Probleme mit Ihrem Messsystem geben, da @P_Bartel schlägt oder viele andere Gründe vor, warum Ihr Datensatz keine zukünftigen Bedingungen darstellt. Ist der Prozess stabil (nach Shewhart)? Vielleicht sollten Sie gerichtetes Sampling durchführen, um den Prozess zu verstehen, bevor Sie versuchen, ihn zu modellieren. Ich bezweifle, dass alle 100 Prädiktorvariablen den gleichen Einfluss auf die relevanten Antwortvariablen haben (siehe Prinzip der Knappheit von Effekten).

Re: Modellvorhersage

Hier sind ein paar Gedanken für Sie:

 

1. Was wissen Sie über Ihre Messsystemvariante? Wenn es nahe an "nichts" liegt ... würde ich Ihr Studium der kausalen / prädiktiven Modellierung umleiten, um eine Studie zur Variabilität des Messsystems einzubeziehen. Die zweiwöchige Verzögerung zwischen der Erfassung der Produktionsdaten und der Messung der Reaktion erfordert ein schwankendes oder sehr variables Messsystem von der Schulung/Validierung bis zur Extrapolation auf zukünftige Vorhersagen und Ergebnisse.

 

2. Haben Sie JMP Pro ... Zeitreihenfunktionsdatenexploration und -analyse ist eine der herausragenden Funktionen in JMP Pro, und Ihre Studie ist auf die Funktionsdatenexploration zugeschnitten. Für weitere Details empfehle ich, sich dieses On-Demand-Webinar anzusehen: Funktionaler Daten-Explorer