Simulieren von Daten, um einen größeren Datensatz für Gebäudemodelle zu generierenLiebe JMP-Community,
Ich versuche, eine Möglichkeit zu finden, simulierte Daten zu generieren, um ein Modell, das ich baue, besser zu trainieren.
Ich habe einen ausreichend großen Datensatz – ein paar tausend Datenpunkte –, möchte aber simulierte Daten generieren, die eine ähnliche Struktur wie die Originaldaten beibehalten, um das Modell zu verbessern. Ich hätte gerne etwa 20.000 bis 50.000 Datenpunkte mit einer ähnlichen Struktur, um einen größeren Satz zum Trainieren, Validieren und Testen des Vorhersagemodells zu haben.
Aus rein visuellen Gründen sehen die Daten etwa so aus:
Ich habe versucht, mit der „Simulator“-Funktion der Profiler-Plattform zu arbeiten, aber die dort generierten Daten weisen keine ähnliche Struktur (Variation) wie die Originaldaten auf – sie werden mit dem Standard zu „verwaschen“. Abweichungen von den Eingaben und Antworten. Wenn ich versuche, aus diesem Satz ein Modell zu erstellen und es mit dem Originalmodell aus den Quelldaten zu vergleichen, übertrifft das Originalmodell es, weil dieses Modell die Struktur der Daten in seiner Vorhersage beibehält. Bei dem aus dem simulierten Datensatz generierten Modell ist dies nicht der Fall, da im Wesentlichen die gesamte Struktur verloren geht.
Auch die Funktion „Simulieren“ (Rechtsklick auf eine Spalte in einem Berichtsfenster) bringt mich nicht wirklich ans Ziel.
Ich habe ein wenig recherchiert, was die Leute mit JMP gemacht haben, und ein paar potenzielle Hinweise gefunden, aber bisher geht keiner wirklich auf das ein, was ich suche.Wenn irgendjemand da draußen eine Lösung dafür hat oder mir den richtigen Weg zum Programmieren weisen kann, wäre ich dankbar.
Danke
Betreff: Daten simulieren, um einen größeren Datensatz für Gebäudemodelle zu generierenHallo @Mark_Bailey Und @Peter_Bartell ,
Um ein Feedback zu geben und die Diskussion zu diesem Thema fortzusetzen, konnte ich mithilfe der ARIMA-Plattform einige vernünftige Modelldaten abrufen. Es leistet gute Arbeit bei der Wiederherstellung eines ähnlichen Datensatzes, ist zwar nicht gut bei der Vorhersage, aber das ist in Ordnung. Die Anwendung der Vorhersageformel aus diesem Modell funktioniert mit meinem tatsächlichen Datensatz ziemlich gut und bietet daher einen potenziell nützlichen Weg nach vorne.
Ich bin mir nicht sicher, ob ich letztendlich so vorgehen möchte, daher möchte ich es mit den anderen Simulationsoptionen in JMP vergleichen. Ich weiß, dass die stochastische Simulation des Profilers aus Gründen, die wir bereits besprochen haben, nicht hilft. Darüber hinaus ist es nicht der beste Ansatz, das Modell für eine bessere Passform abzustimmen, was ich gerne tun würde.
Für meine spezifische Modellierung verwende ich ein Bootstrap-Forest-Modell und möchte es durch Optimierung des Modells verbessern. Ich habe das zum Teil mit einem Stimmtisch gemacht. In dieser Hinsicht gibt es jedoch einige Einschränkungen, insbesondere hinsichtlich der Anzahl der Durchläufe, die ich mir (in Bezug auf den Speicher) in der Tuning-Tabelle leisten kann. Normalerweise führe ich meine Modellierung mit so vielen Durchläufen in meiner Tuning-Tabelle durch, wie ich mir leisten kann. Dies schränkt die Anzahl der Bäume im Wald, die Anzahl der pro Teilung erfassten Begriffe, die Bootstrap-Stichproben, die minimale Teilung pro Baum und die Mindestgröße der Teilung ein. Dies kann dazu beitragen, die Parameter der Modellplattform für die Lösungsfindung zu optimieren, bedeutet jedoch nicht unbedingt, dass ein optimiertes Modell auf der Grundlage der mir vorliegenden Daten erstellt wird.
Wenn ich das Modell erstelle, erstelle ich eine Validierungsspalte, die ich in einen Trainings- und Testsatz aufteile, geschichtet nach meiner Antwortspalte. Anschließend baue ich das Modell nur auf den Trainingsdaten auf, wobei ein bestimmter Prozentsatz für die Validierung des Modells zurückgehalten wird. Die Modellausgabe hängt von der von mir gewählten Validierungsspalte ab (ich habe mehrere erstellt). Eine typische Ausgabe ist unten zu sehen (leider kann ich die Informationen für die Antwort- oder Faktorspalten nicht mitteilen). Die Details der Boostrap-Forest-Spezifikationen ändern sich je nachdem, wie die ursprünglichen Trainings- und Validierungsdaten geschichtet wurden.
Was mich jetzt interessiert, ist die Optimierung des Modells für eine bessere Anpassung, möglicherweise durch Verwendung der Simulationsoption für eine Modellstatistik. Ich könnte dies tun, indem ich das N für die Trainings- und Validierungssätze oder den RMSE der einzelnen Bäume usw. ändere. Ich weiß, dass ich mit diesem Ansatz die Spezifikationen des Bootstrap-Forests nicht ändern kann (das macht die Tuning-Tabelle), aber ich würde ihn gerne so nutzen, dass ich das Modell tunen kann, z. B. die Nummer Anzahl der für Training und Validierung verwendeten Proben oder die Anzahl der Teilungen, um r^2 zu maximieren.
Zusammenfassend: Ich möchte eine Simulationsmethode verwenden, um das Training der Daten zu unterstützen. Ich weiß, dass die Simulationsplattform des Profilers nicht funktioniert, sodass mir ARIMA (möglich) oder die Bootstrap-Simulationsoption für eine Modellstatistik übrig bleibt. Ich bin mir nicht sicher, wie ich die letztgenannte Simulationsmethode am besten zum Optimieren des Modells verwenden kann.
Wir würden uns über alle Gedanken oder Rückmeldungen zum Optimieren von Modellen durch Simulationen freuen.
Vielen Dank im Voraus für Ihre Zeit!
Betreff: Daten simulieren, um einen größeren Datensatz für Gebäudemodelle zu generierenHallo @GM ,
Vielen Dank für die Eingabe und den Vorschlag. Sie haben Recht mit dem beabsichtigten Ziel und der Beschreibung der multivariaten Daten. Die Reihenfolge, in der die Daten generiert werden, scheint kein guter Prädiktor zu sein. Es werden andere Eigenschaften gemessen, die bei gemeinsamer Verwendung eine vernünftige Vorhersage des „y“ liefern, das ich modellieren/vorhersagen möchte. Die Schwierigkeit entsteht, wenn man versucht, das Modell so zu trainieren, dass es besser passt. Ich würde dies gerne durch die Simulation von Daten erreichen, aber das erweist sich als schwieriger als erwartet.
Mit dem MVN-Ansatz gelingt es sicherlich besser, einige der multivariaten Korrelationen der Daten zu bewahren, als mit der Simulationsoption im Profiler. Diese Option bildet lediglich einen Durchschnitt mit einer bestimmten Standardabweichung.
Wenn ich versuche, ein Modell mithilfe des MVN-Skripts und generierter Daten zu erstellen, ist die Leistung leider viel schlechter als bei einem ähnlichen Modell, das nur aus den Originaldaten erstellt wurde.
Bisher finde ich, dass das ARIMA-Modell die kurzfristigen Schwankungen in den Daten sowie einige der längerfristigen Strukturen besser erfassen kann. Es leistet auch keine gute Arbeit bei der Vorhersage der Prognose in Daten, aber ich denke darüber nach, damit neue Daten zu generieren, die zu den Originaldaten hinzugefügt werden, um einen größeren Datensatz zu erstellen und dann ein Modell mit diesem größeren Datensatz zu trainieren.
Ich denke, ich werde jetzt versuchen, „Spalten“ aus dem ARIMA-Bericht zu speichern, die vorhergesagten Werte zu extrahieren und diese dann mit der ursprünglichen Datentabelle zu verketten. Dann möchte ich die Zeilen in der neuen Datentabelle randomisieren und ein Modell mit diesem größeren Datensatz erstellen. Ich denke, eine andere Option könnte darin bestehen, mehrere Validierungsspalten zu generieren, dasselbe Modell mit verschiedenen Kreuzvalidierungszeilen auszuführen und die resultierenden Modelle zu mitteln.
Ich freue mich über alle Beiträge zu dieser Diskussion. Obwohl ich noch keine passende Lösung gefunden habe, lerne ich viel und habe einige neue Ideen, die ich ausprobieren kann.
Danke!
Betreff: Daten simulieren, um einen größeren Datensatz für Gebäudemodelle zu generierenBasierend auf der Diskussion klingt es so, als hätten Sie eine Ergebnisvariable, die Sie mit anderen Prädiktorvariablen modellieren möchten, wobei die Zeit oder die Reihenfolge, in der die Daten generiert werden, keine Prädiktorvariable ist.Möglicherweise möchten Sie Ihre NxP-Matrix (N = Zeilen, P = Variablen (y und x)) mithilfe einer multivariaten Normalverteilung simulieren.Dieser Link stellt JSL zur Simulation multivariater Normalverteilungen bereit. http://www.jmp.com/support/notes/36/140.html Sie müssen es basierend auf Ihrer geschätzten Kovarianzmatrix ändern, aber es sollte funktionieren, wenn Ihre Daten einer multivariaten Normalverteilung folgen.
Betreff: Daten simulieren, um einen größeren Datensatz für Gebäudemodelle zu generierenHallo @Mark_Bailey ,
Es könnte definitiv einige Mängel bei geeigneten Prädiktoren geben. Basierend auf den anderen Analysen, die wir durchgeführt haben, scheint das Set, das wir haben, jedoch definitiv besser geeignet zu sein als viele der anderen, die wir untersucht haben.
Was Komplexität und Kreuzvalidierung angeht, berücksichtige ich das auf jeden Fall. Ich erstelle eine Trainings-/Validierungs-/Testspalte, um das Risiko einer Überanpassung zu verringern. Die Bootstrap-Forest-Modellierung generiert eine recht komplexe Entscheidungsbaum-Vorhersageformel, die viel umfangreicher ist als beispielsweise die verallgemeinerten Regressionsmodelle oder die Modellierung neuronaler Netze. Auch beim Vergleich der Modelle untereinander schneidet es besser ab. Normalerweise stelle ich fest, dass nach dem Ausführen der Bootstrap-Forest-Plattform mit einer Tuning-Matrix etwa 60 Bäume vorhanden sind, wobei pro Teilung ca. 4 Begriffe abgetastet werden. Die Anzahl der Teilungen pro Semester kann variieren, liegt jedoch häufig im Bereich von 1.000 bis 3.000.
Betreff: Daten simulieren, um einen größeren Datensatz für Gebäudemodelle zu generierenErstens gehen ARIMA und andere Zeitreihenmodelle von kurzfristigen Störungen und einigen periodischen Trends aus, sodass sie für langfristige Vorhersagen nicht geeignet sind.
Das Problem der „mangelnden Anpassung“ Ihrer aktuellen Modelle (der Vorhersage fehlen die extremen Abweichungen der beobachteten Reaktion) lässt sich möglicherweise nicht durch weitere Daten beheben. Möglicherweise fehlen Ihnen ausreichende Prädiktoren. Eine Möglichkeit, die Verzerrung zu verringern, besteht darin, unter Verwendung des aktuellen Funktionsumfangs mehr Begriffe in die Basiserweiterung einzubeziehen. Sie erwähnen mehrere Modellierungstechniken, sagen aber nichts über die Komplexität dieser Modelle, die Sie untersucht haben. Eine höhere Komplexität mit dem Risiko einer Überanpassung durch Kreuzvalidierung könnte das Bias-Problem lösen. Die andere Möglichkeit, Verzerrungen zu reduzieren, besteht darin, nach fehlenden Merkmalen zu suchen, die letztendlich die Abweichungen von der beobachteten Reaktion erklären würden.
Betreff: Daten simulieren, um einen größeren Datensatz für Gebäudemodelle zu generierenHallo @Mark_Bailey ,
Letztendlich möchte ich ein starkes Modell erstellen, das zukünftige Werte anhand der eingehenden Faktoren vorhersagt. Ich habe mir ARIMA und FDE angesehen. Ich stimme zu, dass die FDE wahrscheinlich kein geeigneter Ansatz ist. Ich denke jedoch, dass die ARIMA-Modellierung einen Weg zur Generierung neuer Daten für das Training des Modells bieten könnte.
Mehrere Faktoren werden mehr oder weniger parallel zur Reaktion gemessen. Alle Messungen verbrauchen Ausgangsmaterial, es wird jedoch eine große Menge Proben entnommen, um die anderen Messungen durchführen zu können.Wir haben eine Reihe von Faktoren identifiziert, die über die stärkste Vorhersagefähigkeit verfügen. Ich habe diese Faktoren und die Antwort verwendet, um verschiedene Modelle mithilfe verallgemeinerter Regressionsmethoden, Boosted Tree, Boostrap Forest, neuronaler Netze und anderer Partitionierungsmethoden zu überprüfen. Beim Vergleich der Modelle stelle ich fest, dass der Bootstrap-Wald durchweg bessere Modellierungsergebnisse liefert als die anderen. Ich kann dieses Modell noch ein wenig verbessern, indem ich mich mit dem Testen zurückhalte und das Modell auch mit einer Abstimmungstabelle laufen lasse, um die Anpassungsparameter zu optimieren.
Was ich jedoch immer noch finde, ist, dass das Modell die Höhen und Tiefen der Daten nicht so gut erfasst, wie wir glauben, dass es sollte (oder könnte). Es fängt zwar einen Teil der Struktur ein, ist aber nicht so gut darin, diese Höhen und Tiefen einzufangen. Daher möchte ich einen größeren Datensatz simulieren, der mehr dieser Ereignisse enthält, um ein besseres Modell zu erstellen. Und da es lange dauert, tatsächlich einen Datensatz mit realen Werten aufzubauen, wäre eine Simulation der Daten zum Trainieren eines Modells hilfreich.
Ich denke, dass die ARIMA-Plattform in dieser Hinsicht hilfreich sein kann. Ich habe es getestet, um vorhergesagte Werte der Faktoren und der Reaktion zu generieren. Dadurch wird ein neuer Satz von Werten für die Faktoren und Reaktionen generiert, die die realen Daten nachahmen. Anschließend kann ich die simulierten und realen Daten in einer neuen Datentabelle verketten, um einen neuen Datensatz zu generieren, der doppelt so groß ist.
Leider kann die ARIMA-Modellierung viele neue Werte für die Faktoren oder die Reaktion nicht gut vorhersagen, sodass ich sie nicht wirklich zum Generieren von Prognosezeiträumen verwenden kann. Dennoch denke ich, dass sich dieser alternative Ansatz zum Aufbau eines simulierten Datensatzes als nützlich erweisen könnte.
Betreff: Daten simulieren, um einen größeren Datensatz für Gebäudemodelle zu generierenEs ist nicht klar, ob die Simulation weiterer Daten hilfreich sein wird. Wenn Sie die Daten simulieren können, dann haben Sie das Modell der Daten. Die „Struktur“ ist eine Verschiebung in der Bevölkerung (die von der Monte-Carlo-Simulation mit konstantem Mittelwert nicht reproduziert wird).
Messen Sie mit dieser Antwort gleichzeitig die Kandidaten für Prädiktorvariablen (Faktoren)? Haben Sie Korrelationen, Zusammenhänge und mögliche Modelle untersucht?
Betreff: Daten simulieren, um einen größeren Datensatz für Gebäudemodelle zu generierenHallo @Peter_Bartell Und @Mark_Bailey ,
Ich schätze die Diskussion zu diesem Thema sehr, da sie mir einige Ideen gibt, wie ich meine Analyse verbessern kann.
Die Daten stammen aus einem Prozess, liegen aber nicht in Echtzeit vor. Sie werden in einer Datenbank gesammelt, auf die später zugegriffen wird. Ich kann nicht garantieren, dass jeder Punkt wirklich aufeinanderfolgend nach dem vorherigen ist. Es gibt einen typischen zeitlichen Abstand zwischen den Punkten, aber wenn es zu einer Pause im Prozess kommt, die Stunden oder Tage dauern kann, macht die Datenbank einfach dort weiter, wo sie aufgehört hat. Daher handelt es sich streng genommen nicht um eine Zeitreihe. Wenn das ARIMA-Modell jedoch in der Praxis eine ähnliche Antwort wie die realen Daten duplizieren kann, sollte dies ausreichen (glaube ich).
Die Daten stammen aus derselben Quelle. Aus dem Prozess werden Proben entnommen und daran eine Messung durchgeführt.
Ich habe noch nicht versucht, die Autokorrelation abzuschätzen. Die Monte-Carlo-Simulation könnte ein Weg sein, um Eingabe-/Ausgabedaten zu generieren, die die realen Daten nachahmen. Ich wusste nicht, dass JMP MC-Simulationen durchführen kann. Ich habe das schon bei anderen Problemen gemacht, aber nicht mit JMP. Das sind Dinge, die ich untersuchen muss.
Ziel ist es, ein Modell zu entwickeln, das die Reaktion gut vorhersagen kann. Damit könnten wir (einfacher) nur die Faktoren überwachen. Wenn das Modell eine Warnung vorhersagt, können anspruchsvollere Maßnahmen durchgeführt werden.
Ich denke immer noch, dass es sich lohnen würde, etwas über FDE und ARIMA zu lesen, es könnte einige Ideen hervorrufen. Ich hoffe, dass meine etwas vagen Erklärungen Sinn machen. Vielen Dank für Ihr Verständnis für die Offenlegungsbedenken.
Danke
Betreff: Daten simulieren, um einen größeren Datensatz für Gebäudemodelle zu generierenIch bin einverstanden mit @Mark_Bailey letzter Absatz oben ... und wie ich in einem früheren Beitrag festgestellt habe ... nach dem, was Sie bisher geteilt haben ... bezweifle ich, dass FDE oder Zeitreihenanalyse der am besten geeignete Ansatz für Ihre Ziele ist.
Betreff: Daten simulieren, um einen größeren Datensatz für Gebäudemodelle zu generierenDie Daten werden also nicht in zeitlicher Reihenfolge dargestellt? Sie stammen nicht aus derselben Quelle (Single Source)?
Wenn Sie sagen, dass jede Messung unabhängig ist, haben Sie dann die Autokorrelation geschätzt, auch nur für eine Verzögerung von 1? Während „unabhängig“ bedeuten könnte, dass die Daten separat gesammelt wurden, spreche ich von statistischer Unabhängigkeit oder fehlender Korrelation.
Die simulierten Daten entsprechen meinen Erwartungen. Es gibt eine einzelne Population mit einem stabilen Mittelwert und einer stabilen Varianz. Die Monte-Carlo-Simulation umfasst zufällige Störungen sowohl der Faktoren als auch der Reaktion.
Die „Struktur“, die Sie in Ihren Daten sehen, aber nicht in der Simulation, ist das Ergebnis anderer „zuweisbarer Ursachen“. Die Ursachen können zeitlich und in ihrer Größe zufällig auftreten. Die Simulation muss ihren Beitrag einbeziehen. Wissen Sie, was sie sind? Wie entstehen sie? Wie modelliert man sie?
Ich verstehe, dass Sie die wahre Natur und die Einzelheiten der Messungen nicht offenlegen können, aber vielleicht könnten Sie eine Analogie verwenden, um uns einen Eindruck von den Daten und Ihren Aktivitäten zu vermitteln. Vielleicht messen Sie von Zeit zu Zeit den Druck in drei Torpedorohren im Inneren eines Atom-U-Bootes ...
Angenommen, wir können Ihnen bei der Simulation der realen Daten helfen, welche Art von Analyse oder Modellierung planen Sie damit?
Peter ist sehr hilfreich, aber da wir mehr über Ihr Problem erfahren, bezweifle ich, dass diese Vorschläge helfen werden. Die funktionale Datenanalyse gilt für Funktionen, Profile oder Kurven. Stellen Sie sich eine Stichprobe aus Hunderten von Datenreihen vor und Sie möchten die Form modellieren und entweder wie die Form durch Faktoren beeinflusst wird oder wie die Form Ergebnisse vorhersagt. Sie haben offenbar eine einzelne Datenreihe, die Sie erweitern möchten. Die FDA macht keine Vorhersagen über den ursprünglichen Bereich hinaus. Das ARIMA-Modell geht von Punkten mit gleichem Abstand aus. Es kann die Autokorrelation, Störungen und Saisonalität modellieren, um Vorhersagen für die Zukunft, aber nicht für die Zukunft zu treffen. Andererseits ist eine Monte-Carlo-Simulation auf Basis des ARIMA-Modells möglich.
Betreff: Daten simulieren, um einen größeren Datensatz für Gebäudemodelle zu generieren@SDF1 : Ihr Begriff „Langstreckenstruktur“ kann viele Geschmacksrichtungen, Nuancen und Probleme haben. Beispielsweise kann Saisonalität eine Form der Struktur sein. ARIMA-Zeitreihenmethoden eignen sich SEHR gut zur Modellierung von Saisonalitätseffekten und langfristigen Trends oder zyklischen Bewegungen in einem Prozess. Sehen Sie sich die klassische Datentabelle „seriesg.jmp“ im JMP-Beispieldatenverzeichnis an.
Mein Vorschlag für den Anfang ist, sich in der JMP-Dokumentation über die Funktionen von JMP/JMP Pro zu informieren. Hier ist ein Link für FDE:
https://www.jmp.com/support/help/14/Functional-Data-Explorer.shtml
Und hier ist ein Link zur Zeitreihenanalyse:
https://www.jmp.com/support/help/14/time-series-analysis.shtml
Betreff: Daten simulieren, um einen größeren Datensatz für Gebäudemodelle zu generierenHallo Peter,
Ermöglicht eine dieser Plattformen die Aufrechterhaltung der Langstreckenstruktur? Ich werde sie trotzdem weiterlesen, vielleicht gibt es mir ein paar Ideen, wie ich für meine eigene Lösung programmieren kann.
Danke!
Betreff: Daten simulieren, um einen größeren Datensatz für Gebäudemodelle zu generierenDa es sich bei den Beobachtungen nicht um Zeitreihen handelt, ziehe ich meine früheren Empfehlungen zum Functional Data Explorer oder zur Zeitreihenanalyse zurück. Beide Techniken gehen von einer gewissen Struktur über die Zeit hinweg zwischen den Beobachtungen aus ... und da diese Beobachtungen unabhängig voneinander sind ... wird die Verwendung von FDE oder Zeitreihen nicht empfohlen.
Betreff: Daten simulieren, um einen größeren Datensatz für Gebäudemodelle zu generierenHallo Mark,
Die Daten sind nicht zeitabhängig. Jede Messung ist unabhängig von der vorherigen, im Allgemeinen werden die Daten jedoch nacheinander erfasst. Sie könnten als Zeitreihen betrachtet werden, aber nicht streng genommen, da sie technisch gesehen möglicherweise nicht sequentiell sind. Noch wichtiger ist jedoch, dass jede Messung eine unabhängige Messung einer Antwort ist.
Hoffentlich erklärt das folgende Bild, was ich damit meine, dass die simulierten Daten jegliche Struktur verlieren:
Ich habe das generiert, indem ich den Simulator im Profiler geöffnet habe, jedem Prädiktor (ich habe mehrere) eine Normalverteilung mit einer realistischen SD (abgeleitet aus den tatsächlichen Daten) gegeben und eine Tabelle mit 50.000 Antworten generiert habe. Auch wenn die Durchschnitts-, Höchst- und Mindestwerte nahe an den Originaldaten liegen, geht die andere Struktur verloren. Dieser neue Datensatz enthält nicht die gleiche Art von „Langstrecken“-Struktur wie der Originaldatensatz, und es ist diese Struktur, deren Erfassung in einem simulierten Datensatz ebenso wichtig ist wie die tatsächlichen Werte der Daten. Es muss nicht genau übereinstimmen, aber zumindest eine ähnliche Struktur haben (siehe Originalbeitrag zum Vergleich).
Ich stimme zu, dass die beiden in JMP integrierten Simulatoroptionen nicht geeignet sind. Irgendwelche Vorschläge zu einem bestimmten Thema zum Nachlesen für die Spaltenformel oder zum Schreiben eines Skripts? Ich kenne keine der integrierten Formeln, die das für mich erledigen könnten. Ich komme mit der Skripterstellung für so etwas gut zurecht, müsste aber wissen, wo ich anfangen soll. Ich muss mir noch den anderen Vorschlag von Peter Bartell zum funktionalen Daten-Explorer und zur ARIMA-Modellierung ansehen, um zu sehen, ob diese damit zurechtkommen.
Danke!
Betreff: Daten simulieren, um einen größeren Datensatz für Gebäudemodelle zu generierenDie Antwort ist also ein zeitabhängiges Signal? Gibt es Prädiktoren oder ist die Autokorrelation wichtig?
Was meinst du mit " Wenn ich versuche, die Simulationsfunktion des Profilers zu verwenden und größere Datensätze zu generieren, zeigen die neuen Ausgabedaten leider nicht die entsprechende Struktur der Originaldaten. " Welcher Art ist die gewünschte Struktur?
Wie unterscheiden sich die Daten von einer Zeitreihe?
Ich glaube nicht, dass der Simulator im Profilfier oder die Funktion der JMP Pro Simulate-Plattform Ihren Anforderungen gerecht wird. Eine Spaltenformel oder ein Skript wird wahrscheinlich der zufriedenstellendste Ansatz sein.
Einige Details darfst du nicht preisgeben (verstanden), also müssen wir „zwanzig Fragen“ spielen!
Betreff: Daten simulieren, um einen größeren Datensatz für Gebäudemodelle zu generierenHallo Mark,
Danke für deine Kommentare.
Die generierten Daten sind sehr langsam – das heißt, es dauert lange, Tage und Wochen, bis die Originaldaten tatsächlich vorliegen. Daher ist es nicht möglich, einen Datensatz mit einer Größe von 50 KB zu erstellen. Ich verwende einige der Pro-Modellierungsfunktionen (unter Pro 14.1.0), um zu versuchen, ein Modell zu generieren, das nicht nur die Daten gut vorhersagt, sondern auch die Struktur innerhalb der Daten erfasst. Ein größerer Datensatz, der die ursprüngliche Struktur nachahmt, wäre bei der Verbesserung des Modells sehr hilfreich. Eine Erhöhung der Stichprobengröße (einschließlich mehr Trainings-, Validierungs- und Testgröße) und die Erfassung der Datenstruktur würden beim Training eines besseren Modells helfen – zumindest denke ich.
Es handelt sich nicht unbedingt um eine Zeitreihe, obwohl man es auch so sehen könnte. Die Datenereignisse sind nicht unbedingt zeitlich miteinander verknüpft. Ein anderes Poster schlug eine Zeitreihenanalyse vor, die ich untersuchen werde.
Wenn ich versuche, die Simulationsfunktion des Profilers zu verwenden und größere Datensätze zu generieren, zeigen die neuen Ausgabedaten leider nicht die entsprechende Struktur der Originaldaten. Ich kann darauf ein neues Modell erstellen, das sehr gut passt, aber wenn ich das neue Modell mit dem Originalmodell (das auf den Originaldaten basiert) vergleiche und dabei die Originaldaten verwende, ist die Passung des neuen Modells nicht so gut.
Leider kann ich nicht genauer sein, aber ich kann die Details der Daten nicht besprechen. Ich hoffe, dass meine Kommentare zu den von Ihnen angesprochenen Punkten Sinn ergeben.
Danke!
Von dem, was ich tun möchte, scheint die Simulationsfunktion im Profiler der richtige Weg zu sein, aber sie gibt mir nicht das, was ich erreichen möchte. Die Platorm-Simulation ist definitiv nicht der richtige Weg, oder zumindest kann ich sehen, wie ich sie anpassen kann, um mir das zu geben, was ich suche.
Betreff: Daten simulieren, um einen größeren Datensatz für Gebäudemodelle zu generierenHallo Peter,
Danke für die Kommentare. Ich habe vergessen, im ursprünglichen Beitrag hinzuzufügen, dass ich JMP Pro 14.1.0 verwende.
Möglicherweise muss ich bis zum nächsten Update-Rollout warten, aber ich kann zumindest etwas lesen und nachverfolgen.
Danke!
Betreff: Daten simulieren, um einen größeren Datensatz für Gebäudemodelle zu generierenWie würden Sie zunächst die simulierten Daten nutzen, um das Modell zu verbessern? Geht es darum, über ausreichende Daten zu verfügen, um die Machbarkeit eines bestimmten Modellierungsansatzes zu demonstrieren? Ist es die Stichprobengröße, die für ein bestimmtes Modell ausreichend sein könnte? Geht es nur darum, die Stichprobengröße zu erhöhen?
Zweitens scheint es, als hätten Sie eine einzige Zeitreihe. Ist diese Interpretation richtig?
Drittens soll die Simulationsfunktion des Profilers mit einem angepassten oder gespeicherten Modell arbeiten. Sie können die Variation der Prädiktoren und der Antworten mithilfe parametrischer Verteilungsmodelle beschreiben. Ich weiß nicht, ob dieser Mechanismus mit Zeitreihenmodellen funktioniert. (Andere Experten können sich hier einschalten.)
Die Plattformsimulation soll Daten basierend auf einem Speichermodell mit einer stochastischen Komponente erneut abtasten, um die empirische Stichprobenverteilung der gewählten Statistik auf einer Plattform zu generieren.
Ich denke, dass ich ein SAS-Programm bekommen kann, um Zeitreihendaten zu simulieren, die an eine JMP-Spaltenformel oder ein JMP-Skript angepasst werden könnten. (Keine Zusagen.)
Bin ich auf dem richtigen Weg?
Betreff: Daten simulieren, um einen größeren Datensatz für Gebäudemodelle zu generierenWenn Sie JMP Pro Version 14.2 haben, klingt Ihr Problem nach einer perfekten Anwendung für den Functional Data Explorer. Eine andere Option könnte vielleicht ein Zeitreihenmodellierungsansatz sein, der eine Art ARIMA-Konstrukt verwendet? Für den Zeitreihenansatz ist JMP Pro nicht erforderlich.
