Benötigen Sie Hilfe bei der Bestimmung, welche Daten bei wiederholten Messungen als zufällig bedroht werden sollenHallo.
Kann mir jemand dabei helfen oder bestätigen, dass ich hier auf einem guten Weg bin?
Ich habe Daten in einem langen Format, das Monat (von Januar bis März), Tag des Monats (von 1 bis 31), Schicht (von 1 bis 3), Gesamtenergieverbrauch innerhalb der Schicht (dies ist eine abhängige Variable) und Arbeitszeit enthält in Stunden von 12 verschiedenen Systemen (Maschinen) innerhalb einer Schicht (von 0 bis 8 Stunden).
Ich möchte den Energieverbrauch jedes Systems herausfinden und in der Lage sein, den zukünftig erwarteten Energieverbrauch basierend auf den erwarteten Betriebsstunden jedes Systems vorherzusagen.
Da es wiederholte Maßnahmen gibt, erscheint mir ein gemischtes Modell angemessen. Jetzt habe ich die Frage, was ich als feste, zufällige und wiederholte Maßnahme behandeln soll.
Ich denke an den Monat als zufällig, da er nur eine Stichprobe (3 Monate) aller Monate innerhalb eines Jahres enthält. Auch die Beobachtungen sind nicht zufällig, sondern sequenziell. Kann das ein Problem sein?
Ich betrachte Tag und Schicht als fest, da sie alle Tage und Schichten innerhalb eines Monats abdecken. Ist das ein angemessener Ansatz?
Über die wiederholte Struktur Ich denke, dass dieser Tag wiederholt werden sollte, aber welche Struktur ist angemessen?
Können Sie bitte auch erklären, was und wie verschachtelt werden soll. Ich denke, die Verschachtelung verschiebt sich in Tage und Tage innerhalb von Monaten. Ist das möglich? Wie soll ich es machen?
Das ist mein intuitives Denken und ich würde mich freuen, wenn Sie mir Feedback und Hilfe schicken würden. Ich würde mich auch über ein Tutorial zum Verschachteln freuen, da dies meine erste Erfahrung mit JMP ist.
Danke euch allen
AnalytikAndereFensterBetreff: Benötigen Sie Hilfe bei der Bestimmung, welche Daten bei wiederholten Messungen als zufällig bedroht werden sollenHallo @MachineHippo109 ,
Klingt nach einem interessanten Problem. Können Sie die Daten in einer JMP-Datei freigeben? Die Struktur Ihrer Datentabelle klingt etwas kompliziert, um etwas selbst zu erfinden und sicherzustellen, dass es die richtige Datenstruktur hat.
Es hört sich so an, als hätten Sie eine Zeitreihendatenerfassung auf 12 verschiedenen Maschinen, die zwischen 0 und 8 Stunden in verschiedenen Schichten arbeiten. Dies könnte mit vielen verschiedenen Ansätzen modelliert werden. Ein Ansatz könnte darin bestehen, eine Zeitreihenvorhersage durchzuführen. Eine andere könnte NN oder Boosted Trees sein, oder sogar ein GenReg-Modell könnte gut geeignet sein, um die Daten anzupassen. Aber es hört sich so an, als ob Sie versuchen, den zukünftigen Stromverbrauch für jede Maschine auf der Grundlage der Gesamtbetriebsstunden vorherzusagen, ist das richtig?
Ich würde es gerne ausprobieren und sehen, welche Modellierungsmethode am besten funktioniert. Eine Sache, die Sie auf jeden Fall tun müssen, ist die Partitionierung der Daten in Trainings-/Validierungs-/Testsätze, um sicherzustellen, dass Sie das bestmögliche Modell haben. Entweder das, oder Sie müssen Daten mit einer ähnlichen Korrelationsstruktur simulieren, damit Sie diese simulierten Daten verwenden können, um das Modell zu trainieren und es mit den realen Daten zu testen.
Wenn Sie die Daten teilen können, probiere ich vielleicht ein paar Dinge aus und lasse Sie wissen, was ich finde.
Klingt lustig!,
DS
Betreff: Benötigen Sie Hilfe bei der Bestimmung, welche Daten bei wiederholten Messungen als zufällig bedroht werden sollenHallo SDF1 und danke für deine schnelle Antwort.
Leider kann ich keine Daten weitergeben, da es sich um tatsächliche Daten des Unternehmens handelt, bei dem ich ein Praktikum absolviert habe. Wie auch immer die Daten so aussehen:
Monat Tag Schichtverbrauch in MWh Anlage1 in Std. Anlage2 in Std. Anlage3 in Std. ......
1 1 1 3,8 8 2 5 .......
1 1 2 3,2 8 6 6 .......
Ich interessiere mich mehr dafür, wie viel Energie jedes System verbraucht, und prognostiziere natürlich den zukünftigen Verbrauch basierend auf geplanten Produktions-/Arbeitszeiten.
Betreff: Benötigen Sie Hilfe bei der Bestimmung, welche Daten bei wiederholten Messungen als zufällig bedroht werden sollenVor einigen Jahren habe ich einem Kunden mit einem Ressourcenplanungsmodell geholfen. Sie hatten den Projektplan, in dem der Projektleiter Dinge wie Komplexität oder Innovationsgrad eingeben konnte, und wollten eine Einschätzung darüber erhalten, welche Ressourcen und Zeiten sie benötigen, um das Projekt abzuschließen. Vorher taten sie es aus Erfahrung des Projektleiters und es stellte sich heraus, dass das neue Modell sie in fast allen Fällen deutlich übertraf.
Sie hatten Zeiten für die verschiedenen Phasen des Projekts und Ressourcen (Personen), die an jeder Phase beteiligt waren, aus früheren Daten und der tatsächlichen Länge.
Ein Schlüssel zum Erfolg war ein Clustering-Schritt (hier war es eine latente Klassenanalyse), um gute Prädiktoren für die verschiedenen Szenarien zu finden, da ein Gesamtmodell nicht gut funktionierte.
Dann erstellten sie für jedes Cluster-Szenario das Modell und verwendeten Validierungs- und Testsätze, um das beste Modell zu finden und es mit unsichtbaren Daten zu testen.
Für den Modellierungsprozess haben wir verschiedene Strategien in JMP Pro verglichen, wie Bootstrap Forest, Generalized Regression mit verschiedenen Methoden (Lasso, Elastic Net, ...), Neural Nets und andere. Der Vergleich war wichtig, um mögliche Fehler oder Situationen zu verstehen, in denen (und warum) ein Modell besser abschneidet (da es manchmal in einer Umgebung vorkam, an der sie nicht so sehr interessiert waren, wurde dann sogar ein Modell ausgewählt, das für die anderen besser abschneidet). wenn die Gesamtleistung etwas niedriger gewesen wäre).
Schließlich verfügten sie über Modelle für die geclusterten Szenarien und verwendeten das geeignete Modell, um den Zeitrahmen und den Ressourcenplan basierend auf ihrem Projektaufbau vorherzusagen.
Ich glaube, die Übertragung auf Ihre Situation sollte nicht so schwierig sein. Worauf ich hinweisen wollte, ist, dass Sie Ihre Daten zuerst verstehen müssen, bevor Sie direkt in Ihren Modellierungsprozess einsteigen. Möglicherweise gibt es ein Szenario (möglicherweise noch nicht in den Daten, wie z. B. Linien- oder Testgeräte, ...), das aufgrund dieser lauernden Variablen unterschiedliche Ausgaben für dieselben Parametereinstellungen erzeugt. Alle Daten in einen großen Korb zu packen, würde dann wahrscheinlich zu einer schlechten Vorhersage führen.
Betreff: Benötigen Sie Hilfe bei der Bestimmung, welche Daten bei wiederholten Messungen als zufällig bedroht werden sollenHallo @MachineHippo109 ,
Das Problem klingt ziemlich einfach, aber es erfordert, dass Sie Ihre Daten mit vielen verschiedenen Plattformen innerhalb von JMP untersuchen. Auswerten von Dingen wie GenReg, Entscheidungsbäumen, SVM, NN, KNN, PLS und nur einem Standard der kleinsten Quadrate, zum Beispiel. Ich glaube nicht, dass Ihre Datenstruktur das richtige Format für eine Zeitreihenanalyse / -vorhersage hat. Die Zeitreihenplattform erfordert eindeutige Zeitkennungen für jede Beobachtung (Zeile). Daher würde es nicht funktionieren, Schichten 1, 2, 3 für Tag 1 (usw.) zu haben.
Basierend auf der von Ihnen geteilten Struktur scheint es, dass jedes System (1-12) während einer bestimmten Schicht an einem bestimmten Tag für 0-8 Stunden in Betrieb ist und der Stromverbrauch der Gesamtstromverbrauch für alle Systeme ist.
Wenn Sie bei der Entwicklung eines Modells die standardmäßige Fit-Model-Plattform verwenden, möchten Sie möglicherweise mit Ihren Kollegen nachdenken/konsultieren, um zu sehen, ob es einen Grund gibt, dass Sie möglicherweise gekreuzte (gemischte) Begriffe in Ihr Modell aufnehmen müssen/möchten. Vielleicht wissen Sie zum Beispiel, dass es einen sich kreuzenden Begriff zwischen den SystemX-Stunden und der Schicht gibt, z. B. dass System5 in Schicht 3 immer mindestens 6 Stunden lang betrieben wird, aber weniger als 4 Stunden in den anderen beiden Schichten. Dies würde einen Effekt einführen, bei dem die Schicht- und Systemnutzungsstunden vermischt sind. Ich empfehle nicht, das einzuwerfen, es sei denn, Sie haben vorherige Beweise dafür, dass solche Wechselwirkungen existieren.
Wie bereits erwähnt, möchten Sie die Daten (Leistung in MWh) mindestens in Trainings- und Validierungssätze aufteilen, und Sie möchten sie wahrscheinlich sowohl nach Leistung als auch nach Schicht schichten, damit die Trainings- und Validierungssätze gleichmäßig vertreten sind Verschiebungen und behalten die gleiche Verteilung für die System-Hr-Nutzung bei. Ich habe eine Scheindatentabelle mit der gleichen Struktur wie Ihre für Januar und Februar angehängt. Die Validierungsspalte, die ich erstellt habe, habe ich sowohl nach Power als auch nach Shift geschichtet, und Sie können die Verteilungen untersuchen und sehen, wie die Daten partitioniert sind – 75 % Training und 25 % Validierung. Sie könnten sogar in Betracht ziehen, eine 60/20/20-Aufteilung von 60 % Training, 20 % Validierung und 20 % Test durchzuführen und dann die Testdaten abzutrennen (als Teilmenge zu erstellen), um die verschiedenen Modelle zu vergleichen.
Letztendlich müssen Sie Modelle mit mehreren verschiedenen Plattformen erkunden und die Passform für jedes Modell optimieren. Nachdem Sie mehrere Modelle generiert haben, möchten Sie wahrscheinlich sehen, welches die beste Leistung erbringt, indem Sie jedes Modell auf dem zurückgehaltenen „Test“-Set auswerten – dies wären Daten, die nicht zum Trainieren oder Validieren von Modellen verwendet werden. Das leistungsstärkste Modell wäre dasjenige, das Sie für Ihr Unternehmen einsetzen möchten.
Um auf den Titel Ihres Threads zurückzukommen, es klingt nicht so, als müssten Sie einen zufälligen Effekt in Ihr Modell aufnehmen. Ich glaube nicht, dass Sie irgendwelche der Daten als zufällig behandeln müssen.
Hoffe das hilft!,
DS
