Clustering und Big Data - Stromverbrauchsprofile des Kunden für ein EnergieversorgungsunternehmenIch bereite mich auf einen Besuch bei einem Stromversorgungskunden (JMPPRO) vor, der daran interessiert ist, seine Kunden nach Stromverbrauch zu gruppieren. Sie messen jedes Konto und messen den Stromverbrauch alle 15 Minuten. Wenn Sie dies nachrechnen, wird es schnell zu Big Data (96 Messwerte pro Tag bei 10K-Kunden entsprechen etwa 1 Million Messwerten pro Tag). Ich versuche, mithilfe von Clustering Kundenkonten nach ähnlichen Stromverbrauchsmustern zu gruppieren. Ich bin neu im Clustering, daher bin ich mir nicht sicher, ob ich die beste Methode verwende. Ich habe versucht, die Daten zu stapeln und zu teilen. Die Aufteilung scheint am besten zu funktionieren, obwohl eine Woche mit Lesungen bereits 672 Spalten mit 10.000 Zeilen für die Kundenkonten umfasst. Hierarchisches Clustering liefert ein sehr gutes Ergebnis, kann jedoch keine 10-KByte-Zeilen verarbeiten. Es eignet sich hervorragend für 2-KByte-Zeilen, jedoch nicht für 3-KByte-Zeilen. K Bedeutet, dass das Clustering alle 10-KByte-Zeilen verarbeiten kann, die Ergebnisse jedoch nicht so gut sind wie bei "Hierarchisch". Viele unterschiedliche Konten werden in Clustern zusammengefasst. Im Moment boxe ich in den Daten mit nur 7 Tagen Messung und 2K-Konten. Ich erhalte ein sehr gutes Ergebnis und es demonstriert die Technik, aber es ist aus dem realen Anwendungsfall sehr abgetastet. Wenn ich etwas vermisse, würde ich einige Hinweise schätzen. Ich habe eine Beispieldatei, aber sie ist groß, 190 MB.
Betreff: Clustering und Big Data - Stromverbrauchsprofile des Kunden für ein EnergieversorgungsunternehmenIch habe einige Anfragen zum Anzeigen der Beispieldatei erhalten und diese auf dem Datenaustausch gepostet. Der Download selbst ist eine kleine Datei und es gibt ein eingebettetes Skript, das die Tabelle erstellt. Seien Sie vorsichtig bei der Auswahl der Parameter, da dies zu einer riesigen Tabelle führen kann.
Ich verwende eine Cosinus-Funktion, um die Stromverbrauchskurve während des Tages zu simulieren. Duke erzählte mir, wie diese Kurve wirklich aussieht, die wie ein Kosinus mit einem Buckel für den Stromverbrauch am Nachmittag und am Abend ist.
https://community.jmp.com/t5/JMP-Sample-Data/Power-Company-Metering-Example-Data/ta-p/42016
Betreff: Clustering und Big Data - Stromverbrauchsprofile des Kunden für ein EnergieversorgungsunternehmenVielen Dank an alle für Ihre Beiträge. Einige von Ihnen waren an der Akte interessiert. Ich stelle zwei Dateien in den Dateiaustausch, von denen eine als Steuerdatei fungiert und die andere über ein eingebettetes Skript zum Erstellen einer großen Datentabelle verfügt. Es endet mit ungefähr 6 Millionen Reihen und es dauerte 2 Minuten, bis ich fertig war. Die beiden Dateien sollten nach Konto verknüpft sein, aber Sie sind sich nicht sicher, ob dies nach dem Mischen der Dateien funktioniert, sodass Sie möglicherweise die virtuelle Verknüpfung herstellen müssen. Die Steuerdatei heißt "Customer Info" und die Selfbuilding-Datei heißt "Power Comany Example - Selfbuilding (Large) Table". Stellen Sie einfach sicher, dass beide Dateien in der JMP-Sitzung geöffnet sind, bevor Sie das eingebettete Skript ausführen.
Betreff: Clustering und Big Data - Stromverbrauchsprofile des Kunden für ein EnergieversorgungsunternehmenNur ein kurzer Kommentar zu Dons Antwort zu nn:
In Energieunternehmen verwendeten sie genau diesen Ansatz, nahmen eine Stichprobe und fanden geeignete Cluster und verwendeten dann neuronale Netze, um den Rest der Daten in diesen Clustern vorherzusagen. Ich habe das ziemlich oft gemacht, während ich für MathWorks gearbeitet habe, und es hat ziemlich gut funktioniert. Natürlich müssten Sie das nn-Modell von Zeit zu Zeit überprüfen, da sich die Dinge im Laufe der Zeit ändern können und sich auch die Anfangsgruppen ändern können.
Diese Unternehmen verwenden diese Klassifizierungen häufig, um anzugeben, welchen Vertrag und welchen Preis sie Neukunden anbieten, wenn sie ein Verbrauchsprofil anfordern. Manchmal verwenden sie dies auch, um den Verbrauch für ihre Kunden vorherzusagen, damit sie die freien Ressourcen handeln können, ohne in Spitzenzeiten in Schwierigkeiten zu geraten.
Beste
Martin
Betreff: Clustering und Big Data - Stromverbrauchsprofile des Kunden für ein EnergieversorgungsunternehmenWollte das für hinzufügen Hierarchisches Clustering mit Mit der Fast Ward-Option können Sie weiterhin Daten mit bis zu 200.000 Zeilen analysieren. http://www.jmp.com/support/help/13/Overview_of_Platforms_for_Clustering_Observation.shtml
Betreff: Clustering und Big Data - Stromverbrauchsprofile des Kunden für ein EnergieversorgungsunternehmenBasierend auf Ihrer Beschreibung ist dies meiner Meinung nach der Weg, um Konten auf Daten zu gruppieren, die aus Spalten des Stromverbrauchs und Zeilen von Konten bestehen. Wie Sie herausgefunden haben, können hierarchische Cluster keine große Anzahl von Zeilen verarbeiten, K-means jedoch. Dies ist beim Clustering bekannt und eine der wichtigsten Überlegungen bei der Auswahl zwischen den beiden Methoden. Sie sagten, dass Kmean Clustering viele unterschiedliche Konten während Hierarchisches Clustering nicht. Ich habe mich gefragt, wie viele Cluster Sie beim Ausführen von K-means festgelegt haben. Und zum Vergleich: Wie viele Cluster haben Sie verwendet? Hierarchisches Clustering? Möglicherweise müssen Sie eine größere Anzahl von Clustern mit K-means ausprobieren.
Betreff: Clustering und Big Data - Stromverbrauchsprofile des Kunden für ein EnergieversorgungsunternehmenIch stimme Mark zu. Der Trick wird darin bestehen, die Daten zu aussagekräftigen Metriken zu aggregieren, um die Anzahl der Zeilen zu verringern (nicht sicher, was Sie mit den Spalten tun können, da ich davon ausgehe, dass sie Kunden darstellen). Wie wäre es mit der Berechnung des Medianwerts für verschiedene Zeiträume (z. B. Stunde des Tages, Wochentag, Woche des Jahres, Monat des Jahres usw.) und der Ableitung eines Abweichungswerts für jeden dieser Werte (summiert zum Quadrat oder absolute Differenz, möglicherweise)? . Ich würde auch erwägen, eine skalierte Version davon zu betrachten, da ich vermute, dass sie sehr schief sein werden. Eine andere Idee wäre, eine Unterprobe zu gruppieren, wie Sie es tun, und dann ein neuronales Netzwerk (oder einen Baum) zu verwenden, um den Cluster vorherzusagen.
Es würde mir nichts ausmachen, die Beispieldatei zu sehen, wenn Sie sie teilen könnten.
Don
Betreff: Clustering und Big Data - Stromverbrauchsprofile des Kunden für ein EnergieversorgungsunternehmenSie können auch erwägen, neue aussagekräftige Antworten abzuleiten. Beispiel: Spitzenauslastung, Spitzenauslastung in den letzten sechs Monaten, durchschnittliche Auslastung usw. Die Rohdaten enthalten Informationen, aber was bedeutet das alle fünfzehn Minuten?
