群集和大數據 - Power Utility的客戶電源使用情況我正準備拜訪一位電力公用事業客戶（JMPPRO），他們有興趣通過電力使用來集中他們的客戶。 他們計算每個賬戶並每15分鐘採樣一次。 當你對此進行數學計算時，它很快變成大數據（每天在10K客戶上讀取96個讀數，每天大約1M讀數）。 我正在嘗試使用群集來根據類似的電源使用模式對客戶帳戶進行分組。 我是聚類的新手，所以不確定我是否使用最好的方法。 我已經嘗試過堆疊和拆分數據，雖然一周的讀數已經是672列，客戶帳戶有10K行，但拆分似乎效果最好。 分層聚類提供了非常好的結果但不能處理10K行，它在2K行但不是3K行上工作得很好。 K Means聚類可以處理所有10K行，但結果不如Hierarchical，許多不同的帳戶聚集在一起。 所以現在，我只用了7天的計量和2K賬戶來裝箱。 我得到了一個非常好的結果，它演示了這種技術，但它從真實的用例中得到了很好的結果。 如果我錯過了什麼，我會感激一些指點。我有一個示例文件，但它很大，190MB。
Re：群集和大數據 - Power Utility的客戶電源使用情況配置文件我收到了一些查看示例文件的請求，並將其發佈在文件交換中。 下載本身是一個小文件，有一個嵌入式腳本將構建表。 請注意如何選擇參數，因為最終可能會有一個巨大的表格。
我正在使用餘弦函數來模擬白天的功耗曲線。 杜克告訴我這條曲線看起來是什麼樣子，這就像一個下午和晚上用電的駝峰。
https://community.jmp.com/t5/JMP-Sample-Data/Power-Company-Metering-Example-Data/ta-p/42016
Re：群集和大數據 - Power Utility的客戶電源使用情況配置文件謝謝大家的意見。 有些人對這個文件感興趣。 我在文件交換上放了兩個文件，其中一個用作控製文件，另一個用嵌入式腳本構建一個大型數據表。 它以大約6M的行結束，並在我的結束時花了2分鐘完成。 這兩個文件應該通過Account進行鏈接，但是在對文件進行混洗之後不確定它是否有效，因此您可能必須建立虛擬連接。 控製文件稱為“客戶信息”，自建文件稱為“Power Comany Example - Self building（Large）Table”。 在運行嵌入式腳本之前，只需確保在JMP會話中打開這兩個文件。
Re：群集和大數據 - Power Utility的客戶電源使用情況配置文件只是對Dons關於nn的回复的簡短評論：
在能源公司中，他們使用了這種方法，採集樣本並找到合適的集群，然後使用神經網絡將其餘數據預測到這些集群中。我在為MathWorks工作時經常這樣做，而且效果很好。當然，您必須不時檢查nn模型，因為事情可能隨時間而變化，初始組也可能會發生變化。
這些公司通常使用這些分類來指定他們向新客戶提供哪些合同和價格報價，他們要求提供消費概況。有時他們也會使用它來預測客戶的使用情況，以便能夠在高峰時段交易免費資源而不會遇到麻煩。
最好
馬丁
Re：群集和大數據 - Power Utility的客戶電源使用情況配置文件想要補充一點層次聚類 Fast Ward選項，您仍然可以分析最多200,000行的數據。http://www.jmp.com/support/help/13/Overview_of_Platforms_for_Clustering_Observation.shtml
Re：群集和大數據 - Power Utility的客戶電源使用情況配置文件根據您的描述，我認為這是在包含電源使用列和帳戶行的數據上對帳戶進行集群的方法。正如您所發現的，層次聚類無法處理大量行，但K-means可以處理。這在群集中是已知的，並且是在兩種方法之間進行選擇時的關鍵考慮因素之一。你說Kmean聚類組有很多不同的說法層次聚類沒有。 我想知道你在運行K-means時設置了多少個集群。而且，作為比較，您使用了多少個集群層次聚類？也許您需要使用K-means嘗試更多的集群。
Re：群集和大數據 - Power Utility的客戶電源使用情況配置文件我同意馬克的觀點。訣竅是將數據聚合成有意義的指標以減少行數（不確定你可以用列做什麼，因為我認為它們代表了客戶）。如何計算不同時間段（例如，一天中的小時，一周中的一周，一年中的一周，一年中的一些月等）的中位數使用，然後得出這些中的每一個的偏差分數（可能是總和的平方或絕對差異） 。我也考慮看一些這些縮放版本，因為我懷疑它們會非常偏斜。另一個想法是聚類子樣本，就像你做的那樣，然後使用神經網絡（或樹）來預測聚類。
我不介意看到示例文件，如果你可以分享它。
唐
Re：群集和大數據 - Power Utility的客戶電源使用情況配置文件您可以另外考慮獲得新的有意義的答案。例如，峰值使用情況，過去六個月的峰值使用情況，平均使用情況等。原始數據包含信息，但這樣每15分鐘會說什麼？
