群集和大数据 - Power Utility的客户电源使用情况我正准备拜访一位电力公用事业客户（JMPPRO），他们有兴趣通过电力使用来集中他们的客户。 他们计算每个账户并每15分钟采样一次。 当你对此进行数学计算时，它很快变成大数据（每天在10K客户上读取96个读数，每天大约1M读数）。 我正在尝试使用群集来根据类似的电源使用模式对客户帐户进行分组。 我是聚类的新手，所以不确定我是否使用最好的方法。 我已经尝试过堆叠和拆分数据，虽然一周的读数已经是672列，客户帐户有10K行，但拆分似乎效果最好。 分层聚类提供了非常好的结果但不能处理10K行，它在2K行但不是3K行上工作得很好。 K Means聚类可以处理所有10K行，但结果不如Hierarchical，许多不同的帐户聚集在一起。 所以现在，我只用了7天的计量和2K账户来装箱。 我得到了一个非常好的结果，它演示了这种技术，但它从真实的用例中得到了很好的结果。 如果我错过了什么，我会感激一些指点。我有一个示例文件，但它很大，190MB。
Re：群集和大数据 - Power Utility的客户电源使用情况配置文件我收到了一些查看示例文件的请求，并将其发布在文件交换中。 下载本身是一个小文件，有一个嵌入式脚本将构建表。 请注意如何选择参数，因为最终可能会有一个巨大的表格。
我正在使用余弦函数来模拟白天的功耗曲线。 杜克告诉我这条曲线看起来是什么样子，这就像一个下午和晚上用电的驼峰。
https://community.jmp.com/t5/JMP-Sample-Data/Power-Company-Metering-Example-Data/ta-p/42016
Re：群集和大数据 - Power Utility的客户电源使用情况配置文件谢谢大家的意见。 有些人对这个文件感兴趣。 我在文件交换上放了两个文件，其中一个用作控制文件，另一个用嵌入式脚本构建一个大型数据表。 它以大约6M的行结束，并在我的结束时花了2分钟完成。 这两个文件应该通过Account进行链接，但是在对文件进行混洗之后不确定它是否有效，因此您可能必须建立虚拟连接。 控制文件称为“客户信息”，自建文件称为“Power Comany Example - Self building（Large）Table”。 在运行嵌入式脚本之前，只需确保在JMP会话中打开这两个文件。
Re：群集和大数据 - Power Utility的客户电源使用情况配置文件只是对Dons关于nn的回复的简短评论：
在能源公司中，他们使用了这种方法，采集样本并找到合适的集群，然后使用神经网络将其余数据预测到这些集群中。我在为MathWorks工作时经常这样做，而且效果很好。当然，您必须不时检查nn模型，因为事情可能随时间而变化，初始组也可能会发生变化。
这些公司通常使用这些分类来指定他们向新客户提供哪些合同和价格报价，他们要求提供消费概况。有时他们也会使用它来预测客户的使用情况，以便能够在高峰时段交易免费资源而不会遇到麻烦。
最好
马丁
Re：群集和大数据 - Power Utility的客户电源使用情况配置文件想要补充一点层次聚类 Fast Ward选项，您仍然可以分析最多200,000行的数据。http://www.jmp.com/support/help/13/Overview_of_Platforms_for_Clustering_Observation.shtml
Re：群集和大数据 - Power Utility的客户电源使用情况配置文件根据您的描述，我认为这是在包含电源使用列和帐户行的数据上对帐户进行集群的方法。正如您所发现的，层次聚类无法处理大量行，但K-means可以处理。这在群集中是已知的，并且是在两种方法之间进行选择时的关键考虑因素之一。你说Kmean聚类组有很多不同的说法层次聚类没有。 我想知道你在运行K-means时设置了多少个集群。而且，作为比较，您使用了多少个集群层次聚类？也许您需要使用K-means尝试更多的集群。
Re：群集和大数据 - Power Utility的客户电源使用情况配置文件我同意马克的观点。诀窍是将数据聚合成有意义的指标以减少行数（不确定你可以用列做什么，因为我认为它们代表了客户）。如何计算不同时间段（例如，一天中的小时，一周中的一周，一年中的一周，一年中的一些月等）的中位数使用，然后得出这些中的每一个的偏差分数（可能是总和的平方或绝对差异） 。我也考虑看一些这些缩放版本，因为我怀疑它们会非常偏斜。另一个想法是聚类子样本，就像你做的那样，然后使用神经网络（或树）来预测聚类。
我不介意看到示例文件，如果你可以分享它。
唐
Re：群集和大数据 - Power Utility的客户电源使用情况配置文件您可以另外考虑获得新的有意义的答案。例如，峰值使用情况，过去六个月的峰值使用情况，平均使用情况等。原始数据包含信息，但这样每15分钟会说什么？
