243682_zh-CN

liliconcom

具有最佳CCC的KMeans集群比较报告低于其他集群

你好

 

一位客户询问为什么在集群比较报告中为kmeans集群指定的最佳CCC有时低于其他集群的CCC，这与文档相矛盾。

 

我可以使用所附的尼卡地平数据集和kmeans聚类重现此行为（运行用于聚类的脚本）

 

 

在文档中未提及的决定中还有其他标准吗？为什么会这样？

回复：具有最佳CCC的KMeans集群比较报告低于其他集群

我认为可能有几种原因导致此异常。如果是其中之一引起的，则文档中应提及它，因此我认为文档中需要更多详细信息。

 

我的想法：

您使用的尼卡地平变量确实是绝对的，不是连续的。那可能是造成问题的原因。数据的离散性通常导致CCC选择太多的群集。

 

其中两个变量是常数值。甚至医生都说他们被忽略了，所以我不认为这是问题所在。

 

从6开始的每个聚类都有一个只有一个观察值的聚类。这可能就是为什么这些簇不是“最佳”的原因（但我也确实不相信这一点，但有可能）。

 

从跨集群的CCC来看，CCC急剧下降并变为负值。负CCC值通常表示异常值。因为连续有5个集群大小的CCC较低，所以我相信任何CCC高于3个集群模型的CCC都表示过拟合。JMP可以采用类似的逻辑吗？

 

如果您运行的KMeans集群的范围是4到12，而不是3，则会得到您期望的结果，所以也许这是一个错误？

 

为了完整起见，JMP文档引用了SAS技术论文，我包括了该论文的结论以确保完整性。完整的文档在这里： https://support.sas.com/kb/22/addl/fusion_22540_1_a108_5903.pdf

 

当然是一个有趣的情况。我很想听听选择3的真正原因！

回复：具有最佳CCC的KMeans集群比较报告低于其他集群

谢谢 @Dan_Obermiller 。我将与客户核实异常值，群集中的#values和使用的列类型。这可能会给它带来启发。

但我希望有人可能知道潜在的原因（错误，预期的数据类型……）。 

回复：具有最佳CCC的KMeans集群比较报告低于其他集群

因此，我现在可以获得有关客户数据的更多信息：

 

• 有多少个观察？

613个观察值，39个变量[基于SAS文档，一个也许可以查看大约60个簇]

 

• 变量是分类/二进制的吗？

6个变量的值约为85％-90％。
8个变量只有20-25个不同的值。

 

• 离群值（负CCC）如何？

使用PCA和离群值分析进行粗略检查，仅删除了大多数极端离群值。之后，无论如何使用平行坐标图检查聚类，很少声明为噪声，很少声明为噪声。因此，最佳CCC只是一个准则，需要进一步研究集群。但是，很难理解，在不是最高值的较早群集上选择了最佳CCCC。在我的情况下，仅N = 2和N = 3群集为负，N = 4是最佳值，尽管N = 7，甚至更高的N是更高的值。

 

• 是否存在涉及单个值的集群？

是＆否：

 

方法NCluster N行CCC最佳

K表示聚类2。               -11,181               

K表示聚类3。               -25,497               

K表示聚类4。               4,46481最佳CCC

K表示聚类5。               0,87854                

K表示聚类6。               7,58562                

K表示聚类7。               4,0766à具有1个观测值的一个星团

K表示聚类8。               25,9692                

K表示聚类9。               16,4746                

K表示聚类10。               23,1449à一个簇具有0个观测值（y，0…）

K表示聚类11。               24,0572                

K表示聚类12。               26,9875                

K表示聚类13。               27,7786à一个具有0个观测值的聚类（y，0…）

K表示聚类14。               29,0657à一个簇具有0个观测值（y，0…）

K表示聚类15。               18,975à一个具有0个观察值的聚类（y，0…）

 

自NCluster = 3以来，至少有一个簇具有大约10个观测值

 

• 仅使用5-15个集群怎么样？

是的，然后正确显示了最佳CCC！ 

!!!另外，如果我取消选中“使用群集内标准偏差”并使用2-15个群集，则显示的结果将与预期的一样。

 

方法NCluster CCC最佳

K代表聚类2 -8,3209               

K均值聚类3 -14,199               

K均值聚类4 9,28967                

K均值聚类5 5,42936                

K均值聚类6 24,6335                

K均值聚类7 30,4458                

K均值聚类8 23,5854                

K均值聚类9 36,858  

K均值聚类10 35,6172                

K均值聚类11 36,5099                

K均值聚类12 38,4017                

K均值聚类13 48,2059                

K均值聚类14 44,3545                

K均值聚类15 49,7344最佳CCC

 

 

==>因此，似乎集群中正在进行某种标准化，这导致与不使用此选项不同的最佳CCC。如果是这种情况，则应更正显示，因为CCC似乎具有未选中和已选中选项的不同值，这应该在报告的某个地方以及文档中进行提及。

 

开发人员/测试人员/编写者的任何见识都可能有价值。我当然也可以通过技术支持来说明这一点，如果这在JMP中应该更改的话。

 

谢谢，

马丁

 

回复：具有最佳CCC的KMeans集群比较报告低于其他集群

JMP在将群集＃标记为“最佳CCC”时首次使用最大的CCC，直到它第一次低于2。我同意JMP文档指出“ CCC值越大，表示拟合越好 ” 需要改变。