243682_zh-TW

liliconcom

具有最佳CCC的KMeans集群比較報告低於其他集群

你好

 

一位客戶詢問為什麼在集群比較報告中為kmeans集群指定的最佳CCC有時低於其他集群的CCC，這與文檔相矛盾。

 

我可以使用所附的尼卡地平數據集和kmeans聚類重現此行為（運行用於聚類的腳本）

 

 

在文檔中未提及的決定中還有其他標準嗎？為什麼會這樣？

回复：具有最佳CCC的KMeans集群比較報告低於其他集群

我認為可能有幾種原因導致此異常。如果是其中之一引起的，則文檔中應提及它，因此我認為文檔中需要更多詳細信息。

 

我的想法：

您使用的尼卡地平變量確實是絕對的，不是連續的。那可能是造成問題的原因。數據的離散性通常導致CCC選擇太多的群集。

 

其中兩個變量是常數值。甚至醫生都說他們被忽略了，所以我不認為這是問題所在。

 

從6開始的每個聚類都有一個只有一個觀察值的聚類。這可能就是為什麼這些簇不是“最佳”的原因（但我也確實不相信這一點，但有可能）。

 

從跨集群的CCC來看，CCC急劇下降並變為負值。負CCC值通常表示異常值。因為連續有5個集群大小的CCC較低，所以我相信任何CCC高於3個集群模型的CCC都表示過擬合。JMP可以採用類似的邏輯嗎？

 

如果您運行的KMeans集群的範圍是4到12，而不是3，則會得到您期望的結果，所以也許這是一個錯誤？

 

為了完整起見，JMP文檔引用了SAS技術論文，我包括了該論文的結論以確保完整性。完整的文檔在這裡： https://support.sas.com/kb/22/addl/fusion_22540_1_a108_5903.pdf

 

當然是一個有趣的情況。我很想听聽選擇3的真正原因！

回复：具有最佳CCC的KMeans集群比較報告低於其他集群

謝謝 @Dan_Obermiller 。我將與客戶核實異常值，群集中的#values和使用的列類型。這可能會給它帶來啟發。

但我希望有人可能知道潛在的原因（錯誤，預期的數據類型……）。 

回复：具有最佳CCC的KMeans集群比較報告低於其他集群

因此，我現在可以獲得有關客戶數據的更多信息：

 

• 有多少個觀察？

613個觀察值，39個變量[基於SAS文檔，一個也許可以查看大約60個簇]

 

• 變量是分類/二進制的嗎？

6個變量的值約為85％-90％。
8個變量只有20-25個不同的值。

 

• 離群值（負CCC）如何？

使用PCA和離群值分析進行粗略檢查，僅刪除了大多數極端離群值。之後，無論如何使用平行坐標圖檢查聚類，很少聲明為噪聲，很少聲明為噪聲。因此，最佳CCC只是一個準則，需要進一步研究集群。但是，很難理解，在不是最高值的較早群集上選擇了最佳CCCC。在我的情況下，僅N = 2和N = 3群集為負，N = 4是最佳值，儘管N = 7，甚至更高的N是更高的值。

 

• 是否存在涉及單個值的集群？

是＆否：

 

方法NCluster N行CCC最佳

K表示聚類2。               -11,181               

K表示聚類3。               -25,497               

K表示聚類4。               4,46481最佳CCC

K表示聚類5。               0,87854                

K表示聚類6。               7,58562                

K表示聚類7。               4,0766à具有1個觀測值的一個星團

K表示聚類8。               25,9692                

K表示聚類9。               16,4746                

K表示聚類10。               23,1449à一個簇具有0個觀測值（y，0…）

K表示聚類11。               24,0572                

K表示聚類12。               26,9875                

K表示聚類13。               27,7786à一個具有0個觀測值的聚類（y，0…）

K表示聚類14。               29,0657à一個簇具有0個觀測值（y，0…）

K表示聚類15。               18,975à一個具有0個觀察值的聚類（y，0…）

 

自NCluster = 3以來，至少有一個簇具有大約10個觀測值

 

• 僅使用5-15個集群怎麼樣？

是的，然後正確顯示了最佳CCC！ 

!!!另外，如果我取消選中“使用群集內標準偏差”並使用2-15個群集，則顯示的結果將與預期的一樣。

 

方法NCluster CCC最佳

K代表聚類2 -8,3209               

K均值聚類3 -14,199               

K均值聚類4 9,28967                

K均值聚類5 5,42936                

K均值聚類6 24,6335                

K均值聚類7 30,4458                

K均值聚類8 23,5854                

K均值聚類9 36,858  

K均值聚類10 35,6172                

K均值聚類11 36,5099                

K均值聚類12 38,4017                

K均值聚類13 48,2059                

K均值聚類14 44,3545                

K均值聚類15 49,7344最佳CCC

 

 

==>因此，似乎集群中正在進行某種標準化，這導致與不使用此選項不同的最優CCC。如果是這種情況，則應更正顯示，因為CCC似乎具有未選中和已選中選項的不同值，這應該在報告的某個地方以及文檔中進行提及。

 

開發人員/測試人員/編寫者的任何見識都可能有價值。我當然也可以通過技術支持來說明這一點，如果在JMP中應該對此進行更改的話。

 

謝謝，

馬丁

 

回复：具有最佳CCC的KMeans集群比較報告低於其他集群

JMP在將群集＃標記為“最佳CCC”時首次使用最大的CCC，直到它第一次低於2。我同意JMP文檔指出“ CCC值越大，表示擬合越好 ” 需要改變。