當提供大量變量來預測結果時,您可能希望以某種方式減少變量的數量,以使預測問題更容易解決。一種可能的降維技術是眾所周知的方法主成分分析 (PCA)。然而,PCA產生的變量很難解釋。另一種策略是使用變量聚類 ,一種可用的方法 JMP Pro 。
由...製作 SAS / STAT 發展總監Warren Sarle為 VARCLUS程序 ,變量聚類通過將相似變量組合在一起來減少變量的數量。這可以讓你使用結果集群組件 ,每個集群中變量的第一個主成分,作為新變量。這些新變量具有相似性,因為它們僅由每個簇內的變量組成。為了在降低共線性的同時進一步改進解釋,您可以選擇僅使用每個群集中最具代表性的變量來代替每個群集組件。
變量聚類的工作原理
變量聚類算法是一種迭代算法,它以單個聚類中的所有變量開始,並通過迭代拆分並將變量分配給新聚類繼續進行,直到不可能進行新的拆分或賦值。更具體地,根據聚類的主要組件將聚類迭代地分成更小的聚類。在算法的每次迭代中,選擇具有最大第二特徵值的聚類以分成兩個新聚類。被分割的集群的成員基於它們與被分割的集群的前兩個正交旋轉主成分的相關性而被分配給新集群。一旦拆分,如果發現與不同的集群具有更高的相關性,則檢查所有其他變量並將其重新分配給不同的集群。一旦所有聚類的第二特徵值小於1,則變量聚類結束。
示例:預測葡萄酒質量
為了演示變量聚類,讓我們使用。來預測葡萄酒的質量葡萄酒質量數據集提供在 UCI機器學習庫 。由紅葡萄酒和白葡萄酒分隔,該數據集由以下11個描述每種葡萄酒含量的變量組成:固定酸度,揮發性酸度,檸檬酸,殘糖,氯化物,游離二氧化硫,總二氧化硫,密度,pH值,硫酸鹽和酒精。
為了通過變量聚類減少這些變量的維數,我們首先啟動主要組成部分 Analyze菜單中的平台。接下來,我們選擇變量為 Y,專欄然後單擊確定。


這將啟動Principal Components平台,以獲取葡萄酒質量數據。從此處,選擇Principal Components紅色三角形菜單下的Cluster Variables選項。您應該看到變量群集群集摘要。如本摘要所示,11個變量已由四個集群匯總,每個集群分別具有4個,3個,2個和2個成員。該最具代表性的變量列顯示最能代表每個變量集的變量。列中列出了每個群集中解釋的變異比例變異比例解釋而解釋的變異的總體比例,0.558,列在摘要的底部。

我們可以使用Variable Clustering紅色三角形菜單請求一個集群成員表。這些集群成員可以深入了解變量之間的相似性。例如,該表顯示1號簇的四個成員相似:固定酸度,氯化物,密度和硫酸鹽。
列中列出了每個變量與其所屬集群之間的RSquare RSquare與自己的群集 。該 RSquare與Next Closest column是每個變量和下一個最相似的集群之間的RSquare。該 1-RSquare比率 column是一個變量是其成員和下一個最相似的集群的集群之間相對接近程度的度量。例如,固定酸度的1-RSQuare比率用(1-0.527)/(1-0.106)= 0.473 / 0.894 = 0.529計算。這說明了該數量如何衡量相對接近程度。1-RSquare Ratio的值大於1意味著下一個最接近的簇實際上比變量當前所屬的簇更相似,因此所有1-RSquare比率應小於1。

葡萄酒質量降低比較
為了比較這些不同的減少技術如何預測葡萄酒質量,我們使用三組不同的預測變量擬合線性回歸:
這些模型適合三分之二的訓練數據集,我們使用模型比較平台比較模型。

訓練樣本RSQuare和驗證樣本RSquare講述了一個類似的故事:主要組件的模型略微優於具有集群組件的模型,而使用最具代表性的變量的模型優於兩者。這是一個理想的解決方案,因為我們不僅找到了一個更簡約的模型,而且我們還找到了一個更容易解釋結果的模型。
考慮添加變量聚類 JMP Pro 到今天你的變量減少工具包!
參考
P. Cortez,A。Cerdeira,F。Almeida,T。Matos和J. Reis。通過物理化學特性的數據挖掘對葡萄酒偏好進行建模。在決策支持系統中,Elsevier,47(4):547-553,2009。
變量聚類功能對我的工作非常有幫助。
你能告訴我最終的簇數是如何控制的 - 用哪個標準做出這個決定,即特徵值?
對於JMP 14,您是否考慮包含選擇群集數量的選項?
此外,有一個樹狀圖或某種視覺來顯示這種關係會很好
琳恩
瑞安帕克中寫道:
嗨Jose,這在JMP 11 Pro中目前不是一個選項。我們計劃在未來版本的JMP Pro中添加這個未來!
瑞安
何塞格雷羅中寫道:
你好,
我們是否可以選擇我們在VARCLUS for JMP 11 pro PC中選擇的群集數量
謝謝