我應該使用主成分分析還是 k-means 聚類分析？嗨 - 我正在嘗試確定用於以下情況的最佳聚類分析方法（例如主成分分析、k-means 等）。我有一個包含 12,928 條記錄的映射數據集，每條記錄對應一個帶有樣本結果的孔。每行數據（我地圖上的每個位置）都有一個井名、緯度、經度，以及化合物 A、化合物 B、化合物 C、化合物 D、化合物 E 等（總共 8 個化合物）的結果。這些井已被以下三個來源之一污染：1) 空氣沉積，2) 工藝廢物，或 3) 兩者的結合（混合）。每個源都與一個獨特的源特徵相關聯（例如，空氣沉積源往往具有高化合物 X 和低化合物 Y，而工藝用水往往具有高化合物 Y 和 Z 以及低化合物 X。）。因此，我的數據集的每一行（即井位）都與三個污染源之一相關聯。 我的目標是確定數據集中每個記錄（即井位）最有可能的來源。
重要的是，已知我的數據集中約 800 條記錄的子集與空氣沉積源特徵相關聯。因此，該數據子集可用作空氣沉積特徵的訓練集。我還可以提出約 50 條記錄的子集，這些記錄代表過程廢物源簽名。
JMP 或 JMP Pro 中的任何建議方法將不勝感激。提前致謝！
高級統計建模基礎數據分析與建模數據探索和可視化預測建模和機器學習回复：我應該使用主成分分析還是 k-means 聚類分析？有關數據示例，請參閱隨附的 Excel 電子表格。
回复：我應該使用主成分分析還是 k-means 聚類分析？我沒有看過 Excel 電子表格，但我不確定探索性數據分析方法（例如聚類）或降維方法（例如 PCA）是否最適合您的實際問題應用程序。 我對您的原始帖子的解釋主要基於您第一段的最後一句話。 “我的目標是確定每條記錄最有可能的來源……”。 對我來說，這聽起來像是一個分類建模問題，其中污染源是因變量，而化合物是您的預測變量。 如果我走對了路，JMP 和 JMP Pro 中有許多適用於分類問題的建模方法。 您可以從名義邏輯回歸開始，嘗試任意數量的樹方法，或者 JMP Pro 中的 PLS 判別分析平台等等。 如果您有 JMP Pro 並且您的數據支持交叉驗證方法，我建議您也將這些方法包括在您的工作流程中……您是在用其中一個來源暗示它，所以聽起來您也可以接受這些方法？
回复：我應該使用主成分分析還是 k-means 聚類分析？您好 P_Bartell - 非常感謝您的回复。我會盡力闡明我的目標。每條記錄代表一個映射的井樣本，顯示許多不同 PFAS 化合物（每種化合物是不同的字段）的結果（濃度）。我的研究區域可能存在三種污染源：(1) 空氣沉積源，可能主要與化合物“PMPA”有關，(2) 工藝廢物源，可能與“PFMOAA”有關，以及 ( 3) 空氣沉積和工藝廢物的混合物。當然，世界並不是那麼乾淨整潔，因此這兩種化合物（PMPA 和 PFMOAA）將出現在幾乎所有的井中，無論它們與任何一個來源的距離如何，當然還有其他化合物。這是相對濃度有助於確定油井是否受到一種來源或其他來源影響的化合物。而且，其他化合物可能是更好的替代物或指示劑？....待定。
我的目標是確定哪些區域（即水井）受到哪個來源的污染。（我附上的電子表格只是數據的一個樣本，但可以讓您了解我的數據格式。）重要的是，離源越遠的井自然會降低構成該井的不同化合物的濃度，但相對比率與該來源相關的化合物應繼續保留。所以一口井的位置是故事的一部分（即一口井的位置會影響它的複合構成）。
因此，鑑於上述情況，如果您仍然認為例如判別分析 (DA) 是一個不錯的方法，我有幾個問題。(1) 我的樣本（良好結果）不應該是獨立的嗎？根據我上面的描述，會他們是？似乎它們並不是真正獨立的，因為靠近一種源類型的那些更像是靠近不同源的那些。想法？ (2) 我的每種 PFAS 化合物（自變量）的濃度應該服從正態分佈。鑑於這些是環境污染物數據，通常不滿足此假設，有時甚至使用對數歸一化也是如此。這是個問題嗎？ (3) 似乎我的預測變量（PFAS 化合物）自然是共線的。換句話說，一個給定的源將與一些一起上升和下降的化合物相關聯，這取決於與該源的接近程度。這是個問題嗎？提前致謝！
回复：我應該使用主成分分析還是 k-means 聚類分析？我會盡力回答你的每一個問題。 (1) 不一定。 “獨立性”是那些偉大的城市需求響應神話之一，例如，不需要使用多種建模方法的常態（請參閱我即將發表的評論）。 (2) 說誰？ 現實生活中的數據通常不是正態分佈的自變量……誰在乎呢？ (3) 這就是諸如 PLS - 判別分析之類的方法的用武之地。 冒著過度簡化的風險......在所有基於 PLS 的方法（與共線預測變量一起閃耀）的背景中發生的事情是通過一些非常優雅的數學，這些共線預測變量被轉化為所謂的“潛在變量”它有一些非常好的特性……這非常類似於在建模之前對預測變量進行主成分分析。 很久以前，當我還是一名 JMP 高級系統工程師（我現在已經退休）時，我組織了一個仍然可用的掌握 JMP 網絡研討會。 它的標題是“使用偏最小二乘法。 當普通最小二乘法回歸不起作用時。” 你可能想看嗎？ 這是一個鏈接： P. 巴特爾-PLS實際上，在活動結束時，我討論了一個與您的問題不太相似的分類類型問題。 它使用人類基因組數據（不以任何方式正常分佈）對女性的雌激素受體狀態進行分類（二元反應……但可以使用 3 種可能的分類器輕鬆擴展到您的情況）。 最後，如果您有 JMP Pro，我還會認真研究各種樹方法。 然後將所有模型保存在 Formula Depot 中並比較它們的性能。 我認為我的網絡研討會是使用 JMP Pro v 13 完成的？ 因此，對於我展示的能力和功能，事情可能發生了一些變化……因為看起來您可能正在運行 v 17，但基本思想仍然有效。 祝你好運！
回复：我應該使用主成分分析還是 k-means 聚類分析？謝謝 P_Bartell！我會查看您的鏈接並做一些功課。感謝您的詳細回复！
回复：我應該使用主成分分析還是 k-means 聚類分析？我看了你的視頻 - 非常有幫助！假設我在 JMP 中使用判別分析，我的 Y 協變量顯然是我所有的眾多 PFAS 化合物字段。 但不清楚我的 X，類別/類字段 - “源” - 應該如何工作。我這樣說是因為我不知道絕大多數數據集的來源是什麼（這就是我進行此分析的原因）。
回想一下，我的數據集如下所示：
由於我的研究區域的獨特屬性，我可以向我的數據集添加一個源字段，並為大約 10% 的行（約 1300 行）填充它。但是，我只能為“空氣沉積”來源填充它。其他兩個來源（“過程浪費”和“混合”）不容易辨別……因此我需要分析我的數據集（例如 PLS）。如果按下，我可能也可以填充“過程浪費”源，但只能填充大約 30 行，而不是更多。其他 11,000 行的源字段未知。
我誤讀了這裡的工作流程嗎？
回复：我應該使用主成分分析還是 k-means 聚類分析？不，你沒有誤讀工作流程……如果你不能用該變量的三個可能水平填充 Loc 列中的數據表，那麼你就不能建立模型、PLS 或任何其他方法。 所以我建議你回到你最初關於多元探索性數據分析工具的想法，比如復合變量的聚類或主成分分析......最好是出現一些聚類或出現相對較少數量的主成分你'您將能夠在復合變量中看到它們。
回复：我應該使用主成分分析還是 k-means 聚類分析？我要向我的老朋友傾訴@P_Bartell的回答。僅在我看來，集群聽起來像是滿足您的分析需求的好起點。K-Means 或層次聚類應該運行良好，並且由於您有 3 個可能的污染源，您應該將 K-Means 或層次聚類限制為 3 個聚類。當您對結果感到滿意時，將聚類保存回數據表，然後可以將此列用作您進行的任何進一步建模的一部分。您還可以將聚類公式保存回數據表，當您將任何新數據輸入表中時，您將立即得到污染聚類（來源）的預測。
回复：我應該使用主成分分析還是 k-means 聚類分析？一個額外的想法，也許是古怪的想法......如果這是你正在處理的現實世界問題，而不是一些虛構的學術練習，一旦你確定了一些集群，以及與每個井相關的地理位置，請使用 Graph Builder 映射生成井密度圖的工具。 然後我敢打賭，稍加窺探，您就可以對這些化合物的來源途徑做出合理的猜測。 幸運的是，請注意，我遠未獲得環境地質工程師的資格/培訓/教育，我剛剛讀完一本關於愛運河（紐約尼亞加拉大瀑布）事件的書。 我敢打賭，那裡的任何水井或附近的任何羽狀物都會有一些類似的污染概況……而且來源非常明顯……加工廢物被掩埋並滲透多年。 啊，再次成為 JMP 系統工程師......我一直喜歡與客戶一起解決這些“混亂”的問題。
回复：我應該使用主成分分析還是 k-means 聚類分析？謝謝你倆。我將從那裡開始（聚類分析），看看它會走向何方。我感謝輸入！
