歡迎回到我的結構方程模型系列。 我的第一篇文章介紹了結構方程模型，並簡要說明了過去使用它的地方，以及將來可以使用它的地方。 在第二篇文章中，我旨在解釋 SEM 中使用的主要基礎概念之一、典型的替代方案以及為什麼我們採用我們在 SEM 中所做的概念。 這篇文章中涵蓋的基本概念是降維技術及其在 SEM 中的應用方式以及這些方法的優勢。 我假設讀者對降維有一些先驗知識，所以這篇文章的主要重點將放在這些技術有何不同以及是什麼讓某些技術更適合 SEM。
降維
那麼，什麼是降維，我們為什麼要使用它呢？ 降維是數據科學中採用的一種技術，用於將數據從高維空間減少到低維空間。 換句話說，我們試圖找到一種方法來用較少數量的變量來表示我們的數據，同時仍然保留來自較大數據集的有意義的信息。
執行降維以製作更簡單的數據模型。 通常，在系統中，已測量的變量與其他潛在原因相關，並且通常可以將模型簡化為這些潛在原因。 降維主要有兩種方法：主成分分析（PCA）和因子分析（FA）。 這兩種方法很相似，但有一些獨特的區別，我將在本文中探討這些區別。
下圖顯示瞭如何對數據集使用降維的一個示例。 假設數據聚集在綠色圓圈內，最初位於 X、Y 和 Z 三個維度。 為了減少數據集，我們可以嘗試刪除一些不太重要的數據維度，例如 Z 軸，這會產生仍然包含我們所有數據點的 XY 圖。 這種方法的另一種方法是形成 ZY 圖，但通過這種方式減小模型的維度，我們會丟失大量有價值的數據。 從這個例子可以看出，找到最佳的降維技術對於保留數據集中的重要信息至關重要，並且總是會丟失一些數據。
案例研究背景
為了幫助解釋這個複雜的想法，我將使用一個案例研究來幫助理解我們正在做什麼，使用一個真實的數據集。 在本案例研究中，我們查看了 78 種不同的溶劑和每種溶劑的各種測量特性數據。 每種溶劑都有四個測量變量：熔點、沸點、親油性和 H 2個O 溶解度。 前五種溶劑及其測量值報告如下：
本案例研究的目的是降低我們數據的維度，讓化學家更輕鬆地選擇溶劑。 為此，我們的目標是將四個電流測量值減少為兩個主要成分或因素。 下面探討主成分和因子的概念。
主成分分析
主成分是一個新變量，它被構造為初始變量的線性組合或混合。 PCA 的目的是派生出少量這些成分，以盡可能多地捕獲數據中的原始可變性。 最終目標是找到仍然保留重要信息的系統的最簡化形式。 當系統中的原始變量之間已經存在很強的相關性時，PCA 特別有用，因為這意味著可能存在相關變量的潛在原因。
主成分分析是典型的工程降維方法。 主要原因是在工程中進行的測量幾乎總是有相關的測量誤差。 通過執行 PCA，可以找到用於定義系統的主要組件，其中包括測量誤差以及來自其他來源的變化。
PCA可以在主成分分析平台中進行JMP和JMP臨. 在我們的案例研究中，通過使用我們每種溶劑的變量來展示這個平台。 要設置 PCA，必須選擇四個變量，然後將其添加到平台，然後只需按“確定”。 然後，JMP 會自動計算系統的主成分並給出每個成分的特徵值以及顯示原始變量如何與主成分相關的載荷圖。
從特徵值中，我們可以看到主成分 1 對數據中的大部分變化負責，主成分 2 佔較小但仍然很重要的部分。 其他分量的特徵值小於 1，每個分量的變化都小於每個原始變量。 右側的載荷圖顯示了原始變量如何與主成分 1 和 2（分別為水平軸和垂直軸）對齊。 這意味著與每個主成分軸對齊的變量通過主成分相互關聯。
例如，在本案例研究中，我們看到沸點和熔點沿主成分 2 軸聚集在一起；這意味著這兩個變量高度相關。 從化學的角度來看，我們假設是這種情況，因為化學物質的熔點和沸點通常與分子之間的力相關。 這意味著主成分2很可能是分子間的分子間引力。
以相同的方式查看主成分 1 軸向我們表明親脂性和 H 2個O 溶解度與主成分 1 高度相關，但彼此呈負相關，因為它們位於軸的兩側。 因此，圖中直角處的變量沒有相關性。 在化學背景下，我們可以假設主成分 1 可能是分子的極性。 這是因為分子極性會影響分子是否可以溶解在極性或非極性溶劑中；因為這就是H 2個O 溶解度和親脂性是衡量指標，它們與該主要成分高度相關也就不足為奇了。 我們還知道，無論分子大小如何，分子都可以溶解，這意味著這兩個測量值不應與我們在載荷圖中看到的沸點或熔點相關。
因子分析
因子分析與 PCA 非常相似，但有一些重要的區別。 與 PCA 相比，此方法的主要區別在於因子與主成分的不同定義。
主成分是觀察變量的簡化形式，旨在捕獲盡可能多的數據變化。 這意味著主成分不一定是“真實”變量，因為它包含觀察變量的測量誤差。 然而，FA 中的因素略有不同。 因子也稱為潛在變量，這是 SEM 中的一個重要概念。 潛在變量可以被認為是系統中觀察到的變量的根本原因（或因素）。
請注意，SEM 中使用的觀察變量的另一個詞是顯變量，因此從現在開始我將如何引用這些變量。 這樣，在 FA 中，顯性變量可以被認為是“真實”潛在變量的測量結果，這在系統中是不可測量的。
可以通過 JMP Pro 中的因子分析平台執行 FA。 這是以幾乎與 PCA 平台相同的方式完成的，因此我們使用相同的四個因素執行相同的分析。 這個平台唯一的區別是有更多與因子分析相關的定制選項；為了簡單起見，這些選項都將保留為默認值。
從平台上，我們發現主要有兩個因素。 這些因素繪製在上面的載荷圖上，以顯示每個因素所佔的變異百分比。 雖然這個圖和從 PCA 平台上找到的圖看起來很相似，但它們並不相同。
主要區別在於每個因素或主要成分所佔的方差量；這是在每個軸上報告的。 另一個區別是我們的每個變量都繪製在兩個圖表上的確切點；這表明它們與因素和主要成分的相關性不同。 如上所述，這些差異是由於我們定義因子和主成分的方式存在內在差異所致。 這方面的主要例子是沸點變量的位置。 在 PCA 分析中，它幾乎與熔點完全相關。 在 FA 分析中，沸點和熔點的相關性不大。 這進一步說明factor 2和principal component 2是兩個不同的思路。
簡單地把它放在化學環境中，主成分 1 是所有分子間相互作用的量度，這就是為什麼沸點和熔點在該加載圖上幾乎相同的原因。 另一方面，在因子分析加載圖上，我們看到熔點和沸點現在不一樣了。 這可能是因為在 FA 中發現的因素只是范德華力，這是分子間力中最大的力貢獻。 由於各種化學原因，這意味著該因素對物質的熔點起著更大的作用，但當談到沸點時，其他分子間作用力就會發揮作用。 由於通過 PCA 捕獲的測量誤差，這些其他力未在因子 1 中考慮，但在主成分 1 中。
作為對這個想法的結論，我們在每個因素的軸上看到每個因素所佔的變異比主成分少。 這是意料之中的，因為用於構建模型的數據是經驗性的，因此包含測量誤差。 因此，主成分（包含測量誤差）將解釋原始數據中更多的變化是有道理的。
SEM 降維
儘管 PCA 和 FA 都是複雜的概念，它們本身就值得書本來徹底理解它們，但我們可以從對這些主題的探索中得到的是，FA 產生的潛變量不包含錯誤，而 PCA 產生的主成分包括其他錯誤的來源。 第二個重要的注意事項是，在 FA 中，潛在變量產生顯變量，而在 PCA 中，主成分是“簡化”顯變量的結果。
圖片 - 勞拉·卡斯特羅-斯基洛結構方程建模基礎知識 (2021-EU-45MP-752) - JMP 用戶社區
這兩點都在上圖中可視化，顯示了 PCA 和 FA 之間的差異。 在了解底層系統方面，FA 是更好的方法。 這是因為 PCA 中發現的主要成分不是影響系統的“真實”變量。 它們只是模型擬合參數。 這意味著 PCA 仍然有用，但在預測建模等其他領域有更好的應用，因為這可能會產生更好的擬合模型。 因此，在 SEM 中，我們採用 FA，因為它允許更全面地了解系統中顯變量的根本原因。 這樣，通過使用 SEM，我們可以通過對顯變量的回歸來量化潛在變量。 事實上，這個想法構成了路徑圖的基礎，這是 SEM 中的一個關鍵概念，我將在下一篇文章中介紹。
我希望這能讓您深入了解降維技術，以及為什麼這些技術在 SEM 中使用和不使用。 SEM 中的一個有趣想法是驗證性因素分析 (CFA) 中的 SEM 特例，我將在以後的博文中進行探討，它本質上只是一種採用因素分析的方法，同時還設置了 SEM。 稍後會詳細介紹。
@Bill_Worley感謝您的關注比爾！ 當然，我會上傳數據集。 數據文件中有一個腳本可以執行本文中執行的 PCA 和 FA。
很不錯， @喬丹沃爾特斯. 很好地解釋了 PCA 和 FA 的不同之處。
@喬丹沃爾特斯感謝您對 PCA 和 FA 的精彩文章和解釋。期待您的下一期。
可以分享一下你這裡用的數據表嗎？
謝謝你，
賬單
