@jordanwalters感謝您對 PCA 和 FA 的精彩文章和解釋。期待你的下一期。
可以分享您在這裡使用的數據表嗎？
謝謝，
賬單
歡迎回到我的結構方程建模系列。 我的第一篇文章介紹了結構方程建模，並簡要說明了它過去曾在哪裡使用，以及將來可以在哪裡使用。 在第二篇文章中，我的目標是解釋 SEM 中使用的主要基本概念之一、典型的替代方案以及我們為什麼使用我們在 SEM 中所做的概念。 這篇文章中涵蓋的基本概念是降維技術以及它們如何在 SEM 中應用以及這些方法的優點。 我假設讀者對降維有一些先驗知識，所以這篇文章的主要焦點將是這些技術的不同之處以及是什麼讓某些技術更適合 SEM。
降維
那麼，什麼是降維，我們為什麼要使用它？ 降維是數據科學中採用的一種技術，用於將數據從高維空間減少到低維空間。 換句話說，我們試圖找到一種方法來用更少的變量來表示我們的數據，同時仍然從更大的數據集中保留有意義的信息。
執行降維以製作更簡單的數據模型。 通常，在系統中，已測量的變量與其他根本原因相關，通常可以將模型簡化為這些根本原因。 有兩種主要的降維方法：主成分分析（PCA）和因子分析（FA）。 這兩種方法相似，但有一些獨特的區別，我將在這篇文章中探討。
下圖顯示瞭如何對數據集使用降維的一個示例。 假設數據聚集在綠色圓圈內，最初位於 X、Y 和 Z 三個維度中。 為了減少數據集，我們可以嘗試刪除數據中一些不太重要的維度，例如 Z 軸，這會產生仍然包含我們所有數據點的 XY 圖。 這種方法的一種替代方法是形成一個 ZY 圖，但是通過這種方式減少模型的維度，我們會丟失很多價值數據。 從這個例子可以看出，找到最優的降維技術對於保留數據集中的重要信息至關重要，而一些數據總是會丟失。
案例研究背景
為了幫助解釋這個複雜的想法，我將使用一個案例研究來幫助理解我們正在做什麼，使用一個真實的數據集。 在本案例研究中，我們查看了 78 種不同的溶劑以及每種溶劑的各種測量特性數據。 每種溶劑都有四個測量變量：熔點、沸點、親脂性和 H 2 O 溶解度。 前五種溶劑及其測量值報告如下：
本案例研究的目的是降低我們數據的維數，使化學家的溶劑選擇更簡單。 為此，我們的目標是將四個電流測量值減少為兩個主要成分或因素。 下面探討主成分和因子的概念。
主成分分析
主成分是一個新變量，它被構造為初始變量的線性組合或混合。 PCA 的目的是推導出這些組件中的一小部分，以盡可能多地捕獲數據中的原始可變性。 最終目標是找到仍然保留重要信息的系統的最簡化形式。 當系統中的原始變量之間已經存在很強的相關性時，PCA 特別有用，因為這意味著可能存在與變量相關的潛在原因。
主成分分析是工程中應用降維的典型方法。 其主要原因是工程中進行的測量幾乎總是有相關的測量誤差。 通過執行 PCA，可以找到用於定義系統的主要組件，其中包括測量誤差以及來自其他來源的變化。
PCA可以在主成分分析平台中進行JMP和JMP 專業版. 該平台通過在我們的案例研究中使用每種溶劑的變量來演示。 要設置 PCA，必須選擇四個變量，然後將其添加到平台，然後您只需按“確定”。 然後，JMP 會自動計算系統的主成分，並給出每個成分的特徵值以及顯示原始變量如何與主成分相關的負載圖。
從特徵值中，我們可以看到主成分 1 負責數據中的大部分變化，主成分 2 佔較小但仍然重要的部分。 其他分量的特徵值小於 1，每個分量的變化都小於每個原始變量。 右側的加載圖顯示了原始變量如何與主成分 1 和 2（分別為水平軸和垂直軸）對齊。 這意味著與每個主成分軸對齊的變量通過主成分相互關聯。
例如，在本案例研究中，我們看到沸點和熔點沿主成分 2 軸聚集在一起；這意味著這兩個變量高度相關。 從化學的角度來看，我們假設是這種情況，因為化學物質的熔點和沸點通常與分子之間的力相關。 這意味著主成分 2 很可能是分子之間的分子間吸引力。
以同樣的方式觀察主成分 1 軸向我們展示了親脂性和 H 2 O 溶解度與主成分 1 高度相關，但由於它們位於軸的任一側，因此彼此呈負相關。 因此，圖表上直角的變量沒有相關性。 在化學背景下，我們可以假設主成分 1 可能是分子的極性。 這是因為分子極性會影響分子是否可以溶解在極性或非極性溶劑中；因為這就是H 2 O 溶解度和親脂性是衡量標準，它們與該主要成分高度相關也就不足為奇了。 我們還知道，無論分子大小如何，分子都可以溶解，這意味著這兩個測量值不應與我們在加載圖中看到的沸點或熔點相關聯。
因子分析
因子分析與 PCA 非常相似，但有一些重要的區別。 與 PCA 相比，該方法的主要區別在於與主成分相比，因子的定義不同。
主成分是觀察變量的簡化形式，旨在捕獲盡可能多的數據變化。 這意味著主成分不一定是“真實”變量，因為它包含來自觀察變量的測量誤差。 然而，FA 中的因素略有不同。 因子也稱為潛變量，是 SEM 中的一個重要概念。 潛在變量可以被認為是對系統中觀察到的變量負責的根本原因（或因素）。
需要注意的是，SEM 中使用的觀察變量的另一個詞是明顯變量，因此從現在開始我將使用這些變量來表示這些變量。 這樣，在FA中，顯變量可以被認為是“真實”潛變量的測量結果，在系統中是不可測量的。
FA可以通過JMP Pro中的因子分析平台進行。 這以與 PCA 平台中幾乎相同的方式完成，因此我們使用相同的四個因素執行相同的分析。 這個平台唯一的區別是有更多與因子分析相關的定制選項；為簡單起見，這些選項都將保留為默認值。
從平台上，我們發現主要有兩個因素。 這些因子繪製在上面的加載圖上，以顯示每個因子所佔的變異百分比。 雖然這個情節和從 PCA 平台上找到的情節看起來很相似，但它們並不相同。
關鍵差異可以從每個因素或主成分所佔的方差量中看出；這是在每個軸上報告的。 另一個區別是我們的每個變量都繪製在兩個圖表上的確切點。這表明它們與因子和主成分的相關性不同。 如上所述，這些差異是由於我們定義因子和主成分的方式存在固有差異。 這方面的主要例子是沸點變量的位置。 在 PCA 分析中，它幾乎與熔點完全相關。 在 FA 分析中，沸點和熔點相關性不大。 這進一步證明了因子 2 和主成分 2 是兩個不同的概念。
簡單地說，在化學背景下，主成分 1 是所有分子間相互作用的量度，這就是為什麼在該加載圖上沸點和熔點幾乎相同的原因。 另一方面，在因子分析加載圖上，我們看到熔點和沸點現在不一樣了。 這可能是因為在 FA 中發現的因素只是范德華力，這是分子間力中最大的力貢獻。 由於各種化學原因，這意味著該因素在物質的熔點中起著更大的作用，但當涉及到沸點時，其他分子間作用力就會發揮作用。 由於通過 PCA 捕獲的測量誤差，這些其他力未在因子 1 中考慮，但在主成分 1 中。
作為對這一想法的結論，我們在每個因子的軸上看到，每個因子對變異的影響小於主成分。 這是意料之中的，因為用於構建模型的數據是經驗數據，因此包含測量誤差。 因此，主成分（包含測量誤差）將解釋更多原始數據的變化是有道理的。
SEM中的降維
雖然 PCA 和 FA 都是複雜的概念，值得通過書籍來徹底理解它們，但我們可以從探索這些主題中得出的結論是，FA 產生不包含錯誤的潛在變量，而 PCA 產生的主成分包括其他錯誤的來源。 第二個重要的注意事項是，在 FA 中，潛在變量產生了清單變量，而在 PCA 中，主成分是“簡化”清單變量的結果。
這兩點都在上圖中可視化，顯示了 PCA 和 FA 之間的差異。 就理解底層系統而言，FA 是更好的方法。 這是因為在 PCA 中發現的主要成分不是影響系統的“真實”變量。 它們只是模型擬合參數。 這意味著 PCA 仍然有用，但在預測建模等其他領域有更好的應用，因為這可能會導致更好的擬合模型。 因此，在 SEM 中，我們採用 FA，因為它可以更全面地了解系統中顯式變量的根本原因。 這樣，通過使用 SEM，我們可以通過對顯性變量進行回歸來量化潛在變量。 事實上，這個想法構成了路徑圖的基礎，這是 SEM 中的一個關鍵概念，我將在下一篇文章中介紹。
我希望這能讓您深入了解降維技術以及為什麼這些技術在 SEM 中使用和未使用。 我將在以後的博客文章中探討的 SEM 中的一個有趣想法是 SEM 中的驗證性因子分析 (CFA) 的特殊情況，它本質上只是一種在設置 SEM 的同時採用因子分析的方法。 稍後再談。
@Bill_Worley感謝您對比爾的關注！ 當然，我會上傳數據集。 數據文件中有一個腳本，它執行本文中執行的 PCA 和 FA。
