了解如何使用簡單的統計技術來幫助識別資料中的重要變數和交互作用,從而建立高效能的預測模型並發現更多見解。
看看如何:
- 在開始識別重要變數之前,需要了解一些前提條件。
- 使用列查看器清理和準備數據
- 使用「探索缺失值」、「探索異常值」和「探索模式」來識別並確定如何處理異常值和缺失資料。
- 確保資料集能夠最好地代表您計劃研究的系統。
- 使用列標題中的分佈和圖表建構器來探索資料並視覺化趨勢。
- 進行多元分析以識別相關變量
- 使用反應篩選來識別影響反應的最重要變量
- 使用預測因子篩選(決策樹方法)來測試預測反應的多個因素
- 使用多元分析識別具有高度相關性的變量
- 將變數進行聚類,將相關變數分組,並識別出最具代表性的單一變數。
- 使用「擬合模型」>「反應篩選」和「逐步迴歸」來尋找基於重要且獨特的變數的交互項和高階項。
Scott @scott_allen和@Byron_JMP在 2023 年 6 月的線上研討會上回答了以下問題。
Q:在圖表建構器中,如何「取消選擇」?
A:點擊圖表中的空白區域,而不是標記。
Q:您能否進一步解釋一下P值及其排名?高低分別代表什麼?當我們看到某些數值或趨勢時應該預期什麼?等等。
答:對於 p 值和大多數統計量,請考慮使用 . 此外,在 JMP 中,如果您需要有關某個統計量(或其他任何顯示內容)的幫助,請選擇“工具”>“?”,然後單擊您需要幫助的區域(在本例中為 p 值列標題)。另請參閱此說明。
Q:預測篩選平台與隨機森林模型有何不同?
答:在 JMP 中,我們將隨機森林稱為Bootstrap Forest (因為 Random Forest 是註冊商標)。它們本質上是一樣的。預測器篩選不包含模型,只包含排名。
Q:由於預測器螢幕沒有顯示每個預測器所佔的變異百分比,是否有其他平台可以做到這一點?
答:預測因子篩選報告列出了所有預測因子及其貢獻值和排名。貢獻值最高的預測因子可能對預測 Y 值至關重要。 「貢獻」欄位顯示了每個預測因子對 Bootstrap Forest 模型的貢獻。報告中的「比例」列顯示了每個變數的貢獻百分比。
Q:多元分析中能否使用絕對相關係數而不是-1到1之間的數值?
答:算是,也不算。此表是一個相關係數矩陣,它概括了每對反應變數(Y)之間線性關係的強度。參見多元方法。
Q:如果自變數有連續型、二項式(是/否)和有序型(低、中、高)三種類型,你會如何選擇最重要的變數?
A:是的,您可以使用所有這些方法:預測因子篩選和反應因子篩選。
Q:您是否使用過逐步迴歸? JMP 是否提供所有可能的子集迴歸?
答:請參閱逐步迴歸的詳細資訊。
Q:我的許多資料都包含多個回應,這限制了我在 JMP 中的一些操作。您是否會對多重回應資料進行特殊清理,還是直接處理?我指的是「多重回應」列屬性(包含多個資料點的清單)。我猜想將它們拆分成兩列會更簡單,但我想看看是否有更好的方法。
A:是的,我們允許您將多個回應儲存在一個儲存格中,但要分析它們,將它們拆分到不同的欄位中才是正確的做法。
Q:基於樹的方法與PLS或PCA相比如何?
答:使用主成分分析 (PCA) 或偏最小二乘法 (PLS) 時,我們試圖用較少的潛在變數來表示所有資料。您試圖找到一個能夠表示所有資料的簡化維度。這與基於樹的方法不同,後者有助於您確定真正解釋資料的原因。樹方法正在取代 PCA 和 PLS,成為建立更優模型的首選方法。基於樹的方法非常適合資料建模,但它們對變化非常敏感,並且容易過度擬合。基於樹的方法在每次建立新樹時都會隨機抽取行和列樣本,這使得它對異常值非常穩健,並且能夠對交互項以及資料中存在的二次或三次函數等進行建模。因此,您無需做出大量假設。
Q:對於數值型因變量和連續型、二項式、有序型自變量,我可以使用預測變量篩選和反應變量篩選嗎?
A:是的。
看看如何:
- 使用 JMP Partition 來識別重要因素
- 準確、自動地處理任何模型交互效應
Modeling Workflow with Factor Selection利用因子選擇對工作流程進行建模利用因子選擇對工作流程進行建模
額外福利: Scott Allen @scott_allen和 Byron Wingerd @Byron_JMP在 2022 年演示後也回答了問題!
Q:是否有關於異常值檢測工具的教學影片?
答:這篇教學很好地介紹了 JMP 中的「探索異常值」工具。您也可以參考文件和範例。
Q:為什麼不先剔除相關變數呢?
答:變數間相關性的存在通常會影響建模方法的選擇。例如,偏最小平方法(PLS)對存在相關性的自變數(X)較為穩健。此外,順序也可能因人而異。您可以先進行預測變數篩選再進行聚類,反之亦然。需要注意的是,當存在大量缺失值或列值保持不變(例如工具變數設定)時,聚類結果可能不夠準確。如果您想先進行聚類,有時需要對資料進行額外的清理和準備。
Q:您會如何決定預測演算法?
答:這是一個複雜的問題,答案取決於具體情況。大多數情況下,線性模型是最簡單且資訊量最大的模型。其他方法則用於解決資料或分析目標方面的特定問題。
Q:為什麼強烈建議使用線性項?如果我的相關係數是 Y=X^2,為什麼 JMP 總是試圖添加 X 項?
答:這與效應遺傳有關。有時,高階項顯著,但主效果不顯著。因此,您需要保留主效應。例如,如果您移除主效應,那麼在預測濾鏡中,您將看不到斜率的變化,只會看到曲線的彎曲,並且預測效果會降低。
Q:對於預測因子篩選,因子和反應的資料是否應該以相同順序收集(配對),還是可以使用隨機收集的資料(非配對)?
答:順序其實不重要,但在多元分析中,我們通常喜歡把Y值放在同一組裡。你把它們加到Y中的順序,就是它們在矩陣中顯示的順序。
Q:對 x 因子(600 列)進行多元線性迴歸分析是否有助於找出哪些 x 列對產量貢獻較大?
答:如果你只對 600 列進行線性迴歸,實際上會稀釋解釋 Y 值的關鍵因素。像 Partition 這樣的樹狀方法非常適合用來找出這 600 個欄位中哪些欄位對結果有影響。 Scott 展示的 Predictor Screening 方法會隨機抽取行和列,建立一棵樹,重複 100 次,然後對這 100 棵樹的結果取平均值。使用 Partition,你可以強制執行某些操作,例如在不同位置強制執行決策,或是追蹤某個變數的分割過程。之後,你可以查看方差重要性報告,或者
分割歷史記錄和 R 平方值的變化。這個例子太大了,無法一一列舉,但可以讓你了解如何使用分割區功能。
Q:如果 600 個獨立的線性回歸稀釋了模型的解釋力,那麼響應篩選是否就是因為這個原因才在這些匯總統計數據(斯科特之前展示並做空的那些統計數據)中使用了 FDR(錯誤發現率)校正來試圖彌補這一點?
答:光靠運氣,你確實會發現一些非常好的結果,你需要試著篩選出這些結果。我們不希望只依靠運氣就發現這些結果,所以 FDR 可以幫助我們進行校正。我強調“幫助”,是因為沒有完美的模型。同樣地,所有基於樹的模型,在存在多重線性關係的情況下,最好先嘗試分離方差,找到真正最重要的變量,而不是把所有變量都一股腦地塞進模型裡。有時你可以使用 JMP Pro 建立整合模型。
Q:使用 JMP Pro 還有其他三種方法可以實現這個功能嗎?
答:是的,包括使用XGBoost 插件。詳情請見下文。