你好@海倫娜G
感謝您的提問。 我認為預測篩選是一個很棒的工具,我很高興您發現它很有幫助。 讓我更詳細地解釋一下此分析中發生的情況,而不是回答您的個人問題。
預測器篩選分析運行 Bootstrap Forest 分區模型(默認有 100 個決策樹),然後根據預測器對模型的貢獻對預測器進行排名。 簡而言之,Bootstrap Forest 分析將許多決策樹平均在一起。 要創建一棵樹,需要引導程序觀察樣本,並通過使用一組隨機的預測變量進行分割來遞歸地擬合模型。 這一直持續到滿足停止規則為止。 然後使用一組新的引導觀測值和隨機預測器分割創建另一棵樹。 一旦創建了所有樹木,它們就會平均形成樹木的“森林”(因此得名)。
返回預測篩選輸出,貢獻列提供連續數值響應的平方和和分類響應的 G^2。 部分列是單個預測變量貢獻除以所有貢獻的總和。 這與每個預測變量解釋的方差不同。
要了解有關這些平台的更多信息,我建議閱讀分區模型和Boostrap森林文檔中的概述。
-斯科特
關於我之前的帖子,我注意到斯科特·艾倫@斯科特艾倫和拜倫·溫格德@Byron_JMP現在正在呈現這個主題。 因此,我想請您幫忙解答以上問題!
此致,
海倫娜·格蘭吉亞
你好@尼克_謝爾頓,
由於您的演示,我一直在使用 Predictor 篩選,並且對結果非常滿意。 關於這個平台,我現在詢問您在以下方面的深厚專業知識:
1. JMP 結果中顯示的用於預測因子篩選的部分是如何計算的? 我的意思是,就 Bootstrap Forest (BF) 而言,這部分意味著什麼以及具體值是如何實現的? (我正在用它寫一篇科學論文,我需要這個細節)。
2. 在解釋方面,我理解該部分解釋了由預測變量解釋的響應(產量)的變異性百分比。 它是否正確?
3. 還是在預測因子篩選平台中,“貢獻欄”是什麼意思?BF算法是如何計算的?
提前謝謝你,尼克!
尼克·謝爾頓@尼克謝爾頓JMP SE 經理過去曾介紹過這個主題,我退役了舊視頻。我借用了他對觀眾的評論@海倫娜G因為它可能與觀看此視頻和 JMP SE 斯科特·艾倫 (Scot Allen) 問答的任何人相關@斯科特艾倫和拜倫·溫格德@Byron_JMP :
海倫娜問道:
我想更好地理解以下內容:與交互識別和評估(使用響應篩选和逐步回歸工具)相關的所有步驟都基於線性假設 - 這是正確的嗎? 如果是,是否有任何建議來檢查非線性相互作用?
尼克寫道:
時間最好通過領域專業知識和對所分析變量的已知科學/物理理解來識別相互作用。
當變量之間的相互作用不能很好地理解時,擬合模型中的“響應篩選”模型個性可以很好地量化各個交互項和響應變量之間的強度。
擬合模型中的“逐步回歸”模型個性可以很好地識別用於潛在模型的最佳術語組合(例如:主效應、交互作用......)。
術語“線性”模型是指模型公式的結構方式,但擬合模型中的“響應篩選”和“逐步回歸”模型特性也可用於探索非線性關係。
我們可以通過添加多項式項將非線性效應和相互作用納入分析中。
在擬合模型中,您可以通過在模型效果框中添加相應項來探索任何多項式關係(非線性)(例如:二次關係 (x1*x1)、三次關係 (x1*x1*x1)、二次交互作用 (x1* x1*x2)...)
有關多項式及其如何幫助理解變量之間關係的更多信息,請觀看下面的快速視頻:
https://community.jmp.com/t5/Short-Videos/Fitting-Polynomial-Models/ta-p/271953
了解如何使用簡單的統計技術來幫助識別資料中的重要變數和交互,作為建立高效能預測模型和發現其他見解的先導。
https://www.youtube.com/watch?v=8ENEPPHMphI
請參閱如何:
- 了解開始識別重要變數之前要考慮的先決條件
- 使用列查看器清理和準備數據
- 使用「探索缺失值」、「探索異常值」和「探索模式」來識別並決定如何處理異常值和缺失資料
- 確保資料集是您計劃研究的系統的最佳表示<
- 使用列標題和圖形生成器中的分佈來探索資料並視覺化趨勢
- 對 ID 進行多變量分析相關變數
- 使用反應篩選來識別影響反應的最重要變量
- 使用預測因子篩選(決策樹方法)來測試預測反應的許多因素
- 使用多變量分析來識別具有高相關性的變量
- 聚類變數將相關變數分組在一起並識別最具代表性的單一變數
- 使用“擬合模型”>“反應篩選”和“逐步迴歸”,根據重要且獨特的變數來尋找交互作用和高階項
斯科特回答的問題@斯科特艾倫和@Byron_JMP 2023 年 6 月現場網路研討會期間。
Q:在圖表產生器中如何「取消選擇」?
答:點選圖表中的空白區域,而不是標記。
Q:您能否進一步詳細說明您對 P 值及其排名的解釋? 它的高點和低點意味著什麼,當我們看到某些值或趨勢時會發生什麼,等等。
答:對於 p 值和大多數統計數據,請考慮 。此外,在 JMP 中,您需要有關統計資料(或顯示的任何其他內容)的協助。選擇工具 > ?並按一下您需要協助的區域(在本例中為 p 值列標題)。另請參閱這解釋。
Q:預測因子篩選平台與隨機森林模型有何不同?
答:在 JMP 中我們稱之為隨機森林引導森林(因為隨機森林已註冊商標)。 這是同一件事。 預測篩選不包括模型,僅包括排名。
Q:由於預測器畫面沒有告訴您每個預測器的變異百分比,是否有其他平台可以做到這一點?
答:預測變數篩選報告顯示了預測變數清單及其各自的貢獻和排名。 貢獻最高的預測因子可能對預測 Y 很重要。 貢獻列顯示每個預測變數對 Bootstrap Forest 模型的貢獻。 報表中的「部分」欄顯示每個變數的貢獻百分比。
Q:多元分析可以使用絕對相關數字而不是 -1 到 1 嗎?
答:是的,也不是。 該表是一個相關係數矩陣,總結了每對反應 (Y) 變數之間的線性關係的強度。 看多變量方法。
Q:如果有連續、二項式(是/否)和有序(低、中、高)自變量,您將如何選擇最重要的變數?
答:是的,您可以使用所有這些方法:預測因子篩選和回應篩選。
Q:您使用過逐步迴歸嗎? JMP 是否提供所有可能的子集迴歸?
答: 參見逐步回歸的詳細信息。
Q:我的許多資料包含多個回應,我發現它限制了我在 JMP 中可以執行的一些操作。 您是否對多重回應資料進行了特殊清理,或按原樣使用它? 我指的是「多重回應」列屬性(多個資料點的清單)。 我假設將它們分成兩個不同的列會更容易,但想看看是否有更好的方法。
答:是的,我們讓您存儲多重回應在一個單元格中作為一個,但要分析它們,將它們分成不同的列是正確的。
Q:基於樹的方法與 PLS 或 PCA 相比如何?
答:透過 PCA 或 PLS,我們試圖用較少數量的潛在變數來表示所有資料。您正在嘗試找到可以表示所有資料的更少的維度。 這與基於樹的方法不同,基於樹的方法可以幫助您確定實際解釋某事物的內容。 樹方法正在取代 PCA 和 PLS 以實現更好的建置。 基於樹的方法非常適合資料建模,但對變化非常敏感,並且可能過度擬合。 使用基於樹的方法,每次創建新樹時,您都會對行進行隨機採樣,並對列進行隨機採樣,這使得它對異常值非常魯棒,並且能夠對交互和二次方程進行建模或三次方(如果數據中存在)。 因此,您不必做出一堆假設。
Q:我可以對數值型因變數和連續、二項式和有序自變數使用預測篩選和回應篩選嗎?
答:是的。
請參閱如何:
- 使用 JMP Partition 識別重要因素
- 準確自動的任何模型互動效果
Modeling Workflow with Factor SelectionModeling Workflow with Factor Selection透過因素選擇對工作流程進行建模
獎金:史考特·艾倫@斯科特艾倫和拜倫·溫格德@Byron_JMP在 2022 年演示後也回答了問題!
Q:有異常值工具的教學影片嗎?
答:這是一個很好的內容,涵蓋了探索異常值JMP 中的工具。您也可以透過文件和範例。
Q:為什麼不先去掉相關變數呢?
答:相關變數的存在通常會影響建模方法。 例如,PLS 對相關 X 更穩健。 此外,順序可以是偏好。 您可以採用兩種方式進行操作:預測因子篩選然後聚類,反之亦然。請注意,當您有大量缺失值或未更改的列(如儀器設定)時,聚類可能會有點不準確。如果您想從叢集開始,有時需要額外的資料清理和準備。
Q:您將如何決定預測演算法?
答:這是一個複雜的問題,答案取決於你的情況。 大多數時候,線性模型是最簡單且資訊豐富的。 其他方法可以解決數據或分析目標的特定問題。
Q:為什麼如此強烈建議使用線性項?如果我的相關性是 Y=X^2,為什麼 JMP 不斷嘗試加入 X 項目?
答:這與效應遺傳有關。 有時,您的高階項很重要,但不是主要效果。 所以,你想保持主要效果。例如,如果您刪除了主效應,那麼在預測檔案管理器中您將看不到斜率變化,您只會看到曲率並得到不太好的預測。
Q:對於預測因子篩選,因子和反應的資料應該以相同順序收集(配對)還是可以使用隨機收集的資料(不配對)。
答:順序並不重要,但對於多元分析,我們通常喜歡將 Y 放在一組中。將它們加到 Y 的順序就是它將在矩陣中顯示的順序。
Q:x 因子(600 列)的多元線性迴歸分析是否有助於找出哪些 x 欄位對產量貢獻較大?
答:如果您只對 600 列進行線性迴歸,那麼您確實會稀釋 Y 的解釋。 像 Partition 這樣的樹方法非常適合嘗試確定這 600 列中的哪一列可以幫助您實現目標。 當 Scott 展示 Predictor Screening 時,它會隨機抽取行和列樣本並建立一棵樹,執行 100 次並對這 100 棵樹取平均值,從而給出結果。透過分區,您可以強制事情發生,您可以強制決策在不同的地方發生,或者在分裂時追蹤某些事情。 然後您可以查看方差重要性報告,或者
分裂歷史和 R 方變化。這個例子太大了,無法做到這一點,但它會讓您了解如何使用分割區。
Q:如果600 個單獨的線性回歸削弱了模型的解釋力,這就是為什麼響應篩選在這些匯總統計數據中採用FDR(錯誤發現率)校正(Scott 之前顯示並縮短了升序)來嘗試補償這一點的原因嗎?
答:偶然的機會你會發現真正好的東西,你想嘗試並過濾它們。 我們不想獨自偶然發現事物,因此 FDR 有助於糾正這一點。我強調“幫助”,因為沒有一個模型是完美的。 同樣,所有基於樹的模型,在具有多重線性的情況下,最好先嘗試分離出方差並找到那些真正最重要的變量,而不是將所有內容放入模型中。有時你可以使用 JMP Pro 建立整合模型。
Q:是否還有其他方法可以使用 JMP Pro 執行此操作?
A;是的,包括使用XGBoost 插件。見下文。