具有相關變量的多元回歸大家好，
我需要一些關於多元回歸的幫助，非常感謝任何幫助！ 先感謝您 ：）
簡而言之，這是一個問題 -
- 我有連續的 Y 和 16 個 X
- 當我運行多變量分析時，我可以看到一些項是相關的。 說 X1 和 X2 是相關的，我只能使用其中一個
- 但是，我確實想任意選擇 X1 而不是 X2。 所以，我現在正在做的是先用 X1 然後用 X2 運行回歸。 然後，我將模型與這些術語進行比較。 但是我需要運行的組合數量實在是太多了，手動操作非常耗時並且容易出錯。
- 想檢查是否有更聰明的方法來解決這個問題。
- 我知道這可以通過編寫腳本在某種循環中運行並突出顯示最佳模型來解決 -
- 但是，沒有編寫腳本的知識。
- 任何其他提示，技巧也很棒！ （我沒有 JMP Pro）
期待您的來信。
此致，
維普
美國能源部其他腳本回复：具有相關變量的多元回歸太感謝了@David_Burnham ！ 非常感謝您的反饋，這非常有幫助。 非常感激。
此致，
維普
回复：具有相關變量的多元回歸謝謝@statman分享你的想法。 這非常有幫助。 非常感激 ：）
此致，
維普
回复：具有相關變量的多元回歸再次感謝你，維克多。 這是非常有幫助的反饋。 我嘗試了逐步回歸和 PCA 方法，這對我們有很大幫助。
再一次感謝你。
此致，
維普
回复：具有相關變量的多元回歸你好@vipul ,
不同的模型將導致處理多重共線性的不同方法和方法。
考慮到 X1 和 X2 是一對與其他預測變量高度相關的預測變量，模型將做出不同的反應：
- 使用逐步回歸方法（或決策樹），模型將從模型中刪除高度相關的預測變量，並僅保留信息量最大的預測變量。 在你的情況下，你最終只會得到 X1 或 X2（取決於哪一個會給你最好的建模/性能）。
- 使用隨機森林（或 JMP 的預測因子篩選）方法，將構建多個決策樹，每棵樹的預測因子子集。 這意味著 X1 和 X2 將在相同數量的預測變量子集中進行測試，因此它們將有相同的機會在模型中被選中。 根據哪個帶來更多信息，兩個預測變量中的一個將比另一個具有更高的特徵重要性（模型貢獻），但模型中可能會考慮這兩個。
- 使用 PLS/PCA 方法，您可以將預測變量的數量減少到不相關預測變量的較小子集，因此您可以保留大部分預測變量信息（取決於您保留的主成分數量）。 您的輸入已轉換/組合且不相關（新的 X' 可能會創建為 X1 和 X2 的組合）。
您將選擇的方法取決於模型的性能，但更重要的是，取決於您對該主題的領域知識。 不同的建模可能會導致不同的解釋和關於不同預測變量的意義或重要性的不同假設，因此領域知識應該指導您選擇最合適/合理的模型。
希望對你有幫助
回复：具有相關變量的多元回歸David 提供了一些平台供您嘗試。 組合不是統計過程，而是工程/科學過程。
讓我給你一個假設的例子：
想像一下，您正在嘗試確定哪些因素會影響使用橡皮筋發射彈丸的距離（Y = 距離）。 許多感興趣的變量（射彈質量、射彈幾何形狀、發射角度、環境氣流、釋放技術等）中的兩個是：
1. X1 = 橡皮筋被拉伸的長度
2. X2 =“彈簧常數”，通過改變橡皮筋的寬度而變化
這兩個變量在數據集中看起來是相關的，並且都對提供給系統的能量有直接影響（假設）讓我們認為它們是共線的。 與其在實驗中將它們視為獨立變量，不如將它們組合成一個因子，其水平包括：
- = 較短的拉伸長度和較窄的寬度帶
+ = 較長的拉伸長度和較厚的寬度帶
然後在實驗中將這個“組合因素”與許多其他因素進行比較。 如果這個因素顯得很重要，可以運行後續實驗以進一步了解如何最有效地管理能量進入系統（這成為一個新的響應變量）。
回复：具有相關變量的多元回歸僅供參考，您描述的在所有 X 上一次安裝一個的過程由響應篩選在 Analyze > Screening 下找到的平台。
回复：具有相關變量的多元回歸您可能還想看看聚類變量分析>聚類下的實用程序。相關的 X 將被放置在同一個集群中。然後，對於每個集群，您可以選擇一個“代表性變量”以包含在回歸中。紅色三角形中甚至還有一個“啟動適配模型”選項。
回复：具有相關變量的多元回歸你好@statman ,
感謝您花時間分享您的觀點。 您能否詳細說明如何組合多個相關的 X？
再次感謝您。
此致，
維普
回复：具有相關變量的多元回歸你好@維克多_G
感謝您抽出時間回答。 我一定會立即使用預測篩選模塊。 希望它能提供一些線索。
但是，您認為這會解決多重共線性問題嗎，因為（比如說）X1 和 X2 將再次成為最有可能的預測變量，對嗎？
回复：具有相關變量的多元回歸這是我的想法：沒有統計程序選擇當存在多重共線性時，您的研究中應包括哪些因素。 該決定必須由 SME（主題專家）做出。 可能影響這一點的事情包括：
1. 管理 X 的難易程度或成本
2. 是否納入的科學依據（假設）（我建議這些是預測而不是在獲得數據後發展）
3.對其他Y的影響
現在，您還可以做其他事情：
1. 將相關的 x 組合成一個 X
2. 開發備用響應變量
3. 嘗試不同的轉換（例如 PCA），儘管這可能會混淆科學關係
4. 對因素進行實驗
回复：具有相關變量的多元回歸你好@vipul ,
也許在“Fit Model”平台中使用“Stepwise”特性確實符合您的需要，因為 JMP 將嘗試使用傾向於創建具有最小 BIC/AICc 或具有 p 值閾值的模型的變量。 通過點擊平台的紅色三角形，還有一個選項可以測試“所有可能的模型”，您必須在其中指定模型中最多的項（因子）數量，以及要查看的最佳模型的數量。 然後 JMP 將提供一個表格，其中包含所有測試的模型，以及每個模型中的項數、R²、RMSE、AICc 和 BIC，如果您發現一些足夠有趣的模型，您可以運行任何測試的模型。
但是，對於數據集中的多重共線性問題，我認為這不是一個好主意。 如果您有 JMP 和具有高度相關變量的數據集，則可以嘗試這些選項，具體取決於您是否對可解釋性和/或可預測性感興趣：
- 使用“預測篩選”（在分析 -> 篩選中）找到對您的響應最重要的變量。 選擇 n 個最重要的（你可以改變閾值 n，你想要保留的重要變量的數量取決於領域專業知識或任意閾值，如“我想要 5 個頂級預測變量”），點擊“複製選擇”，然後使用您複製的變量運行回歸模型（擬合模型）。
- 使用主成分分析，將最初的 16 個 X 減少為一組較低的獨立變量，其中包含大部分初始信息。 然後嘗試使用您的主成分而不是原始 X 的回歸模型。
- 使用偏最小二乘法（分析 -> 多變量 -> 偏最小二乘法）創建具有相關變量的模型。
我認為這些選項可能比嘗試擬合所有可能的模型並根據 R² 或其他指標選擇最佳模型更穩健/可靠，因為您提到的原始方法會刪除一些可能仍然包含有價值的相關 X信息。
還有許多其他可能的選項，但在 JMP Pro 中可用（例如，使用懲罰回歸模型技術）。
我認為前三個選項可能已經對您有所幫助 
