JMP 中是否存在與分類變數的多重共線性相當的內容？我正在嘗試創建一個預測迴歸模型來預測連續變數的值。由於我純粹是在尋找預測，因此多重共線性對我來說並不是那麼重要，但是我記錄了大量分類變量（20 多個）（以及 20 多個連續變量），並且我希望進行特徵選擇/變量減少以免過度擬合數據，並且想知道是否有一種好的方法可以在 JMP 中對分類變量進行變量減少或找到那些可能相關的變量？我心裡沒有任何特定的型號並且將使用 JMP PRO。
預測模型和機器學習回覆：JMP 中分類變數的多重共線性是否有等價物？你好@mjz5448 ，
我從你的問題中看出了兩點：
- 在分類變數建模時如何評估多重共線性？
您可以透過在原始預測變數的參數估計中顯示VIF 值來評估模型中連續變數和分類變數的多重共線性（右鍵單擊表格，然後按一下「列」和「VIF」）。高風險因子值表示模型中的項有共線性問題。如果某些項彼此線性相關，您還將在「奇異性詳細資料」欄位中獲得奇異性訊息，以及參數估計先前的指示「有偏差」和/或「歸零」：
更多資訊請見： 模型項間具有線性依賴關係的模型
- 如何選擇特徵/減少變數？
如果您想要進行特徵選擇/變數減少，則可能會有幾種選項，具體取決於您使用的模型類型：- 對於多元廣義線性迴歸模型，您可以使用剪枝前向選擇，或者如果多重共線性很重要，可以嘗試懲罰估計方法選項（如 Lasso），它將透過對相關變數強制執行 0 的估計來進行變數選擇。一種不那麼「激進」的方法是彈性網路估計，它結合了 Lasso 和 Ridge 懲罰。
- 隨機森林本身也很有趣，或者可以將其用作預測篩選選項，使用特徵重要性（列貢獻）來識別最重要的/活躍的特徵。
- 您也可以嘗試使用預測因子選擇助手插件，該插件基於使用 Boruta 特徵選擇方法和 Rendom Forest 的預測因子篩選的升級版本來幫助選擇變數：
- 您還可以結合上述不同的建模方法（以及更多方法），並比較所獲得的模型以查看其中包含哪些術語以及模型的相似/不同之處。
希望這個答案能幫到你，
回覆：JMP 中分類變數的多重共線性是否有等價物？謝謝維克多！這正是我所尋找的。
對於縮小模型的步驟有什麼想法嗎：
- 在使用 LASSO/Ridge 之前，您是否應該先刪除相關變數/進行降維？
- 或者我們應該兩者同時進行 - 減少變數然後轉到 LASSO/Ridge，以及使用所有特徵並執行 LASSO/Ridge 並比較哪個在驗證資料上具有最佳 RASE？
回覆：JMP 中分類變數的多重共線性是否有等價物？你好@mjz5448 ，
Justo 對 LASSO 和 Ridge 之間的差異做了一些解釋（Elastic Net 是 LASSO 和 Ridge 懲罰的混合）：
- LASSO能夠將其認為不「有趣」的特徵的係數設為零。這意味著模型會進行一些「自動特徵選擇」來決定哪些特徵應該包含，哪些不應該包含。此屬性的優點是可以降低模型的複雜性（因此有助於避免過度擬合）。然而，係數會受到這種懲罰（係數收縮）的影響，而 LASSO 回歸在使用相關特徵的資料進行訓練時可能會「不穩定」：其中一個特徵被任意選中，並且與該特徵高度相關的所有其他特徵都會從模型中刪除。這可能會導致某些人錯誤地得出結論，認為只有選擇保留在模型中的特徵才是重要的，而實際上其他一些特徵可能同樣重要甚至更重要。
LASSO 對異常值具有很強的穩健性，並且當在許多其他影響很小或沒有影響的變數中，有一小部分變數對反應具有強烈影響時，它往往最有效。
- Ridge 能夠最小化相關特徵的係數（接近 0 但不為 0）。此屬性使得嶺回歸可用於具有許多相關特徵的資料集，因為相關特徵的負面影響被最小化，並且能夠減少過度擬合。隨著懲罰的引入，您還會得到偏差的係數估計。
Ridge 能夠考慮所有特徵，並且在存在大量具有較大且可比較的影響的變數時往往最有效。
- 彈性網路結合了兩種懲罰方法，因此它將一些係數縮小到 0 並最小化其他係數，因此它可以成為進行特徵選擇以及處理對響應具有相似重要性的相關特徵的良好折衷方案。
您可以在本《掌握： 使用 JMP® Pro 中的廣義回歸創建穩健線性模型》中了解有關廣義（和懲罰）回歸模型的更多信息
對於特徵選擇，我強烈建議查看隨機森林的特徵重要性，因為該模型不需要大量微調，能夠處理相關特徵，並且對過度擬合不敏感，因此它可以提供良好的基準比較。
由於您提到了驗證數據，所以我不完全確定您使用此模型的目標是什麼：系統理解（解釋目標）還是預測目標？
它是驗證資料（用於模型最佳化（超參數微調、特徵/閾值選擇...）和模型選擇），還是測試資料（用於所選模型在新/未見資料上的泛化和預測效能評估）？
- 在第一種情況下（驗證資料），您可以嘗試在廣義回歸啟動面板中使用此驗證資料作為您的驗證方法，以確保在您的資料集上正確設定和固定懲罰，並比較此驗證資料上的不同模型：懲罰迴歸方法、隨機森林…
- 在第二種情況下（測試資料），我建議不要使用該資料集，直到比較了模型並選擇最有希望的模型。根據您的主要目標（系統理解或預測）和驗證模型的方法（資訊準則，如 AICc 或 BIC，或 K-folds/Holdback/Leave-One-Out 驗證（如果您對預測效能感興趣）），您可以選擇合適的驗證方法並比較訓練/驗證資料上的模型結果以選擇最有趣的模型。一旦選定，您就可以確認其在測試集（未見資料）上的泛化和預測效能。
希望這個答案能幫助你，
