偏最小二乘參數方差希望這個問題有道理。 我正在進行邏輯回歸，N = 2000觀察和p = 160協變量。 設計矩陣中存在明顯的相關結構，我可以看到，當我進行簡單的邏輯回歸時，只需查看VIF。 然後我做了PLS並獲得了一組不同的係數，儘管由於PLS沒有進行變量減少，因此仍有160個係數。 PLS報告中是否有位置可以找到新係數集的方差，看它們是否減少了？我想看看這些是否有意義，因為我可能會對差異進行交易偏差。
Re：偏最小二乘參數方差謝謝彼得，
困擾我的一件事是選擇自適應套索時模型的巨大差異。 您可以在自適應模型中看到Scaled-LogLikelihood值沒有明確定義的最小值。 另一個問題是你已經建模了Y = 0，你在模型中得到59個術語。 如果您的目標是Y = 1，那麼您將得到一個完全不同的模型，包含71個術 我不懂。 如果沒有自適應集，無論我是0還是1，模型都是相同的，除了術語有不同的符號。 由於我發現自適應結果難以理解，更不用說向我的客戶解釋，我堅持使用香草套索。
使用香草套索，我們可以在混淆矩陣中獲得合理的性能，閾值為.1522。 我認為可能符合所需的敏感性和特異性。
也就是說，我們仍然存在是否需要進行正規化的問題。 即使是香草邏輯回歸也導致te A AUC略微接近。 但我們不想使用LR，因為我們知道存在嚴重的相關性。 因此，如果沒有過度擬合的重要證據，我將轉向PLS，以便僅解決相關性問題。 但由於JMP將目標建模為連續目標，因此我們未在報告中獲得所有ROC，AUC和混淆矩陣。 我可以通過將logit應用到線性預測器來獲得它們，我認為這是合法的...並且回到我原來的問題，關於如何處理模型比較的PLS結果，而其他模型嚴格基於logit轉換線性預測器。
順便說一句，我非常感謝你深入研究這些問題，因為我自己徹底了解我正在做的事情對我來說非常重要。
我已經包含了與更多模型相同的數據表。
Re：偏最小二乘參數方差當您有足夠的觀察時，一種常用的檢查過度擬合的技術是使用Predictive Modeling平台集合中的Make Validation子平台將原始數據集劃分為訓練，驗證和可選的測試分組。對於分類問題，最佳做法是在Y上創建分層樣本，以便在每個培訓，驗證和可選測試組中具有相同比例的所有響應級別。您的響應在1級和0級之間存在相當大的不平衡。所以你可能想嘗試一些平衡接近50/50的場景？一旦你適合模型，然後檢查每個分組的ROC曲線......如果與每個分組相關的AUC相當接近......那麼就沒有過度擬合的證據。還要查看Confusion Matrices ...我對我在原始數據表中創建的訓練/驗證集的結果感到有點擔心......模型做得很糟糕，將實際1的錯誤分類為0。無論我使用哪種建模方法，target = 0。請參閱附加數據表中的三個不同分析腳本... logistic，Gen Reg / Lasso和Neural Net。如果從實際的角度來看這是有問題的，那麼你的模型根本就不合適......忘記過度擬合......它只是一個糟糕的分類器。
Re：偏最小二乘參數方差謝謝彼得，
在我的例子中，它實際上是關於預測變量的相關結構。 我不相信在我的申請中可以減少變量。 事實上，這是一個我還沒有回答的問題，我正在尋找一種確定的方法，以測試即使我使用所有預測器也會發生過度擬合。 我有N = 1839個觀察值，p = 148個協變量。 我已經包括了這張桌子。 如果我們只使用常規回歸（將標稱輸出視為連續），我們可以看到有很多非常大的VIF。 所以我們知道在進行邏輯回歸時我們也會遇到問題。 我們有相關的問題，但可能不是一個過度擬合的問題。 這就是我選擇PLS的原因。 如果您對變量進行聚類，則只獲得35個聚類，這表明148個協變量中只有35個左右的信息功能。 那麼為什麼要專注於消除它們中的任何一個而不僅僅是使用一種強健的相關方法。
當我運行邏輯回歸時，我得到的AUC僅為.815。 因此即使使用所有協變量也不能完美契合。 AUC <1是判斷過度擬合不是問題的合法方式。
我歡迎您的任何想法。
Re：偏最小二乘參數方差基因：
你的問題是有道理的......但是我可以提供另一種思路嗎？如果變量減少是您實際問題的關鍵，您是否考慮使用適合模型 - >廣義回歸個性/平台中的Lasso或Elastic Net子個性？這些技術適用於預測變量之間的多重共線性......但它們也有一些重要的特性需要考慮......這些在JMP文檔中有解釋。兩者都可以與分類響應一起使用......並且“最終”參數估計置信區間與參數估計表一起報告。
