場景:我使用驗證數據來調整我的套索懲罰,現在我想重新調整我的所有數據(訓練 + 驗證),指定優化的懲罰項。
我無論如何都看不到在廣義回歸平台中這樣做。 這裡推薦什麼?
你好@米特曼,
雖然我不確定實際的底層算法是什麼,但對 Lasso 建模進行的調整非常有限。通過 L1 懲罰。 它非常擅長縮小不重要的因素,但如果你在因素和響應之間存在多重共線性,那就不是很好了。 需要記住的是,當您使用交叉驗證(使用驗證列)時,算法會使用它來開始最小化因子的估計值。 這有助於算法將不重要的因素驅動為 0 並簡化模型。 如果您重新運行(即使使用相同的網格間距/間距類型和懲罰分數),您最終會得到不同的模型,因為它將使用不同的驗證方法來簡化模型。 如果您想比較與您的驗證列擬合的模型與使用 AICc 或 K-fold 的模型,對於您生成的每個模型,您可以轉到擬合旁邊的紅色熱按鈕並選擇保存列 > 保存預測公式。 然後,您可以比較不同模型對響應的擬合程度,例如在模型比較平台下。
其他一些想法:
1. 您可以考慮使用 Elastic Net,因為它結合了 L1(Lasso)和 L2(Ridge)懲罰方法。 兩全其美。
2. 您可能希望對因子的估計值運行一些引導程序或模擬,以確定它們的大小以及它們是否真的重要。 請務必將幅度與估計的標準誤差進行比較,以查看誤差是否大於估計本身。
3. 如果您正在構建模型,最好在 JMP 中運行其他建模平台以查看哪個模型更適合。 可能是 KNN 或 SVM 或 NN 模型在預測能力方面實際上優於其他模型。 請務必查看其他一些建模平台,例如 SLS、GenLinReg 等。您永遠不知道哪種模型最終會勝過其他模型。
4. 如果您使用驗證列進行交叉驗證,您可能會考慮如何將數據劃分為訓練和驗證,因為這會影響模型性能。
5. 如果您的數據來自 DOE,並且您正在使用 GenReg 平台,根據經驗,最好將自己限制在 GenReg 平台中的前五種估計方法。
希望這可以幫助!,
DS
我感興趣的場景是我使用固定數據分區(驗證列)並運行懲罰回歸(無論套索、脊或彈性網)。 這些為我提供了一個解決方案路徑和一個基於驗證數據的縮放對數似然的優化模型。 返回的調整參數可用於(快速)使用附加訓練數據以調整參數的預先指定值擬合更新的模型。 有沒有辦法在不生成整個解決方案路徑的情況下運行套索(或脊或彈性網)?