預測篩選非常感興趣地聽了關於預測模型的講座，以及將預測公式保存到數據集然後重新運行預測篩選的建議，初始變量為 X，並將預測公式添加為新的 X。
使用 JMP Pro 構建更好的預測模型 - 模型篩選
今天和一個同事討論，他的反應是“談論過度擬合模型！”
這種方法是否會更多地過度擬合模型（即使我們使用與創建模型的數據不同的驗證數據）。 我同事的意見是我們兩次使用相同的數據。
我們正在研究二項式 Y（健康或生病），該方法確實改善了預測，但我們是否剛剛引入了更多的過度擬合，以至於驗證現在不正確/過度擬合？ #預測，#過度擬合，#篩選
分析視窗回复：預測篩選我還沒有看過這個，我很想看看這些回應，但我確實有一個初步的反應。使用來自 Model Screen 平台的預測公式，並使用預測公式和其他預測變量重新運行該平台，聽起來確實有點像過度擬合。但是，我認為這是構建集成模型的一種方法——如果預測公式來自一個模型，而新模型使用該輸出（以及其他預測變量）來創建新模型，那麼它是一個可能更優的集成模型到第一個模型而不會過度擬合。使用什麼驗證數據的問題對我來說似乎更微妙。我會使用相同的驗證數據，否則你真的無法判斷新模型是否比舊模型好。也許您可以保存兩個預測公式，然後將它們應用於不同的驗證集，以查看性能是否得到增強。
回复：預測篩選你好@克里斯特馬爾姆,
昨天關於預測建模的會議非常有用。 我不記得關於該主題的確切討論，但我會謹慎使用結果的預測公式作為相同結果的輸入之一。 我對集成建模的理解是構建不同的模型，例如神經網絡、增強樹、XGBoost 等，然後將它們平均在一起。 您可以使用紅色熱按鈕通過模型比較平台執行此操作，或者您可以編寫一個列公式為您執行此操作。 集成模型本身應該比任何一個模型都更適合數據，但情況並非總是如此。 要記住的一件事，它實際上取決於最終目標是什麼以及可解釋性對模型的重要性。 如果理解模型方程以及輸入如何轉化為輸出，那麼模型集成和復雜的非線性模型可能不是最好的方法。
我認為 Russ Wolfinger 所說的非常重要的一件事是為您的數據找到正確的驗證方案。 如果選擇了錯誤的訓練和驗證數據集，那麼即使數據很好，也可能會出現糟糕的擬合，就像他談到的 Nature 論文示例一樣。 最好花更多時間來確定最佳驗證方案，然後再生成模型。
聽起來您可能有一個不平衡的數據集，這意味著一個事件比另一個事件多得多。 在這種情況下，您肯定會想要探索更改邏輯概率閾值，看看這是否有助於您的預測。 此外，也許可以考慮使用利潤矩陣方法來為誤報和漏報的成本賦值。 Chris Gotwalt 還展示了一種有趣的方法，即使用決策樹來幫助更好地理解數據不平衡的截止點。
希望這可以幫助，
DS
回复：預測篩選你好@dale_lehman .安德里亞·庫姆斯@andreacoombs1介紹了有關預測建模的會議，並且可能對此有一些想法。
回复：預測篩選@克里斯特馬爾姆和@dale_lehman .我在錄音中展示的集成模型可能是過擬合的，因為集成模型是使用與構建原始模型相同的數據構建的。（我將繼續使用“原始模型”和“集成模型”術語，以在我的解釋中保持直截了當）。防止這種過度擬合的一種策略是將整個數據集分成兩組：A 組用於構建原始模型，B 組用於構建集成模型。您可以在構建原始模型時隱藏和排除 B 組。將 A 組拆分為訓練、驗證和測試以構建候選模型並選擇冠軍模型。現在將 B 組重新加入組合併使用整個 B 組進行訓練。您可以使用 B 組作為驗證或將其拆分為驗證和測試。這應該可以防止過度擬合。
回复：預測篩選直到現在我才真正看過視頻。看完後，你的回答讓我有點困惑。似乎有兩件事混在一起了——這很難解開。當然，如果您創建潛在的預測模型並將它們暴露給新數據（例如，您的 B 組），您可能會發現這些原始候選模型是否仍然是最好的，或者在面對新數據時，額外的調整或不同的模型是否可以改進預測- 避免過度擬合的經典方法。但是，如果您在相同的數據上運行集成模型以及原始預測器，我認為過度擬合不是唯一的問題。我完全不確定這個過程的意義是什麼 - 通過將原始預測變量與篩選中的一些選定模型一起包括在內，您是否只是確認是否應該從最初選擇的模型開始？而且，如果目的是查看您的模型如何處理新數據，那麼這真的與集成建模有任何關係嗎？提供一個測試數據集（甚至可能是第二個測試數據集）來查看您的模型在樣本外的表現的想法不是 - 無論它是否是集成模型。換句話說，樣本外測試似乎與模型篩選平台或集成建模幾乎沒有或根本沒有關係——它始終是任何預測模型的問題。
