預測篩選饒有興趣地聆聽了有關預測模型的講座，以及將預測公式保存到數據集，然後使用初始變量作為 X 重新運行預測篩選，並將預測公式添加為新的 X 的建議。
使用 JMP Pro 構建更好的預測模型 - 模型篩選
今天我和一位同事討論，他的反應是“談論模型過擬合！”
這種方法是否會更加過度擬合模型（即使我們使用與創建模型的數據不同的驗證數據）。 我同事的意見是我們使用相同的數據兩次。
我們正在研究二項式 Y（健康或生病），該方法確實改進了預測，但我們是否剛剛引入了更多的過度擬合，以致於現在的驗證也是不正確/過度擬合的？ #預測、#過擬合、#篩選
預測建模和機器學習視窗回复：預測篩選我不確定我是否理解你的意思。當你說數據集 B 是“盲目的”時，你的意思是你不知道哪些受試者被摻雜了（或者至少你假裝你不知道）？如果是這樣，那麼 B 似乎是您的測試數據集。通常，如果您有足夠的數據，您可以將 A 拆分為訓練數據和驗證數據，訓練您的模型（包括集成模型），然後將其應用到 B。然後，根據它們在 B 上的表現，返回並更改模型的想法似乎會導致過度擬合。這類似於對 A 進行訓練並使用 B 作為驗證集。但是你根本就沒有測試數據——我所說的測試數據是指與建模過程完全分開的數據。
回复：預測篩選感謝大家對我的問題的反饋！
作為對您的問題的評論@dale_lehman - 該項目是在新的數據集（可能或現在可能從興奮劑受試者中抽取的盲血樣本）上驗證一組選定的興奮劑生物標誌物。 因此，我們需要使用已知樣本中的數據集A 來修復模型，而集成方法似乎是一種方法，然後將模型應用於數據集B（盲法），並根據使用數據集A 創建的公式研究數據集B 的預測結果。
如果需要，我們可以返回並交換一些生物標誌物並再次執行此過程，直到我們達到預設的預測能力。
現在我（希望）已經更好地解釋了該項目，我可以看到如何使用 B 組進行驗證，但不確定我是否理解如何（再次）使用 B 訓練模型，（記住我不是統計學家） ）按照建議@andreacoombs1 。
我不知道這是否會改變您的回答，只是想澄清一下。
回复：預測篩選直到現在我才真正看過這個視頻。看到你的回答後，我有點困惑。似乎有兩件事混在一起——很難分開。當然，如果您創建潛在的預測模型並將其暴露給新數據（例如，您的B 組），您可能會發現那些原始候選模型是否仍然是最好的，或者在面對新數據時進行額外的調整或不同的模型是否可以改善預測- 避免過度擬合的經典方法。但是，如果您在相同的數據上運行集成模型以及原始預測變量，我認為過度擬合併不是唯一的問題。我根本不確定這個過程的意義是什麼 - 通過將原始預測變量與篩選中選擇的一些模型一起包括在內，您不只是確認最初選擇的模型是否應該被選擇？而且，如果目的是了解您的模型如何處理新數據，那麼這真的與集成建模有任何關係嗎？提供測試數據集（甚至可能是第二個測試數據集）來查看模型在樣本外的表現不是一個想法 - 無論它是否是集成模型。換句話說，樣本外測試似乎與模型篩選平台或集成建模幾乎沒有關係或完全沒有關係——這始終是任何預測模型的問題。
回复：預測篩選@ChristerMalm和@dale_lehman 。我在該記錄中呈現的集成模型可能過度擬合，因為集成模型是使用與構建原始模型相同的數據構建的。（我將繼續使用“原始模型”和“集成模型”術語，以便在解釋中保持清晰）。防止這種過度擬合的一種策略是將整個數據集分為兩組：A 組用於構建原始模型，B 組用於構建集成模型。您可以在構建原始模型時隱藏和排除 B 組。將 A 組分為訓練、驗證和測試，以構建候選模型並選擇冠軍模型。現在將 B 組重新納入其中，並使用整個 B 組進行訓練。您可以使用 B 組作為驗證或將其分為驗證和測試。這應該可以防止過度擬合。
回复：預測篩選你好@dale_lehman 。安德里亞·庫姆斯@andreacoombs1介紹了有關預測建模的會議，並可能對此有一些想法。
回复：預測篩選你好@ChristerMalm ,
昨天關於預測建模的會議內容非常豐富。 我不記得關於該主題的確切討論，但我會謹慎使用結果的預測公式作為相同結果的輸入之一。 我對集成建模的理解是建立不同的模型，例如NN、boosted tree、XGBoost等，然後將它們一起平均。 您可以使用紅色熱按鈕通過模型比較平台來執行此操作，也可以編寫一個列公式來執行此操作。 集成模型應該比任何一個模型本身都更適合數據，但情況並非總是如此。 需要記住的一件事是，這實際上取決於最終目標是什麼以及可解釋性對於模型的重要性。 如果了解模型方程以及輸入如何轉換為輸出，那麼模型集成和復雜的非線性模型可能不是最好的方法。
我認為 Russ Wolfinger 所說的非常重要的事情之一就是為您的數據找到正確的驗證方案。 如果選擇了錯誤的訓練和驗證數據集，那麼即使數據很好，你也可能會得到糟糕的結果，就像他提到的《自然》論文示例一樣。 最好花更多時間來確定最佳驗證方案，然後致力於生成模型。
聽起來您的數據集可能不平衡，這意味著一次發生的情況比另一次發生的情況要多得多。 在這種情況下，您肯定會想要探索更改邏輯概率閾值，看看這是否有助於您的預測。 另外，也許可以考慮利潤矩陣方法來為誤報和漏報的成本分配價值。 Chris Gotwalt 還演示了一種有趣的方法，即使用決策樹來幫助更好地理解不平衡數據的截止值。
希望這可以幫助，
DS
回复：預測篩選我還沒有看過這個，我有興趣看看大家的反應，但我確實有一個初步的反應。使用模型屏幕平台中的預測公式，並使用預測公式以及其他預測變量重新運行該平台，聽起來確實有點像過度擬合。然而，我認為這是構建集成模型的一種方法 - 如果預測公式來自一個模型，並且新模型使用該輸出（以及其他預測變量）來創建新模型，那麼它是一個可能更優越的集成模型到第一個模型而不會過度擬合。對我來說，使用什麼驗證數據的問題似乎更微妙。我會使用相同的驗證數據，否則你真的無法判斷新模型是否比舊模型更好。也許您可以保存兩個預測公式，然後將它們應用到不同的驗證集，以查看性能是否得到增強。
