JMP > 從大數據集中識別預測特徵 > 明顯過度擬合的問題您好 JMP 社區，
我有一個大型數據集，在基線時對參加臨床試驗的患者進行了大約 4,000 個生物標誌物測量。 我需要在這些數據中確定哪些生物標誌物組合可以預測 12 週後的臨床結果。
我使用了一種相當幼稚的方法，它似乎產生了嚴重過度擬合的輸出：
- 通過篩選 > 響應篩選運行所有 4,000 個生物標誌物，其中響應是第 12 週的二元臨床輸出
- 選擇前 10 - 20 個生物標誌物（基於 FDR）
- 在“擬合模型”>“逐步”平台上使用選定的生物標誌物（作為模型效應），其中 Y 是第 12 週的二元臨床輸出；標準 = 最小化 BIC
- 生成模型
雖然這種方法對第 12 週的臨床反應產生了極好的“預測因子”（ROC AUC > 0.940），但在使用隨機生成的“虛擬”變量（ROC AUC ~0.870）進行測試時，它也產生了高 ROC AUC。 後者向我表明，由於過度擬合，我的方法非常不合適。
我探索了與 Discovery 和 Validation 患者亞組（佔整個人口的 50%）合作的可行性，但它並沒有解決我的過度擬合問題。
除了使用 JMP Pro 提供的高級建模平台之外，JMP 中是否有更好的技術來解決這樣的問題？
謝謝您的幫助。
最好的，
TS
分析回复：JMP > 從大數據集中識別預測特徵 > 明顯過度擬合的問題您能否提供有關隨機生成的響應變量的更多詳細信息？你究竟是如何創造的？
回复：JMP > 從大數據集中識別預測特徵 > 明顯過度擬合的問題嗨，戴爾，
感謝您跟進這個相對開放的問題。 我使用以下公式創建了隨機變量：
random uniform (0,1) > 0.5;
值得注意的是，我在八個不同版本的虛擬變量（即重新計算公式）上運行了上述“方法”，產生了範圍從 0.770 到 0.870 的 ROC AUC 值。
我從未遇到過這種行為，但我從未處理過 1,200 多個生物標誌物變量。
謝謝你的幫助。
最好的，
TS
回复：JMP > 從大數據集中識別預測特徵 > 明顯過度擬合的問題我不知道答案，但我可以確認你發現了什麼。我創建了一個二元響應變量（隨機）和 20 個隨機正態因子，其中包含 200 個觀察值。我得到了 AUC=.71！我覺得這確實非常令人驚訝。我懷疑這與 AUC 作為性能度量的限制有關，但正如我所說，我並不真正理解這種行為。就我而言，它當然不應該過度擬合。我很想知道其他人對此有何看法。
回复：JMP > 從大數據集中識別預測簽名 > 明顯過擬合的問題為了增加神秘感，我附上了我所做的模擬。這次我使用了一個驗證列。值得注意的是：邏輯回歸（保存在文件中的腳本）顯示訓練數據的 AUC 約為 0.71，而驗證數據的 AUC 低得多（小於 0.5）。這是過度擬合的明顯證據。但是，我也進行了模型篩選——所有方法（包括邏輯回歸）顯示訓練數據的 AUC 約為 0.5，而驗證數據的 AUC 更低——這對我來說似乎是合理的。此外，邏輯回歸模型並不顯著（只有 1 或 2 個因素是顯著的，這與您對 20 個隨機因素的預期有關）。我不明白的是，為什麼模型篩選平台中的邏輯回歸平台和邏輯回歸會給出如此不同的結果。我知道（或相信）模型篩選不像單個建模平台那樣找到調整超參數，但訓練數據上 0.7 和 0.5 之間的差異對我來說似乎太大了。
