分類問題大家好，2021 年新年好。
我正在研究一個名為 Group（o 和 1 states）的二進位回應的分類問題，如隨附的 xls 檔案中報告的那樣。 總共有 13 個預測變量，其中 2 個是分類變數。 此表是清理、特徵選擇和聚類（以消除共線性）的結果。 作為群組狀態 1 相對於 0 狀態嚴重不平衡，我使用 SMOTE+TOMEK 插件來平衡回應。 新增的行可透過「來源」列識別。 我運行了幾個分類模型，其結果在隨附的 ppt 文件中，NN 是一種具有最高 R2 和較低誤分類誤差的方法，而樸素貝葉斯是最糟糕的一種，誤分類誤差約為 0.2。 由於我擔心錯誤分類錯誤為 0（過度擬合）的模型，您認為哪一個模型是最可靠的模型（一旦部署就會有相同錯誤分類錯誤的模型）？
謝謝菲利斯
消費者與市場研究回覆：分類問題喬丹感謝您的來信。
關於 xls 文件，你是對的。 下次我將分享 jmp 檔案而不是 excel 檔案。
Smoke+tomek 插件不會影響模型。 有和沒有它的性能完全相同。
對於我開發的一些模型，我僅使用 JMP 提出的超參數值。 你是對的。
您所提及的 89 個實例並未用於開發模型。我也檢查了這 89 個未見過的範例（除了測試組）的模型性能。 同樣在這種情況下，模型證實了訓練/測試組的良好表現。 一切似乎都很好。
也許正如您所建議的，確定模型可靠性的唯一可能性是進行部署並檢查未見資料的效能。
回覆：分類問題透過快速查看您的結果，我注意到了一些事情。
首先，這是一個 JMP 社區，因此 JMP 檔案比 Excel 檔案更可取。 畢竟，我做的第一件事就是將資料放入 JMP 中，以便我可以看到它！ 另外，您可以將不同的模型儲存為可以重新運行的腳本，以便查看您嘗試過的選項。
我不知道您如何實施 SMOTE+TOMEK 來平衡回應，但是您可以嘗試使用其他方法來平衡回應。 您可能會過度採樣，忽略一些更普遍的情況，根據響應的分層採樣將行分配給訓練/驗證/測試等。無論如何，如果您擔心“完美”模型，這些模型是否會被採用平衡是如何完成的？ 如果演算法正在進行平衡，那麼模型/演算法也許能夠解釋它。
假設平衡不會影響建模工作，您已將資料分為訓練、驗證和測試。 您的測試集應該能夠反映真實世界的性能，因此我不認為存在任何過度擬合的情況。 擬合過程中完全不使用測試集。 如果您認為模型太好了，請確保您的資料（尤其是測試集）能夠代表您的流程。
有 89 行沒有驗證值。 為什麼？ 您是否從分析中排除這些行？ 為什麼？
看起來您使用了提升樹的所有預設值。 請注意，預設的提升樹有 50 個層，您的最終結果顯示所有 50 個層均已使用。 這意味著您可以透過使用更多增強層來獲得更好的樹。 這是我指定非常高的層數時的結果。
支援向量機也根據誤分類率提供了完美的擬合。 為什麼不考慮一下呢？
真正對模型有信心的唯一方法是開始在新數據上使用它。 為什麼不繼續使用這三者（更多層次的提升樹、神經網路和支援向量機）並讓數據來確定哪一個真正效果更好呢？ 在決定使用哪一個時是否需要考慮模型評估的速度？
