分類問題大家好，2021年新年快樂。
我正在處理一個名為Group（o和1狀態）的二進制響應的分類問題，如附件xls文件中所報告的那樣。 總體而言，有13個預測變量，其中2個是分類變量。 該表是清潔，功能選擇和聚類（以消除共性）的結果。 由於組狀態1相對於0是嚴重不平衡的，因此我使用了SMOTE + TOMEK插件來平衡響應。 “源”列可以識別添加的行。 我運行了幾個分類模型，其結果在附加的ppt文件中，NN是R2的R2最高且分類錯誤率較低，而樸素貝葉斯（Naive Bayes）是最差的，錯誤分類率約為0.2。 由於我擔心一個模型的錯誤歸類錯誤為0（過度擬合），因此您認為哪個模型是最可靠的模型（一旦部署，該模型將具有相同的錯誤分類錯誤）？
謝謝菲利斯
分析工具回复：分類問題快速查看您的結果時，我注意到了幾件事。
首先，這是一個JMP社區，因此JMP文件比Excel文件更可取。 畢竟，我要做的第一件事就是將數據放入JMP，以便我可以看到它！ 另外，您可能已經將不同的模型另存為可以重新運行的腳本，以便查看嘗試的選項。
我不知道您如何實現SMOTE + TOMEK來平衡響應，但是還有其他方法可以嘗試平衡響應。 您可能已經過採樣，忽略了一些更普遍的情況，基於分層的響應採樣將行分配給訓練/驗證/測試，等等。無論如何，如果您對“完美”模型感到擔心，這些模型是否可以被採用如何完成平衡？ 如果算法在進行平衡，則模型/算法可能可以解釋它。
假設平衡不會影響建模工作，您已將數據分為訓練，驗證和測試。 您的測試集應該表明實際性能，因此我認為不會出現任何過擬合現象。 在安裝過程中根本不使用測試儀。 如果您認為模型太好了，請確保您的數據（尤其是測試集）可以代表您的過程。
有89行沒有驗證值。 為什麼？ 您要從分析中排除那些行嗎？ 為什麼？
看來您將所有默認值用於增強樹。 請注意，默認的增強樹有50層，最終結果顯示所有50層都已使用。 這意味著您可以通過使用更多增強層來獲得更好的樹。 當我指定了很多層時，這就是結果。
支持向量機還根據誤分類率提供了完美的擬合。 為什麼不考慮呢？
真正對模型充滿信心的唯一方法是開始在新數據上使用它。 為什麼不繼續使用這三者（分層的增強樹，神經網絡和支持向量機），然後讓數據確定哪一者真正更好呢？
回复：分類問題喬丹感謝您的來信。
關於xls文件，您是對的。 下次，我將共享jmp文件而不是excel文件。
Smoke + tomek插件不會影響模型。 使用和不使用它的性能完全相同。
對於我開發的某些模型，我僅使用JMP提出的超參數值。 你是對的。
您引用的89個實例未用於開發模型。我還檢查了這89個未見示例的模型性能（測試組除外）。 同樣在這種情況下，模型證實了在訓練/測試組上看到的良好性能。 一切似乎都很好。
也許正如您所建議的那樣，確保模型可靠性的唯一可能性就是進行部署並檢查看不見數據的性能。
