分类问题大家好，2021年新年快乐。
我正在处理一个名为Group（o和1状态）的二进制响应的分类问题，如附件xls文件中所报告的那样。 总体而言，有13个预测变量，其中2个是分类变量。 该表是清洁，功能选择和聚类（以消除共性）的结果。 当组状态1相对于0严重不平衡时，我使用了SMOTE + TOMEK插件来平衡响应。 “源”列可以识别添加的行。 我运行了几个分类模型，其结果在附加的ppt文件中，NN是R2的R2最高且分类错误率较低，而朴素贝叶斯（Naive Bayes）是最差的一种，分类错误率约为0.2。 由于我担心一个模型的错误归类错误为0（过度拟合），因此您认为哪个模型是最可靠的模型（一旦部署，该模型将具有相同的错误分类错误）？
谢谢菲利斯
分析工具回复：分类问题快速查看您的结果时，我注意到了几件事。
首先，这是一个JMP社区，因此JMP文件比Excel文件更可取。 毕竟，我要做的第一件事就是将数据放入JMP，以便我可以看到它！ 另外，您可能已经将不同的模型另存为可以重新运行的脚本，以便查看尝试的选项。
我不知道您如何实现SMOTE + TOMEK来平衡响应，但是还有其他方法可以尝试平衡响应。 您可能已经过采样，忽略了一些更普遍的情况，基于分层的响应采样将行分配给训练/验证/测试，等等。无论如何，如果您对“完美”模型感到担心，这些模型是否可以被采用如何完成平衡？ 如果算法在进行平衡，则模型/算法可能可以解释它。
假设平衡不会影响建模工作，您已将数据分为训练，验证和测试。 您的测试集应该表明实际性能，因此我认为不会出现任何过拟合现象。 在安装过程中根本不使用测试仪。 如果您认为模型太好了，请确保您的数据（尤其是测试集）可以代表您的过程。
有89行没有验证值。 为什么？ 您要从分析中排除那些行吗？ 为什么？
看来您将所有默认值用于增强树。 请注意，默认的增强树有50层，最终结果显示所有50层都已使用。 这意味着您可以通过使用更多增强层来获得更好的树。 当我指定了很多层时，这就是结果。
支持向量机还根据误分类率提供了完美的拟合。 为什么不考虑呢？
真正对模型充满信心的唯一方法是开始在新数据上使用它。 为什么不继续使用这三者（分层的增强树，神经网络和支持向量机），然后让数据确定哪一者真正更好呢？
回复：分类问题乔丹感谢您的来信。
关于xls文件，您是对的。 下次，我将共享jmp文件而不是excel文件。
Smoke + tomek插件不会影响模型。 使用和不使用它的性能完全相同。
对于我开发的某些模型，我仅使用JMP提出的超参数值。 你是对的。
您引用的89个实例未用于开发模型。我还检查了这89个未见示例的模型性能（测试组除外）。 同样在这种情况下，模型证实了在训练/测试组上看到的良好性能。 一切似乎都很好。
也许正如您所建议的那样，确保模型可靠性的唯一可能性就是进行部署并检查看不见数据的性能。
