分类问题大家好，2021新年好。
我正在处理一个名为 Group（o 和 1 状态）的二进制响应的分类问题，如附加的 xls 文件中所述。 总共有 13 个预测变量，其中 2 个是分类变量。 该表是清洗、特征选择和聚类（去除共线性）的结果。 作为组状态 1 相对于 0 非常不平衡，我使用 SMOTE+TOMEK 插件来平衡响应。 添加的行可由 Source 列识别。 我运行了几个分类模型，其结果在附加的 ppt 文件中，NN 是一种具有最高的 R2 和较低的误分类误差，而朴素贝叶斯是最差的一种，具有大约 0.2 的误分类误差。 由于我害怕一个错误分类错误为 0 的模型（过度拟合），您认为哪个模型是最可靠的模型（一旦部署将具有相同的错误分类错误）？
谢谢菲利斯
分析回复：分类问题乔丹感谢您的来信。
关于 xls 文件，你是对的。 下次我将分享 jmp 文件而不是 excel 文件。
Smoke+tomek 插件不会影响模型。 有没有它的性能是完全一样的。
对于我开发的一些模型，我只使用了 JMP 提出的超参数值。 你说的对。
您提到的 89 个实例并未用于开发模型。我也检查了这些未见过的 89 个示例的模型性能（除了测试组）。 同样在这种情况下，模型证实了在训练/测试组上看到的良好性能。 一切似乎都很好。
也许正如您所建议的那样，确定模型可靠性的唯一可能性是进行部署并检查未见数据的性能。
回复：分类问题我从快速查看您的结果中注意到了一些事情。
首先，这是一个 JMP 社区，因此 JMP 文件比 Excel 文件更可取。 毕竟，我做的第一件事就是把数据放到 JMP 中，这样我就可以看到了！ 另外，您可以将不同的模型保存为可以重新运行的脚本，以便查看您尝试过的选项。
我不知道您如何实施 SMOTE+TOMEK 来平衡响应，但您可以尝试其他方式来平衡响应。 您可能已经过采样，忽略了一些更普遍的情况，根据响应的分层抽样将行分配给训练/验证/测试等。无论如何，如果您对“完美”模型感到担忧，这些模型是否会出现关于平衡是如何完成的？ 如果一个算法正在做平衡，一个模型/算法也许能够解释它。
假设平衡不会影响建模工作，您已将数据拆分为训练、验证和测试。 你的测试集应该能反映真实世界的表现，所以我不相信有任何过度拟合的情况发生。 在拟合过程中根本不使用测试集。 如果您认为模型太好了，请确保您的数据（尤其是测试集）能够代表您的流程。
有 89 行没有验证值。 为什么？ 您是否从分析中排除了这些行？ 为什么？
看起来您使用了提升树的所有默认值。 请注意，默认的提升树有 50 层，您的最终结果显示使用了所有 50 层。 这意味着您可以通过使用更多的增强层来获得更好的树。 这是我指定了非常多的层数时的结果。
支持向量机还根据错误分类率提供了完美的拟合。 为什么不考虑呢？
真正对模型充满信心的唯一方法是开始在新数据上使用它。 为什么不继续使用所有三个（更分层的增强树、神经网络和支持向量机）并让数据确定哪一个真正效果更好？ 在确定使用哪一个时，您是否需要考虑模型评估的速度？
