即使在机器学习技术日趋强大的今天,处理大型数据集仍然面临诸多挑战。简单地采用蛮力处理——仅仅因为我们有能力就处理所有数据——有时会导致效率低下、过拟合、噪声以及收益迅速递减。更智能并不总是意味着更大的规模。智能子采样,即仅使用具有代表性的一小部分数据,通常能够揭示更清晰的模式并提供更深刻的洞察。
近十年来,我一直对这个话题很感兴趣,也曾在本次会议上多次分享过。然而,今年标志着一个重大进展:基于更大规模的数据集(约3万个观测值)获得的全新结果,证实并扩展了智能子抽样策略的强大功能。从材料科学到生物医学、环境建模、市场营销和社会科学,其核心信息始终如一:既然可以采用智能方法,何必使用蛮力呢?
利用 JMP Pro 的最新功能,这项工作展示了如何将智能子采样与经典和现代建模方法(MLR、Boosted Tree、神经网络、SVM、GLM 等)相结合,从而获得稳健的预测结果。–希望大家都能欣赏到这场精彩的演示。
