预处理功能你好,
我想在开始分析之前开始在数据库中预处理我的特征。 我正在寻求有关要遵循的步骤的帮助。
数据清洗后首先是什么? 异常值去除、缩放(数据标准化)或缺失数据插补?
你会建议哪种顺序?
问候
鲁
回复:预处理功能我相信标准化是为集群完成的。JMP 文档说,对于 KNN,每个变量都按其标准偏差进行缩放 - 正是为了避免您提到的问题类型。所以,我仍然认为你不需要额外的预处理来做你想做的事——比较一些不同的预测模型。
回复:预处理功能感谢戴尔的回复,
事实上,在预处理数据之前首先以图形方式检查数据非常重要。
我想比较几种机器学习模型(KNN 等线性模型和随机森林等非线性模型等)对我的数据的预测性能。 线性模型将特征视为具有相同的比例。 但是生理变量的值在很多不同的尺度上,例如 pH 值和心率。 因此我想通过 Z 归一化来缩放它们。 此外,聚类算法(K-mean 聚类)不会在 JMPpro 中自动估算缺失值。 这就是为什么要先预处理我的数据
回复:预处理功能我会对此进行尝试,尽管我认为您可能需要更具体才能获得更好的建议。我不确定您如何将“清理”数据与“预处理”区分开来,但我建议您不要使用您列出的步骤。我从不建议删除异常值 - 至少在您对异常值实际上是异常值的原因有所了解之前,至少要等到相当深入地进行分析。 我也不建议将规范化或重新缩放数据作为一般做法(尽管它可能对特定环境有用)——许多 JMP 分析平台会在有用的地方自动规范化数据。类似地,在大多数 JMP 平台中输入缺失数据是不必要的,因为它是自动完成的(通常只需选中一个框以包括缺失)。有时您可能希望更仔细地估算缺失值,可能使用您自己的方法(例如,构建回归模型来估算缺失数据),但这又取决于上下文。所以,我不建议你做任何你列为自动的事情。相反,我会首先以图形方式检查您的数据,以确保您了解正在测量的内容、似乎存在哪些类型的关系并且可能很重要,并确定某些“预处理”是否是一个好主意。