我想估算缺失值,但收到一条消息,称数据不足,无法估算缺失值。附图提供了更多详细信息。

你好@Dessan300 ,
如果没有更多背景信息或玩具数据集来理解和重现您的问题,很难帮助您。
错误消息非常直观,您没有足够的值来实现自动数据插补: 探索缺失值平台概述。ADI 稳健且灵活,但代表了一种复杂的数据插补方法,因为它可能需要足够的数据来训练模型以填充缺失值。维数对于这种技术非常重要,因为它基于低秩矩阵近似法(降维方法)。您可以阅读有关此主题的讨论: 某些缺失值未使用 ADI(自动数据插补)进行插补
我建议首先调查这些缺失值的来源/原因,并花一些时间研究缺失值的模式:数据是完全随机缺失(MCAR)、随机缺失(MAR) 还是非随机缺失(MNAR)?更多信息请访问此处: https
/muratkoptur.com/MyDsProjects/MissingData/Analysis.html
该平台提供的缺失值快照对于可视化和理解这些模式非常有帮助。
发现缺失值的模式
根据缺失模式,如果不是随机的,最好保留缺失值,因为这可能意味着实验区域的某个部分可能不具备实验可行性,或者设备无法在此实验区域进行测量(或者这些区域的信号可能太低或太高)。在这种情况下输入值可能是有害的,因为您将丢失此实验区域的“不可行性”信息。
您可以尝试“更简单”的选项并进行比较,例如多元插补选项,或者使用此平台中没有的其他技术,例如K-最近邻(并根据数据集的维数和您想要获得的精度/稳健性适当地定义 K)。
还要考虑到一些建模选项能够处理缺失值并且不需要输入值,例如基于树的方法、偏最小二乘法等......
无论方法及其复杂程度如何(从均值/中位数/众数插补技术到 ADI 或多元 SVD/RPCA 插补),插补缺失值都可能使您的数据集产生偏差。根据您的用例,使用缺失值和插补值创建模型,并使用领域专业知识比较两个模型的结果可能会很有趣。
您还可以观看探索缺失值。
希望这第一个答案能帮到你,