收入分类数据如何规范化?你好
我有收入分类数据,我需要将其标准化以将其用作连续变量。数据来自愿意支付调查,受访者从11个收入类别中选择一个。对于每个类别,我都有很多观察结果。
作为第一步,我将每个类别的中点用作连续变量。文献表明收入遵循对数正态分布。我拿了中点的ln并测试了它。但是,Shapiro-Wilk测试表明数据不是正态分布的。
有没有办法规范化这些数据?
此外,文学(Hsiao,C.,1983。回归分析与分类的解释变量,在:Amemiya,T.,Goodman,LA (编辑),计量经济学,时间序列和多变量统计研究。学术出版社,第93-129页。- Hsiao,C.,Mountain,D.,1985。用截面分类数据估算电力需求的短期收入弹性。Journal of the American Statistical Association 80,259-265)提出了一个两阶段方法(伪工具变量和条件均值方法),但我无法在JMP中实现这一点。
是否可以使用每个类别的上限和下限加上每个类别中的观测数量来获得标准化数据?
我的目标是有两个估计。一个是每个类别的简单中点,另一个是标准化估计。我想将归一化估计与中点估计进行比较,以评估这两种方法之间的差异。
因为我是JMP的新手,所以我很感激互动解释。
非常感谢!
回复:收入分类数据如何规范化?您还可以使用带有删失响应的JMP Pro中的广义回归平台来拟合具有预测变量的模型。
回复:收入分类数据如何规范化?所有真实数据都无法通过足够大的样本量进行测试。 我认为旧的George Box谚语所有模型都是错误的,但有些模型也适用于分布式模型。 关于分配合适性的一个更好的问题是,如果它是一个足够好的模型,可以让你对你的问题给出合理的答案吗?
您所拥有的是区间删失数据。 您可以使用JMP中的可靠性和生存平台将分布甚至模型拟合到此类数据。 例如,您可以使用Life Distribution将各种分布拟合到区间删失数据中,并确定哪一个最适合。
在这里,我生成了300个对数正态(2,0.5)数据,并将箱宽度为3的结果分箱。 以下是每个箱子中的计数。
我将此作为生命分布,低和高作为我的响应列和计数作为频率列。
数据具有非常好的对数正态拟合(如预期),估计参数为1.975和0.43。
我还测试了广义伽玛,威布尔和正常拟合。 根据AICc和BIC,我得到一个比较表,显示lognormal是最合适的。
从这里开始,你可以非常想象确定分配给bin中每个计数的值。 例如,您可以使用分布拟合计算每个bin中数据的预期值,并将该值分配给“标准化”数据的每个计数。 一种简单的方法是从拟合的分布中模拟一个非常大的样本,并获取每个bin中数据的平均值。
中点几乎假设每个箱内均匀分布,这不是完全现实的。 但是,我猜想使用拟合分布的bin中的预期值与中点不会有显着差异(尽管我不确定你对最后一个开放式bin有什么看法)。 我很想知道结果如何结果。
回复:收入分类数据如何规范化?你好 dale_lehman
非常感谢您的回复。你的方法离开了模拟点,然后建立了垃圾箱。不幸的是,我没有这个信息。受访者的答案表明收入类别,但他们没有给出一个数字作为他们的收入。此外,收入范围是根据最小的开放时间间隔的miminum工资括号选择的。此时,即使常态测试失败,我也在考虑使用中点,Ln和Log10的标准化值(JMP函数)。
回复:收入分类数据如何规范化?根据我的阅读,对数正态可能不是最好的收入分布建模(似乎伽玛分布似乎是首选)。 此外,我认为我遇到了一个专门用于将对数正态分布拟合到分箱数据的R程序,但我没有记下那里的情况。 但我对你的问题进行了一些模拟,并发现了一些惊喜。
在示例文件中,我从对数正态分布中模拟了10,000个点。 然后我使用binning实用程序(在Column utilities下找到)将它们分箱。 附带的脚本显示了每个bin的平均值列表。 我把它变成了一个数据表(在tablulation的红色箭头上的一个选项)。 在该数据表中,我计算了每个箱的中点并计算了“误差”,即箱的下限和上限范围的平均值与每个箱中数据的实际平均值之间的差值。 我希望找到一个常规模式,其中每个仓中的均值将低于仓的终点平均值。 但是我没有。 似乎根本没有任何模式。 如果我这样做是正确的,那么使用二进制位的中点似乎不会产生原始对数正态数据的系统偏差。
如果有人发现我的方法有误,请告诉我!我的直觉表明,如果箱子是无限狭窄的,那么中点和均值应该是相同的。 在另一个极端,如果有一个bin,那么对数正态值的平均值应该小于该bin的中点。 如果这个逻辑是正确的,那么我的例子显示了与数据的整体范围相比相对较窄的容器会发生什么。 当垃圾箱变得足够宽时,系统偏差应该是明显的。