收入分類數據如何規範化?你好
我有收入分類數據,我需要將其標準化以將其用作連續變量。數據來自願意支付調查,受訪者從11個收入類別中選擇一個。對於每個類別,我都有很多觀察結果。
作為第一步,我將每個類別的中點用作連續變量。文獻表明收入遵循對數正態分佈。我拿了中點的ln並測試了它。但是,Shapiro-Wilk測試表明數據不是正態分佈的。
有沒有辦法規範化這些數據?
此外,文學(Hsiao,C.,1983。回歸分析與分類的解釋變量,在:Amemiya,T.,Goodman,LA (編輯),計量經濟學,時間序列和多變量統計研究。學術出版社,第93-129頁。- Hsiao,C.,Mountain,D.,1985。用截面分類數據估算電力需求的短期收入彈性。Journal of the American Statistical Association 80,259-265)提出了一個兩階段方法(偽工具變量和條件均值方法),但我無法在JMP中實現這一點。
是否可以使用每個類別的上限和下限加上每個類別中的觀測數量來獲得標準化數據?
我的目標是有兩個估計。一個是每個類別的簡單中點,另一個是標準化估計。我想將歸一化估計與中點估計進行比較,以評估這兩種方法之間的差異。
因為我是JMP的新手,所以我很感激互動解釋。
非常感謝!
回复:收入分類數據如何規範化?您還可以使用帶有刪失響應的JMP Pro中的廣義回歸平台來擬合具有預測變量的模型。
回复:收入分類數據如何規範化?所有真實數據都無法通過足夠大的樣本量進行測試。 我認為舊的George Box諺語所有模型都是錯誤的,但有些模型也適用於分佈式模型。 關於分配合適性的一個更好的問題是,如果它是一個足夠好的模型,可以讓你對你的問題給出合理的答案嗎?
您所擁有的是區間刪失數據。 您可以使用JMP中的可靠性和生存平台將分佈甚至模型擬合到此類數據。 例如,您可以使用Life Distribution將各種分佈擬合到區間刪失數據中,並確定哪一個最適合。
在這裡,我生成了300個對數正態(2,0.5)數據,並將箱寬度為3的結果分箱。 以下是每個箱子中的計數。
我將此作為生命分佈,低和高作為我的響應列和計數作為頻率列。
數據具有非常好的對數正態擬合(如預期),估計參數為1.975和0.43。
我還測試了廣義伽瑪,威布爾和正常擬合。 根據AICc和BIC,我得到一個比較表,顯示lognormal是最合適的。
從這裡開始,你可以非常想像確定分配給bin中每個計數的值。 例如,您可以使用分佈擬合計算每個bin中數據的預期值,並將該值分配給“標準化”數據的每個計數。 一種簡單的方法是從擬合的分佈中模擬一個非常大的樣本,並獲取每個bin中數據的平均值。
中點幾乎假設每個箱內均勻分佈,這不是完全現實的。 但是,我猜想使用擬合分佈的bin中的預期值與中點不會有顯著差異(儘管我不確定你對最後一個開放式bin有什麼看法)。 我很想知道結果如何結果。
回复:收入分類數據如何規範化?你好 dale_lehman
非常感謝您的回复。你的方法離開了模擬點,然後建立了垃圾箱。不幸的是,我沒有這個信息。受訪者的答案表明收入類別,但他們沒有給出一個數字作為他們的收入。此外,收入範圍是根據最小的開放時間間隔的miminum工資括號選擇的。此時,即使常態測試失敗,我也在考慮使用中點,Ln和Log10的標準化值(JMP函數)。
回复:收入分類數據如何規範化?根據我的閱讀,對數正態可能不是最好的收入分佈建模(似乎伽瑪分佈似乎是首選)。 此外,我認為我遇到了一個專門用於將對數正態分佈擬合到分箱數據的R程序,但我沒有記下那裡的情況。 但我對你的問題進行了一些模擬,並發現了一些驚喜。
在示例文件中,我從對數正態分佈中模擬了10,000個點。 然後我使用binning實用程序(在Column utilities下找到)將它們分箱。 附帶的腳本顯示了每個bin的平均值列表。 我把它變成了一個數據表(在tablulation的紅色箭頭上的一個選項)。 在該數據表中,我計算了每個箱的中點併計算了“誤差”,即箱的下限和上限範圍的平均值與每個箱中數據的實際平均值之間的差值。 我希望找到一個常規模式,其中每個倉中的均值將低於倉的終點平均值。 但是我沒有。 似乎根本沒有任何模式。 如果我這樣做是正確的,那麼使用二進制位的中點似乎不會產生原始對數正態數據的系統偏差。
如果有人發現我的方法有誤,請告訴我!我的直覺表明,如果箱子是無限狹窄的,那麼中點和均值應該是相同的。 在另一個極端,如果有一個bin,那麼對數正態值的平均值應該小於該bin的中點。 如果這個邏輯是正確的,那麼我的例子顯示了與數據的整體範圍相比相對較窄的容器會發生什麼。 當垃圾箱變得足夠寬時,系統偏差應該是明顯的。