소득 분류 데이터를 어떻게 정규화 할 수 있습니까?여보세요
나는 그것을 연속 변수로 사용하기 위해 정규화해야하는 소득을 분류했다. 응답자가 11 개 소득 범주 중 1 개를 선택한 경우 설문 조사에 대한 지불 의사가 있음. 각 카테고리별로 많은 관찰 자료가 있습니다.
첫 번째 단계로서 각 카테고리의 중간 점을 연속 변수로 사용했습니다. 문학은 소득이 대수 정규 분포를 따른다는 것을 암시한다. 나는 중간 점의 ln을 가져다가 그것을 테스트했다. 그러나 Shapiro-Wilk 테스트는 데이터가 정상적으로 배포되지 않았 음을 나타냅니다.
이 데이터를 표준화 할 방법이 있습니까?
또한 문헌 (Hsiao, C., 1983. 분류 된 설명 변수를 이용한 회귀 분석, Amemiya, T., Goodman, LA (Eds.), 계량 경제학, 시계열 및 다 변수 통계학 연구. Academic Press, pp. 93-129. - Hsiao, C., Mountain, D., 1985. 횡단면 분류 자료를 이용한 전기 수요의 단기 소득 탄력성 추정. Journal of the American Statistical Association 80, 259-265)은 2 단계 방법 (의사 도구 변수 및 조건부 평균 방법)을 제시하지만 JMP에서는 이것을 구현할 수 없었다.
정규화 된 데이터를 얻기 위해 각 카테고리의 상한 및 하한과 각 카테고리의 관측 횟수를 사용할 수 있습니까?
내 목표는 두 가지 견적을 얻는 것입니다. 하나는 각 카테고리의 단순 중간 점이고 다른 하나는 정규화 된 추정치입니다. 두 가지 방법의 차이점을 평가하기 위해 정규화 된 예상치와 중간점의 예상치를 비교하고 싶습니다.
나는 JMP에 익숙하지 않기 때문에 대화 형 설명에 감사 할 것입니다.
고마워요!
Re : 어떻게 소득을 분류 데이터를 정규화 할 수 있습니까?또한 JMP Pro의 Generalized Regression 플랫폼을 사용하여 예상치가있는 모델을 검열 한 응답으로 적합시킬 수 있습니다.
Re : 어떻게 소득을 분류 데이터를 정규화 할 수 있습니까?모든 실제 데이터는 샘플 크기가 충분히 큰 테스트에서는 실패합니다. 나는 오래된 George Box가 모든 모델이 잘못되었다는 것에 대해 경각심을 나타 냈지만 유용한 모델 중 일부는 유통 모델에도 적용됩니다. 분배 적합성에 대해 질문하는 더 좋은 질문은 질문에 대한 합리적인 답을 얻을 수있는 충분한 모델인지 여부입니다.
당신은 간격 검열 된 데이터입니다. JMP의 Reliability and Survival 플랫폼을 사용하여 이러한 유형의 데이터에 배포 또는 모델을 적용 할 수 있습니다. 예를 들어, Life Distribution을 사용하여 간격 검열 된 데이터에 다양한 분포를 맞출 수 있으며 어느 것이 가장 적합한 지 판별 할 수 있습니다.
여기서 300 lognormal (2, 0.5) 데이터를 생성하고 빈 너비가 3 인 결과를 저장합니다. 다음은 각 bin의 개수입니다.
Life Distribution에서 Low와 High를 응답 열로, Count를 Frequency 열로 맞 춥니 다.
데이터는 예상 매개 변수 1.975와 0.43을 사용하여 매우 양호한 로그 정규 분포를가집니다 (예상대로).
또한 일반화 된 감마,와 이블 및 정상적인 적합도를 테스트했습니다. 나는 lognormal가 AICc와 BIC에 따라 가장 적합한 것을 보여주는 비교표를 얻습니다.
여기에서 빈의 각 수에 할당 할 값을 결정하면 꽤 멋지게 될 수 있습니다. 예를 들어, 분산 적합을 사용하여 각 저장소 내의 데이터에 대한 예상 값을 계산하고 "정규화 된"데이터에 대한 각 계수에 해당 값을 할당 할 수 있습니다. 쉬운 방법은 적합 분포에서 실제로 큰 샘플을 시뮬레이션하고 각 bin 내의 데이터의 평균을 취하는 것입니다.
midpoints는 각 bin 내에서 균일하게 분포하는 것으로 가정합니다. 완전히 현실적이지는 않습니다. 그러나, 맞는 분포를 사용하여 bin 내의 예상 값이 midpoints와 크게 다를 것이라고 추측 할 수 있습니다 (마지막 open-bin에 대해 어떻게하는지 잘 모르겠지만). 결과가 어떻게되는지 듣고 싶습니다.
Re : 어떻게 소득을 분류 데이터를 정규화 할 수 있습니까?여보세요 dale_lehman
답장을 보내 주셔서 감사합니다. 귀하의 접근 방식은 시뮬레이션 된 지점에서 출발 한 다음 저장소를 설정합니다. 불행히도 그 정보가 없습니다. 응답자의 대답은 소득 범주를 나타내지 만 소득으로 숫자를 부여하지 않았습니다. 또한 소득 범위는 마지막에 열린 간격이있는 임금 괄호에 기초하여 선택되었다. 이 시점에서, 정상 테스트가 실패하더라도 중간 점 Ln 및 Log10의 표준화 된 값 (JMP 함수)을 사용할 것을 고려하고 있습니다.
Re : 어떻게 소득을 분류 데이터를 정규화 할 수 있습니까?필자가 읽은 바에 따르면 로그 정규 분포는 소득 분포를 모델링하는 데 적합하지 않을 수 있습니다 (감마 분포가 선호되는 것처럼 보입니다). 또한, 나는 비닝 된 데이터에 대수 정규 분포를 맞추기 위해 특별히 R 프로그램을 찾은 것으로 생각되지만, 나는 그것이 어디에 있던지 적어 두지 않았다. 그러나 귀하의 질문에 대한 약간의 시뮬레이션을 수행하고 놀라움을 발견했습니다.
예제 파일에서 로그 정규 분포에서 10,000 포인트를 시뮬레이션했습니다. 나는 그 다음 binning 유틸리티 (컬럼 유틸리티 아래에 있음)를 사용하여 그들을 binning했다. 첨부 된 스크립트는 각 빈에 대한 수단의 도표를 보여줍니다. 나는 그것을 데이터 테이블 (tablulation의 빨간색 화살표에있는 옵션)으로 만들었습니다. 이 데이터 표에서 각 빈의 중간 점을 계산하고 빈의 상한 및 하한 범위의 평균과 각 빈의 데이터의 실제 평균 간의 차이 인 "오류"를 계산했습니다. 각 빈의 평균값이 빈의 끝점 이하가되는 규칙적인 패턴을 찾을 것으로 예상했습니다. 하지만 난 안했어. 어떤 패턴도 전혀 보이지 않습니다. 이 작업을 제대로 수행했다면 저장소의 중간 점을 사용하여 원래의 로그 정규 데이터에 체계적인 편향을 일으키지 않는 것으로 보입니다.
누구든지 내 접근 방식에 오류가 있으면 알려주십시오. 내 직감은 빈이 무한히 좁 으면 중간 지점과 수단이 동일해야 함을 나타냅니다. 다른 극단에서 빈 하나가 있으면 대수 정규 값의 평균은 해당 빈의 중간 점보다 작아야합니다. 이 논리가 맞다면, 필자의 예제는 전체 데이터 범위와 비교할 때 상대적으로 좁은 bin을 어떻게 사용하는지 보여준다. 빈이 충분히 넓어지면 체계적 편향이 분명해야합니다.
