収入別のデータはどのように正規化できますか？こんにちは
連続変数として使用するために正規化する必要がある、収入別のデータがあります。データは、回答者が11の収入カテゴリーから1つを選択した場合に支払う意欲から得られたものです。各カテゴリーについて、いくつかの所見があります。
最初のステップとして、それを連続変数として使用するために各カテゴリーの中間点を取りました。文献では、収入は対数正規分布に従うことが示唆されています。私は中点のlnを取り、それをテストしました。しかし、Shapiro-Wilk検定はデータが正規分布ではないことを示しています。
このデータを正規化する方法はありますか？
また、文献（Hsiao、C.、1983）。分類された説明変数による回帰分析、で：Amemiya、T.、Goodman、LA （編）、計量経済学、時系列、および多変量統計学の研究。Academic Press、93〜129頁。- シャオ、C。、マウンテン、D、1985年。横断的に分類されたデータを用いた電力需要の短期的所得弾力性の推定 Journal of the American Statistical Association 80、259-265）では、2段階法（疑似計器変数と条件付き平均法）が提案されていますが、JMPではこれを実装できませんでした。
正規化データを取得するために、各カテゴリの上限と下限に各カテゴリの観測数を加えた値を使用することは可能でしょうか。
私の目標は2つの見積もりをすることです。1つは各カテゴリの単純な中間点で、もう1つは正規化推定です。これら2つの方法の違いを評価するために、正規化された推定値と中点からの推定値を比較します。
私はJMPが初めてなので対話的な説明をお願いします。
どうもありがとう！
再：どのように収入分類データを正規化することができますか？検閲された応答を持つJMP Proの一般化回帰プラットフォームを使用して、モデルを予測子と近似させることもできます。
再：どのように収入分類データを正規化することができますか？すべての実データは、十分に大きいサンプルサイズでこれらのテストに合格しません。 すべてのモデルが間違っているという古いジョージボックスの格言が、有用であるということは分配モデルにも同様に当てはまると思います。 分布適合について尋ねるためのより良い質問は、それがあなたの質問に対する合理的な答えを得るのに十分な良いモデルであるかどうかということです。
あなたが持っているのは区間打ち切りデータです。 JMPの信頼性および存続プラットフォームを使用して、分布、さらにはモデルをこのタイプのデータに合わせることができます。 たとえば、Life Distributionを使用して、さまざまな分布を区間打ち切りデータに適合させ、どれが最適であるかを判断できます。
ここで、300の対数正規（2、0.5）データを生成し、結果をビン幅3でビン化しました。 以下は、各ビンの数です。
応答列としてLowとHighを、頻度列としてCountを使用して、Life Distributionにこれを当てはめます。
データは推定パラメータ1.975と0.43で非常に良好な対数正規近似（予想通り）を示します。
私は一般化されたガンマ、ワイブル、そしてノーマルフィットもテストしました。 AICcとBICによると、対数正規が最適であることを示す比較表が得られます。
ここから、ビン内の各カウントに割り当てる値を決定して、かなりおしゃれになるでしょう。 たとえば、分布近似を使用して各ビン内のデータの期待値を計算し、その値を「正規化」データの各カウントに割り当てることができます。 これを行う簡単な方法は、フィット分布から非常に大きなサンプルをシミュレートして、各ビン内のデータの平均をとることです。
中間点は、各ビン内で均一な分布を仮定していますが、これはまったく現実的ではありません。 しかし、当てはめた分布を使ったビン内の期待値は、中点と劇的には変わらないと思います（ただし、最後のオープンエンドのビンについてどうするかはわかりません）。 結果がどうなるかを知りたいと思います。
再：どのように収入分類データを正規化することができますか？こんにちは dale_lehman
お返事ありがとうございます。あなたのアプローチはシミュレートされたポイントから出発して、そしてビンを確立します。残念ながら、私はその情報を持っていません。回答者からの回答には収入のカテゴリが示されていましたが、収入として数字は示されていませんでした。また、収入範囲は、最短のオープンインターバルを持つ最低給与括弧に基づいて選択されました。この時点で、正規性検定が失敗した場合でも、中点の標準化された値（JMP関数）、Ln、およびLog10を使用することを検討しています。
再：どのように収入分類データを正規化することができますか？私が読んだものから、対数正規は所得分布をモデル化するのに最善ではないかもしれません（とりわけガンマ分布が好ましいようです）。 また、対数正規分布をビンデータに近似するためのRプログラムに出会ったと思いますが、それがどこにあるのかを書き留めていませんでした。 しかし、私はあなたの質問についてちょっとしたシミュレーションをして、いくつかの驚きを見つけました。
サンプルファイルでは、対数正規分布から10,000ポイントをシミュレートしました。 私はそれからbinningユーティリティ（Columnユーティリティの下にあります）を使ってそれらをbinしました。 添付のスクリプトは、各ビンの平均の表を示しています。 私はそれをデータテーブルにしました（タブの赤い矢印のオプション）。 そのデータテーブルで、各ビンの中点を計算し、「誤差」、つまりビンの下限値と上限値の平均と各ビン内のデータの実際の平均の差を計算しました。 各ビンの平均がビンの終点の平均を下回るような規則的なパターンを見つけることを期待していました。 でもやらなかった。 パターンはまったくないようです。 私がこれを正しくやれば、ビンの中点を使っても元の対数正規データの体系的な偏りは生じないように思えます。
誰かが私のアプローチでエラーを見つけた場合は、私に知らせてください！私の直感では、ビンの幅が無限に狭ければ、中間点と平均値は同じになるはずです。 反対に、1つのビンがある場合、対数正規値の平均はそのビンの中点より小さくなければなりません。 この論理が正しければ、私の例では、データの範囲全体と比較して比較的狭いビンで何が起こるかを示しています。 体系的な偏りは、ビンが十分に広くなったときに明らかになります。
