Come possono essere normalizzati i dati categorizzati sul reddito?Ciao
Ho dati categorizzati sul reddito che ho bisogno di normalizzare per usarlo come variabile continua. I dati provengono dalla disponibilità a pagare sondaggi in cui gli intervistati hanno selezionato una delle undici categorie di reddito. Per ogni categoria ho un numero di osservazioni.
Come primo passo ho preso il punto medio in ogni categoria per usarlo come variabile continua. La letteratura suggerisce che il reddito segue una distribuzione normale di log. Ho preso la ln del punto medio e l'ho testata. Tuttavia, il test Shapiro-Wilk indica che i dati non sono distribuiti normalmente.
C'è un modo per normalizzare questi dati?
Inoltre, letteratura (Hsiao, C., 1983. ANALISI DELLA REGRESSIONE CON UNA VARIABILE ESPLANATORIA CATEGORIZZATA, in: Amemiya, T., Goodman, LA (Ed.), Studi in Econometria, Serie storiche e Statistica multivariata. Academic Press, pp. 93-129. - Hsiao, C., Mountain, D., 1985. Stima dell'elasticità della domanda di elettricità a breve termine mediante l'utilizzo di dati categorizzati trasversali. Journal of the American Statistical Association 80, 259-265) suggerisce un metodo a due fasi (variabile pseudo-strumentale e metodo medio condizionale) ma non sono stato in grado di implementarlo in JMP.
Sarebbe possibile utilizzare i limiti superiore e inferiore di ogni categoria più il numero di osservazioni in ciascuna categoria per ottenere dati normalizzati?
Il mio obiettivo è avere due stime. Uno è il punto medio semplice di ogni categoria e un altro è le stime normalizzate. Vorrei confrontare le stime normalizzate con quelle del punto medio per valutare le differenze tra questi due metodi.
Gradirei una spiegazione interattiva poiché sono nuovo di JMP.
Molte grazie!
Ri: In che modo è possibile normalizzare i dati categorizzati sul reddito?È inoltre possibile adattare modelli con predittori utilizzando la piattaforma di regressione generalizzata in JMP Pro con risposte censurate.
Ri: In che modo è possibile normalizzare i dati categorizzati sul reddito?Tutti i dati reali non superano questi test con una dimensione del campione sufficiente. Penso che il vecchio proverbio di George Box su tutti i modelli sia sbagliato, ma alcuni utili sono validi anche per i modelli distributivi. Una domanda migliore da porre in merito all'adattamento distributivo è se si tratta di un modello sufficientemente valido per ottenere una risposta ragionevole alla tua domanda?
Quello che hai sono dati censurati sugli intervalli. È possibile adattare una distribuzione, o anche modelli, a questo tipo di dati utilizzando le piattaforme Affidabilità e Sopravvivenza in JMP. Ad esempio, è possibile utilizzare Life Distribution per adattare varie distribuzioni ai dati censurati sugli intervalli e determinare quale sia la soluzione migliore.
Qui ho generato 300 lognormali (2, 0.5) dati e ho diviso i risultati con larghezze bin di 3. Il seguente è il conteggio in ciascun cestino.
Lo inserisco in Distribuzione a vita con Basso e Alto come colonne di risposta e Conteggio come colonna di Frequenza.
I dati hanno un ottimo adattamento lognormale (come previsto) con i parametri stimati 1.975 e 0.43.
Ho anche testato gamma generalizzata, Weibull e attacchi normali. Ricevo una tabella di confronto che mostra lognormal è la soluzione migliore secondo AICc e BIC.
Da qui, potresti essere piuttosto curioso nel determinare il valore da assegnare a ciascun conteggio in un cestino. Ad esempio, è possibile calcolare un valore atteso per i dati all'interno di ciascun bin utilizzando la misura distributiva e assegnare tale valore a ciascun conteggio per i dati "normalizzati". Un modo semplice per farlo sarebbe quello di simulare un campione molto grande dalla distribuzione adattata e prendere la media dei dati all'interno di ciascun cestino.
I punti medi assumono praticamente una distribuzione uniforme all'interno di ogni bin, il che non sarebbe del tutto realistico. Tuttavia, direi che i valori attesi all'interno di un bin che usa la distribuzione adattata non saranno drammaticamente diversi dai punti medi (anche se non sono sicuro di quello che fai sull'ultimo bin aperto). Sarei interessato a sapere come si presentano i risultati.
Ri: In che modo è possibile normalizzare i dati categorizzati sul reddito?Ciao dale_lehman
grazie mille per la tua risposta il tuo approccio parte dai punti simulati e quindi stabilisce i bin. sfortunatamente, non ho queste informazioni le risposte degli intervistati indicavano una categoria di reddito ma non davano un numero come reddito. inoltre, le fasce di reddito sono state selezionate sulla base di mensili salariali minimi con un intervallo aperto alla fine. a questo punto, sto considerando di utilizzare i valori standardizzati (funzione JMP) del punto medio, Ln e Log10 anche se i test di normalità falliscono.
Ri: In che modo è possibile normalizzare i dati categorizzati sul reddito?Da quello che ho letto, il lognormal potrebbe non essere il migliore per modellare la distribuzione del reddito (sembra che sia preferibile una distribuzione gamma, tra gli altri). Inoltre, penso che mi sia imbattuto in un programma R specifico per l'adattamento delle distribuzioni lognormali ai dati associati, ma non ho annotato dove fosse. Ma ho fatto un po 'di simulazione sulla tua domanda e ho trovato delle sorprese.
Nel file di esempio, ho simulato 10.000 punti da una distribuzione lognormale. Li ho poi abbinati usando l'utilità binning (trovata sotto le utilità Column). Lo script allegato mostra la tabulazione dei mezzi per ciascun cestino. L'ho trasformato in una tabella dati (un'opzione nella freccia rossa del tablulation). In quella tabella di dati, ho calcolato il punto medio di ciascun bin e calcolato "l'errore", ovvero la differenza tra la media degli intervalli inferiore e superiore del bin e la media effettiva dei dati in ogni bin. Mi aspettavo di trovare un modello regolare in cui i mezzi in ciascun contenitore si trovassero al di sotto della media dei punti finali del bin. Ma non l'ho fatto. Non sembra esserci alcun modello. Se l'ho fatto correttamente, sembrerebbe che l'utilizzo dei punti medi dei bin non produca una distorsione sistematica dei dati lognormali originali.
Se qualcuno trova un errore nel mio approccio, per favore fatemelo sapere! La mia intuizione suggerisce che se i contenitori sono infinitamente stretti, allora i punti medi e i mezzi dovrebbero essere gli stessi. All'altro estremo, se c'è un solo bin, la media dei valori lognormali dovrebbe essere inferiore al punto medio di quel bin. Se questa logica è corretta, il mio esempio mostra cosa succede con i bin che sono relativamente stretti rispetto all'intero range dei dati. La distorsione sistematica dovrebbe essere evidente quando i contenitori diventano sufficientemente larghi.
