adattando i dati troncati a una distribuzione continuaSupponiamo di avere un campione di dati che credo siano campionati da una distribuzione di Cauchy. Supponiamo che sia simmetrico rispetto a 0.
Tuttavia, supponiamo che le mie osservazioni siano troncate all'intervallo (0,2). Quindi, vedo solo una visione relativamente limitata dei dati. Ho generato alcune variabili casuali Cauchy (0,2) e ho troncato la tabella dei dati per mostrare solo quelle comprese tra 0 e 2:
Esiste un modo per adattare questi dati a Cauchy (0, gamma) per ottenere una stima migliore della gamma? Più in generale, JMP supporta l'adattamento dei dati troncati?
Modellazione statistica avanzataRi: adattamento dei dati troncati a una distribuzione continuaNon sono sicuro che sia questo ciò che intendi, ma penso che tu parli di dati censurati. JMP deve sapere quanti punti dati vengono tagliati per poter effettuare una stima migliore. Aggiungendo la proprietà della colonna "Limiti di rilevamento" puoi indicare a JMP che questi dati sono stati tagliati:
Quando poi adatti la tua distribuzione, può stimare meglio i valori in base a queste informazioni:
Il problema al momento è che se preselezionate una distribuzione, questo non sembra funzionare. È necessario inserire una nuova distribuzione all'interno della piattaforma.
Ri: adattamento dei dati troncati a una distribuzione continuaGrazie per la risposta, ma i miei dati non vengono censurati. Nel tuo esempio, hai un numero noto di osservazioni maggiori o uguali a un certo valore (nel tuo caso, 1900). Non è la mia situazione.
Nel mio esempio, non so quante abbiano superato 2. Ho solo osservazioni comprese tra 0 e 2, senza sapere quante osservazioni fossero al di fuori di tale intervallo (perché il mio meccanismo di raccolta dati non può catturarle o addirittura conoscerle) . Quindi non ho un sacco di osservazioni censurate.
Se consideri il mio meccanismo di generazione dei dati, questo dovrebbe essere più chiaro. Supponiamo di avere un ordigno esplosivo che invia frammenti in ogni direzione con uniformità angolare. I dati sulla posizione dell'impatto sono stati raccolti da un pannello piatto nel piano xy, dove x è laterale e y è verticale. Non ho idea di quanti frammenti abbiano superato i limiti del mio pannello di raccolta dati. Ma non è irragionevole pensare che la distribuzione di x sia di Cauchy. Sto cercando di stimare i parametri di questo Cauchy dalla mia gamma limitata di osservazioni. Con questa stima, potrei caratterizzare la distribuzione dei frammenti su una superficie più ampia.
Ri: adattamento dei dati troncati a una distribuzione continuaCiao @GregChesterton : potrebbe non essere molto soddisfacente, ma potrebbe valere la pena esplorarlo; supponendo che la distribuzione sia Cauchy come descrivi, conosci la forma funzionale di pdf = f(x| 0, gamma). Quindi potresti usare la piattaforma non lineare per stimare la gamma?
Ri: adattamento dei dati troncati a una distribuzione continuaIl prossimo tentativo aggiunge punti dati censurati da 1 a 200 e riassume la deviazione dalla distribuzione normale all'ECDF.
Il valore minimo verrà visualizzato alla fine con l'impostazione minima.
dati simulati: Norma(0,10)
mancanti: 163 punti dati sopra 10
stima della sceneggiatura:
Media: 0,015
Standard: 9.166
Mancanti: 133
Ora devi adattarlo alle tue esigenze (la tua distribuzione).
è sufficiente eseguire lo script della tabella "search n_mising" nel file Cut_Normal.jmp o nel JSL stesso.
Ho aggiunto la simulazione originale come Cut_Normal_original.jmp.
Questa è l'idea alla base:
Per prima cosa adatti una distribuzione normale con un punto dati censurato aggiuntivo e riassumo tutte le differenze con l'ECDF:
Quindi itero attraverso tutti i punti dati censurati aggiuntivi, adattando nuovamente la distribuzione normale fino ad arrivare all'ultimo:
questa è la somma della differenza assoluta rispetto ai punti aggiuntivi:
Il punto più basso ora mi dà la stima di quanti punti mancano:
Questo quindi mi dà una soluzione "migliore" per la distribuzione:
Spero che aiuti.
Ri: adattamento dei dati troncati a una distribuzione continuaCiao @Mauro_Gerber : il metodo che hai proposto è molto interessante; puoi fornire maggiori dettagli a riguardo, per favore?
E quando eseguo il tuo script, ottengo il seguente errore. Viene generato il set di dati per il primo grafico, ma il secondo set di dati ha 200 righe ed è pieno di valori mancanti.
Ri: adattamento dei dati troncati a una distribuzione continuaCiao @MRB3855
Lo script all'interno di Cut_Normal dovrebbe funzionare ma JMP potrebbe avere alcuni problemi con la lingua o i set di pe.
Lavoro con la versione inglese di JMP 18.0.1 e potrei avere altre preferenze (ad esempio se le mie trame sono sempre impilate).
Non ho cercato la casella di visualizzazione con un valore fisso poiché il limite di censura è nel titolo. Forse puoi cercare il titolo quando sai come JMP lo analizzerà nel titolo:
Quindi questi due numeri possono essere diversi nel tuo JMP:
Quando insegno nei miei corsi di statistica interna, cerco di sottolineare l'importanza che la curva di distribuzione (PDF) si adatti ai dati, ovvero. istogramma.
Si può dire la stessa cosa con la funzione ECDF e CDF della distribuzione. e quanto si discostano l'uno dall'altro.
@GregChesterton ha solo una parte della curva, quindi adatti un numero diverso di valori mancanti e confronto quanto bene la stima si adatta ai dati presenti.
questo è il miglior adattamento (minima deviazione della somma) dal normale set di dati:
--> 
In JMP puoi anche dare un'occhiata al grafico PP sotto la sezione in forma che è il confronto diretto.
Itero attraverso i possibili valori mancanti e annoto la differenza somma tra ECDF e CDF adattato della funzione di probabilità.
La sua "forza bruta" e non molto elegante ma dà un risultato OK.
Un'altra opzione possibile è creare un semplice ottimizzatore numerico con la coda ECDF e la funzione con la differenza della somma come obiettivo e quindi minimizzarlo.
Ri: adattamento dei dati troncati a una distribuzione continuaSe intendi utilizzare la piattaforma non lineare per adattare i dati utilizzando il metodo della massima verosimiglianza, sono necessari i seguenti passaggi.
Innanzitutto, la funzione di densità del tuo Cauchy(0, gamma) troncato.
Fare riferimento alla formula PDF in questa pagina https://en.wikipedia.org/wiki/Truncated_distribution
Nel tuo caso, b = 2 e a = 0.
Al numeratore, nel tuo caso c'è la funzione di densità Cauch(0, gamma). Lo trovi nell'indice degli script JMP:
Al denominatore, nel tuo caso la funzione F è la distribuzione di Cauchy(0, gamma). Lo trovi nell'indice:
Ora è necessario suddividere le informazioni per creare una colonna della formula della funzione di perdita con probabilità logaritmica negativa.
La formula è qualcosa di simile alla seguente. (Supponiamo che la colonna dei dati sia chiamata "Y".)
È un "Parametro" della funzione JSL. Il primo argomento è un elenco di parametri che dobbiamo adattare. In questo caso ce n'è solo uno qui: gamma. E il valore 1 è un valore iniziale. Dovrebbe essere il più vicino possibile alla stima finale. Quindi, usa il tuo miglior giudizio. Oppure puoi provare ed eliminare gli errori. Non preoccuparti se inizialmente non è chiuso. La piattaforma non lineare ti consente di provare valori diversi dopo il lancio.
Il secondo argomento della chiamata alla funzione "Parametro" è la funzione di verosimiglianza negativa. Dai un'occhiata e vedi come deriva dalla funzione di densità del tuo troncamento di Cauchy.
Assegna un nome alla nuova colonna "perdita". E configura la finestra di dialogo di avvio non lineare. Fare clic su "OK".
Dopo il lancio, puoi fare clic su "Vai" o modificare il valore di "gamma", quindi fare clic su "Vai". Se fallisce, puoi cambiare "gamma" e fare nuovamente clic su "Vai".
Ecco i link ad alcuni documenti rilevanti:
https://www.jmp.com/support/help/en/18.0/index.shtml#page/jmp/create-formulas-in-jmp.shtml#ww96570
https://www.jmp.com/support/help/en/18.0/index.shtml#page/jmp/nonlinear-regression.shtml#
https://www.jmp.com/support/help/en/18.0/index.shtml#page/jmp/create-formula-columns-for-multiple-columns.shtml
https://www.jmp.com/support/help/en/18.0/index.shtml#page/jmp/create-a-formula-column.shtml
