L'adattamento continuo della distribuzione non riesce a selezionare l'adattamento migliore?Ho giocato un po' per capire la natura della distribuzione sperimentale e per questo ho utilizzato il buon flusso di lavoro in JMP Pro 15.0 su Win10 (adattamento continuo -> adatta a tutti).
JMP ha mostrato SHASH Distribution come migliore adattamento, dove ho trovato misto normale per adattarsi meglio.
Sono stato in grado di ricostruire il problema con una distribuzione modellata, vedere lo script di seguito.
Forse l'AIC negativo è il problema? Nel Manuale (capitolo 3 Analisi di base, distribuzioni, p91) ho scoperto anche che l'AIC ponderato per la migliore distribuzione è più vicino a 1. È il caso di SHASH, ma visivamente e realmente è sbagliato, credo.
Qualche suggerimento su quale sia il problema?
Names Default To Here( 1 );
// Compose a distribution with 70 rows random normal, and 30 rows fixed values
Vec = J( 1, 70, Random Normal( 70, 25 ) ) || J( 1, 30, 100 );
// this distribution 70/10 would let JMP take the right guess, but with too small difference in AIC?
// Vec = J( 1, 70, Random Normal( 70, 25 ) ) || J( 1, 10, 100 );
// cut off values larger than 100
Vec[Loc( Vec > 100 )] = 100;
// Put it into table
dty = New Table( "yield_distribution", New Column( "yield", set values( Vec ) ) );
dty << Add Properties to Table(
{New Script(
"Distributions_SHASHvsNormal",
Distribution(
Continuous Distribution( Column( :yield ), CDF Plot( 1 ), Fit Normal 2 Mixture, Fit SHASH ),
SendToReport(
Dispatch( {"yield"}, "Quantiles", OutlineBox, {Close( 1 )} ),
Dispatch( {"yield"}, "Summary Statistics", OutlineBox, {Close( 1 )} ),
Dispatch( {"yield"}, "Fitted Normal 2 Mixture Distribution", OutlineBox, {Close( 1 )} ),
Dispatch(
{"yield", "CDF Plot"},
"Distrib CDF",
FrameBox,
{DispatchSeg(
TopSeg( 2 ),
{Set Script(
Pen Size( 1 );
Pen Color( -2600622 );
Y Function( SHASH Distribution( X, 1.13512094644709, 0.0115544235279409, 100, 9.38305371818249e-80 ), X );
)}
)}
)
)
)
)}
);
dty << run script( "Distributions_SHASHvsNormal" );
AnaliticaRi: L'adattamento continuo della distribuzione non riesce a selezionare l'adattamento migliore?Ho contattato il supporto tecnico di JMP per la conferma. Sono disposti a approfondire ulteriormente questa domanda se desideri contattarli in merito a questa questione ( support@jmp.com ).
Ri: L'adattamento continuo della distribuzione non riesce a selezionare l'adattamento migliore?Hai detto, " Sembra che i valori a 100 abbiano più importanza (perché c'è molta area che non ho visto nel grafico sottostante). " Ebbene, sono il 30% della massa!
Ri: L'adattamento continuo della distribuzione non riesce a selezionare l'adattamento migliore?@Mark_Bailey grazie per la risposta, hai ragione, non è proprio una distribuzione normale, ma anche non così lontana credo.
La motivazione per me è leggere dalla distribuzione adattata alcuni massimi locali, e il modello normale misto lo fa. Vale a dire un massimo locale significa una maggiore densità di resa a un certo valore che porta a una causa isolata per quel problema di resa. Supponiamo che la distribuzione del rendimento sia costituita da diverse cause indipendenti a un certo livello, ciascuna normalmente distribuita.
Guardare il CDF dà la migliore impressione visiva per quello che intendevo. Lì vedo che il modello misto è migliore (il modello arancione si adatta meglio alla curva rossa rispetto a quello menta).
E l'algoritmo JMP con SHASH modella il bordo tagliente al 100% migliore. Sono rimasto sorpreso da quella scoperta. Sembra che i valori a 100 abbiano più importanza (perché c'è molta area che non ho visto nel grafico sottostante).
Ma per farlo bene in futuro, dovrei probabilmente rimuovere i valori "100" dalla mia distribuzione reale e provare a riadattare.
Ri: L'adattamento continuo della distribuzione non riesce a selezionare l'adattamento migliore?AICc è un criterio. A proposito, non c'è niente di sbagliato in un AICc negativo.
Il modello SHASH è nettamente superiore al normale modello a miscela utilizzando questo criterio . E BIC. E probabilità logaritmica negativa. È anche la ragione della disparità nei pesi AICc, che potrebbero essere utilizzati per un modello di distribuzione dell'insieme.
Qual è il tuo criterio per la scelta del modello di miscela normale? Non mi sembra così bello. Inoltre, so che è un modello scadente sui primi principi. I dati sono una combinazione di 70% normale (75, 25) e 30% 100, non una combinazione di due distribuzioni normali. Questa distribuzione è più simile a una distribuzione zero gonfiata, ma all'altro valore estremo. La prima distribuzione supera 100 e la seconda distribuzione ha una larghezza diversa da zero.
Quindi il modello misto non sarebbe utile per la stima nelle code.
Il modello SHASH invece rispetta il limite di 100. Se la trama del PDF sembra non essere d'accordo con l'istogramma, ricorda che la scelta dei bin determina la nostra impressione ma è un algoritmo difficile. È possibile sovrascrivere manualmente il numero di contenitori.
Sembra che SHASH sia la scelta migliore tra i due candidati, ma nessuno dei due è probabilmente un buon modello per questi dati.
