Quando si tratta di adattamento della distribuzione, potresti sentire che esiste una dicotomia tra distribuzione e distribuzione della vita . Potresti pensare che la distribuzione della vita sia intesa esclusivamente per i problemi di affidabilità e la distribuzione per tutto il resto. Sebbene la distribuzione della vita sia adattata all'affidabilità e alla sopravvivenza, con un'enfasi sull'adattamento delle funzioni di distribuzione cumulativa, può essere utilizzata anche in situazioni in cui le distribuzioni disponibili in Distribuzione sono insufficienti. Indipendentemente dal contesto in cui utilizzi Life Distribution , è utile sapere qualcosa sulle distribuzioni che contiene e su come potrebbero essere applicate.
Inizialmente, la distribuzione della vita potrebbe sembrare opprimente a causa dell’abbondanza di scelte. Fortunatamente, delle 23 distribuzioni disponibili (più la possibilità di creare miscele di distribuzioni) ci sono solo cinque distribuzioni fondamentali: Normale , Logistica , SEV (valore estremo più piccolo), LEV (valore estremo più grande) e GenGamma (gamma generalizzata). Le restanti 18 distribuzioni possono essere derivate da queste cinque fondamentali. Innanzitutto, ciascuna distribuzione fondamentale ha un complemento logaritmico: Lognormal , Loglogistic , Weibull , Fréchet e LogGenGamma , rispettivamente. I dati che si adattano a un complemento logaritmico possono essere trasformati nel loro predecessore non logaritmico prendendo il logaritmo (naturale) dei valori dei dati. In secondo luogo, tutte le distribuzioni logaritmiche, ad eccezione di LogGenGamma , hanno tre casi speciali per tenere conto dei limiti di soglia ( TH Lognormal , TH Loglogistic , TH Weibull e TH Fréchet ), zeri ( ZI Lognormal , ZI Loglogistic , ZI Weibull e ZI Fréchet ) e (una singola) sottopopolazione difettosa ( DS Lognormal , DS Loglogistic , DS Weibull e DS Fréchet ). Le miscele possono essere create con qualsiasi cinque fondamentale e i relativi complementi di registro tranne GenGamma che utilizza Fit Mixture e Fit Competing Risk Mixture . Infine, l’unico ostacolo, Exponential , è un caso speciale del Weibull . In questo post parlerò delle distribuzioni fondamentali e dei loro complementi, lasciando per un'altra volta casi particolari e miscele.
Le distribuzioni dei valori estremi sono state derivate alla ricerca di distribuzioni per modellare i valori minimo (SEV) e massimo (LEV). Nel 1954, il National Bureau of Standards, che in seguito sarebbe diventato NIST (National Institute of Standards and Technology), pubblicò un documento storicamente importante basato su una serie di conferenze tenute da Emil Gumbel, Teoria statistica dei valori estremi e alcune applicazioni pratiche . Presenta una prima codificazione della teoria dei valori estremi. Potete scaricarlo qui . La distribuzione SEV è anche conosciuta come distribuzione Gumbel.
 |
 |
Sia SEV che LEV possono essere negativi, a seconda dei valori dei parametri, rendendolo indesiderabile per modellare quantità strettamente positive. Una caratteristica interessante del SEV è che viene lasciato distorto, ovvero la maggior parte delle osservazioni cade al di sopra della media (vale a dire, la mediana è maggiore della media). Può essere utile per modellare dati con osservazioni della coda estrema sinistra.
Esempio 1 – Temperatura minima annuale, Austin, Texas.
I dati meteorologici, comprese le temperature estreme giornaliere, possono essere scaricati per un gran numero di stazioni meteorologiche di tutto il mondo dalla National Oceanic and Atmospheric Administration (NOAA) . Il seguente set di dati proviene dal Global Historical Climatology Network – Daily set of data e contiene la temperatura minima annuale osservata ad Austin, Texas, dal 1893 al 2022. I dati originali sono stati ottenuti da due stazioni: GHCND:USC00410420 (Austin, TX US , 1893 – 1938) e GHCND:USW00013958 (Austin Camp Mabry, Texas, Stati Uniti, 1939 – 2022).
L'istogramma e il valore di asimmetria mostrano i dati da lasciare distorti.
L'utilizzo di Adatta tutte le distribuzioni mostra che il SEV fornisce l'adattamento migliore.
Un presupposto con una qualsiasi di queste distribuzioni è che le osservazioni siano indipendenti. L'utilizzo di dati annuali migliora la correlazione seriale che si verificherebbe con gli estremi mensili, poiché ci si aspetterebbe che i mesi adiacenti siano più simili dei mesi più distanti. Con questo tipo di dati potrebbero entrare in gioco anche altri fattori che rendono le osservazioni meno indipendenti, come l’urbanizzazione e il cambiamento climatico.
Esempio 2 – Progressione dei tempi di corsa indoor più veloci
I dati possono essere trovati su Wikipedia (sotto l'era Men's Indoor Pre-IAAF e Men's Indoor IAAF). L'osservazione per Glenn Cunningham sulla pista sovradimensionata è stata rimossa. Sono stati utilizzati solo i dati nella colonna Ora. I risultati mostrano che LEV è il migliore con Lognormal al secondo posto molto vicino.
Se fosse stata utilizzata la piattaforma di distribuzione , il LEV sarebbe mancato. Si noti che i valori AICc , BIC e -2*LogLikelihood corrispondono tra le due piattaforme, rendendo possibili confronti diretti.
Esempio 3 – Numero massimo di giorni senza pioggia consecutivi in un anno, Austin, Texas (1927 – 2022)
Anche questi dati provengono dalla NOAA. Le stesse stazioni e date dell'Esempio 1 erano con i dati a partire dal 1927. Come nell'esempio precedente, considereremo entrambe le piattaforme Distribuzione e Distribuzione Vita . La distribuzione della vita mostra la gamma log generalizzata per fornire l'adattamento migliore seguito dal Fréchet . SHASH ( Sinh-ArcSinh ) è la distribuzione più adatta di Distribution . Secondo l’AICc sarebbe il terzo migliore in assoluto, anche se vicino agli altri due in termini di adattamento. Una regola generale è che qualsiasi cosa a meno di 3-5 unità di distanza non è considerata diversa, quindi potremmo considerare una qualsiasi di queste tre distribuzioni.
Come accennato in precedenza, il registro delle osservazioni distribuite di Fréchet è distribuito LEV. Possiamo vederlo prendendo il registro di Max (Giorni dall'ultima pioggia) e utilizzando Life Distribution .
La gamma generalizzata ( GenGamma ) e la gamma generalizzata logaritmica ( LogGenGamma ) contengono tutte le distribuzioni fondamentali e i loro complementi logaritmici eccetto la logistica e la logistica logaritmica. L'esponenziale, Weibull e Fréchet e il lognormale sono casi speciali della gamma generalizzata (come lo è la gamma, che può essere trovata sotto Distribuzione ) e SEV, LEV e normale sono casi speciali della gamma generalizzata logaritmica. Entrambe le distribuzioni generalizzate contengono un terzo parametro, uno in più rispetto alle distribuzioni che contengono. La gamma generalizzata e la gamma generalizzata logaritmica si riducono ai loro casi speciali quando questo parametro (λ) è uguale a 1 (SEV/Weibull), 0 (normale/lognormale) o –1 (LEV/Fréchet).
Per avere un'idea della flessibilità aggiunta dalle distribuzioni generalizzate, possiamo osservare le loro forme quando viene variato solo λ. Inizieremo con la gamma generalizzata. Impostando 𝛍 = 1 e σ = 0,25, ecco le distribuzioni di Fréchet, lognormale e Weibull (λ = –1, 0, 0, rispettivamente). La densità di probabilità è a sinistra e la distribuzione cumulativa a destra.
I picchi (modalità) si trovano approssimativamente nella stessa posizione. Aumentando la grandezza assoluta di λ la distribuzione si allarga (cioè diventa meno appuntita e la distribuzione cumulativa cresce più lentamente). Quando λ diventa più positivo i dati si spostano a destra (maggiore probabilità di valori più alti). Diminuendo λ si ottiene l'effetto opposto, concentrando più osservazioni nella parte destra della distribuzione.
Le distribuzioni per la famiglia gamma generalizzata logaritmica seguono uno schema simile. La normale (λ = 0) è il membro più appuntito (e l'unico simmetrico). Quando λ diminuisce da 0, le distribuzioni diventano più distorte a destra (cioè, la concentrazione delle osservazioni si sposta a sinistra con la coda a destra). È vero il contrario quando λ aumenta da 0.
Esempio 4 – Distribuzione delle magnitudo dei terremoti maggiori dal 1800
Lo United States Geological Survey (USGS) rende disponibili per il download i dati sui terremoti mondiali . Dal 1803 si sono verificati in tutto il mondo 1.506 grandi terremoti (di magnitudo pari o superiore a 7,0). Qual è la probabilità che il prossimo terremoto di grande intensità sia di magnitudo 8.0 o superiore?
La soluzione migliore con la distribuzione della vita è la gamma log generalizzata . Utilizzando il Distribution Profiler , la probabilità di un terremoto di magnitudo 8.0 o superiore è 0,064332 (1 – 0,935668). Se avessimo adattato i dati utilizzando Distribuzione , il nostro adattamento migliore sarebbe con SHASH , un adattamento notevolmente peggiore (AICc: 188,1 contro 67,8).
Allora perché preoccuparsi dei casi speciali? Alcuni motivi. Innanzitutto, le persone hanno più familiarità con distribuzioni standard come Weibull e lognormale. In secondo luogo, man mano che la grandezza lambda aumenta, potrebbe verificarsi instabilità nell’adattare la distribuzione generalizzata ai dati. Inoltre, JMP limita λ a un valore compreso tra –12 e 12. Per valori dei parametri vicini o al limite, gli intervalli di confidenza possono essere eccessivamente ampi.
Esempio 4 – Previsione del prossimo grande terremoto in California
Diciamo che siamo interessati a prevedere quando si verificherà il prossimo grande terremoto in California. Dal 1803 si sono verificati 18 eventi di questo tipo, l'ultimo dei quali è avvenuto il 6 luglio 2019. Qual è la probabilità che si verifichi un forte terremoto nei prossimi due anni? Cinque anni?
Le prime 2 distribuzioni di adattamento che utilizzano Life Distribution sono la gamma generalizzata e l'esponenziale. La differenza tra i due è di circa tre unità (AICc). Avremmo potuto utilizzare la distribuzione e trovare l'esponenziale, ma sarebbe stato più lavoro rispondere alle domande. Se utilizziamo la gamma generalizzata, possiamo utilizzare il Distribution Profiler per ottenere probabilità di 0,195 e 0,339 rispettivamente per due e cinque anni. Sfortunatamente, queste sono solo stime puntuali. Se invece vogliamo l'intervallo di confidenza (CI) superiore del 95 ° percentile, ci imbattiamo in un piccolo problema. In entrambi i casi, la probabilità è 1. Gli IC ampi sono probabilmente dovuti alla distribuzione gamma generalizzata che ha una stima in uno dei suoi confini (λ = 12). In questo caso, se utilizziamo invece la distribuzione esponenziale, otteniamo una stima puntuale di 0,157 e un intervallo di confidenza superiore di 0,24 per due anni, e una stima puntuale di 0,337 e un intervallo di confidenza superiore di 0,484 per cinque anni.
Modellazione dei terremoti con la distribuzione gamma generalizzata
|
|
Modellazione dei terremoti con la distribuzione gamma generalizzata
|
|
Per concludere questo post, parliamo delle due distribuzioni simmetriche, quella normale e quella logistica, e dei loro complementi logaritmici. Molti di voi dovrebbero avere familiarità con normale e lognormale e sono entrambi disponibili in Distribuzione . Concentriamoci sugli altri due, la logistica e la logistica dei log. La distribuzione logistica concentra più osservazioni nelle sue code rispetto al normale. Ciò è utile quando ci sono più osservazioni negli estremi di quanto sarebbe previsto dal normale. Di seguito è riportato un confronto tra il normale e il logistico sia con 𝛍 = 0 che σ = 1.
Esempio 5 – Deviazioni mensili dalle temperature massime mensili medie storiche, Austin, Texas
Questa è la stessa serie di dati di cui sopra, a partire dal 1893. Sei mesi sono stati rimossi perché avevano meno della metà delle osservazioni giornaliere per il mese (3/1894, 6/1894, 11/1894, 9/1900, 11/ 1922, 8/1924). L'adattamento dei dati con Distribution mostra che SHASH è la soluzione migliore, con i primi quattro, forse cinque, abbastanza vicini da poter essere utilizzati in modo intercambiabile. La normalità non è in questo gruppo.
La miscela Normal 2 che si adatta così bene può sembrare strana all'inizio. Osservando le stime dei parametri si ottiene un'idea di cosa sta succedendo. Le medie delle due distribuzioni sono sufficientemente vicine e le deviazioni standard sufficientemente diverse da suggerire una distribuzione unimodale con code più pesanti. Le prestazioni del t di Student lo supportano.
In alternativa, l'utilizzo della distribuzione della vita fa sì che la logistica abbia la soluzione migliore. Ciò è interessante in quanto è sia unimodale che simmetrico, cosa che ci si potrebbe aspettare con deviazioni dalla media. Sebbene l'adattamento sia leggermente inferiore al t di Student, entro circa 1 unità, e allo SHASH , entro circa 2 unità, richiede meno parametri di entrambi.
Per ora basta. Nel prossimo post parlerò delle versioni specializzate di queste distribuzioni.
