Wenn es um die Verteilungsanpassung geht, haben Sie vielleicht das Gefühl, dass es eine Dichotomie zwischen Verteilung und Lebensverteilung gibt. Sie denken vielleicht, dass die Lebensverteilung ausschließlich für Zuverlässigkeitsprobleme und die Verteilung für alles andere gedacht ist. Während Life Distribution auf Zuverlässigkeit und Überleben zugeschnitten ist und der Schwerpunkt auf der Anpassung kumulativer Verteilungsfunktionen liegt, kann es auch in Situationen verwendet werden, in denen die verfügbaren Verteilungen in Distribution nicht ausreichen. Unabhängig davon, in welchem Kontext Sie Life Distribution verwenden, ist es hilfreich, ein wenig über die darin enthaltenen Distributionen und deren mögliche Anwendung zu wissen.
Anfangs könnte sich Life Distribution aufgrund der Fülle an Auswahlmöglichkeiten überwältigend anfühlen. Glücklicherweise gibt es von den 23 verfügbaren Verteilungen (plus der Möglichkeit, Verteilungsmischungen zu erstellen) nur fünf grundlegende Verteilungen: Normal , Logistisch , SEV (kleinster Extremwert), LEV (größter Extremwert) und GenGamma (verallgemeinertes Gamma). Die verbleibenden 18 Verteilungen können aus diesen fünf grundlegenden Verteilungen abgeleitet werden. Erstens hat jede Fundamentalverteilung ein logarithmisches Komplement: Lognormal , Loglogistic , Weibull , Fréchet bzw. LogGenGamma . Daten, die zu einem logarithmischen Komplement passen, können in ihren nicht logarithmischen Vorgänger umgewandelt werden, indem der (natürliche) Logarithmus der Datenwerte verwendet wird. Zweitens haben alle logarithmischen Verteilungen mit Ausnahme von LogGenGamma drei Sonderfälle, um Schwellenwertgrenzen ( TH Lognormal , TH Loglogistic , TH Weibull und TH Fréchet ) und Nullen ( ZI Lognormal , ZI Loglogistic , ZI Weibull und ZI Fréchet ) zu berücksichtigen ) und (eine einzelne) defekte Subpopulation ( DS Lognormal , DS Loglogistic , DS Weibull und DS Fréchet ). Mischungen können mit allen fundamentalen Fünf und ihren logarithmischen Ergänzungen erstellt werden, mit Ausnahme von GenGamma unter Verwendung von „Fit Mixture“ und „Fit Competing Risk Mixture“ . Schließlich ist der einzige Verweigerer, Exponential , ein Sonderfall des Weibull . In diesem Beitrag werde ich über die Grundverteilungen und ihre Ergänzungen sprechen und Sonderfälle und Mischungen für ein anderes Mal aufheben.
Extremwertverteilungen wurden abgeleitet, um Verteilungen zu modellieren, um minimale (SEV) und maximale (LEV) Werte zu modellieren. Im Jahr 1954 veröffentlichte das National Bureau of Standards, aus dem später NIST (National Institute of Standards and Technology) hervorging, ein historisch wichtiges Dokument, das auf einer Vorlesungsreihe von Emil Gumbel basierte : Statistical Theory of Extreme Values and Some Practical Applications . Es stellt eine frühe Kodifizierung der Extremwerttheorie dar. Sie können es hier herunterladen . Die SEV-Verteilung wird auch als Gumbel-Verteilung bezeichnet.
 |
 |
Sowohl der SEV als auch der LEV können je nach Parameterwerten negativ sein, was sie für die Modellierung streng positiver Größen unerwünscht macht. Ein interessantes Merkmal des SEV ist, dass er linksschief ist, wobei die Mehrheit der Beobachtungen über dem Mittelwert liegt (dh der Median ist größer als der Mittelwert). Es kann für die Modellierung von Daten mit extrem linken Schwanzbeobachtungen nützlich sein.
Beispiel 1 – Minimale Jahrestemperatur, Austin, Texas.
Wetterdaten, einschließlich täglicher Temperaturextreme, können für eine große Anzahl von Wetterstationen auf der ganzen Welt von der National Oceanic and Atmospheric Administration (NOAA) heruntergeladen werden. Der folgende Datensatz stammt vom Global Historical Climatology Network – Täglicher Datensatz und enthält die minimale jährliche Temperatur, die in Austin, Texas, von 1893 bis 2022 beobachtet wurde. Die Originaldaten wurden von zwei Stationen erhalten: GHCND:USC00410420 (Austin, TX, USA). , 1893 – 1938) und GHCND:USW00013958 (Austin Camp Mabry, TX, USA, 1939 – 2022).
Das Histogramm und der Schiefewert zeigen die Daten an, die schief bleiben sollen.
Durch die Verwendung von „Alle Verteilungen anpassen“ wird angezeigt, dass der SEV die beste Anpassung bietet.
Bei jeder dieser Verteilungen wird davon ausgegangen, dass die Beobachtungen unabhängig sind. Die Verwendung jährlicher Daten verbessert die serielle Korrelation, die bei monatlichen Extremwerten auftreten würde, da man erwarten würde, dass benachbarte Monate ähnlicher sind als weiter auseinander liegende Monate. Bei dieser Art von Daten können auch weitere Faktoren eine Rolle spielen, die die Unabhängigkeit der Beobachtungen beeinträchtigen, etwa Urbanisierung und Klimawandel.
Beispiel 2 – Verlauf der schnellsten Indoor-Meile-Laufzeiten
Die Daten finden Sie in Wikipedia (Unter Men's Indoor Pre-IAAF und Men Indoor IAAF era). Die Beobachtung für Glenn Cunningham auf der übergroßen Strecke wurde entfernt. Es wurden nur Daten in der Spalte „Zeit“ verwendet. Die Ergebnisse zeigen, dass LEV am besten ist, während Lognormal ganz knapp auf dem zweiten Platz liegt.
Bei Verwendung der Vertriebsplattform wäre LEV entgangen. Beachten Sie, dass die Werte AICc , BIC und -2*LogLikelihood auf beiden Plattformen übereinstimmen, sodass direkte Vergleiche möglich sind.
Beispiel 3 – Maximale aufeinanderfolgende regenfreie Tage in einem Jahr, Austin, Texas (1927 – 2022)
Diese Daten stammen ebenfalls von NOAA. Die gleichen Stationen und Daten aus Beispiel 1 lagen bei den Daten ab 1927. Wie im vorherigen Beispiel werden wir sowohl die Distributions- als auch die Life Distribution- Plattform berücksichtigen. Die Lebensverteilung zeigt, dass das loggenverallgemeinerte Gamma die beste Anpassung liefert, gefolgt vom Fréchet-Wert . Der SHASH ( Sinh-ArcSinh ) ist die am besten passende Distribution von Distribution . Basierend auf dem AICc wäre es insgesamt das drittbeste, wenn auch in Bezug auf die Passform nahe an den beiden anderen . Eine allgemeine Faustregel besagt, dass alles, was weniger als 3–5 Einheiten voneinander entfernt ist, nicht als unterschiedlich betrachtet wird. Daher könnten wir jede dieser drei Verteilungen in Betracht ziehen.
Wie oben erwähnt, ist das Protokoll der Fréchet-verteilten Beobachtungen LEV-verteilt. Wir können dies sehen, indem wir das Protokoll von Max(Tage seit dem letzten Regen) verwenden und Life Distribution verwenden.
 |
 |
Das verallgemeinerte Gamma ( GenGamma ) und das logarithmische verallgemeinerte Gamma ( LogGenGamma ) enthalten alle Grundverteilungen und ihre logarithmischen Komplemente mit Ausnahme der logistischen und logistischen Verteilungen. Exponential, Weibull und Fréchet sowie Lognormal sind Sonderfälle des verallgemeinerten Gammas (ebenso wie das Gamma, das unter „Verteilung“ zu finden ist), und SEV, LEV und Normal sind Sonderfälle des logarithmisch verallgemeinerten Gammas. Beide verallgemeinerten Verteilungen enthalten einen dritten Parameter, einen mehr als die darin enthaltenen Verteilungen. Das verallgemeinerte Gamma und das logarithmisch verallgemeinerte Gamma reduzieren sich auf ihre Sonderfälle, wenn dieser Parameter (λ) gleich 1 (SEV/Weibull), 0 (normal/lognormal) oder –1 (LEV/Fréchet) ist.
Um eine Vorstellung davon zu bekommen, welche Flexibilität die verallgemeinerten Verteilungen bieten, können wir uns ihre Formen ansehen, wenn nur λ variiert wird. Wir beginnen mit dem verallgemeinerten Gamma. Bei 𝛍 = 1 und σ = 0,25 sind hier die Fréchet-, Lognormal- und Weibull-Verteilungen (λ = –1, 0 bzw. 0) zu sehen. Die Wahrscheinlichkeitsdichte befindet sich links und die kumulative Verteilung rechts.
Die Spitzen (Moden) liegen ungefähr an der gleichen Stelle. Durch Erhöhen der absoluten Größe von λ wird die Verteilung gespreizt (dh sie weist weniger Spitzen auf und die kumulative Verteilung wächst langsamer). Wenn λ positiver wird, verschieben sich die Daten nach rechts (größere Wahrscheinlichkeit höherer Werte). Eine Verringerung von λ bewirkt das Gegenteil und konzentriert mehr Beobachtungen auf der rechten Seite der Verteilung.
Die Verteilungen für die logarithmisch verallgemeinerte Gammafamilie folgen einem ähnlichen Muster. Die Normale (λ = 0) ist das höchste (und einzige symmetrische) Element. Wenn λ von 0 aus abnimmt, werden die Verteilungen rechtsschiefer (dh die Konzentration der Beobachtungen verschiebt sich nach links mit dem Ende nach rechts). Das Gegenteil ist der Fall, wenn λ von 0 ansteigt.
Beispiel 4 – Verteilung der größten Erdbebenstärken seit 1800
Der United States Geological Survey (USGS) stellt weltweite Erdbebendaten zum Download zur Verfügung . Seit 1803 gab es weltweit 1.506 schwere Erdbeben (Stärke 7,0 oder höher). Wie groß ist die Wahrscheinlichkeit, dass das nächste große Erdbeben eine Stärke von 8,0 oder mehr hat?
Die beste Übereinstimmung mit der Lebensverteilung ist das logarithmische generalisierte Gamma . Mit dem Distribution Profiler beträgt die Wahrscheinlichkeit eines Erdbebens der Stärke 8,0 oder höher 0,064332 (1 – 0,935668). Wenn wir die Daten mithilfe von Distribution angepasst hätten, wäre unsere beste Anpassung die SHASH , eine deutlich schlechtere Anpassung (AICc: 188,1 vs. 67,8).
Warum sich also mit den Sonderfällen beschäftigen? Ein paar Gründe. Erstens sind die Leute mit Standardverteilungen wie Weibull und Lognormal vertrauter. Zweitens kann es mit zunehmender Lambda-Größe zu einer Instabilität bei der Anpassung der verallgemeinerten Verteilung an die Daten kommen. Darüber hinaus legt JMP fest, dass λ zwischen –12 und 12 liegt. Für Parameterwerte nahe oder am Grenzwert können die Konfidenzintervalle zu groß sein.
Beispiel 4 – Vorhersage des nächsten großen Erdbebens in Kalifornien
Nehmen wir an, wir möchten vorhersagen, wann das nächste große Erdbeben in Kalifornien stattfinden wird. Seit 1803 gab es 18 solcher Ereignisse, das letzte ereignete sich am 6. Juli 2019. Wie hoch ist die Wahrscheinlichkeit eines schweren Erdbebens in den nächsten zwei Jahren? 5 Jahre?
Die zwei besten Anpassungsverteilungen unter Verwendung der Lebensverteilung sind das verallgemeinerte Gamma und das Exponential. Der Unterschied zwischen den beiden beträgt etwa drei Einheiten (AICc). Wir hätten die Verteilung verwenden und die Exponentialfunktion ermitteln können, aber es wäre aufwändiger gewesen, die Fragen zu beantworten. Wenn wir das verallgemeinerte Gamma verwenden, können wir mit dem Distribution Profiler Wahrscheinlichkeiten von 0,195 und 0,339 für zwei bzw. fünf Jahre erhalten. Leider handelt es sich dabei nur um Punktschätzungen. Wenn wir stattdessen das Konfidenzintervall (CI) des oberen 95. Perzentils verwenden möchten, stoßen wir auf ein kleines Problem. In beiden Fällen beträgt die Wahrscheinlichkeit 1. Die breiten CIs sind wahrscheinlich auf die verallgemeinerte Gammaverteilung zurückzuführen, deren Al-Schätzung an einer ihrer Grenzen liegt (λ = 12). Wenn wir in diesem Fall stattdessen die Exponentialverteilung verwenden, erhalten wir eine Punktschätzung von 0,157 und ein oberes Konfidenzintervall von 0,24 für zwei Jahre und eine Punktschätzung von 0,337 und ein oberes Konfidenzintervall von 0,484 für fünf Jahre.
Modellierung von Erdbeben mit der Generalzed Gamma Distribution
|
|
Modellierung von Erdbeben mit der Generalzed Gamma Distribution
|
|
Lassen Sie uns zum Abschluss dieses Beitrags über die beiden symmetrischen Verteilungen, die Normal- und die Logistikverteilung, und ihre logarithmischen Komplemente sprechen. Die meisten von Ihnen dürften mit „normal“ und „lognormal“ vertraut sein, beide sind unter „Distribution“ verfügbar. Konzentrieren wir uns auf die anderen beiden, die Logistik und die Loglogistik. Die logistische Verteilung konzentriert mehr Beobachtungen in ihren Enden als normal. Dies ist hilfreich, wenn es in Extremen mehr Beobachtungen gibt, als im Normalfall vorhergesagt würden. Nachfolgend finden Sie einen Vergleich zwischen Normal und Logistik mit 𝛍 = 0 und σ = 1.
Beispiel 5 – Monatliche Abweichungen von historischen durchschnittlichen monatlichen Höchsttemperaturen, Austin, Texas
Dies ist die gleiche Datenreihe wie oben, beginnend mit dem Jahr 1893. Sechs Monate wurden entfernt, da sie weniger als die Hälfte der täglichen Beobachtungen für den Monat hatten (3/1894, 6/1894, 11/1894, 9/1900, 11/ 1922, 8/1924). Die Anpassung der Daten an die Verteilung zeigt, dass SHASH am besten passt, wobei die ersten vier, möglicherweise fünf, nah genug beieinander liegen, um austauschbar verwendet zu werden. Das Normale gehört nicht zu dieser Gruppe.
Dass die Normal-2-Mischung so gut passt, mag auf den ersten Blick seltsam erscheinen. Ein Blick auf die Parameterschätzungen gibt Aufschluss darüber, was vor sich geht. Die Mittelwerte der beiden Verteilungen liegen nah genug beieinander und die Standardabweichungen sind so unterschiedlich, dass eine unimodale Verteilung mit stärker ausgeprägten Enden vermutet wird. Die Leistung von Student's t unterstützt dies.
Alternativ führt der Einsatz von Life Distribution dazu, dass Logistic am besten passt. Das ist insofern reizvoll, als es sowohl unimodal als auch symmetrisch ist, was bei Abweichungen vom Mittelwert zu erwarten wäre. Während die Anpassung dem Student-t ( innerhalb von etwa 1 Einheit) und dem SHASH (innerhalb von etwa 2 Einheiten) etwas unterlegen ist, erfordert sie weniger Parameter als beide.
Das ist genug für jetzt. Im nächsten Beitrag werde ich über die speziellen Versionen dieser Distributionen sprechen.
