Wenn es um die Verteilungsanpassung geht, haben Sie vielleicht das Gefühl, dass es eine Dichotomie gibt Verteilung Und Lebensverteilung . Das magst du denken Lebensverteilung ist ausschließlich für Zuverlässigkeitsprobleme gedacht und Verteilung für alles andere. Während Lebensverteilung ist auf Zuverlässigkeit und Überleben zugeschnitten, wobei der Schwerpunkt auf der Anpassung kumulativer Verteilungsfunktionen liegt. Es kann auch in Situationen verwendet werden, in denen die verfügbaren Verteilungen vorhanden sind Verteilung zu kurz kommen. Unabhängig vom Kontext, in dem Sie es verwenden Lebensverteilung , ist es hilfreich, ein wenig über die darin enthaltenen Distributionen und deren Anwendung zu wissen.
Zunächst Lebensverteilung könnte sich aufgrund der Fülle an Auswahlmöglichkeiten überwältigend anfühlen. Glücklicherweise gibt es von den 23 verfügbaren Distributionen (plus der Möglichkeit, Mischungen von Distributionen zu erstellen) nur fünf grundlegende Distributionen: Normal , Logistik , SEV (kleinster Extremwert), LEV (größter Extremwert) und GenGamma (generalisiertes Gamma). Die verbleibenden 18 Verteilungen können von diesen fundamentalen fünf abgeleitet werden. Erstens hat jede Fundamentalverteilung ein logarithmisches Komplement: Lognormal , Loglogistik , Weibull , Frechet , Und LogGenGamma , bzw. Daten, die zu einem logarithmischen Komplement passen, können in ihren nicht-logarithmischen Vorgänger transformiert werden, indem der (natürliche) Logarithmus der Datenwerte genommen wird. Zweitens alle logarithmischen Verteilungen, außer z LogGenGamma , haben drei Sonderfälle, um Schwellenwertgrenzen zu berücksichtigen ( TH Lognormal , TH Loglogistik , TH Weibull , Und TH Frechet ), Nullen ( ZI Lognormal , ZI Loglogistik , ZI Weibull , Und ZI Frechet) , und (eine einzelne) defekte Subpopulation ( DS Lognormal , DS Loglogistic , DS Weibull , Und DS Frechet ). Mischungen können mit allen fundamentalen Fünf und ihren logarithmischen Ergänzungen erstellt werden, außer GenGamma verwenden Mischung passen Und Konkurrierende Risikomischung anpassen . Endlich der einsame Verweigerer, Exponentiell , ist ein Sonderfall der Weibull . In diesem Beitrag werde ich über die grundlegenden Verteilungen und ihre Komplemente sprechen und Sonderfälle und Mischungen für ein anderes Mal aufheben.
Extremwertverteilungen wurden abgeleitet, um Verteilungen zu modellieren, um Minimalwerte (SEV) und Maximalwerte (LEV) zu modellieren. 1954 veröffentlichte das National Bureau of Standards, das später zu NIST (National Institute of Standards and Technology) wurde, ein historisch wichtiges Dokument, das auf einer Vortragsreihe von Emil Gumbel beruhte: Statistische Theorie der Extremwerte und einige praktische Anwendungen . Es stellt eine frühe Kodifizierung der Extremwerttheorie dar. Sie können es hier herunterladen . Die SEV-Verteilung wird auch als Gumbel-Verteilung bezeichnet.
 |
 |
Sowohl der SEV als auch der LEV können abhängig von den Parameterwerten negativ sein, was es für die Modellierung streng positiver Größen unerwünscht macht. Ein interessantes Merkmal des SEV ist seine Linksschiefe, bei der die Mehrheit der Beobachtungen über dem Mittelwert liegt (dh der Median ist größer als der Mittelwert). Es kann für die Modellierung von Daten mit extremen Beobachtungen am linken Rand nützlich sein.
Beispiel 1 – Jahresmindesttemperatur, Austin, Texas.
Wetterdaten, einschließlich täglicher Temperaturextreme, können für eine große Anzahl von Wetterstationen aus der ganzen Welt von heruntergeladen werden Nationale Ozean- und Atmosphärenbehörde (NOAA) . Der folgende Datensatz stammt aus der Global Historical Climatology Network – Täglich Datensatz und enthält die minimale jährliche Temperatur, die in Austin, Texas, von 1893 bis 2022 beobachtet wurde. Die Originaldaten wurden von zwei Stationen erhalten: GHCND:USC00410420 (Austin, TX, USA, 1893 – 1938) und GHCND:USW00013958 (Austin Camp Mabry, TX, USA, 1939 – 2022).
Das Histogramm und der Schiefewert zeigen die Daten, die verzerrt bleiben sollen.
Verwenden Alle Distributionen anpassen zeigt die SEV um die beste Passform zu bieten.
Eine Annahme bei jeder dieser Verteilungen ist, dass die Beobachtungen unabhängig sind. Die Verwendung jährlicher Daten verbessert die serielle Korrelation, die bei monatlichen Extremwerten auftreten würde, da Sie erwarten würden, dass benachbarte Monate ähnlicher sind als weiter auseinander liegende Monate. Bei dieser Art von Daten können auch zusätzliche Faktoren ins Spiel kommen, die die Beobachtungen weniger unabhängig machen, wie z. B. Urbanisierung und Klimawandel.
Beispiel 2 – Verlauf der schnellsten Indoor-Meile-Laufzeiten
Die Daten sind zu finden bei Wikipedia (Unter Men’s Indoor Pre-IAAF und Men Indoor IAAF era). Die Beobachtung für Glenn Cunningham auf der überdimensionalen Strecke wurde entfernt. Es wurden nur Daten in der Spalte „Zeit“ verwendet. Die Ergebnisse zeigen LEV am besten zu sein Lognormal ein ganz knapper 2.
Wenn die Verteilung Plattform verwendet wurde, LEV vermisst worden wäre. Beachten Sie, dass die AICc , BIC , Und -2*LogWahrscheinlichkeit Werte stimmen über die beiden Plattformen hinweg überein, wodurch direkte Vergleiche möglich sind.
Beispiel 3 – Maximale aufeinanderfolgende regenlose Tage in einem Jahr, Austin, Texas (1927 – 2022)
Auch diese Daten stammen von der NOAA. Dieselben Stationen und Daten aus Beispiel 1 waren mit den Daten ab 1927. Wie im vorherigen Beispiel werden wir beide betrachten Verteilung Und Lebensverteilung Plattformen. Lebensverteilung zeigt an Verallgemeinertes Gamma protokollieren um die beste Anpassung bereitzustellen, gefolgt von der Frechet . Der SCHASCH ( Sinh-ArcSinh ) ist die am besten passende Verteilung von Verteilung . Bezogen auf AICc , es wäre insgesamt das drittbeste, wenn auch nah dran andere zwei in Sachen Passform. Eine allgemeine Faustregel besagt, dass alles, was weniger als 3-5 Einheiten voneinander entfernt ist, nicht als unterschiedlich betrachtet wird, also könnten wir jede dieser drei Verteilungen in Betracht ziehen.
Wie oben erwähnt, ist das Protokoll der Fréchet-verteilten Beobachtungen LEV-verteilt. Wir können dies sehen, indem wir das Protokoll von nehmen Max (Tage seit dem letzten Regen) und verwenden Lebensverteilung .
Das verallgemeinerte Gamma ( GenGamma ) und Log verallgemeinertes Gamma ( LogGenGamma ) enthalten alle grundlegenden Verteilungen und ihre Log-Ergänzungen außer der Logistik und der Log-Logistik. Das Exponential, Weibull und Fréchet und Lognormal sind Sonderfälle des verallgemeinerten Gammas (ebenso wie das Gamma, das unter zu finden ist Verteilung ) und SEV, LEV und Normal sind Spezialfälle des logarithmisch verallgemeinerten Gammas. Beide verallgemeinerten Verteilungen enthalten einen dritten Parameter, einen mehr als die Verteilungen, die sie enthalten. Das verallgemeinerte Gamma und das logverallgemeinerte Gamma reduzieren sich auf ihre Spezialfälle, wenn dieser Parameter (λ) gleich 1 (SEV/Weibull), 0 (normal/lognormal) oder –1 (LEV/Fréchet) ist.
Um eine Vorstellung davon zu bekommen, welche Flexibilität die verallgemeinerten Verteilungen hinzufügen, können wir ihre Formen betrachten, wenn nur λ variiert wird. Wir beginnen mit dem generalisierten Gamma. Einstellung 𝛍 = 1 und σ = 0,25, hier sind die Fréchet-, Lognormal- und Weibull-Verteilung (λ = –1, 0, 0). Die Wahrscheinlichkeitsdichte ist links und die kumulative Verteilung rechts.
Die Spitzen (Moden) befinden sich ungefähr an der gleichen Stelle. Durch Erhöhen der absoluten Größe von λ wird die Verteilung gespreizt (dh sie wird weniger spitz und die kumulative Verteilung wächst langsamer). Wenn λ positiver wird, verschieben sich die Daten nach rechts (höhere Wahrscheinlichkeit für höhere Werte). Das Verringern von λ bewirkt das Gegenteil, indem mehr Beobachtungen rechts von der Verteilung konzentriert werden.
Die Verteilungen für die logarithmisch verallgemeinerte Gamma-Familie folgen einem ähnlichen Muster. Die Normale (λ = 0) ist das steilste (und einzige symmetrische Mitglied). Wenn λ von 0 abnimmt, werden die Verteilungen rechtsschiefer (dh die Konzentration der Beobachtungen verschiebt sich nach links mit dem Schwanz nach rechts). Das Gegenteil gilt, wenn λ von 0 ansteigt.
Warum sich also mit den Sonderfällen beschäftigen? Ein paar Gründe. Erstens sind die Leute besser mit Standardverteilungen wie Weibull und Lognormal vertraut. Zweitens, wenn Lambda größer wird, kann es zu Instabilitäten beim Anpassen der verallgemeinerten Verteilung an die Daten kommen. Außerdem begrenzt JMP λ auf einen Wert zwischen –12 und 12. Für Parameterwerte nahe oder am Grenzwert können die Konfidenzintervalle zu breit sein.
Beispiel 4 – Vorhersage des nächsten großen Erdbebens in Kalifornien
Nehmen wir an, wir möchten vorhersagen, wann das nächste große Erdbeben (7,0 oder höher auf der Richterskala) in Kalifornien auftreten wird. Das macht der United States Geological Survey (USGS). Erdbebendaten verfügbar. Seit 1800 gab es 18 solcher Ereignisse, zuletzt am 6. Juli 2019. Wie hoch ist die Wahrscheinlichkeit eines schweren Erdbebens in den nächsten zwei Jahren? 5 Jahre?
Die Top 2 passenden Distributionen mit Lebensverteilung sind das verallgemeinerte Gamma und das Exponential. Der Unterschied zwischen den beiden beträgt etwa drei Einheiten (AICc). Wir hätten es gebrauchen können Verteilung und fand das Exponential, aber es wäre mehr Arbeit gewesen, die Fragen zu beantworten. Wenn wir das verallgemeinerte Gamma verwenden, können wir mit dem Verteilungs-Profiler Wahrscheinlichkeiten von 0,195 und 0,339 für zwei bzw. fünf Jahre erhalten. Leider sind dies nur Punktschätzungen. Wenn wir die oberen 95 wollen th Perzentile Konfidenzintervall (CI) verwenden, stoßen wir auf ein kleines Problem. In beiden Fällen ist die Wahrscheinlichkeit 1. Die breiten KIs sind wahrscheinlich darauf zurückzuführen, dass die verallgemeinerte Gammaverteilung einen Schätzwert an einer ihrer Grenzen hat (λ = 12). Wenn wir in diesem Fall stattdessen die Exponentialverteilung verwenden, erhalten wir eine Punktschätzung von 0,157 und ein oberes Konfidenzintervall von 0,24 für zwei Jahre und eine Punktschätzung von 0,337 und ein oberes Konfidenzintervall von 0,484 für fünf Jahre.
Modellierung von Erdbeben mit der generalisierten Gammaverteilung
|
 
|
Modellierung von Erdbeben mit der generalisierten Gammaverteilung
|
 
|
Lassen Sie uns zum Abschluss dieses Beitrags über die beiden symmetrischen Verteilungen, die normale und die logistische, und ihre logarithmischen Komplemente sprechen. Die meisten von Ihnen sollten mit normal und lognormal vertraut sein, und beide sind unter verfügbar Verteilung .Konzentrieren wir uns auf die anderen beiden, die Logistik und die Log-Logistik. Die logistische Verteilung konzentriert mehr Beobachtungen in ihren Schwänzen als die normale. Dies ist hilfreich, wenn es mehr Beobachtungen in Extremen gibt, als von der Normalen vorhergesagt würden. Unten ist ein Vergleich von normal und logistisch mit 𝛍 = 0 und σ = 1.
Beispiel 5 – Monatliche Abweichungen von historischen durchschnittlichen monatlichen Höchsttemperaturen, Austin, Texas
Dies ist die gleiche Datenreihe wie oben, beginnend im Jahr 1893. Sechs Monate wurden entfernt, weil sie weniger als die Hälfte der täglichen Beobachtungen für den Monat hatten (3/1894, 6/1894, 11/1894, 9/1900, 11/1922, 8/1924). Anpassen der Daten mit Verteilung zeigt an SCHASCH um am besten zu passen, wobei die oberen vier, möglicherweise fünf, nahe genug sind, um austauschbar verwendet zu werden. Das Normale ist nicht in dieser Gruppe.
Dass Normal 2 Mixture so gut passt, mag auf den ersten Blick seltsam erscheinen. Ein Blick auf die Parameterschätzungen gibt Aufschluss darüber, was vor sich geht. Die Mittelwerte der beiden Verteilungen liegen nahe genug beieinander und die Standardabweichungen sind unterschiedlich genug, um auf eine unimodale Verteilung mit stärkeren Randbereichen hinzuweisen. Die Leistung von Studenten-t unterstützt dies.
Alternativ mit Lebensverteilung führt zu Logistik die beste Passform zu haben. Dies ist insofern ansprechend, als es sowohl unimodal als auch symmetrisch ist, was man bei Abweichungen von einem Mittelwert erwarten könnte. Während die Passform etwas schlechter ist Schüler t, innerhalb von etwa 1 Einheit, und die SCHASCH , innerhalb von etwa 2 Einheiten, erfordert es weniger Parameter als beide.
Das ist genug für jetzt. Im nächsten Beitrag werde ich über die spezialisierten Versionen dieser Distributionen sprechen.
