Mike Clayton schrieb:
Vielen Dank. Ich denke, der JMP-Blog könnte eine gute Diskussion der "Prozess" -Geschichten verwenden, die normalerweise die wichtigsten Verteilungstypen generieren. Zum Beispiel neigt das Messen von Partikeln auf Glas- oder Siliziumwafern dazu, eine sehr schiefe Verteilung ohne negative Werte zu haben. Das Messen von Partikeln, die mit Vorher- und Nachher-Daten hinzugefügt oder entfernt wurden, hat jedoch sowohl positive als auch negative Werte. In einigen Fällen können Poisson-Verteilungen oder Log-Normal-Verteilungen in manchen Fällen nicht für Partikeldaten gelten. Ein Forscher schlug beispielsweise die Reynolds-Distribution vor. Jede Prozessgeschichte kann eine Liste mit wahrscheinlichen Verteilungen erstellen. Werksdaten können meistens kontinuierlich sein, während Servicedaten dazu neigen, oft kategoriale Daten oder Zählungsdaten (manchmal Prozentsätze) zu mischen.
Eine Strafe kann Ihren Tag ernsthaft ruinieren. Vergessen Sie, eine Rechnung rechtzeitig zu bezahlen, und eine späte Strafe kostet Sie ein paar Dollar mehr. Wenn eine gelbe Flagge auf das Fußballfeld trifft, kann eine Strafe die Position, den Schwung Ihrer Lieblingsmannschaft und möglicherweise sogar einige Punkte kosten. Aber eine Strafe ist nicht immer so schlimm. Tatsächlich ist eine Strafe beim Aufbau eines Regressionsmodells eine sehr gute Sache. Dieser Beitrag stellt die Generalized Regression - Plattform vor (neu in JMP Pro 11 ), wodurch wir bestrafte Regressionsmodelle anpassen können. Wir haben gesehen, wie man ähnliche Modelle passt mit einem Add-In Die Generalized Regression-Plattform bietet jedoch wesentlich mehr Funktionen, die in JMP Pro integriert sind.
Maximale Wahrscheinlichkeit ist eines der Arbeitspferde der Statistik und eine beliebte Methode zur Schätzung der Parameter in einem Regressionsmodell. Die Likelihood-Funktion gibt die Wahrscheinlichkeit der beobachteten Reaktionen für einen bestimmten Parametersatz an. Der Maximum Likelihood Estimator gibt uns also die Regressionsparameter an, die die Wahrscheinlichkeit der beobachteten Daten maximieren. Die Wahrscheinlichkeitstheorie liefert uns auch eine Theorie, um Rückschlüsse auf unsere Regressionsparameter zu ziehen. Ziemlich ansprechend, oder? Die maximale Wahrscheinlichkeit ist extrem hoch, aber sie ist am besten geeignet, wenn wir im Voraus wissen, welche Prädiktoren in unser Modell gehören.
Überanpassung vermeiden
Wenn wir Dutzende von Prädiktoren oder mehr haben und nicht wissen, welche in unser Modell aufgenommen werden sollen, ist die maximale Wahrscheinlichkeit tendenziell zu hoch und keine so gute Wahl mehr. Überanpassung bedeutet, dass wir unsere beobachteten Daten gut anpassen, neue Beobachtungen jedoch nur unzureichend vorhersagen können. Bestrafte Regressionstechniken können uns dabei helfen, Überanpassungen zu vermeiden, wenn wir von einer Vielzahl von Prädiktoren überfordert sind. Mit bestrafter Regression meinen wir, dass wir, anstatt unsere übliche Wahrscheinlichkeitsfunktion zu maximieren, eine Funktion der Wahrscheinlichkeit plus eine Strafe für die Größe der Parameter optimieren. Die Optimierung der bestraften Wahrscheinlichkeit ist intuitiv sinnvoll: Wir möchten die Daten gut anpassen, aber nicht, dass das Modell zu groß wird. Mit der Plattform für generalisierte Regression in JMP Pro können wir drei beliebte Modelle für bestrafte Regression anpassen: Ridge Regression, die Lasso , und das Elastisches Netz . Diese drei Schätztechniken ermöglichen es uns, Vorhersagemodelle zu erstellen, die neue Beobachtungen gut vorhersagen. Das Lasso und das elastische Netz führen auch eine variable Auswahl durch, so dass wir ein Modell erhalten, das leichter zu interpretieren ist.
Anstatt zu versuchen, alle in der Generalized Regression-Plattform verfügbaren Schätztechniken abzudecken, konzentrieren wir uns nur auf das elastische Netz. Das elastische Netz führt gleichzeitig eine Variablenauswahl und eine Parameterschätzung durch. Und als zusätzlichen Bonus behandelt es korrelierte Prädiktoren ( Multikollinearität ) Gut. Große Beobachtungsdatensätze leiden häufig unter Multikollinearität. Daher ist das elastische Netz eine gute Wahl, wenn Sie mit Beobachtungsdaten arbeiten. Das elastische Netz bestraft die Wahrscheinlichkeit mit einer Mischung aus L1 und L2 Normen :
wobei die Betas unsere Regressionskoeffizienten sind. Das L1-Stück der Strafe führt zu einer variablen Auswahl, während das L2-Stück der Strafe dabei hilft, mit der Kollinearität umzugehen. Hier werden Alpha und Lambda Abstimmungsparameter genannt, und jede Kombination der beiden führt zu einem unterschiedlichen Satz von Regressionsparameterschätzungen. JMP bietet verschiedene Optionen für die Auswahl der besten Kombination der Tuning-Parameter basierend auf der Güte von Fit-Maßen wie Kreuzvalidierung oder der BIC .
Hollywood-Filme Beispiel
Probieren wir die Generalized Regression-Plattform anhand eines Beispiels aus dem Beispieldatenordner von JMP aus. Der Hollywood Movies-Datensatz gibt Auskunft über die Rentabilität einer Auswahl von Filmen aus dem Jahr 2011. Unser Ziel ist es, die Rentabilität eines Films anhand mehrerer Faktoren vorherzusagen: Verrottete Tomaten Score, Audience Score, Lead Studio (insgesamt 33 verschiedene Studios) und Genre (Romanze, Horror, Comedy usw.). Es ist sehr unwahrscheinlich, dass sich alle diese Prädiktoren tatsächlich auf die Rentabilität auswirken. Daher möchten wir eine variable Auswahl treffen. Und wir sollten uns Sorgen machen, dass der Audience Score und der Rotten Tomatoes Score in hohem Maße korrelieren, da das Publikum eher mit Kritikern übereinstimmt. Das Elastic Net ist daher die perfekte Wahl für die Anpassung dieser Daten, da es korrelierte Prädiktoren verarbeitet und eine variable Auswahl vornimmt. Meine Frau und ich gehen gerne ins Kino und überprüfen oft die Ergebnisse von Rotten Tomatoes, bevor wir einen Film auswählen. Dies ist einer meiner Lieblingsdatensätze, um JMP vorzuführen.
Um zur Plattform für generalisierte Regression zu gelangen, starten wir Fit Model und wählen im Menü Personality die Option Generalized Regression (siehe Abbildung 1). Nachdem wir unsere Spalten angegeben und den Startdialog abgeschlossen haben, wählen wir die Schätz- und Validierungsmethoden wie in Abbildung 2 aus. Wir bleiben bei den Standardeinstellungen: Elastic Net mit BIC-Validierung.
Abbildung 1: Starten der generalisierten Plattform
Abbildung 2: Dialogfeld "Modellstart"
Abbildung 3 zeigt einen Teil des Berichts "Generalisierte Regression", wobei die Parameterschätzungstabelle so sortiert ist, dass die Koeffizienten ungleich Null leichter erkannt werden können. Das Lösungspfaddiagramm gibt Auskunft darüber, wie verschiedene Variablen in das Regressionsmodell eingegeben wurden. Jede Linie im Pfad stellt eine Variable in unserem Modell dar. Mit abnehmender Strafe (Bewegung von links nach rechts in der Grafik) gelangen immer mehr Variablen in das Modell.
Der Parameter Estimates-Bericht zeigt, dass in unserem endgültigen Modell nur drei Prädiktoren Koeffizienten ungleich Null haben. Anscheinend war es ein schlechtes Jahr für Dramen und ein gutes Jahr für Filme, die von Sony veröffentlicht wurden. Und Filme, die bei den Kritikern beliebt waren, tendierten dazu, rentabler zu sein, was wir wahrscheinlich erwarten würden. Wir haben mit ungefähr 40 Begriffen in unserem Modell begonnen und es auf nur drei eingegrenzt. Dies lässt uns ein Modell erhalten, das leicht zu interpretieren ist und das sich gut für neue Beobachtungen vorhersagen lässt.
Abbildung 3: Teilbericht für das Hollywood-Filmbeispiel
Ich freue mich sehr über die Generalized Regression-Plattform in JMP 11. Die Variablenauswahl ist eines der wichtigsten Probleme in der Statistik, und jetzt verfügt JMP Pro über leistungsfähigere Tools, um dieses Problem anzugehen. Und haben Sie in Abbildung 1 bemerkt, dass wir die Gamma-Verteilung gewählt haben? Wie der Name der Plattform andeutet, können wir mit der Generalized Regression-Plattform generalisierte lineare Modelle anpassen. Das bedeutet, dass wir die Variablenauswahl auch dann durchführen können, wenn die Antwortvariable nicht normal verteilt ist. Für das Beispiel mit den Filmdaten ist die Gamma-Verteilung eine gute Wahl, da wir von der Rentabilität eine verzerrte Verteilung erwarten würden. Die Generalized Regression-Plattform unterstützt eine Vielzahl von Verteilungen für die Antwort: Normal, Binomial (logistische Regression), Poisson, negatives Binomial und mehr. Wenn Sie das nächste Mal eine Variable auswählen müssen, probieren Sie das elastische Netz oder das Lasso auf der Plattform für generalisierte Regression aus.
