Parameterschätzungen in der logistischen Regression<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />Ich habe drei Datensätze mit jeweils 20 Millionen Punkten simuliert, um LR mit binären Antwortvariablen mit sehr seltenen Ereignissen zu testen:
1) Zwei kontinuierliche Effekte: Beta0=12, Beta1=1 und Beta2=1. X1 ist Normal (-0,8, 0,25) und X2 ist -ABS[Normal (0,5)]. (Jede der beiden Variablen erhöht die Wahrscheinlichkeit des Ereignisses, abhängig vom Wert der Variablen.) In diesem Fall gibt es etwa 711.000 positive Ereignisse in 20 Millionen Stichproben. Beim Ausführen von LR erhalte ich ziemlich gute Schätzungen der drei Betas: b 0 = 12.003, b 1 =1,005, b 2 =0,99996. RQuadrat(U)=0,623, AICc=2.314.760 und BIC=2.314.804. Die ROC-AUC = 0,97835.
2) Der zweite Datensatz hat einen kontinuierlichen und einen kategorialen Effekt. Für diese Daten ersetze ich die zweite kontinuierliche Variable im ersten Datensatz durch eine binäre Variable, die mit einer Wahrscheinlichkeit von 0,05 und einem Beta2 = -2 auftritt. Diese Daten enthalten nur 394 Ereignisse in insgesamt 20 Millionen Proben. Beim Ausführen von LR lauten die Schätzungen: b 0 = 11,0988, b 1 =1,184, b 2 =-1,01. RQuadrat(U)=0,0283, AICc=9.068 und BIC=9.112. Der ROC mit AUC = 0,68. Während also die Schätzungen von Beta0 und Beta1 vernünftig sind, scheint die Schätzung von Beta2 für die nominale Variable die Hälfte des wahren Werts zu sein .
3) Um den dritten Datensatz zu generieren, verwende ich beide Effekte als binomial generierte binäre Variablen. Ich ersetze eine kontinuierliche Variable im ersten Datensatz durch eine binäre Variable, die mit einer Wahrscheinlichkeit von 0,05 und einem Beta2 = -2 auftritt. Ich ersetze die zweite kontinuierliche Variable durch eine andere binomial generierte Zufallsvariable mit Wahrscheinlichkeit 0,1 und Beta = -1. Diese Daten enthalten nur 165 Ereignisse in insgesamt 20 Millionen Proben. Beim Ausführen von LR sind die geschätzten Parameterwerte: b 0 = 10,582, b 1 = - 1,14, b 2 = - 0,512. RQuadrat(U)=0,0384, AICc=4.038 und BIC=4.082. Die ROC-AUC = 0,6756. Während also die Beta0-Schätzung angemessen ist, scheinen die Schätzungen von Beta1 und Beta2 für beide nominalen Variablen die Hälfte des wahren Werts zu sein
Was fehlt mir hier? Warum sollten die Schätzungen der Koeffizienten kategorialer Variablen die Hälfte ihrer wahren Werte sein?
Meine nächsten Tests werden das Undersampling der Nicht-Ereignisse und die Anwendung der Undersampling-Korrektur auf Beta0 sein. Aber zuerst möchte ich die von LR in JMP generierten Schätzungen verstehen. Irgendwelche Vorschläge oder Klarstellungen würden sehr geschätzt.
Betreff: Parameterschätzungen in der logistischen RegressionWie es den kategorialen Faktor kodiert, ist das Problem, nicht die Art des Modells. Nicht, dass es -1 in der Liste gibt.
Probieren Sie die 1/0-Codierung aus
ranjan@mitre.org Apr 14, 2014 10:44 AM
I coded the nominal variables as 0/1 as you recommend and then did not use them, and applied the appropriate betas in the P calculation.
Ich weiß nicht, was das bedeutet ...
Sie können jederzeit versuchen, den technischen Support zu kontaktieren, wenn Sie hier keine Antwort erhalten. Sie haben Leute, die mit JMP besser vertraut sind.
Betreff: Parameterschätzungen in der logistischen RegressionReeza
Der von Ihnen gesendete Link gilt für Linear Model. Ich arbeite mit Logistischer Regression.
Betreff: Parameterschätzungen in der logistischen RegressionIch habe die nominalen Variablen wie von Ihnen empfohlen als 0/1 codiert und sie dann nicht verwendet und die entsprechenden Betas in der P-Berechnung angewendet. Jetzt sind die Schätzungen der drei Betas: 10,52, 0,9848 und 0,6534. Beta1 und Beta2, die den nominalen Variablen entsprechen, scheinen also immer noch etwa die Hälfte des wahren Werts zu sein, aber das Vorzeichen ist jetzt umgekehrt zu dem, was es sein sollte. Das wahre Beta1 von -2 wird auf 0,9848 geschätzt und das wahre Beta2 von -1 wird auf 0,6534 geschätzt. Ich hänge eine kurze Version der Datei an, wenn es hilft. (Wenn Sie Zeit haben, das LR in JMP auszuführen, muss die Datei ziemlich erweitert werden, um genügend Ereignisse zu erhalten. Ich verwende eine Datei mit 20 Millionen Zeilen.
Vielen Dank
Betreff: Parameterschätzungen in der logistischen Regressionhttp://www.jmp.com/support/help/The_Factor_Models.shtml#65535
Codieren Sie es als 0/1 und schließen Sie es nicht in den nominalen Effekt ein, um zu sehen, ob Sie die gewünschten Ergebnisse erzielen.
Unter dem obigen Link erfahren Sie, wie JMP nominale Variablen kategorisiert.
Betreff: Parameterschätzungen in der logistischen RegressionIch kodiere die nominale Variable als 0 und den Beta-Wert und verwende dann diese Werte (was sie zufällig bei jedem Eintrag sind) in der P(event)-Berechnung durch den logistischen Ausdruck (1/(1+exp(beta0+Beta1+Beta2 ))). Ich bin davon ausgegangen, dass der Eintrag in der Effektspalte nur als 'Label' verwendet wird, wenn diese Spalte als Nominaleffekt bezeichnet wird. Schlagen Sie vor, dass der in die Spalte eingegebene Wert irgendwie verwendet wird, wenn 0/1 und 1/2 einen Unterschied machen?
Betreff: Parameterschätzungen in der logistischen RegressionIch bin mit JMP nicht so vertraut, aber hier sind einige Gründe, warum es in SAS passiert
1. Überprüfen Sie, wie Sie Ihre binäre Variable (0/1) anders als 1/2 codiert haben
2. Wenn Sie eine Art automatischer Kategorien verwendet haben, prüfen Sie, wie sie parametrisiert sind, dh Effektcodierung oder Referenzcodierung.
