Parametervarianz der partiellen kleinsten QuadrateHoffentlich macht diese Frage Sinn. Ich mache eine logistische Regression mit N = 2000 Beobachtungen und p = 160 Kovariaten. Es gibt eine offensichtliche Korrelationsstruktur in der Entwurfsmatrix, und ich kann sehen, dass ich einfach die VIFs anschaue, wenn ich die einfache logistische Regression mache. Ich habe dann PLS gemacht und einen anderen Satz von Koeffizienten erhalten, obwohl es immer noch 160 gibt, da PLS keine variable Reduktion durchführt. Gibt es einen Platz im PLS-Bericht, um die Abweichungen des neuen Koeffizientensatzes herauszufinden, um zu sehen, dass sie reduziert werden? Ist es sinnvoll, dass ich mir diese anschauen möchte, da ich vielleicht Voreingenommenheit gegen Abweichungen handele.
Re: Partielle Parametervarianz der kleinsten QuadrateDanke Peter,
Was mich stört, ist der große Unterschied in den Modellen, wenn adaptives Lasso ausgewählt wird. Sie können im adaptiven Modell sehen, dass der Wert für Scaled-LogLikelihood kein genau definiertes Minimum hat. Ein weiteres Problem ist, dass Sie Y = 0 modelliert haben und 59 Ausdrücke im Modell erhalten. Wenn Sie Y = 1 anvisieren, erhalten Sie ein völlig anderes Modell mit 71 Begriffen. Ich verstehe das nicht Ohne das adaptive Set ist es egal, ob ich 0 oder 1 anvisiere, die Modelle sind gleich, außer dass die Ausdrücke unterschiedliche Vorzeichen haben. Da ich die adaptiven Ergebnisse als schwer verständlich empfinde oder meinen Kunden erkläre, bleibe ich bei Vanille-Lasso.
Mit Vanille-Lasso können wir eine angemessene Leistung in den Verwirrungsmatrizen mit einer Schwelle von 0,122 erreichen. Ich sage vernünftig in dem Sinne, dass die erforderliche Sensitivität und Spezifität vielleicht erfüllt werden.
Das heißt, wir haben immer noch die Frage, ob wir überhaupt eine Regularisierung machen müssen. Selbst die logistische Regression der Vanille führt dazu, dass die beiden AUCs etwas dichter sind. Aber wir möchten LR nicht verwenden, weil wir wissen, dass es eine ernsthafte Korrelation gibt. Ohne signifikante Anzeichen von Überanpassung würde ich zu PLS wechseln, um nur das Korrelationsproblem zu lösen. Da JMP das Ziel jedoch als kontinuierlich modelliert, werden nicht alle ROC-, AUC- und Konfusionsmatrizen im Bericht angezeigt. Ich kann sie durch Anwenden des Logits auf den linearen Prädiktor erhalten, und ich denke, das ist legitim ... und kehrt zu meiner ursprünglichen Frage zurück, wie PLS-Ergebnisse für den Modellvergleich behandelt werden sollen, wenn die anderen Modelle streng auf der Logit-Transformation des Moduls basieren lineare Prädiktoren.
Übrigens, ich schätze es sehr, dass Sie sich mit diesen Fragen befasst haben, denn mein eigenes tiefes Verständnis davon, was zum Teufel ich mache, ist für mich sehr wichtig.
Ich habe die gleiche Datentabelle mit einigen weiteren Modellen hinzugefügt.
Re: Partielle Parametervarianz der kleinsten QuadrateEine häufig verwendete Methode zur Überprüfung auf Überanpassung, wenn Sie genügend Beobachtungen haben, besteht darin, den ursprünglichen Datensatz in eine Trainings-, Validierungs- und optional Testgruppierung zu unterteilen, indem Sie die Teilplattform "Validierung erstellen" in der Sammlung "Predictive Modeling" verwenden. Für Klassifizierungsprobleme ist es am besten, eine geschichtete Stichprobe für das Y zu erstellen, damit in jeder Trainings-, Validierungs- und optionalen Testgruppe gleiche Anteile aller Antwortebenen vorhanden sind. Sie haben ein ziemlich beträchtliches Ungleichgewicht zwischen den Stufen 1 und 0 für Ihre Antwort. Vielleicht möchten Sie ein paar Szenarien ausprobieren, bei denen die Balance näher bei 50/50 liegt? Wenn Sie das Modell angepasst haben, prüfen Sie die ROC-Kurven für jede Gruppierung. Wenn die mit jeder Gruppierung verknüpften AUCs ziemlich nahe beieinander liegen, gibt es keine Beweise für eine Überanpassung. Überprüfen Sie auch die Verwirrungsmatrizen ... Ich bin etwas alarmiert über die Ergebnisse, die ich mit den Trainings- / Validierungssätzen erhalten habe, die ich in Ihrer ursprünglichen Datentabelle erstellt habe ... das Modell macht einen ziemlich schlechten Job, da die tatsächlichen 1 als 0 falsch klassifiziert werden target = 0, egal welche Modellierungsmethode ich verwendet habe. In der beigefügten Datentabelle finden Sie die drei verschiedenen Analyseskripts ... logistic, Gen Reg / Lasso und Neural Net. Wenn dies aus praktischer Sicht problematisch ist, passt Ihr Modell überhaupt nicht gut. Vergessen Sie die Überanpassung. Es ist nur ein schlechter Klassifikator.
Re: Partielle Parametervarianz der kleinsten QuadrateDanke Peter,
In meinem Fall dreht sich wirklich alles um die Korrelationsstruktur der Prädiktoren. Ich bin nicht überzeugt, dass eine variable Reduktion in meiner Bewerbung gerechtfertigt ist. Das ist eine Frage, die ich noch nicht beantwortet habe, und ich suche nach einer definitiven Methode, um zu testen, ob eine Überanpassung vorliegt, selbst wenn ich alle meine Prädiktoren verwende. Ich habe N = 1839 Beobachtungen mit p = 148 Kovariaten. Ich habe den Tisch beigelegt. Wenn wir nur die reguläre Regression verwenden (die Nennleistung als kontinuierlich behandeln), können wir feststellen, dass es sehr viele VIFs gibt. Wir wissen also, dass wir auch bei der logistischen Regression ein Problem haben werden. Wir haben zwar Korrelationsprobleme, aber vielleicht kein überanpassendes Problem. Deshalb ging ich mit PLS. Wenn Sie die Variablen in einem Cluster zusammenfassen, erhalten Sie nur 35 Cluster, was darauf hindeutet, dass es in den 148 Kovariaten nur etwa 35 informative Merkmale gibt. Warum sollten Sie sich also darauf konzentrieren, diese zu eliminieren, anstatt nur eine für die Korrelation robuste Methode zu verwenden.
Wenn ich eine logistische Regression durchführe, erhalte ich eine AUC von nur 0,815. Selbst wenn ich alle Kovariaten verwendet habe, ist das nicht perfekt für mich. Ist die AUC <1 eine legitime Methode, um zu behaupten, dass es nicht um Überanpassung geht?
Ich freue mich über Ihre Gedanken.
Re: Partielle Parametervarianz der kleinsten QuadrateGen:
Ihre Fragen sind sinnvoll ... aber kann ich einen Alternativgedanken anbieten? Wenn die variable Reduktion der Schlüssel zu Ihrem praktischen Problem ist, haben Sie in Erwägung gezogen, entweder die Lasso- oder die Elastic-Net-Unterpersönlichkeit der Persönlichkeit / Plattform Fit Model -> Generalized Regression zu verwenden? Diese Techniken eignen sich für die Multikollinearität zwischen den Prädiktoren ... Sie müssen jedoch auch einige wichtige Merkmale berücksichtigen, die in der JMP-Dokumentation erläutert werden. Beide können mit einer kategorialen Antwort verwendet werden ... und die Konfidenzintervalle für die endgültige Parameterschätzung werden zusammen mit der Tabelle der Parameterschätzungen angegeben.
