Gibt es ein Äquivalent zur Multikollinearität für kategoriale Variablen in JMP?Ich versuche, ein prädiktives Regressionsmodell zu erstellen, um den Wert einer kontinuierlichen Variable vorherzusagen. Multikollinearität ist mir zwar nicht so wichtig, da ich rein auf Vorhersagen aus bin, aber ich habe eine große Anzahl kategorialer Variablen (über 20) erfasst (zusammen mit über 20 kontinuierlichen Variablen) und möchte eine Merkmalsauswahl/Variablenreduktion durchführen, um die Daten nicht zu überanpassen. Ich frage mich, ob es in JMP eine gute Möglichkeit gibt, die Variablenreduktion für kategoriale Variablen durchzuführen oder solche zu finden, die möglicherweise korreliert sind. Ich habe kein bestimmtes Modell im Sinn und werde JMP PRO verwenden.
Prädiktive Modellierung und maschinelles LernenBetreff: Gibt es ein Äquivalent zur Multikollinearität für kategoriale Variablen in JMP?Hallo @mjz5448 ,
Ich sehe in Ihren Fragen zwei Punkte:
- Wie bewertet man Multikollinearität bei der Modellierung kategorialer Variablen?
Sie können die Multikollinearität kontinuierlicher und kategorialer Variablen in Ihrem Modell beurteilen, indem Sie VIF-Werte in den Parameterschätzungen für ursprüngliche Prädiktoren anzeigen (Rechtsklick auf die Tabelle, dann „Spalten“ und „VIF“). Hohe VIF -Werte weisen auf ein Kollinearitätsproblem zwischen den Termen im Modell hin. In der Spalte „Singularitätsdetails“ finden Sie außerdem Informationen zur Singularität, falls einige Terme linear voneinander abhängig sind, sowie den Hinweis „Verzerrt“ und/oder „Null“ vor den Parameterschätzungen:
Weitere Informationen finden Sie hier: Modelle mit linearen Abhängigkeiten zwischen Modelltermen
- Wie wähle ich Funktionen aus/reduziere Variablen?
Wenn Sie eine Merkmalsauswahl/Variablenreduzierung durchführen möchten, stehen Ihnen je nach den von Ihnen verwendeten Modelltypen möglicherweise mehrere Optionen zur Verfügung:- Für multivariate verallgemeinerte lineare Regressionsmodelle können Sie die Pruned Forward-Selektion verwenden. Wenn Multikollinearität wichtig ist, können Sie Schätzmethoden mit Penalisierungen wie Lasso ausprobieren. Diese führen die Variablenauswahl durch, indem sie Schätzungen bei 0 für korrelierte Variablen erzwingen. Ein weniger aggressiver Ansatz wäre die Elastic Net-Schätzung, die Lasso- und Ridge-Penalisierungen kombiniert.
- Zufälliger Wald könnte auch allein oder als Option zur Prädiktor-Screening-Funktion interessant sein, indem Funktionsbedeutungen (Beitrag der Spalten) verwendet werden, um die wichtigsten/aktivsten Features zu identifizieren.
- Sie können auch versuchen, das Add-In „Predictor Selection Assistant“ zu verwenden, das bei der Auswahl von Variablen auf Grundlage einer aktualisierten Version des Predictor Screening hilft, das die Boruta Feature-Auswahlmethode und Rendom Forest verwendet:
- Sie können auch die verschiedenen oben genannten Modellierungsansätze (und mehr) kombinieren und die erhaltenen Modelle vergleichen, um zu sehen, welche Begriffe enthalten sind und wie ähnlich/unterschiedlich die Modelle sind.
Hoffe, diese Antwort könnte Ihnen helfen,
Betreff: Gibt es ein Äquivalent zur Multikollinearität für kategoriale Variablen in JMP?Danke, Victor! Das ist genau das, wonach ich gesucht habe.
Gibt es Überlegungen zu den Schritten zur Reduzierung eines Modells:
- Sollten Sie zuerst korrelierte Variablen entfernen/eine Dimensionsreduzierung durchführen, bevor Sie mit LASSO/Ridge fortfahren?
- Oder sollten wir beides tun – Variablen reduzieren und dann zu LASSO/Ridge wechseln sowie alle Funktionen nutzen und LASSO/Ridge ausführen und vergleichen, welches das beste RASE für Validierungsdaten hat?
Betreff: Gibt es ein Äquivalent zur Multikollinearität für kategoriale Variablen in JMP?Hallo @mjz5448 ,
Ich möchte nur einige Erklärungen zu den Unterschieden zwischen LASSO und Ridge geben (Elastic Net ist eine Mischung aus LASSO- und Ridge-Strafmaßnahmen):
- LASSO kann die Koeffizienten für uninteressante Merkmale auf Null setzen. Das bedeutet, dass das Modell eine automatische Merkmalsauswahl durchführt, um selbstständig zu entscheiden, welche Merkmale aufgenommen werden sollen und welche nicht. Diese Eigenschaft reduziert die Komplexität des Modells (und trägt so zur Vermeidung von Überanpassung bei). Allerdings werden die Koeffizienten durch diese Bestrafung (Verkleinerung der Koeffizienten) verzerrt, und die LASSO-Regression kann instabil sein, wenn sie mit Daten mit korrelierten Merkmalen trainiert wird: Ein Merkmal wird willkürlich ausgewählt, und alle anderen Merkmale, die stark mit diesem Merkmal korreliert sind, werden effektiv aus dem Modell entfernt. Dies kann zu der fälschlichen Schlussfolgerung führen, dass nur das ausgewählte Merkmal wichtig ist, während in Wirklichkeit einige der anderen Merkmale genauso wichtig oder sogar noch wichtiger sein können.
LASSO ist robust gegenüber Ausreißern und tendiert dazu, am effektivsten zu sein, wenn es neben vielen anderen Variablen mit kleinen oder keinen Auswirkungen eine kleine Teilmenge von Variablen mit starker Auswirkung auf die Antwort gibt.
- Ridge ermöglicht die Minimierung von Koeffizienten für korrelierte Merkmale (nahe 0, aber nicht 0). Diese Eigenschaft ermöglicht die Anwendung der Ridge-Regression auf Datensätze mit vielen korrelierten Merkmalen, da der negative Einfluss korrelierter Merkmale minimiert und Überanpassung reduziert wird. Durch die Einführung einer Bestrafung erhalten Sie zudem verzerrte Koeffizientenschätzungen.
Ridge ermöglicht die Berücksichtigung aller Merkmale und ist tendenziell am effektivsten, wenn eine große Anzahl von Variablen mit großen und vergleichbaren Auswirkungen vorhanden ist.
- Elastic Net kombiniert beide Bestrafungsmethoden, sodass einige Koeffizienten auf 0 reduziert und andere minimiert werden. Dies kann ein guter Kompromiss für die Merkmalsauswahl und die Verarbeitung korrelierter Merkmale mit ähnlicher Bedeutung für die Antwort sein.
Weitere Informationen zu verallgemeinerten (und bestraften) Regressionsmodellen finden Sie in diesem Mastering: Verwenden der verallgemeinerten Regression in JMP® Pro zum Erstellen robuster linearer Modelle
Für die Merkmalsauswahl empfehle ich dringend, sich die Merkmalswichtigkeiten eines Random Forest anzusehen, da dieses Modell keine umfangreiche Feinabstimmung erfordert, mit korrelierten Merkmalen umgehen kann und nicht empfindlich auf Überanpassung reagiert, sodass es einen guten Benchmark-Vergleich ermöglichen kann.
Ich bin mir nicht ganz sicher, was Ihr Ziel mit diesem Modell ist, da Sie Validierungsdaten erwähnen: Systemverständnis (erklärendes Ziel) oder prädiktives Ziel?
Handelt es sich um Validierungsdaten (die zur Modelloptimierung (Feinabstimmung der Hyperparameter, Auswahl von Merkmalen/Schwellenwerten usw.) und Modellauswahl verwendet werden) oder um Testdaten (die zur Generalisierung und prädiktiven Leistungsbewertung des ausgewählten Modells anhand neuer/ungesehener Daten verwendet werden)?
- Im ersten Fall (Validierungsdaten) könnten Sie versuchen, diese Validierungsdaten als Ihre Validierungsmethode im Startfenster „Verallgemeinerte Regression“ zu verwenden, um sicherzustellen, dass die Bestrafung für Ihren Datensatz richtig eingestellt und behoben ist, und die verschiedenen Modelle anhand dieser Validierungsdaten vergleichen: bestrafte Regressionsmethoden, Random Forest usw.
- Im zweiten Fall (Testdaten) empfehle ich, diesen Datensatz erst zu verwenden, nachdem Sie die Modelle verglichen und das vielversprechendste ausgewählt haben. Abhängig von Ihrem Hauptziel (Systemverständnis oder Vorhersage) und der Methode zur Validierung Ihres Modells (Informationskriterium wie AICc oder BIC oder K-Folds/Holdback/Leave-One-Out-Validierung, wenn Sie an der Vorhersageleistung interessiert sind) können Sie eine geeignete Validierungsmethode wählen und die Modellergebnisse anhand Ihrer Trainings-/Validierungsdaten vergleichen, um das interessanteste Modell auszuwählen. Nach der Auswahl können Sie dessen Generalisierung und Vorhersageleistung anhand des Testdatensatzes (unsichtbare Daten) bestätigen.
Hoffe, diese Antwort wird Ihnen helfen,
