PLS-Plattform wird ohne Validierung umgerüstet + Wie wird der Bootstrap verwendet?Hallo,
1) Ich mache eine PLS, ich habe 42 Beobachtungen. Die Anzahl der möglichen Prädiktoren reicht von 24 bis 79 bis 240, je nachdem, wie viele Variablen ich vorwähle. Mein Y ist kategorisch, entweder 2 oder 3. Nach dem Ausführen des Plattformstarts komme ich zum NIPALS / SIMPLS-Teil, und unabhängig davon, welche Art von Validierung ich verwende (Kfold, Leave on, e Holdout) oder wie viele Faktoren ich wähle - ich bekomme immer den Fehler - "hat das beste Modell 0 Faktoren, ohne Validierung umrüsten ".Irgendwelche Vorschläge, was ich tun kann, um das herauszufinden? Ich möchte wirklich PLS verwenden, aber das Modellieren ohne Validierung ist einfach überpassend ...
2) Sobald das Ergebnis erhalten ist, habe ich die Vorhersageformel. Was wäre das Verfahren, um es zu booten? Ich bin sehr unsicher, wie die Ergebnisse gebootet werden sollen. Ich wünschte, JMP würde das Bootstrapping bereits in den Validierungsprozess einführen. Ich gehe davon aus, dass ich die Bootstrap-Koeffizienten mitteln müsste, aber diese Tabelle erneut booten würde, das gesamte Modell inkl. k-fache Validierung (falls es funktioniert hat)? Wenn ja, sollte ich die zentrierten und skalierten Daten oder die ursprünglichen Koeffizienten verwenden? Ich müsste die Ergebnisse manuell als Formel eingeben, daher gehe ich davon aus, dass ich die ursprünglichen Koeffizienten booten sollte, aber würde dies das Modell unter Verwendung der zentrierten skalierten Daten ausführen und die ursprünglichen Koeffizienten bereitstellen oder das Modell unter Verwendung der ursprünglichen Koeffizienten ausführen ? Das gesamte Verfahren ist mir aus Prozesssicht ziemlich unklar, dh was Schritt für Schritt geschieht, um das gewünschte Ergebnis zu erzielen; Jede Hilfe / Einsicht wäre dankbar!
Vielen Dank,
Uriel.
AnalytikBetreff: PLS-Plattform wird ohne Validierung umgerüstet + Wie wird der Bootstrap verwendet?Hallo @utkcito ,
Zunächst einmal ist PLS möglicherweise nicht die beste Plattform für Ihre Daten. Es ist möglicherweise besser, dies als GenReg oder Stepwise auszuführen, um festzustellen, welche Prädiktoren in Ihrem Modell tatsächlich wichtig sind. Ich finde es sehr seltsam, dass Ihre Anzahl von Prädiktoren zwischen 24 und 240 liegt. Bei so wenigen Beobachtungen in Bezug auf Ihre mögliche Anzahl von Prädiktoren sollten Sie wirklich ein Prädiktor-Screening durchführen, um sicherzustellen, dass Sie nicht zu viele unnötige Faktoren in Ihr Modell einfügen. PLS kann damit umgehen, aber die Prädiktoren müssen sich auch mit der Antwort abfinden, sonst erhalten Sie diesen Fehler - was bedeutet, dass es keine linearen Kombinationen Ihrer Prädiktoren gibt, die die Variation Ihrer Antwort erklären. Wenn Sie jedoch PLS verwenden müssen und keine andere Option haben, sollten Sie Ihre Antwort von kategorial (2 oder 3) auf ordinal (2 oder 3) ändern. Möglicherweise kann eine bessere numerische Lösung gefunden werden. Ich empfehle auch sehr, die Autovalidierung Ansatz, um Ihre große Liste von Prädiktoren zu überprüfen.
Zweitens, wenn JMP eine Anpassung durchführt, glaube ich, dass im Hintergrund immer zentrierte und skalierte Daten verwendet werden, um bessere Werte der Schätzungen zu erhalten, und berechnet dann die tatsächlichen Schätzungen zurück. Es spielt also keine Rolle, was Sie am Ende booten, aber es ist möglicherweise sinnvoller oder einfacher, die tatsächlichen geschätzten Bootstraps zu interpretieren, als die zentrierten und skalierten Daten. Und ja, beim Bootstrapping der Schätzungen wird die Anpassung mit der von Ihnen durchgeführten Validierung erneut ausgeführt.
Zum Booten der Schätzungen klicken Sie mit der rechten Maustaste auf die Spaltenschätzungen im JMP-Bericht und wählen dann Bootstrap aus. Wenn es schnell ist, geben Sie vielleicht 5000 ein, aber wenn es langsam ist, lassen Sie es bei 2500. Stellen Sie sicher, dass das Kontrollkästchen "Bruchgewichte" aktiviert ist. Die Anpassung wird mehrmals wiederholt, und Sie erhalten dann eine Werteverteilung für jeden Koeffizienten der Prädiktoren (führen Sie einfach das Skript "Verteilung" in der Ausgabedatentabelle aus. Mit der angezeigten Verteilung und Statistik können Sie dann mit der rechten Maustaste auf die Zusammenfassungsstatistik klicken und "In kombinierte Datentabelle erstellen" auswählen. Stellen Sie sicher, dass Sie auch die Zusammenfassungsstatistik so anpassen, dass der Anteil ungleich Null angezeigt wird.
Die kombinierte Datentabelle enthält den Mittelwert und den Anteil ungleich Null für Ihre Schätzungen. Dort können Sie sehen, wie hoch der Mittelwert (typischer Wert) ist und wie oft (prozentual) diese Schätzung ungleich Null ist. Wenn diese Zahl klein ist, ist die Schätzung häufig Null. Wenn es groß ist, ist es meistens ungleich Null. Auf diese Weise können Sie feststellen, welche Begriffe und gemischten Begriffe Sie in Ihrem Modell benötigen oder nicht benötigen.
Hoffe das hilft,
DS
Betreff: PLS-Plattform wird ohne Validierung umgerüstet + Wie wird der Bootstrap verwendet?Hallo DS,
1) Der Grund, warum ich 24 bis 237 Variablen habe, ist genau, weil es davon abhängt, wie viel Variablen ich auswähle. 24 ist nach dem Bootstrap-Wald, und dann kann ich die * 2-Fakultät machen. 237 ist der gesamte Satz von Zytokinen.
2) Prädiktoren müssen auch mit der Antwort übereinstimmen, sonst erhalten Sie diesen Fehler - was bedeutet, dass es keine linearen Kombinationen Ihrer Prädiktoren gibt, die die Variation Ihrer Antwort erklären. "Können Sie etwas mehr erklären? Ich dachte, dass die Kovarianz untereinander ist, dh sie sind multicolinear, und dass PLS diese Kovarianz zwischen den Variablen verwendet, indem es die Faktoren erzeugt, die dieser Ko-Varianz zugrunde liegen. Ich bin mir nicht sicher, ob ich verstehe, was du meinst, wenn du sagst, dass sie sich mit dem abfinden müssen Antwort . Ich habe Mühe zu glauben, dass von 24, 79 oder 237 Zytokinvariablen (sie sind tatsächlich der Mittelwert, der Median und der IQR von Längsmessungen) keine lineare Kombination eine Variation der Reaktion erklären kann (kritische Erkrankung auf der Intensivstation); Es wurde bereits festgestellt, dass sie dies in anderen Einstellungen tun, daher verstehe ich nicht, warum JMP das tut.
3) Vielen Dank für die Erklärung, wie Bootstrapping operationalisiert wird. Es ist viel sinnvoller und ich habe es versucht und es funktioniert. Ich bin immer wieder überrascht, wie wenig die formale Dokumentation von JMP hilft, wie wenig Details darüber, wie es funktioniert und wie es funktioniert, vorhanden sind und wie viel die Foren, Tutorials usw. tatsächlich helfen.
Danke vielmals!
Uriel.
Betreff: PLS-Plattform wird ohne Validierung umgerüstet + Wie wird der Bootstrap verwendet?Hallo @utkcito ,
Jetzt verstehe ich, was Sie ursprünglich mit "Bootstrap" gemeint haben - das Ausführen der Bootstrap-Plattform ist ein guter Ansatz, aber Sie möchten auch Vorhersagemodelle mit dem neuronalen Netz GenReg, verstärkten Bäumen ausführen und sogar das XGBoost-Add-In erhalten. in, um die verschiedenen Vorhersageformeln auf einem Validierungstestsatz zu vergleichen. Wenn Sie dies tun, sollten Sie sicher sein und Ihre Einstellungen so anpassen, dass Sie die beste Anpassung erhalten - die Standardanpassungen sind nicht immer so gut.
Eine schöne Sache am Baumansatz ist jedoch, dass es sich um einen aggregierten Ansatz handelt, bei dem viele verschiedene Entscheidungsbäume verwendet werden, um ein Modell zu erstellen. Wenn die Faktoren in ihrem Beitrag nicht sehr wichtig sind, werden sie automatisch nach unten gedrückt und zeigen keinen hohen Beitrag zum Gesamtmodell. Aufgrund des zufälligen Starts und des Entscheidungsprozesses sind die Ansätze für Bootstrap-Gesamtstruktur und verstärkte Bäume jedoch nicht besonders stabil. Wenn Sie dieselben Einstellungen viele hundert Mal ausführen, werden Sie feststellen, dass Sie tatsächlich leicht unterschiedliche Antworten und Formeln erhalten. Aus diesem Grund ist es gut, den "SS" oder "Teil" im Ausgabebericht (z. B. in der Bootstrap-Gesamtstruktur) zu booten, um eine bessere Schätzung der tatsächlichen Stärke dieses Faktors im Modell zu erhalten.
Davon abgesehen sollten Sie sicherstellen, dass Sie Kreuzvalidierungsmethoden verwenden, um sicherzustellen, dass Sie nicht überanpassen. Und mit einer relativ kurzen Datentabelle (nicht so viele Messungen) wird es schwierig sein, dies ohne einen Auslassungsansatz zu tun, es sei denn, Sie verwenden die in der vorherigen Antwort erwähnte Autovalidierungsmethode. Eine K-fache Kreuzvalidierung könnte auch ein guter Ansatz für Sie sein.
Ich bin mir nicht sicher, wie Ihre Eingabedaten aussehen, aber es klingt fast so, als würde JMP "Funktionsdaten" nennen, wie Spektren oder andere Daten mit regelmäßigem Abstand, bei denen jede Wellenlänge (oder jeder x-Wert) mit ihrem Nachbarn korreliert. Möglicherweise möchten Sie den Funktionsdaten-Explorer verwenden, um eine bessere Teilmenge von Prädiktoren zu generieren. PCA ist auch ein guter Ansatz, um die Dimensionalität Ihrer Prädiktoren zu verringern und einen kleineren Satz orthogonaler Vektoren zur Modellierung Ihrer Daten zu verwenden.
Zu Ihren Punkten:
1) Gibt es einen theoretischen (biologischen, chemischen, physikalischen) Grund, so viele verschiedene Kreuzterme aus dem * 2-Faktor-Ansatz aufzunehmen? Wenn Sie keinen theoretischen Grund haben, sie aufzunehmen, ist dies nicht sehr aussagekräftig und Sie könnten einen falschen Prädiktor einführen.
2) Auf der PLS-Plattform ist es wichtig, auch die kumulative Y-Antwort unter "Erklärte prozentuale Variation" im Bericht zu betrachten. Wenn die linearen Kombinationen Ihrer Prädiktoren nicht viel von der Antwort in Y erklären, ist Ihre erklärte prozentuale Variation ziemlich gering, was darauf hinweist, dass Ihre Prädiktoren als lineare Kombination aus der Erklärung der Variation in Y und einer anderen nicht besonders gute Arbeit leisten Plattform wird wahrscheinlich besser funktionieren. Bei so wenigen Antwortmessungen wird der Versuch, eine so große Anzahl von Prädiktoren anzupassen, wahrscheinlich zu einer Überanpassung führen, da Sie nicht über genügend Freiheitsgrade verfügen. Zusammen mit PLS sollten Sie die Faktoranalyseplattform unter Multivariate Analyse überprüfen. Ich denke, dass Ihre Zytokinvariablen zu viele sein könnten und Sie Ihre Freiheitsgrade verlieren. Stellen Sie sich vor, Sie haben zwei Punkte und passen eine Linie an oder drei und passen eine Parabel an - Sie erhalten eine perfekte Anpassung, da dies genau die Mindestanzahl von Punkten ist, die zum Anpassen dieser Polynome erforderlich sind. Sie verlieren jedoch Freiheitsgrade und können Fehler nicht mehr schätzen oder Passform. Ich denke, das passiert auf der PLS-Plattform.
3) Die Community-Seiten sind die besten. Ich überprüfe sie immer, insbesondere auf JSL-Skripte, wenn ich in JMP codiere. Fast immer gibt es einen Codeausschnitt, den jemand anderes gelöst hat und der genau das ist, was ich für meine Arbeit brauche. Ich gehe auch gerne die Fragen durch und sehe, womit ich helfen kann, besonders wenn ich etwas Neues lernen kann.
Viel Glück!,
DS
