Bootstrap-Iterationen sind alle identisch?Re: Bootstrap-Iterationen sind alle identisch?Vielen Dank für die Untersuchung und Antwort! Ich werde die Arbeit für diese zugegebenermaßen eher esoterische analytische Sequenz verwenden. - DH
Re: Bootstrap-Iterationen sind alle identisch?Nach einigen Untersuchungen der JMP-Entwicklung scheint es einen Fehler für den Fall zu geben, wenn die KFold-Validierungssätze erstellt werden und das Bootstrapping im selben Generalized Regression-Bericht durchgeführt wird. Der für die Erstellung des Validierungssatzes verwendete Zufallsstartwert wird nicht für jede Bootstrap-Iteration ordnungsgemäß zurückgesetzt. Dieser Fehler sollte rechtzeitig für JMP14 behoben werden.
In der Zwischenzeit ist hier ein Workaround. Sie können Ihr Modell in der Generalized Regression wie zuvor mit KFold Cross Validation anpassen und dann die Validierungssätze speichern (Spalten speichern> Validierungsspalte speichern). Starten Sie dann Fit Model erneut, klicken Sie auf Recall und verwenden Sie die Validierungsspalte, die Sie in der Validierungsrolle gespeichert haben. Führen Sie das neue Modell aus. Wenn Sie von diesem neuen Bericht aus booten, sollten Sie den Fehler umgehen.
Hoffentlich hilft das. Lassen Sie uns wissen, wenn Sie weitere Fragen haben.
-Michael
Re: Bootstrap-Iterationen sind alle identisch?Ich sehe in Nicardipine kein Generalized Regression-Skript, aber ich glaube, ich bin dem, was Sie sehen, ziemlich nahe gekommen und habe sehr ähnliche Ergebnisse in mehreren (den meisten?) Bootstrap-Beispielen, wenn Sie dieses Skript ausführen.
dt=open("$SAMPLE_DATA\Nicardipine.jmp");
foo=dt<<FIT model=""></FIT>
Durch die Einstellung von Bruchgewichten (0) anstelle von (1) oben scheint es besser zu sein.
Wir schauen uns das immer noch an und werden berichten, wenn wir mehr wissen.
Re: Bootstrap-Iterationen sind alle identisch?Führen Sie das im Nicardipine-Datensatz gespeicherte Skript aus. Starten Sie dann die Parameterschätzungen in der Ausgabetabelle. Ich wählte fraktionelle Gewichtungen (logistische Regression und kleine Datenmenge) und deaktivierte die Spalte "Ausgewählte Spalte aufteilen" und "Abgeworfene gestapelte Tabelle, wenn Split funktioniert"
* Hinweis * Dies ist eine sehr umständliche Demonstration, da nur wenige Variablen tatsächlich zum Modell beitragen, aber dasselbe Verhalten zeigen, das ich in meinem eigenen Datensatz sehe.
Re: Bootstrap-Iterationen sind alle identisch?
@dherring_wakehe schrieb:
Ja, ich kann. Ich verwendete den Nicardipin-Datensatz und versuchte, Sex als Funktion von ~ 10 kontinuierlichen Prädiktorvariablen zu modellieren. Das Problem scheint mit der Verwendung der Kreuzvalidierung als Validierungsmethode verknüpft zu sein. Sowohl beim Adaptive Elastic Net als auch beim Adaptive Lasso bei der CF-Validierung ...
Ich fürchte, ich kann es mit dieser Info nicht reproduzieren.
- Welche Prädiktoren verwenden Sie genau?
- Ich verstehe "CF-Validierung" nicht. Meinst du k-fach?
- Können Sie Ihre Iterationstabelle posten?
Re: Bootstrap-Iterationen sind alle identisch?Ja, ich kann. Ich verwendete den Nicardipin-Datensatz und versuchte, Sex als Funktion von ~ 10 kontinuierlichen Prädiktorvariablen zu modellieren. Das Problem scheint mit der Verwendung der Kreuzvalidierung als Validierungsmethode verknüpft zu sein. Sowohl beim Adaptive Elastic Net als auch beim Adaptive Lasso erhalte ich identische Ergebnisse für die Boot-Iterationen 1 bis n, wenn ich die CF-Validierung verwende und dann versuche, die Parameterschätzer zu booten. (Boot 0 ist anders). Ich habe versucht, eine stetige Variable auf die gleiche Weise zu modellieren und fand heraus, dass die ersten Iterationen unterschiedlich waren, aber schließlich lieferten alle Boot-Iterationen identische Ergebnisse. Fast scheint sich eine Lösung zu nähern und ändert sich dann nie. Wenn ich AIC als Validierungsmethode verwende, sieht es so aus, als würde Bootstrap gut funktionieren.
Re: Bootstrap-Iterationen sind alle identisch?Ich habe Probleme, dies in JMP Pro 13.0.0 auf einem 64-Bit-Windows-Computer zu reproduzieren.
Sehen Sie das für viele verschiedene Datentabellen? Können Sie dieses Verhalten in einer der Tabellen in JMP-Beispieldaten reproduzieren?
Vielen Dank,
Michael
Re: Bootstrap-Iterationen sind alle identisch?JMP Pro 13.0.0 (64 Bit)
verschiedene Plattformen, einschließlich der allgemeinen Regression
wählte keinen Samen
Ich habe auch bemerkt, dass, wenn ich eine Analyse mit einer stocastischen Funktion wie Cross-Fold-Validierung oder Bootstrapping starte, die erste Analyse gut aussieht, eine Redo-Analyse etwas unterschiedlich ist, und danach jedes identische Ergebnis erzielt zur zweiten Analyse. In beiden Fällen sieht es so aus, als würde etwas nicht zurückgesetzt werden, um eine wirklich zufällige Ausführung zu ermöglichen, egal ob Bootstrapping oder Cross-Fold-Validierung.
Re: Bootstrap-Iterationen sind alle identisch?Hallo,
Bitte geben Sie weitere Informationen zu der Situation an, in der identische Ergebnisse für alle Bootstrap-Iterationen angezeigt werden:
- Welche JMP-Version und welche Plattform verwenden Sie?
- Welchen Teil des Berichts haben Sie versucht zu booten?
- Haben Sie im Fenster "Bootstrapping-Optionen" einen zufälligen Startwert festgelegt?
Vielen Dank,
Michael
