Die jüngsten Diskussionen darüber, wie Standardfehler des Profilers zu interpretieren sind, haben nicht zu einer Lösung geführt, daher werde ich noch einmal damit beginnen – mit einem anderen Beispiel und etwas mehr Klarheit (hoffe ich) zu meiner Frage.Ich habe einen der berühmten Anscombe-Quartett-Datensätze angehängt – den, bei dem ein lineares Regressionsmodell geeignet ist.Ich habe ein multiples Regressionsmodell angepasst und den mittleren Vorhersagestandardfehler und den individuellen Vorhersagestandardfehler gespeichert – wie erwartet ist ersterer viel enger als letzterer.Ich habe auch den Profiler verwendet und die verpackten Vorhersagen gespeichert. Dies ergab einen Standardfehler für den verpackten Mittelwert (den ich als analog zum Standardfehler der mittleren Vorhersage aus dem Regressionsmodell interpretiere) und einen verpackten Standardwert (den ich als analog interpretiere). zum Standardfehler der individuellen Vorhersage aus der Regression).Wenn ich sage, dass ich diese als analog interpretiere, erkenne ich, dass die Standardfehler des Modells vom Regressionsmodell abgeleitet werden, während die eingesackten Standardfehler von einem nichtparametrischen Bootstrap abgeleitet werden (in diesem Fall mit 100 Bootstrap-Stichproben).
In diesem Fall (im Gegensatz zu meinem letzten Beispiel) liegen die einzelnen Standardfehler nahe beieinander, wenn auch bei den verpackten Vorhersagen etwas kleiner als bei den Modellvorhersagen.Der Standardfehler des gebündelten Mittelwerts ist jedoch etwa 10 % so groß wie der Standardfehler der Mittelwertvorhersagen aus dem Modell.Tatsächlich kann dies durch die Dokumentation überprüft werden, die besagt, dass der verpackte Standardfehler = Standardabweichung der verpackten Vorhersagen dividiert durch die Quadratwurzel von (M-1) ist, wobei M die Anzahl der verpackten Proben ist (die hier 100 beträgt).
Meine Frage betrifft die Verwendung der Standardfehler des verpackten Mittelwerts und der verpackten Standardabweichung.Wenn ich mir das im Profiler angezeigte Konfidenzintervall ansehe, scheint es mir mit dem mittleren Vorhersagestandardfehler aus dem Regressionsmodell übereinzustimmen – nicht mit dem Standardfehler des eingesackten Mittelwerts (der 10 % so groß ist).Wenn das der Fall ist, wofür sind dann die Standardfehler der verpackten Proben gut?
Ich denke, dass es (zumindest für mich) wichtig ist, dass JMP Profiler für alle Modelle des maschinellen Lernens bereitstellt.Dadurch können die verpackten Mittelwerte und diese beiden Arten von Standardfehlern gespeichert werden.Wenn diese Standardfehler zur Konstruktion von Konfidenzintervallen verwendet werden können, erhalten wir so etwas wie ein Gefühl der statistischen Signifikanz von neuronalen Netzen, Zufallswäldern usw.Ich denke, das wäre ein wichtiges Merkmal, da die meisten dieser Modelle nicht ohne weiteres Rückschlussinformationen liefern.Dies würde sowohl für Klassifizierungsmodelle als auch für Regressionsmodelle gelten.
Aber ich bin mir nicht sicher, ob die eingesackten Standardfehler wirklich Sinn machen.In dem von mir bereitgestellten Beispiel sehen sie zu klein aus.Außerdem ist mir nicht klar, ob das im Profiler angezeigte Konfidenzintervall auf dem Standardfehler des gebündelten Mittelwerts basiert (in diesem Beispiel sieht es nicht so aus).Bitte helfen Sie mir, etwas Licht in meine Fragen zu bringen.
Es scheint niemandem gelungen zu sein, Licht ins Dunkel zu bringen.Lassen Sie mich auf der Grundlage weiterer Untersuchungen eine „Lösung“ vorschlagen, und vielleicht kann jemand dazu Stellung nehmen.Für mich sieht es so aus, als ob die Konfidenzintervalle, die vom Profiler nach dem Speichern der eingesackten Vorhersagen erstellt werden, den Standardfehler des eingesackten Mittelwerts anstelle der eingesackten Standardabweichung verwenden.Ich fange an zu glauben, dass das falsch ist – dass Letzteres statt Ersteres verwendet werden sollte.Der Unterschied besteht darin, dass Ersteres Letzteres dividiert durch die Quadratwurzel der Anzahl der verpackten Proben (-1) ist.Es stimmt, dass der Standardfehler des Bagged Mean etwas misst – ich denke, es ist die Stabilität des Bagging-Verfahrens (mit anderen Worten, wie empfindlich die Mittelwertvorhersage auf die Bootstrap-Stichproben reagiert).Aber ich denke, was wir von den Konfidenzintervallen erwarten, ist die Zuverlässigkeit der Vorhersage und die Konfidenz darüber, wie stark jeder Faktor im Modell diese Vorhersage beeinflusst.Ich denke, es ist die Bagged Standard Deviation, die das misst.
