Die jüngste Diskussion darüber, wie Standardfehler vom Profiler interpretiert werden, hat zu keiner Lösung geführt, daher werde ich dies erneut beginnen - mit einem anderen Beispiel und etwas mehr Klarheit (hoffe ich) zu meiner Frage.Ich habe einen der berühmten Anscombe-Quartett-Datensätze angehängt - denjenigen, bei dem ein lineares Regressionsmodell angemessen ist.Ich habe ein multiples Regressionsmodell angepasst und den mittleren Vorhersagestandardfehler und den individuellen Vorhersagestandardfehler gespeichert - wie erwartet ist ersterer viel schmaler als letzterer.Ich habe auch den Profiler verwendet und die Bagged-Vorhersagen gespeichert - dies gab mir einen Standardfehler für den Bagged-Mittelwert (den ich als analog zum Standardfehler der mittleren Vorhersage aus dem Regressionsmodell interpretiere) und einen Bagged Std dev (den ich als analog interpretiere zum individuellen Vorhersagestandardfehler aus der Regression).Wenn ich sage, dass ich diese als analog interpretiere, stelle ich fest, dass die Standardfehler aus dem Modell aus dem Regressionsmodell abgeleitet werden, während die eingesackten Standardfehler aus einem nicht parametrischen Bootstrap (in diesem Fall mit 100 Bootstrap-Stichproben) abgeleitet werden.
In diesem Fall (im Gegensatz zu meinem letzten Beispiel) liegen die individuellen Standardfehler nahe beieinander, obwohl sie für die eingesackten Vorhersagen etwas kleiner sind als für die Modellvorhersagen.Aber der Standardfehler des eingesackten Mittelwerts ist etwa 10 % so groß wie der Standardfehler der mittleren Vorhersagen aus dem Modell.Tatsächlich kann dies durch die Dokumentation verifiziert werden, die besagt, dass der Standardfehler im Beutel = Standardabweichung der Vorhersagen im Beutel dividiert durch die Quadratwurzel von (M-1), wobei M die Anzahl der Proben im Beutel ist (hier 100).
Meine Frage betrifft die Verwendung der Standardfehler des eingesackten Mittelwerts und der eingesackten Standardabweichung.Wenn ich mir das im Profiler angezeigte Konfidenzintervall ansehe, scheint es mir mit dem mittleren Vorhersagestandardfehler aus dem Regressionsmodell konsistent zu sein – nicht mit dem Standardfehler des eingesackten Mittelwerts (der 10 % so groß ist).Wenn das der Fall ist, wofür sind dann die Standardfehler aus den verpackten Proben gut?
Ich denke, die Bedeutung (zumindest für mich) ist, dass JMP Profiler für alle Modelle des maschinellen Lernens bereitstellt.Dies ermöglicht das Einsparen der verpackten Mittel und dieser zwei Arten von Standardfehlern.Wenn diese Standardfehler zur Konstruktion von Konfidenzintervallen verwendet werden können, erhalten wir so etwas wie ein Gefühl der statistischen Signifikanz von neuronalen Netzwerken, zufälligen Wäldern usw.Ich denke, das wäre ein wichtiges Merkmal, da die meisten dieser Modelle keine Schlussfolgerungsinformationen liefern.Dies würde sowohl für Klassifikationsmodelle als auch für Regressionsmodelle gelten.
Aber ich bin mir nicht sicher, ob die eingesackten Standardfehler viel Sinn machen.In dem Beispiel, das ich bereitgestellt habe, sehen sie zu klein aus.Und es ist mir nicht klar, ob das im Profiler angezeigte Konfidenzintervall auf dem Standardfehler des eingesackten Mittelwerts basiert (in diesem Beispiel sieht es nicht so aus).Helfen Sie also bitte mit, etwas Licht in meine Fragen zu bringen.
Niemand scheint in der Lage gewesen zu sein, Licht in dieses Thema zu bringen.Lassen Sie mich basierend auf weiteren Erkundungen eine "Lösung" vorschlagen, und vielleicht kann jemand darauf eingehen.Es sieht für mich so aus, als ob die Konfidenzintervalle, die vom Profiler nach dem Speichern der eingesackten Vorhersagen erzeugt werden, den Standardfehler des eingesackten Mittelwerts anstelle der eingesackten Standardabweichung verwenden.Ich fange an zu glauben, dass das falsch ist - dass letzteres eher verwendet werden sollte als ersteres.Der Unterschied besteht darin, dass Ersteres Letzteres dividiert durch die Quadratwurzel der Anzahl der eingesackten Proben (-1) ist.Es ist wahr, dass der Standardfehler des Bagged Mean etwas misst – ich denke, es ist die Stabilität des Bagging-Verfahrens (mit anderen Worten, wie empfindlich die mittlere Vorhersage auf die Bootstrap-Stichproben reagiert).Aber ich denke, was wir von den Konfidenzintervallen erwarten, ist die Zuverlässigkeit der Vorhersage und das Vertrauen darin, wie stark jeder Faktor im Modell diese Vorhersage beeinflusst.Ich denke, es ist die Bagged Standard Deviation, die das misst.
