Konzeptionelle Frage zu verpackten VorhersagenIch habe lange gekämpft, um nach Unsicherheitsmaßen aus maschinellen Lernmodellen zu suchen, die mit den Standardfehlern vergleichbar sind, die Sie routinemäßig aus Regressionsmodellen erhalten.Erst kürzlich bin ich auf einige der Fähigkeiten des Profilers aufmerksam geworden - insbesondere die eingesackten Vorhersagen.Aber ich verstehe nicht wirklich, wie ich diese eingesackten Vorhersagen interpretieren soll (oder sollte).Wenn ich ein maschinelles Lernmodell (z. B. ein neuronales Netz) ausführe und die eingesackten Vorhersagen vom Profiler speichere, erhalte ich einen eingesackten Mittelwert, den Standardfehler des eingesackten Mittelwerts und die eingesackte Standardabweichung.Beim Vergleich mit einem Regressionsmodell (z. B. multiple Regression) habe ich folgende Beziehungen beobachtet:
- Der prognostizierte Beutelmittelwert aus dem NN ist der Vorhersageformel aus der multiplen Regression sehr ähnlich.
- Die mittleren Vorhersageintervalle aus dem multiplen Regressionsmodell sind erwartungsgemäß viel schmaler als die einzelnen Vorhersageintervalle (in dem Beispiel, das ich mir ansehe, beträgt der Standardfehler für die mittlere Vorhersage etwa 1/10 der Größe des Standardfehlers der einzelnen Vorhersagen). .
- Der Standardfehler des eingesackten Mittelwerts aus dem NN ist viel kleiner als die eingesackte Standardabweichung (etwa 1/10 der Größe in dem Beispiel, das ich mir anschaue).
Diese Beobachtungen verleiten mich dazu, den Standardfehler des eingesackten Mittelwerts aus dem NN als analog zum Standardfehler der mittleren Vorhersagen aus dem Regressionsmodell zu betrachten.In ähnlicher Weise kann die eingesackte Standardabweichung dem Standardfehler der einzelnen Vorhersagen aus dem Regressionsmodell ähnlich sein.
Allerdings ähneln sich die Standardfehler aus dem NN und den Regressionsmodellen überhaupt nicht!Meine Frage ist also, ob meine Interpretation Sinn macht - oder wie genau die Standardfehler aus dem eingesackten Mittelwert interpretiert oder verwendet werden können.
Vielen Dank im Voraus für alle Erkenntnisse.Ich habe ein konkretes Beispiel beigefügt, falls es bei meiner Frage hilft (dies ist der Validierungsdatensatz aus meinem Modellierungsbeispiel - einschließlich der Vorhersagen aus dem multiplen Regressionsmodell und NN).
AnalytikBetreff: Konzeptionelle Frage zu verpackten VorhersagenNachtrag - in der Datei, die ich angehängt habe, habe ich die Standardfehler aus der multiplen Regression (über)geschätzt.Ich habe sie geschätzt, indem ich die gespeicherten 95%-Konfidenzintervalle verwendet habe.Anbei eine überarbeitete Version wo ich die Standardfehler direkt abgespeichert habe.Meine Frage bleibt, da die Standardfehler aus dem NN weniger als halb so groß zu sein scheinen wie aus der multiplen Regression (im Durchschnitt) mit geringer offensichtlicher Korrelation innerhalb des Validierungssatzes.Beide Modelle passen recht gut zu den Daten.Ich frage mich also, ob die Interpretation der Standardfehler des eingesackten Mittelwerts angemessen als Standardfehler interpretiert wird, die mit den Vorhersagen in der gleichen Weise verbunden sind, wie die Standardfehler der Vorhersagen aus der multiplen Regression interpretiert werden.
Betreff: Konzeptionelle Frage zu verpackten VorhersagenJa.
Die Neural-Plattform verwendet ein komplexes Modell, selbst mit nur einer Handvoll versteckter Knoten. Stellen Sie sich vor, Sie fügen dem Regressionsmodell viele Terme hinzu. Was passiert mit dem RMSE? Was wiederum passiert mit den SEs? Ist die Komplexität Ihres Regressionsmodells mit der des NN vergleichbar?
Ich behaupte nicht, dass Sie die NN- oder andere ML-Methoden missbrauchen. Denken Sie nur daran, dass es bei ihnen ALLES um Vorhersagen geht, ÜBERHAUPT NICHT um Schlussfolgerungen. Unsicherheit bei Schätzungen ist also unwichtig, Genauigkeit / Reproduzierbarkeit / Verallgemeinerung sind alles. Daher verwenden Vorhersagemodelle (keine erklärenden Modelle) Maße des gesamten MSE (Bias + Varianz), um das Modell auszuwählen, und die „ehrliche Bewertung“ oder Kreuzvalidierung, um das ausgewählte Modell zu bestätigen.
Aber der Hauptpunkt ist, dass es keinen Grund dafür gibt, dass die SEs aus verschiedenen Modellen gleich sind, selbst wenn ihre mittleren Antwortvorhersagen ähnlich sind. Dieser Unterschied kann einem Modell in Ihrer Anwendung einen Vorteil verschaffen.
Betreff: Konzeptionelle Frage zu verpackten VorhersagenMarkus, danke.Das hilft etwas.Es könnte erklären, warum das NN kleinere Standardfehler liefert (obwohl ich immer noch überrascht bin, wie groß der Unterschied ist, wenn beide Modelle so gut zu den Daten passen).Aber es scheint wirklich nicht zu erklären, warum es fast keine Korrelation in den Standardfehlern gibt, die mit jeder Vorhersage verbunden sind.Die von mir veröffentlichten Daten zeigen praktisch keine sinnvolle Beziehung zwischen dem Standardvorhersagefehler jeder Beobachtung zwischen den beiden Modellen.Nun, für ein multiples Regressionsmodell habe ich ein gewisses Gefühl dafür, was die Standardfehler bestimmt, die mit verschiedenen Beobachtungen verbunden sind - aber für das NN habe ich das wirklich nicht.Vielleicht sind sie deshalb nicht miteinander verwandt?Ist dies eine Dimension, die mit der mangelnden Interpretierbarkeit von NN-Modellen zusammenhängt?
Betreff: Konzeptionelle Frage zu verpackten VorhersagenDas NN ist ein Ensemblemodell, das stark nichtlinear ist. Vergleichen Sie dies mit Ihrem Regressionsmodell, das möglicherweise Terme zweiter Ordnung enthält. Die Standardfehler sind für diese beiden Arten von Modellen sehr unterschiedlich.
Ich persönlich bin nicht einverstanden mit der Vorstellung, dass NN nicht interpretierbar sind oder dass lineare Regressionsmodelle interpretierbar sind. (Ich finde es albern.) Der Effekt des Prädiktors X ist eine lineare Kombination aller Begriffe, die ihn enthalten. Es ist zum Beispiel Unsinn, von einem „quadratischen Effekt“ zu sprechen. Es gibt nur einen quadratischen Term im Modell. Wie interpretieren wir also den Effekt von X, wenn er im Modell als X + X*X2 + X*X + X*X*X erscheint? Wir sind es einfach gewohnt, in diesen Begriffen zu denken – wir waren viele Jahre damit konfrontiert und hatten Zeit, darüber nachzudenken. Ein NN ist mehr vom Gleichen (linearer Prädiktor), der einer nichtlinearen Aktivierungsfunktion unterzogen und für jeden Knoten zu mehr vom Gleichen hinzugefügt wird. Wir müssen nur mehr nachdenken.
Nein, tun wir nicht. Wir haben einen Profiler, der mit jeder Art von Funktion (Modell) funktioniert.
Betreff: Konzeptionelle Frage zu verpackten VorhersagenIch folge dem, was Sie sagen - aber ich denke, meine Frage ist etwas anderes geworden.Lassen wir NN mal außen vor.Da der Profiler auch von der multiplen Regressionsplattform verfügbar ist, habe ich einige Experimente durchgeführt, um zu sehen, wie sich die Standardfehler der eingesackten Vorhersagen mit denen vergleichen, die aus dem Regressionsmodell gespeichert wurden.Sie sind korreliert, wenn auch alles andere als perfekt.Die individuelle Standardabweichung der Vorhersage ist viel größer als die mittlere Standardabweichung der Vorhersage, wie es sein sollte, und dies gilt auch für die beiden Standardfehler, die Sie erhalten, wenn Sie die verpackten Mittelwerte speichern.Was mich jedoch überrascht und ich nicht verstehe, ist, warum die Standardfehler aus dem Speichern der verpackten Vorhersagen (entweder der individuellen oder der mittleren Version) eine Größenordnung kleiner sind als die Standardfehler aus dem Regressionsmodell.Mein Verständnis (das falsch sein könnte) ist, dass die Standardfehler der Vorhersagen theoretisch im Regressionsmodell abgeleitet werden und das Ergebnis des Bootstrappings in den verpackten Vorhersagen sind.Theoretisch sollten diese ähnlich sein (zumindest mit genügend Bootstrap-Beispielen - ich habe 100 und 1000 verwendet und beide liefern ähnliche Ergebnisse) - aber das sind sie nicht.
Es scheint also, dass sich die Standardfehler des Profilers qualitativ von den Standardfehlern des Regressionsmodells unterscheiden.Warum ist das so?
Betreff: Konzeptionelle Frage zu verpackten VorhersagenUm vollständiger zu sein, ist im Anhang eine einfache kleine Datei mit einem einzigen Prädiktor.Ich habe das Regressionsmodell erstellt und die Vorhersagen und Standardfehler (sowohl Mittelwert als auch individuell) gespeichert.Ich habe den Profiler verwendet, um die verpackten Vorhersagen zu speichern.Es gibt 3 xy-Plots, die die Äquivalenz (in diesem Fall perfekt) der vorhergesagten Werte aus dem Modell und dem Profiler zeigen.Die Standardfehlerdiagramme zeigen starke Korrelationen, zeigen aber auch, dass die Standardfehler des Profilers erheblich kleiner sind als die des Modells.Ich vermute stark, dass die Standardfehler aus dem Einsackverfahren etwas anderes bedeuten.Ich hoffe ihr könnt mir das aufklären.
Betreff: Konzeptionelle Frage zu verpackten Vorhersagen" Mein Verständnis (das falsch sein könnte) ist, dass die Standardfehler der Vorhersagen theoretisch im Regressionsmodell abgeleitet werden und das Ergebnis des Bootstrappings in den verpackten Vorhersagen sind.Theoretisch sollten diese ähnlich sein (zumindest mit genügend Bootstrap-Beispielen - ich habe 100 und 1000 verwendet und beide liefern ähnliche Ergebnisse) - aber das sind sie nicht. "
Auf welche Theorie beziehst du dich?
Betreff: Konzeptionelle Frage zu verpackten VorhersagenIch glaube, dass die Vorhersagekonfidenzintervalle für eine multiple Regression über Formeln abgeleitet werden, die von Annahmen über die Fehlerstruktur und Zufallsstichproben abgeleitet sind (letztendlich abgeleitet von der Logik, die dem zentralen Grenzwertsatz zugrunde liegt).Andererseits glaube ich, dass die eingesackten Vorhersagen vom Bootstrapping abgeleitet sind – einem nichtparametrischen empirischen Ansatz zur Ableitung von Konfidenzintervallen.Ich glaube auch, dass diese beiden Ansätze im Allgemeinen nahe beieinander liegen, es sei denn, die zugrunde liegenden Daten weisen ungewöhnliche Verteilungen auf und/oder es werden unzureichende Stichprobengrößen für den Bootstrap verwendet.
In den von mir angehängten Dateien treten meines Erachtens keine dieser Probleme auf.Die mittleren Vorhersagen sind aus den 2 Ansätzen fast identisch, aber die Standardfehler aus dem Profiler sind viel viel kleiner als aus den theoretisch abgeleiteten Werten.Dies lässt mich glauben, dass ich die Bedeutung der Profiler-Standardfehler falsch verstehe.Warum sollte sonst jemand jemals die theoretisch abgeleiteten Standardfehler verwenden?
Betreff: Konzeptionelle Frage zu verpackten Vorhersagen" Ich glaube, dass die Vorhersagekonfidenzintervalle für eine multiple Regression über Formeln abgeleitet werden, die von Annahmen über die Fehlerstruktur und Zufallsstichproben abgeleitet sind (letztendlich abgeleitet von der Logik, die dem zentralen Grenzwertsatz zugrunde liegt).Andererseits glaube ich, dass die eingesackten Vorhersagen vom Bootstrapping abgeleitet sind – einem nichtparametrischen empirischen Ansatz zur Ableitung von Konfidenzintervallen.Ich glaube auch, dass diese beiden Ansätze im Allgemeinen nahe beieinander liegen, es sei denn, die zugrunde liegenden Daten weisen ungewöhnliche Verteilungen auf und/oder es werden unzureichende Stichprobengrößen für den Bootstrap verwendet. "
Ja! Das heißt, wenn Sie den theoretischen Ausdruck für das KI und das Bootstrap-KI für das GLEICHE lineare Regressionsmodell verwenden, sollten die CI-SCHÄTZUNGEN übereinstimmen.
Betreff: Konzeptionelle Frage zu verpackten VorhersagenKennzeichen
Dann würde ich Sie bitten, sich den letzten Beispieldatensatz anzusehen, den ich gepostet habe.Die Konfidenzintervalle (Standardfehler) stimmen nicht einmal annähernd überein.Dies gilt für eine einfache lineare Regression und den Vergleich der Vorhersagestandardfehler mit denen, die aus dem Speichern der verpackten Vorhersagen aus dem Profiler stammen.Letztere sind viel viel kleiner als die ersteren.Deshalb bin ich verwirrt.
