Konzeptionelle Frage zu Bagged PredictionsIch habe lange nach Unsicherheitsmaßen aus maschinellen Lernmodellen gesucht, die mit den Standardfehlern vergleichbar sind, die man routinemäßig von Regressionsmodellen erhält. Erst kürzlich bin ich auf einige der Fähigkeiten des Profilers aufmerksam geworden – insbesondere auf die gebündelten Vorhersagen. Aber ich verstehe nicht wirklich, wie ich diese gebündelten Vorhersagen interpretieren soll (oder ob ich sie überhaupt interpretieren sollte). Wenn ich ein maschinelles Lernmodell (z. B. ein neuronales Netz) ausführe und die gebündelten Vorhersagen aus dem Profiler speichere, erhalte ich einen gebündelten Mittelwert, den Standardfehler des gebündelten Mittelwerts und die gebündelte Standardabweichung. Beim Vergleich dieser mit einem Regressionsmodell (z. B. multiple Regression) habe ich die folgenden Beziehungen beobachtet:
- Der vorhergesagte Bagged Mean aus dem NN ist der Vorhersageformel aus der multiplen Regression sehr ähnlich.
- Die mittleren Vorhersageintervalle aus dem multiplen Regressionsmodell sind wie erwartet viel schmaler als die einzelnen Vorhersageintervalle (in dem von mir betrachteten Beispiel beträgt der Standardfehler für die mittlere Vorhersage etwa 1/10 des Standardfehlers der einzelnen Vorhersagen).
- Der Standardfehler des berechneten Mittelwerts aus dem NN ist viel kleiner als die berechnete Standardabweichung (ungefähr 1/10 der Größe in dem Beispiel, das ich betrachte).
Diese Beobachtungen veranlassen mich dazu, den Standardfehler des berechneten Mittelwerts des NN als analog zum Standardfehler der mittleren Vorhersagen des Regressionsmodells zu betrachten. In ähnlicher Weise könnte die berechnete Standardabweichung dem Standardfehler der einzelnen Vorhersagen des Regressionsmodells ähneln.
Die Standardfehler des NN und der Regressionsmodelle ähneln sich jedoch überhaupt nicht! Meine Frage ist also, ob meine Interpretation irgendeinen Sinn ergibt – oder wie genau die Standardfehler des Bagged Mean interpretiert oder verwendet werden können.
Vielen Dank im Voraus für alle Erkenntnisse. Ich habe ein konkretes Beispiel beigefügt, falls es bei meiner Frage hilft (dies ist der Validierungsdatensatz aus meinem Modellierungsbeispiel – einschließlich der Vorhersagen aus dem multiplen Regressionsmodell und NN).
Konsumenten- und MarktforschungBetreff: Konzeptionelle Frage zu verpackten VorhersagenDanke.Ich denke, diese Konfidenzintervalle werden äußerst nützlich sein - nachdem sie korrigiert wurden.Derzeit sind sie ziemlich irreführend (um eine Größenordnung - wenn Sie 100 Bootstrap-Beispiele verwenden).
Betreff: Konzeptionelle Frage zu verpackten VorhersagenJa, ich bestätige, dass in der Profiler-Plattform (unter dem Menü „Grafik“), wenn eine Vorhersage-Bagged-Mean-Formel, begleitet von einem StdError der Bagged-Mean-Formel, in den Startdialog eintritt, die Profiler-Plattform „StdError of the Bagged Mean“ verwendet, um zu produzieren Intervalle.
Ich stimme zu, dass einige Dinge nicht klar genug sind und verbessert werden könnten. Was ich nicht klar sehe, ist die Verwendung von "Konfidenzintervallen" in der Dokumentation auf der Seite, auf die Sie verwiesen haben: Beispiel für Konfidenzintervalle mit Bagging . Es ist nicht klar, was die Konfidenzintervalle sind, und der Wortlaut ist wahrscheinlich irreführend.
In der Zwischenzeit ist Ihr Wunsch, Bagged Std Dev zur Erzeugung von Intervallen zu verwenden, eine gute Bitte. Ich habe versucht, diese Spalte in die Profiler-Plattform einzufügen, und sie wird nicht erkannt.
Wenden Sie sich bitte an den technischen Support von JMP unter support@jmp.com und melden Sie Ihre Bedenken und Anfragen?
Vielen Dank, dass Sie sich so genau mit der Software beschäftigt haben!
Betreff: Konzeptionelle Frage zu verpackten VorhersagenDanke schön.Ich bin zu dem gleichen Schluss gekommen.Die verbleibende Frage ist dann, welche zur Erstellung von Konfidenzintervallen für die Modelleffekte verwendet werden sollten.Ich glaube, es ist der Bagged Standard Dev und nicht der Standardfehler des Bagged Mean - und ich glaube auch, dass JMP (zumindest in den Anweisungen) letzteres verwendet hat, um Konfidenzintervalle zu erstellen, und nicht ersteres.
Bitte bestätigen Sie dies entweder - oder nicht.Um weiter darauf einzugehen, denke ich, dass der Standardfehler des Bagged Mean nützlich ist, um abzuschätzen, ob Sie genug verpackte (Bootstrap) Samples haben, um zufrieden zu sein.Aber um die Unsicherheit in der Wirkung Ihrer Faktoren auf Ihre Antwortvariable abzuschätzen, liefert der Standardfehler des Bagged Mean keine nützlichen Informationen.Es ist der Bagged Standard Dev, der das tut.Um also die Konfidenzintervalle zu erstellen, sollte nach dem Speichern der verpackten Mittelwerte der Profiler geöffnet, die verpackten Mittelwerte und die verpackten Standardabweichungen ausgewählt, das Kästchen zum Erweitern von Zwischenformeln ausgewählt und das Ergebnis die gewünschten Konfidenzintervalle sein.Beachten Sie, dass dies von der JMP-Hilfe abweicht:
https://www.jmp.com/support/help/en/16.1/?os=win&source=application&utm_source=helpmenu&utm_medium=application#page/jmp/example-of-confidence-intervals-using-bagging.shtml# .
Betreff: Konzeptionelle Frage zu verpackten VorhersagenLassen Sie mich versuchen zu erklären, was der Standardfehler von Bagged Mean ist und warum er kleiner zu sein scheint.
Zuerst versuche ich, eingesackte Vorhersagen mit nur 3 Bootstrap-Beispielen zu speichern.
Hier ist das Ergebnis. Es gibt 6 neue Spalten.
Schauen wir uns an, was diese Spalten sind.
Jede Spalte der ersten drei ist eine Vorhersagespalte aus einer Bootstrap-Stichprobe der Daten. Wir haben drei Bootstrap-Beispiele, also haben wir drei davon. Hier sind drei Vorhersageformeln. Und sie sind anders.
(A)
(B)
(C)
Sehen Sie sich nun die vierte Spalte an: Pred Formula Sales Bagged Mean 2.
(D)
Es ist also der Durchschnitt dieser drei Vorhersagen pro Zeile.
Sehen Sie sich nun die 5. Spalte an: StdError Sales Bagged Mean 2.
(E)
Was ist es? Es sieht aus wie ein Standardfehler für eine Art Mittelwert. Bedeutet was? Mittelwert der Bootstrap-Vorhersagen. Mit Worten, dies ist nicht dasselbe wie StdError des vorhergesagten Mittelwerts.Der vorhergesagte Mittelwert ist nur eines der vielen Bootstrap-Beispiele, wenn Sie die Betrachtungsperspektive ändern . Das sollte erklären, warum StdErr von Bagged Mean kleiner ist. Und es wird viel kleiner, wenn Sie die Anzahl der Bootstrap-Samples erhöhen.
Wenn wir uns nun die letzte Spalte ansehen, und hier ist ihre Formel:
(F)
Dies ist die Standardabweichung von Bootstrap-Vorhersagen. Dieser Wert sollte in der Tat in der Nähe von "StdErr Pred Sales" liegen und wird nicht kleiner, wenn die Anzahl der Bootstrap-Samples groß wird. Dies ist die Bootstrap-Version Ihres "StdErr Pred Sales". Wenn Sie vermuten, dass das Modell nicht gut zu Ihren Daten passt, z. B. Annahmen verletzt werden könnten, so dass „StdErr Pred Sales“ nicht mehr die asymptotischen Verteilungen nach Vorschrift hat, liefert Ihnen die Bootstrap-Version möglicherweise etwas Ehrlicheres, wenn Sie müssen das falsche Modell für die Vorhersage verwenden.
Warum sollten Sie sich also für „StdError Sales Bagged Mean 2“ interessieren? (E) da oben? Diese Menge dient dazu, zu beurteilen, ob Sie über genügend Bootstrap-Beispiele verfügen. Idealerweise möchten Sie, dass die Werte sehr klein sind, dann können Sie Ihren eingesackten Werten vertrauen.
Betreff: Konzeptionelle Frage zu verpackten VorhersagenMeine Abdeckungsdaten stammten aus den einzelnen Vorhersage-Standardfehlern - ich speichere sie aus dem Regressionsmodell und verwendete die eingesackte Standardabweichung vom Profiler.Um den Mittelwert zu betrachten, hätte ich Std Err Predicted und Std Error für den eingesackten Mittelwert verwendet.Wie ich schon sagte (lesen Sie, was ich geschrieben habe), weiß ich nicht, wie ich die Abdeckung für die mittleren Vorhersageintervalle berechnen soll, da ich nur eine Beobachtung für jede Zeile habe - wenn es eine Möglichkeit gibt, sagen Sie es mir bitte.
Also habe ich die einzelnen Vorhersagen verwendet und JMP liefert Standardfehler für die einzelnen Vorhersagen sowie mittlere Vorhersagen (natürlich sind erstere viel größer als letztere).
Ihr anderer Kommentar geht nicht auf meine Probleme ein.Ich kenne mehrere Möglichkeiten, die Modelle zu vergleichen und zu bewerten.Was mich interessiert, sind Möglichkeiten, die mit den Modellen verbundene Unsicherheit zu untersuchen – nicht ihre Vorhersagegenauigkeit, sondern die Variabilität ihrer Vorhersagen.Die einzige mir bekannte Methode ist die konforme Vorhersage.Es sah so aus, als ob der Profiler eine solche Fähigkeit bietet, indem er Konfidenzintervalle für die Features im Modell bereitstellt.Tatsächlich scheinen Sie dies selbst vorgeschlagen zu haben, indem Sie meinen Behauptungen der mangelnden Interpretierbarkeit von Modellen für maschinelles Lernen wie NN widersprochen haben.
Ich denke, der Profiler macht einen großen Schritt in Richtung Interpretierbarkeit.Es zeigt, wie sich das Variieren der Merkmale auf die Antwortvariable auswirkt.Wenn es auch Standardfehler (Konfidenzintervalle) für diese Effekte liefern kann, dann liefert es im Wesentlichen genauso viel Interpretation wie Regressionsmodelle.Damit kämpfe ich jedoch - ich bin nicht überzeugt, dass ich diese Konfidenzintervalle auf diese Weise verwenden kann.
Betreff: Konzeptionelle Frage zu verpackten VorhersagenVerwenden Sie dann Leistungskennzahlen aus dem Validation-Holdout-Set, um verschiedene Modelle zu bewerten.
Betreff: Konzeptionelle Frage zu verpackten Vorhersagen" Unter Verwendung von ungefähren 95-%-Konfidenzintervallen (2 Standardfehler um die entsprechende mittlere Vorhersage, unter Verwendung der Standardfehler für die einzelnen Vorhersagen) betrug die Abdeckung des tatsächlichen Y-Werts 866 von 900 Zeilen (ungefähr 95 %) für die Modellvorhersagen, aber nur 222 von 900 für die eingesackten Vorhersagen. "
Verwechseln Sie das Konfidenzintervall für den Mittelwert und das Konfidenzintervall für die einzelnen Beobachtungen? Ersteres ist ein Intervall, in dem wir erwarten, dass sich die mittlere Antwort befindet, vorausgesetzt, dass das Modell unverzerrt ist. Warum würden Sie erwarten, dass einzelne Beobachtungen in diesem Intervall auftreten?
" Angesichts der extremen Ergebnisse deutet dies für mich darauf hin, dass die Standardfehler des Modells (zumindest für dieses gut erzogene Modell) genaue Maße für die Unsicherheit in den Vorhersagen sind. "
Nein, ich halte Ihre Schlussfolgerung nicht für vernünftig. Sie vergleichen die „Abdeckung“ auf der Grundlage individueller Antworten, nicht des Mittelwerts. Bei dem Modell geht es um den Standort: die mittlere Antwort. Das Modell sagt die mittlere Antwort voraus. Beim Konfidenzintervall geht es um die Unsicherheit in der mittleren Antwort. Das KI für das Modell besagt, dass 95 % der Modelle ein Vorhersageintervall hätten, das den wahren Mittelwert der Antwortvariablen enthält, wenn Sie immer wieder Stichproben ziehen würden. Es sagt nichts über Einzelbeobachtungen aus.
" Wenn ich ein Klassifizierungsmodell mit NN, Random Forests, Boosted Trees usw. betreibe, besteht ein Nachteil im Vergleich zur logistischen Regression darin, dass diese maschinellen Lernmodelle kein Maß für die Unsicherheit in den Vorhersagen liefern "
Vorhersagen beziehen sich auf die Zukunft. Die Leistung bei der Vorhersage zukünftiger Beobachtungen ist die Grundlage für eine „ehrliche Bewertung“. Die Kreuzvalidierung ist eine der besten Möglichkeiten, das Modell während der Auswahl und das endgültige Modell nach der Auswahl ehrlich zu bewerten.Wir untersuchen das Validierungs-Hold-Out-Set oder den Test-Hold-Out-Test, um die Unsicherheit zu beurteilen. Bei diesen Modellen dreht sich alles um Vorhersagen, nicht um Schlussfolgerungen. Das heißt nicht, dass sie als Erklärungsmodelle nicht nützlich sind, aber sie könnten Sie auf diese Weise nicht vollständig zufrieden stellen. Was ist beispielsweise das R-Quadrat für die gleiche Validierung, die für alle Modelle gilt? (Beachten Sie, dass ich kein R-Quadrat verwende, um ein Modell auszuwählen. Ich verwende R-Quadrat, um ausgewählte Modelle verschiedener Typen zu bewerten.)
Betreff: Konzeptionelle Frage zu verpackten VorhersagenIn meinem simulierten Beispiel habe ich keinen Grund, die Qualität der Daten oder die Angemessenheit des Modells in Frage zu stellen.Es handelt sich weder um Beobachtungsdaten noch um eine kleine Stichprobe (richtig, n = 100 aus einer Population von 1000 ist nicht groß, aber die Konfidenzintervallabdeckung ist so unterschiedlich, dass ich denke, das Beispiel zeigt uns etwas).Ich werde nicht sagen, dass Bagging Betrug ist (ein belasteter Begriff).Aber ich habe nicht das Gefühl, dass ich den Standardfehlern vertrauen kann, die es selbst für meinen simulierten Fall liefert.Ich zögere sehr, es für einen Fall zu verwenden, in dem die Daten und das Modell verdächtiger sind.Können Sie eine Anleitung geben, wo es verwendet werden kann?Ich möchte nicht antagonistisch sein: Ich liebe JMP und den Profiler, ich versuche nur zu sehen, ob die Konfidenzintervalle, die er liefern kann, nützlich sind.
Betreff: Konzeptionelle Frage zu verpackten Vorhersagen" Warum sollte ich also das viel breitere Konfidenzintervall wählen? "
Weil Sie die Qualität oder die Gültigkeit der Daten oder des Modells in Frage stellen.
Ich würde das Absacken und seine Vorhersagen wahrscheinlich nicht mit einem Screening-Experiment verwenden, da das Modell wahrscheinlich voreingenommen ist. Ich würde das Absacken und seine Vorhersagen wahrscheinlich nicht mit einem Modell verwenden, das auf einer kleinen Stichprobe von Beobachtungsdaten basiert.
Lass mich deutlich sein. Absacken ist gültig. Es ist kein Betrug. Aber es ist nicht immer angemessen oder vorteilhaft.
Leider ist das Bagging im Profiler etwas, das JMP entwickelt hat. Ich habe keine externen Referenzen.
Betreff: Konzeptionelle Frage zu verpackten VorhersagenAnbei ein simuliertes Beispiel.Das unbenannte Dataset enthält simulierte Daten und ein Regressionsmodell, das auf einer Zufallsstichprobe von 100 der 1000 Zeilen basiert.Ich habe die Standardfehler aus dem Modell und aus den verpackten Vorhersagen gespeichert.Die Teilmenge des unbenannten Datensatzes enthält dann die 900 Zeilen, die nicht in der Stichprobe enthalten sind.Unter Verwendung von ungefähren 95-%-Konfidenzintervallen (2 Standardfehler um die entsprechende mittlere Vorhersage, unter Verwendung der Standardfehler für die einzelnen Vorhersagen) betrug die Abdeckung des tatsächlichen Y-Werts 866 von 900 Zeilen (ungefähr 95 %) für die Modellvorhersagen, aber nur 222 von 900 für die eingesackten Vorhersagen.Ich konnte nicht herausfinden, wie man einen Vergleich der Abdeckung von mittleren Konfidenzintervallen generiert, da ich nur eine einzige Y-Beobachtung in jeder Zeile habe.
Angesichts der extremen Ergebnisse deutet dies für mich darauf hin, dass die Standardfehler des Modells (zumindest für dieses gut erzogene Modell) genaue Maße für die Unsicherheit in den Vorhersagen sind.Aber die eingesackten Standardfehler sind zu klein.Angesichts der Einfachheit dieses Beispiels scheint es sicher so, als würde ich mich nicht auf die Standardfehler aus den eingesackten Vorhersagen verlassen wollen.Halten Sie das für eine vernünftige Schlussfolgerung?
Nun zu den wirklichen Einsatzmöglichkeiten.Wenn ich ein Klassifizierungsmodell mit NN, Random Forests, Boosted Trees usw. ausführe, besteht ein Nachteil im Vergleich zur logistischen Regression darin, dass diese maschinellen Lernmodelle kein Maß für die Unsicherheit in den Vorhersagen liefern (ohne ein anderes Verfahren wie konforme Vorhersage aufzurufen). mit dem ich gespielt habe).Der Profiler konnte mir ohne Weiteres gebündelte Vorhersagen der mittleren Wahrscheinlichkeiten von Klassifikationen zusammen mit ihren Standardfehlern liefern.So nützlich das auch wäre, ich neige dazu zu sagen, dass ich diese Standardfehler nicht wirklich verwenden kann, um die Unsicherheit in diesen maschinellen Lernmodellen darzustellen.Ist das korrekt?Vielleicht ist eine allgemeinere Frage, wofür kann ich die verpackten Standardfehler verwenden?
Betreff: Konzeptionelle Frage zu verpackten VorhersagenWir konvergieren.
„Und wenn das der Fall ist, können Sie mir sagen, welche Frage jeweils beantwortet wird?“
Ich kann. Das habe ich tatsächlich getan: Wieder beantwortet das erste Paar die Frage nach der Unsicherheit in der Vorhersage des ursprünglichen Modells (z. B. lineare Regression, neuronales Netzwerk, Partition). Das zweite Paar beantwortet die Frage nach der Unsicherheit in der Vorhersage mittels Bagging.
Das bedeutet, dass ich mehr Unsicherheit über meine Modellvorhersagen habe als über die eingesackten Vorhersagen – viel mehr.Warum sollte dann jemand die Modellvorhersagen und ihre Konfidenzintervalle verwenden?Mir ist klar, dass ein kleinerer Standardfehler nicht immer gut ist – nur wenn das zugrunde liegende Modell gut ist.Aber in dem Fall, den wir betrachten, liegt beiden Maßen dasselbe Modell zugrunde, und die mittleren Vorhersagen sind fast identisch.Warum sollte ich also das viel breitere Konfidenzintervall wählen?
Ich nehme an, es gibt das Problem der Abdeckung - das enge Intervall bietet möglicherweise keine ausreichende Abdeckung des wahren Werts.Ich werde einige Simulationen ausprobieren, um zu sehen, ob ich Licht ins Dunkel bringen kann - aber kennen Sie Referenzen, die auf die Genauigkeit der beiden Standardfehlermaße im Verhältnis zueinander hinweisen?
Betreff: Konzeptionelle Frage zu verpackten Vorhersagen" Das kann doch nicht stimmen "
Okay, du hast mich. Es ist alles erfunden, gefälscht. Ich habe nur geschaut, wie weit ich dich mitnehmen kann.
(Ernsthafte Diskussion wird fortgesetzt...)
" Welches ist das geeignete Variabilitätsmaß für die Mittelwertvorhersage? "
Diejenige, die für die Vorhersage geschätzt wurde, die Sie verwenden werden. Die Paarungssache...
Beim Bagging geht es mehr um Vorhersagemodellierung als um Erklärungsmodellierung, wie ich bereits erklärt habe. Bagging verringert die Unsicherheit in der Vorhersage.Die Verwendung von Bagging hängt in diesem Fall von Ihrem Glauben an die Qualität und Gültigkeit der Daten und des Modells ab. es ist kein Betrug. Wenn das Modell fehlschlägt, liegt dies an einem Problem mit der Qualität oder Gültigkeit der Daten oder des Modells.
" Es kann nicht beides sein - es sei denn, sie beantworten unterschiedliche Fragen. "
Genau das habe ich gesagt.
" Und wenn das der Fall ist, können Sie mir sagen, welche Frage jeweils beantwortet wird? "
Ich kann. Das habe ich tatsächlich getan: Wieder beantwortet das erste Paar die Frage nach der Unsicherheit in der Vorhersage des ursprünglichen Modells (z. B. lineare Regression, neuronales Netzwerk, Partition). Das zweite Paar beantwortet die Frage nach der Unsicherheit in der Vorhersage mittels Bagging.
Betreff: Konzeptionelle Frage zu verpackten VorhersagenDas kann doch nicht stimmen!Ihr Beispiel sieht genauso aus wie meines - die Mittelwerte sind fast identisch, aber die Standardabweichungen unterscheiden sich um den Faktor 10 (aufgrund der sq rt (M-1), je nachdem, welche Spaltensätze Sie verwenden.Während ich also die Logik sehe, die mittlere Vorhersage mit der zugehörigen Standardabweichung (entweder vom Modell oder vom Einsacken) zu paaren, besteht der praktische Effekt darin, ungefähr die gleichen mittleren Vorhersagen zu haben, aber ein Konfidenzintervall beträgt am Ende 10% wie breit wie die andere.Welches ist das geeignete Variabilitätsmaß für die Mittelwertvorhersage?Es kann nicht beides sein - es sei denn, sie beantworten unterschiedliche Fragen.Und wenn das der Fall ist, können Sie mir sagen, welche Frage jeweils beantwortet wird?
Betreff: Konzeptionelle Frage zu verpackten Vorhersagen" Die Frage ist also: Wenn ich ein Konfidenzintervall für die mittlere Vorhersage haben möchte, welchen Standardfehler verwende ich?Der Unterschied ist eine Größenordnung! " Verwenden Sie die SE aus dem Modell, das zur Vorhersage verwendet wurde.Wenn Sie das gespeicherte Regressionsmodell verwenden, verwenden Sie das gespeicherte SE oder CI. Wenn Sie die verpackten Vorhersagen vom Profiler verwenden, verwenden Sie die verpackte SE. Hier ist das Ergebnis bei Verwendung von :weight versus :height im Big Class-Datensatz. Die hervorgehobenen Paare von Vorhersage- und SE-Datenspalten würden zusammen verwendet werden.
Betreff: Konzeptionelle Frage zu verpackten VorhersagenWir sind fast auf der gleichen Seite.Wenn man NN für den Moment ignoriert und das von mir bereitgestellte einfache Regressionsbeispiel verwendet, beträgt der Standardfehler des eingesackten Mittelwerts etwa 10 % des Fehlers des Regressionsmodells: Dies entspricht der Quadratwurzel von M-1 (M = 100 hier).Das gilt für die durchschnittlichen Vorhersagen - für die individuellen Vorhersagen sind es etwa 20 % (ich bin mir nicht sicher, warum sq rt (M-1) auf erstere zutrifft, aber nicht auf letztere, aber ich denke nicht, dass das sehr viel ist wichtig).Die Frage ist also: Wenn ich ein Konfidenzintervall für die mittlere Vorhersage haben möchte, welchen Standardfehler verwende ich?Der Unterschied ist eine Größenordnung!
Nehmen wir für den Moment an, dass ich den Standardfehler aus dem Regressionsmodell (das das größere der beiden ist) verwenden sollte – und das ist, was ich vermute –, dann stellt sich die Frage, wozu die eingesackten Vorhersagen gut sind.Ich denke, hier kommt das NN (und andere Modelle für maschinelles Lernen) ins Spiel – es gibt keinen Standardfehler von vielen dieser Modelle ohne irgendeine Art von empirisch abgeleitetem Fehler, wie er vom Profiler bereitgestellt wird.Es scheint also sehr nützlich, diesen Standardfehler aus den verpackten Vorhersagen zu verwenden, um Konfidenzintervalle für diese Vorhersagen zu konstruieren.Aus dem Regressionsbeispiel frage ich mich jedoch, ob dies die Gradunsicherheit um eine Größenordnung unterschätzen könnte - was nicht so nützlich wäre.
Betreff: Konzeptionelle Frage zu verpackten VorhersagenSehen wir uns an, wie das Bagging im Profiler funktioniert. Beachten Sie, dass es auf dem angepassten Modell basiert. Es verwendet das angepasste Modell und sampelt die Daten neu, um den Datensatz oder die Stichprobengröße aufzublähen, ändert aber nicht das Modell. Hier ist ein Auszug aus der JMP-Hilfe Profiler-Absacken :
"Das Packen erstellt automatisch neue Spalten in der ursprünglichen Datentabelle. Alle M Sätze von verpackten Vorhersagen werden als ausgeblendete Spalten gespeichert. Die endgültige Vorhersage wird in einer Spalte namens „Pred Formula Bagged Mean“ gespeichert. Die Standardabweichung der endgültigen Vorhersage wird in einer Spalte namens „ Bagged Std Dev“ gespeichert. Der Standardfehler des Bagged Mean wird in einer Spalte namens „StdError Bagged Mean“ gespeichert. Der Standardfehler ist die Standardabweichung dividiert durch Quadrat( M-1 ).Hier identifiziert die Spalte im Bericht, die verpackt wurde.
Der Standardfehler gibt Aufschluss über die Genauigkeit der Vorhersage. Ein sehr kleiner Standardfehler zeigt eine genaue Vorhersage für diese Beobachtung an. Weitere Informationen zum Absacken finden Sie unter Hastie et al. ( 2009 )."
Sie vergleichen also nicht die SEs aus einer Regressionsanalyse und NN. Sie vergleichen SEs von jedem Modell und die SEs von Bagging im Profiler mit demselben Modell. Die Differenz ist ein Faktor von Sqrt(M-1).
Betreff: Konzeptionelle Frage zu verpackten VorhersagenMarkieren
Dann würde ich Sie bitten, sich den letzten Beispieldatensatz anzusehen, den ich gepostet habe.Die Konfidenzintervalle (Standardfehler) stimmen nicht einmal annähernd überein.Dies gilt für eine einfache lineare Regression und den Vergleich der Vorhersagestandardfehler mit denen, die aus dem Speichern der verpackten Vorhersagen aus dem Profiler stammen.Letztere sind viel viel kleiner als die ersteren.Deshalb bin ich verwirrt.
Betreff: Konzeptionelle Frage zu verpackten Vorhersagen" Ich glaube, dass die Vorhersagekonfidenzintervalle für eine multiple Regression über Formeln abgeleitet werden, die von Annahmen über die Fehlerstruktur und Zufallsstichproben abgeleitet sind (letztendlich abgeleitet von der Logik, die dem zentralen Grenzwertsatz zugrunde liegt).Andererseits glaube ich, dass die eingesackten Vorhersagen vom Bootstrapping abgeleitet sind – einem nichtparametrischen empirischen Ansatz zur Ableitung von Konfidenzintervallen.Ich glaube auch, dass diese beiden Ansätze im Allgemeinen nahe beieinander liegen, es sei denn, die zugrunde liegenden Daten weisen ungewöhnliche Verteilungen auf und/oder es werden unzureichende Stichprobengrößen für den Bootstrap verwendet. "
Ja! Das heißt, wenn Sie den theoretischen Ausdruck für das KI und das Bootstrap-KI für das GLEICHE lineare Regressionsmodell verwenden, sollten die CI-SCHÄTZUNGEN übereinstimmen.
Betreff: Konzeptionelle Frage zu verpackten VorhersagenIch glaube, dass die Vorhersagekonfidenzintervalle für eine multiple Regression über Formeln abgeleitet werden, die von Annahmen über die Fehlerstruktur und Zufallsstichproben abgeleitet sind (letztendlich abgeleitet von der Logik, die dem zentralen Grenzwertsatz zugrunde liegt).Andererseits glaube ich, dass die eingesackten Vorhersagen vom Bootstrapping abgeleitet sind – einem nichtparametrischen empirischen Ansatz zur Ableitung von Konfidenzintervallen.Ich glaube auch, dass diese beiden Ansätze im Allgemeinen nahe beieinander liegen, es sei denn, die zugrunde liegenden Daten weisen ungewöhnliche Verteilungen auf und/oder es werden unzureichende Stichprobengrößen für den Bootstrap verwendet.
In den von mir angehängten Dateien treten meines Erachtens keine dieser Probleme auf.Die mittleren Vorhersagen aus den 2 Ansätzen sind fast identisch, aber die Standardfehler aus dem Profiler sind viel viel kleiner als aus den theoretisch abgeleiteten Werten.Dies lässt mich glauben, dass ich die Bedeutung der Profiler-Standardfehler falsch verstehe.Warum sollte sonst jemand jemals die theoretisch abgeleiteten Standardfehler verwenden?
Betreff: Konzeptionelle Frage zu verpackten Vorhersagen" Mein Verständnis (das falsch sein könnte) ist, dass die Standardfehler der Vorhersagen theoretisch im Regressionsmodell abgeleitet werden und das Ergebnis des Bootstrappings in den verpackten Vorhersagen sind.Theoretisch sollten diese ähnlich sein (zumindest mit genügend Bootstrap-Beispielen - ich habe 100 und 1000 verwendet und beide liefern ähnliche Ergebnisse) - aber das sind sie nicht. "
Auf welche Theorie beziehst du dich?
Betreff: Konzeptionelle Frage zu verpackten VorhersagenUm vollständiger zu sein, ist im Anhang eine einfache kleine Datei mit einem einzigen Prädiktor.Ich habe das Regressionsmodell erstellt und die Vorhersagen und Standardfehler (sowohl Mittelwert als auch individuell) gespeichert.Ich habe den Profiler verwendet, um die verpackten Vorhersagen zu speichern.Es gibt 3 xy-Plots, die die Äquivalenz (in diesem Fall perfekt) der vorhergesagten Werte aus dem Modell und dem Profiler zeigen.Die Standardfehlerdiagramme zeigen starke Korrelationen, zeigen aber auch, dass die Standardfehler des Profilers erheblich kleiner sind als die des Modells.Ich vermute stark, dass die Standardfehler aus dem Einsackverfahren etwas anderes bedeuten.Ich hoffe ihr könnt mir das aufklären.
Betreff: Konzeptionelle Frage zu verpackten VorhersagenIch folge dem, was Sie sagen - aber ich denke, meine Frage ist etwas anderes geworden.Lassen wir NN mal außen vor.Da der Profiler auch von der multiplen Regressionsplattform verfügbar ist, habe ich einige Experimente durchgeführt, um zu sehen, wie sich die Standardfehler der eingesackten Vorhersagen mit denen vergleichen, die aus dem Regressionsmodell gespeichert wurden.Sie sind korreliert, wenn auch alles andere als perfekt.Die individuelle Standardabweichung der Vorhersage ist viel größer als die mittlere Standardabweichung der Vorhersage, wie es sein sollte, und dies gilt auch für die beiden Standardfehler, die Sie erhalten, wenn Sie die verpackten Mittelwerte speichern.Was mich jedoch überrascht und ich nicht verstehe, ist, warum die Standardfehler aus dem Speichern der verpackten Vorhersagen (entweder der individuellen oder der mittleren Version) eine Größenordnung kleiner sind als die Standardfehler aus dem Regressionsmodell.Mein Verständnis (das falsch sein könnte) ist, dass die Standardfehler der Vorhersagen theoretisch im Regressionsmodell abgeleitet werden und das Ergebnis des Bootstrappings in den verpackten Vorhersagen sind.Theoretisch sollten diese ähnlich sein (zumindest mit genügend Bootstrap-Beispielen - ich habe 100 und 1000 verwendet und beide liefern ähnliche Ergebnisse) - aber das sind sie nicht.
Es scheint also, dass sich die Standardfehler des Profilers qualitativ von den Standardfehlern des Regressionsmodells unterscheiden.Warum ist das so?
Betreff: Konzeptionelle Frage zu verpackten VorhersagenDas NN ist ein Ensemblemodell, das stark nichtlinear ist. Vergleichen Sie dies mit Ihrem Regressionsmodell, das möglicherweise Terme zweiter Ordnung enthält. Die Standardfehler sind für diese beiden Arten von Modellen sehr unterschiedlich.
Ich persönlich bin nicht einverstanden mit der Vorstellung, dass NN nicht interpretierbar sind oder dass lineare Regressionsmodelle interpretierbar sind. (Ich finde es albern.) Der Effekt des Prädiktors X ist eine lineare Kombination aller Terme, die ihn enthalten. Es ist zum Beispiel Unsinn, von einem „quadratischen Effekt“ zu sprechen. Es gibt nur einen quadratischen Term im Modell. Wie interpretieren wir also den Effekt von X, wenn er im Modell als X + X*X2 + X*X + X*X*X erscheint? Wir sind es einfach gewohnt, in diesen Begriffen zu denken – wir waren viele Jahre damit konfrontiert und hatten Zeit, darüber nachzudenken. Ein NN ist mehr vom Gleichen (linearer Prädiktor), der einer nichtlinearen Aktivierungsfunktion unterzogen und für jeden Knoten zu mehr vom Gleichen hinzugefügt wird. Wir müssen nur mehr nachdenken.
Nein, tun wir nicht. Wir haben einen Profiler, der mit jeder Art von Funktion (Modell) funktioniert.
Betreff: Konzeptionelle Frage zu verpackten VorhersagenMarkus, danke.Das hilft etwas.Es könnte erklären, warum das NN kleinere Standardfehler liefert (obwohl ich immer noch überrascht bin, wie groß der Unterschied ist, wenn beide Modelle so gut zu den Daten passen).Aber es scheint wirklich nicht zu erklären, warum es fast keine Korrelation in den Standardfehlern gibt, die mit jeder Vorhersage verbunden sind.Die von mir geposteten Daten zeigen praktisch keine sinnvolle Beziehung zwischen dem Standardvorhersagefehler jeder Beobachtung zwischen den beiden Modellen.Nun, für ein multiples Regressionsmodell habe ich ein gewisses Gefühl dafür, was die Standardfehler bestimmt, die mit verschiedenen Beobachtungen verbunden sind - aber für das NN habe ich das wirklich nicht.Vielleicht sind sie deshalb nicht miteinander verwandt?Ist dies eine Dimension, die mit der mangelnden Interpretierbarkeit von NN-Modellen zusammenhängt?
Betreff: Konzeptionelle Frage zu verpackten VorhersagenJa.
Die Neural-Plattform verwendet ein komplexes Modell, sogar mit nur einer Handvoll versteckter Knoten. Stellen Sie sich vor, Sie fügen dem Regressionsmodell viele Terme hinzu. Was passiert mit dem RMSE? Was wiederum passiert mit den SEs? Ist die Komplexität Ihres Regressionsmodells mit der des NN vergleichbar?
Ich behaupte nicht, dass Sie die NN- oder andere ML-Methoden missbrauchen. Denken Sie nur daran, dass es bei ihnen ALLES um Vorhersagen geht, ÜBERHAUPT NICHT um Schlussfolgerungen. Unsicherheit bei Schätzungen ist also unwichtig, Genauigkeit / Reproduzierbarkeit / Verallgemeinerung sind alles. Daher verwenden Vorhersagemodelle (keine erklärenden Modelle) Maße des gesamten MSE (Bias + Varianz), um das Modell auszuwählen, und die „ehrliche Bewertung“ oder Kreuzvalidierung, um das ausgewählte Modell zu bestätigen.
Aber der Hauptpunkt ist, dass es keinen Grund dafür gibt, dass die SEs aus verschiedenen Modellen gleich sind, selbst wenn ihre mittleren Antwortvorhersagen ähnlich sind. Dieser Unterschied kann einem Modell in Ihrer Anwendung einen Vorteil verschaffen.
Betreff: Konzeptionelle Frage zu verpackten VorhersagenNachtrag - in der von mir angehängten Datei habe ich die Standardfehler aus der multiplen Regression (über)geschätzt.Ich habe sie geschätzt, indem ich die gespeicherten 95%-Konfidenzintervalle verwendet habe.Anbei eine überarbeitete Version wo ich die Standardfehler direkt abgespeichert habe.Meine Frage bleibt, da die Standardfehler aus dem NN weniger als halb so groß zu sein scheinen wie aus der multiplen Regression (im Durchschnitt) mit wenig offensichtlicher Korrelation innerhalb des Validierungssatzes.Beide Modelle passen recht gut zu den Daten.Ich frage mich also, ob die Interpretation der Standardfehler des eingesackten Mittelwerts angemessen als Standardfehler interpretiert wird, die mit den Vorhersagen in der gleichen Weise verbunden sind, wie die Standardfehler der Vorhersagen aus der multiplen Regression interpretiert werden.
