Was hat diesen Wunschwunsch ausgelöst?
Diese Hilfeseite ( https://www.jmp.com/support/help/en/19.1/#page/jmp/example-of-confidence-intervals-using-bagging.shtml ) beschreibt eine Methode zur Berechnung von Konfidenzintervallen für ein neuronales Netzwerkmodell mithilfe von Bagging. Ich denke, dies lässt sich leicht auf Vorhersageintervalle erweitern, indem man den RASE als Schätzung des Fehlerterms verwendet. Die neue Profiler-Visualisierung von Datenpunkten und Vorhersageintervallen kann mit dieser Implementierung von Vorhersageintervallen kombiniert werden. Dadurch lässt sich die Abdeckung der Datenpunkte im Modell visuell überprüfen. JMP prüft derzeit nur die Punktvorhersage des Modells. Dies würde helfen sicherzustellen, dass auch der Fehlerterm korrekt geschätzt wird.
Welche Verbesserung würden Sie sich wünschen?
Hier eine visuelle Darstellung der Konfidenzintervalle aus dem Bagging-Verfahren:
Ich habe Vorhersageintervalle mithilfe von RASE und dem normalen Fehler berechnet und anschließend die Spalteneigenschaften angepasst, um mit der neuen Visualisierung von Vorhersageintervallen aus JMP 18 ein Diagramm wie dieses zu erzeugen. Im Prinzip möchte ich, dass die Standardgenerierung von Konfidenzintervallen durch das neuronale Netzwerk-Bagging ein Diagramm wie das untenstehende anstelle des obenstehenden erzeugt. Ich habe eine JMP-Tabelle des Reifenprofilbeispiels von der Hilfeseite angehängt, damit Sie meine Berechnungen und die Implementierung nachvollziehen können. Das erste Skript „Bagging Profiler“ ist identisch mit dem auf der Hilfeseite. Der zweite Profiler, „Profiler of Pred Formula ABRASION“, ist mein benutzerdefinierter Profiler mit zusätzlichen Datenpunkten und Vorhersageintervallen.
Nachdem die Vorhersageintervalle berechnet wurden, kann ich die Datenpunktabdeckung sowohl visuell im Profiler als auch numerisch in der Tabelle überprüfen.
Warum ist diese Idee wichtig?
Es erscheint mir äußerst merkwürdig, dass neuronale Netze und ähnliche prädiktive Black-Box-Modelle zwar gute Vorhersagen ermöglichen sollen, Unsicherheiten aber weitgehend ignorieren. Ich habe mir immer Vorhersageintervalle gewünscht, um zu überprüfen, ob das Modell, einschließlich des Fehlerterms, die bestehenden und neuen Daten gut abbildet. Das Bagging zur Erzeugung von Konfidenzintervallen war ein Schritt in die richtige Richtung, aber man kann das Modell immer noch nicht validieren, indem man die Daten mit den mittleren Konfidenzintervallen vergleicht. Man muss die Daten mit den Vorhersageintervallen vergleichen. Dieser Ansatz bietet im Wesentlichen eine Methode, um die Gültigkeit des Fehlerterms selbst zu überprüfen und die tatsächlichen Daten mit den Vorhersageintervallen des Modells zu vergleichen, um sicherzustellen, dass die meisten Punkte innerhalb dieser Intervalle liegen. All dies ermöglicht eine weitere Methode zur Modellprüfung und stärkt das Vertrauen in das Modell, wenn die Anpassung gut erscheint und die Abdeckung der Vorhersageintervalle vielversprechend aussieht. Das Tolle daran ist, dass diese Methode für die meisten Modelltypen anwendbar sein sollte, die typischerweise keine Konfidenz- oder Vorhersageintervalle besitzen, wie beispielsweise neuronale Netze.
Vielen Dank für Ihren Vorschlag. Wir prüfen ihn.
