766272_de-DE

liliconcom

Ausreißererkennung

Hallo
wenn ich den Rest der neuronalen Netzwerkvorhersage im Klassifizierungsproblem zur Erkennung von Ausreißern berechnen möchte
welche Formel sollte ich zur Berechnung des Residuums verwenden?
macht die Software das?

Erweiterte statistische ModellierungPrädiktive Modellierung und maschinelles LernenBetreff: Ausreißererkennung

Hallo @maryam_nourmand ,

Wenn Sie ein Modell zur Vorhersage kontinuierlicher numerischer Werte verwenden, können Sie bei einigen Modellen die Residuen direkt in Ihrer Datentabelle speichern, indem Sie auf das rote Dreieck klicken, „Spalten speichern“ und dann „Residuen“ auswählen. Bei neuronalen Netzwerken müssen Sie etwas Handarbeit leisten, indem Sie die Vorhersageformel in Ihrer Tabelle speichern (rotes Dreieck, „Formeln speichern“ oder „Schnellformeln speichern“) und dann eine neue Spalte „Residuen“ mit einer Formel erstellen: Tatsächlicher Wert – Vorhergesagter Wert

Beachten Sie, dass Sie bereits Optionen zum Zeichnen des Diagramms „Residuum nach Vorhersage“ in der Neural Network-Plattform haben, wenn Sie auf das rote Dreieck klicken.

Wenn Sie ein Modell zur Vorhersage von Klassen verwenden, erhalten Sie zwar keine Residuen, aber Informationen zu Fehlklassifizierungen und berechneten Wahrscheinlichkeiten. Sie können diese Wahrscheinlichkeitsspalten dann speichern (dieselben Optionen wie zuvor) und versuchen herauszufinden, wo die Fehler liegen, indem Sie beispielsweise die Wahrscheinlichkeiten der vorhergesagten Hauptklasse darstellen und prüfen, ob der Schwellenwert der Klassifizierungswahrscheinlichkeit angepasst werden muss.

Wenn Sie an der Auswertung von Klassifizierungsmodellen interessiert sind, stehen Ihnen auch verschiedene Diagramme zur Verfügung, die Ihnen bei der Auswertung der Leistung Ihres Klassifikatormodells helfen: ROC-Kurve , Lift-Kurve , Konfusionsmatrix usw.

Hoffe, diese Antwort wird Ihnen helfen,

Betreff: Ausreißererkennung

aber wir können Residuen in der logistischen Regression berechnen
es ist auch eine Art Klassifizierungsmodell
ich füge das Bild der Formel zur Berechnung des Abweichungsrestes hierfür bei
jetzt möchte ich wissen, wann ich ein neuronales Netzwerk für ein Klassifizierungsproblem verwende
wie kann ich dafür auch den Restwert berechnen?

Betreff: Ausreißererkennung

Tatsächlich kann man die Abweichung in verallgemeinerten linearen Modellen berechnen: Statistische Details zur Modellauswahl und Abweichung

Beispielsweise habe ich im JMP-Datensatz „Waschmittel“ mit „Marke“ als kategorische Antwort Y die Möglichkeit, die Abweichungsresiduen direkt zu berechnen und in der Datentabelle zu speichern:

Devianz ist ein Hinweis auf die Güte der Anpassung für statistische Modelle, bei denen die Modellanpassung durch maximale Wahrscheinlichkeit erreicht wird, was möglicherweise nicht für Machine-Learning-Modelle verwendet wird, die andere Verlustfunktionen verwenden: Devianz (Statistik) – Wikipedia

Daher ist es für manche Modelle mit anderen Anpassungsfunktionen möglicherweise nicht möglich, es zu berechnen.

Betreff: Ausreißererkennung

Was ist also das gleiche Konzept von Residuen in statistischen Modellen und Modellen des maschinellen Lernens?
aber ich denke, wir haben eine Wahrscheinlichkeit für jede Klasse in Modellen des maschinellen Lernens, also sollten wir dafür auch den Rest berechnen können

Betreff: Ausreißererkennung

Die Residuenanalyse wird in statistischen Modellen nicht nur zur Bewertung der Vorhersageleistung verwendet, sondern auch zur Validierung der Annahmen, die ihrer korrekten Verwendung zugrunde liegen: Annahmen für Regressionsmodelle | Einführung in die Statistik | JMP

In Modellen des maschinellen Lernens gibt es normalerweise weit weniger „strenge“ Annahmen, da wir nicht davon ausgehen, dass die wahre Beziehung linear ist, Fehler normal verteilt sind usw.
Die große gemeinsame Annahme hinter der Verwendung von Machine-Learning-Modellen bleibt, dass die Daten iid sind: unabhängig und identisch verteilt . Die anderen Annahmen beziehen sich eher auf die Verwendung eines bestimmten Algorithmus und die Art und Weise, wie dieser anhand von Daten lernt. Mehr dazu können Sie hier lesen:

1. https://www.kdnuggets.com/2021/02/machine-learning-assumptions.html
2. Induktive Verzerrung in der Reihe „Maschinelles Lernen“: https://mindfulmodeler.substack.com/p/from-theory-to-practice-inductive

Jedes Klassifizierungsmodell berechnet die Wahrscheinlichkeit, mit der ein Datenpunkt zu einer bestimmten Klasse gehört. Basierend auf einem angegebenen Schwellenwert (beispielsweise > 0,5 für eine binäre Klassifizierung) wird dann die vorhergesagte Klasse ausgegeben, die der höchsten Klassenwahrscheinlichkeit entspricht. Das Arbeiten und Visualisieren der vorhergesagten Wahrscheinlichkeiten kann Ihnen dabei helfen, einen Schwellenwert für die Ausgabe der vorhergesagten Klasse besser zu definieren und zu beurteilen, ob Ihr Modell die Klassen richtig zu unterscheiden scheint.

Ich weiß nicht, ob es eine Metrik oder Möglichkeit gibt, diese vorhergesagten Wahrscheinlichkeiten direkt zu verwenden, um eine Art Residuen in JMP zu berechnen?

Betreff: Ausreißererkennung

Wenn Sie einen Weg finden, diese vorhergesagten Wahrscheinlichkeiten direkt zu verwenden, um eine Art von Residuen in JMP zu berechnen, oder einen Weg finden, diese vorhergesagten Wahrscheinlichkeiten nicht nur in JMP zur Berechnung von Residuen zu verwenden, teilen Sie uns dies bitte in diesem Beitrag mit
Danke

Betreff: Ausreißererkennung

Sie könnten den Brier-Score berechnen. Aber vielleicht sollten Sie etwas mehr darüber sagen, was Sie genau versuchen. Es gibt viele Möglichkeiten, die Genauigkeit von Klassifizierungsmodellen zu messen und zu bewerten. Ich finde, dass die Residuen zu den am wenigsten intuitiven gehören, da Klassifizierungsmodelle Wahrscheinlichkeiten ergeben und jede Beobachtung entweder richtig klassifiziert wird oder nicht. Je extremer die Wahrscheinlichkeit für falsche Klassifizierungen, desto schlechter das Modell (und ich nehme an, dass die Residuen das messen – aber ich denke, es gibt intuitivere Möglichkeiten, das zu betrachten). Also, was möchten Sie mit den Residuen tun?

Betreff: Ausreißererkennung

ich möchte überprüfen, wie gut mein Modell die Reaktion vorhersagen kann

Betreff: Ausreißererkennung

Sie haben Ihr Problem als Klassifizierungsmodell beschrieben. JMP berechnet die Wahrscheinlichkeiten der diskreten Ergebnisse für jede Beobachtung (vorzugsweise unter Verwendung einer Validierung und mit Fokus auf die Validierungsdaten statt auf die Trainingsdaten). Sie können diese Wahrscheinlichkeiten verwenden, um Kennzahlen wie einen Brier-Score zu berechnen, oder Sie können verschiedene der oben beschriebenen Methoden verwenden, um die Genauigkeit Ihres Modells zu messen. Ich verstehe wirklich nicht, was Sie mit Residuen meinen oder warum Sie sich auf diese konzentrieren möchten. Angenommen, Ihr Klassifizierungsmodell ist binär: Sagen Sie eine Antwort von 0 oder 1 voraus. Ihr Modell ergibt eine Wahrscheinlichkeit von 1 – sagen wir, die Wahrscheinlichkeit beträgt 0,6. Nehmen wir nun an, diese bestimmte Beobachtung hat eine tatsächliche Klassifizierung von 0 (oder alternativ 1). Was würden Sie als „Residuum“ für diese Beobachtung bezeichnen? Wenn es sich um eine korrekte Vorhersage handelt, sagen wir eine 1, dann ist Ihr Modell umso „besser“, je näher die Wahrscheinlichkeit bei 1 liegt. Wenn es tatsächlich eine 0 ist, dann ist Ihr Modell umso „schlechter“, je näher die Wahrscheinlichkeit des Modells bei 1 liegt. Der Brier-Score ist eine häufig verwendete Methode, um zu messen, wie gut Ihr Modell ist (ich glaube nicht, dass JMP den Brier-Score berechnet – zumindest habe ich ihn nicht gesehen – aber er sollte manuell leicht zu berechnen sein). Alternativ sind AUC, Fehlklassifizierungsrate, AIC usw. allesamt Kennzahlen, die JMP problemlos bereitstellt, um zu messen, wie gut Ihr Modell ist.

Aber Ihr Fokus auf „Residuen“ ist bei weitem nicht der intuitivste Weg, um Ihr Ziel zu erreichen, nämlich zu bestimmen, „wie gut mein Modell die Antwort vorhersagen kann“. Residuen sind eine natürliche Methode, dies zu bestimmen, wenn Sie eine kontinuierliche Antwortvariable und kein Klassifizierungsmodell haben, und JMP erleichtert die Berechnung der Residuen für diese Modelltypen (entweder integriert in den roten Dreiecken für „Spalten speichern“ oder erstellen Sie einfach eine Spalte mit ABS (tatsächlich-vorhergesagt).