829796_de-DE

liliconcom

Ergebnisse vergleichen

Hallo,
Wie kann ich in JMP einen statistischen Test durchführen, um sicherzustellen, dass die aus verschiedenen Klassifizierungsmethoden erhaltenen Ergebnisse nicht auf Zufall beruhen, nachdem unterschiedliche Ergebnisse erzielt wurden?

Erweiterte statistische ModellierungDatenexploration und -visualisierungPrädiktive Modellierung und maschinelles LernenBetreff: Ergebnisse vergleichen

Mir sind keine statistischen Tests bekannt, mit denen sich feststellen lässt, ob diese verschiedenen Modelle „signifikant“ voneinander abweichen oder nicht, aber ich glaube nicht, dass dies der richtige Weg ist. Sie müssen eine Reihe relevanter Dinge vergleichen. Mithilfe der Validierungsdaten (oder Testdaten, wenn Sie über einen ausreichend großen Datensatz verfügen, um diese erstellen zu können) können Sie sich ROC, Fehlklassifizierungsraten, Entropie- und verallgemeinerte R-Quadrat-Maße ansehen und die Fehlklassifizierungen jedes Modells detailliert untersuchen – mit entsprechenden Anpassungen der Abschaltwahrscheinlichkeiten für die Klassifizierungen. Ich neige dazu, mir die Vorhersagewahrscheinlichkeitsverteilungen, die jedes Modell liefert, genau anzusehen und die Nützlichkeit jedes Modells für das vorliegende Problem zu bewerten. Selten sind falsch positive und falsch negative Ergebnisse gleich wichtig, daher möchten Sie wirklich ein Modell, das für das Entscheidungsproblem, das Sie modellieren, „gut“ funktioniert. Und die vorhergesagten Wahrscheinlichkeitsverteilungen liefern normalerweise umfangreiche Beweise für diese Bewertung.

Betreff: Ergebnisse vergleichen

wie kann ich R2-Ergebnisse in einer Windows-Tabelle speichern? Ich möchte nämlich einen Anova-Test darauf durchführen

Betreff: Ergebnisse vergleichen

Klicken Sie mit der rechten Maustaste auf das Tabellenfeld und wählen Sie entweder „In Datentabelle erstellen“ oder „Kombinierte Datentabelle erstellen“

Betreff: Ergebnisse vergleichen

Hallo @maryam_nourmand ,

Wenn Ihr Ziel darin besteht, die Robustheit der Modellleistung zu bewerten, kann ich die von @dlehman1 bereitgestellten Optionen nur empfehlen und hervorheben.

Es gibt mehrere Möglichkeiten, die Robustheit eines Modells zu bewerten:

• Durch Messen der Modellleistung unter verschiedenen Zufallszahlen (da Zufälligkeit Teil des Lernens im ML-Modell ist: „Kein Lernen ohne Zufälligkeit“ ),
• Durch Messen der Modellleistung unter verschiedenen Trainings- und Validierungssätzen.

Bei der zweiten Option ermöglicht die Verwendung einer Validierungsformelspalte und der Option „Simulieren“, das Modell unter einer großen Anzahl verschiedener Trainingsbedingungen/-sätze auszuprobieren. Weitere Informationen dazu, wie dies in JMP funktioniert, finden Sie in den folgenden Beiträgen:

Wie kann ich viele wiederholte Validierungen automatisieren und in einer Ausgabetabelle zusammenfassen?

Boosted Tree - Tuning-Tabellendesign

Mit den Ergebnissen dieser Simulationen können Sie dann Leistungsverteilungen zwischen verschiedenen Modellen visualisieren und vergleichen und bei Bedarf einige statistische Tests durchführen, um beispielsweise die Mittelwert-/Median-/Varianzleistungen der Vorhersagesimulationen zwischen verschiedenen Modellen zu vergleichen.

Wie @dlehman1 sagte, sind die Standardmetriken interessant, Sie möchten sie aber möglicherweise feinabstimmen, da Klassifizierungsfehler möglicherweise nicht die gleiche „Bedeutung“ haben.

Seien Sie auch vorsichtig mit den von ML-Modellen angezeigten Wahrscheinlichkeiten, wenn Sie sie als „Konfidenzniveaus“ verwenden möchten. Sie sind nicht alle kalibriert und können je nach den gewählten Modellen und der Stichprobengröße unterschiedliche Auswirkungen und Konsequenzen haben. Mehr zum Thema Kalibrierung:

https://scikit-learn.org/stable/auto_examples/library/plot_compare_library.html

https://plomber.io/blog/library-curve/

Hoffe, diese Antwort und einige Überlegungen können helfen,