VertrauenskurvenIn dem Papier mit dem Titel „ Konfidenzkurven: eine Alternative zum Nullhypothesen-Signifikanztest für den Vergleich von Klassifikatoren “, beschreibt Daniel Berrar Probleme im Zusammenhang mit der Verwendung von Nullhypothesen-Signifikanztests für den Vergleich von Klassifikatoren und schlägt die Verwendung von Konfidenzkurven als Alternative vor. Nach der Installation des Add-Ins können Sie auf folgende Weise Konfidenzkurven zum Vergleich verschiedener Klassifikatoren mit einem Referenzklassifikator generieren:
- Wählen Sie in der Menüleiste von JMP Pro „Analyze => Predictive Modeling => Modeling Screening“ aus.
- Wählen Sie geeignete Parameter für die Felder "Y, Response" und "X, Factor".
- Aktivieren Sie im Abschnitt "Folded Crossvalidation" des Dialogs die Option "K Fold Crossvalidation" und legen Sie die Anzahl der Faltungen im Eingabefeld "K" und die Anzahl der Wiederholungen im Eingabefeld "Repeated K Fold" fest.
- Wählen Sie „OK“, um die Model-Screening-Plattform auszuführen.
- Wenn der Ergebnisdialog angezeigt wird, klicken Sie auf das rote Dreiecksmenü.
- Wählen Sie „Ergebnistabelle speichern“
- Wählen Sie in der Menüleiste von JMP Pro „Add-Ins => Confidence Curves“ aus.
- Befolgen Sie die angezeigten Anweisungen, um die in Schritt 6 generierte Ergebnistabelle, das Referenzmodell und die für den Vergleich zu verwendende Metrik auszuwählen.
- Danach sollte ein Graph Builder-Bericht ähnlich dem unten gezeigten generiert werden:
In dem Papier mit dem Titel „ Konfidenzkurven: eine Alternative zum Nullhypothesen-Signifikanztest für den Vergleich von Klassifikatoren “ schlägt Daniel Berrar Konfidenzkurven als Alternative zur Verwendung von Nullhypothesen-Signifikanztests für den Vergleich von Klassifikatoren vor.
StatistikenDienstprogramme
