<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />Hallo zusammen,
Ich habe die Leistung verschiedener Klassifikationsmodelle (z. B. BayesNet, Random Forrest) an mehreren Datensätzen bewertet, indem der F1-Score ( F1 score - Wikipedia, die freie Enzyklopädie ) durch zehnfache Kreuzvalidierung erreicht. Meine Daten, daher folgende Spalten: Klassifizierungsmodell, Datensatz, F1-Score.
Jetzt möchte ich testen, ob:
1) Es gibt einen statistischen Unterschied zwischen den Prädiktoren.
2) Es gibt einen statistischen Unterschied zwischen dem besten Prädiktor und allen anderen.
Mein Ansatz wäre zu tun:
-Fit y durch x, mit y = F1 und x = Klassifikationsmodell
-Nicht parametrischer Wilcoxon-Test: Damit wird Punkt 1 beantwortet.
-Nicht parametrischer Mehrfachvergleich: Wilcoxon-Test: Damit wird Punkt 2 beantwortet.
Ich sehe jedoch andere Tests als Wilcoxon und frage mich, ob das, was ich tue, richtig ist.
Danke für Ihre Hilfe,
Davide
Hallo Davide,
Ich denke, Ihr Ansatz ist vernünftig.
Eine andere Methode, die Sie sich ansehen könnten, wäre Oneway> Mittelvergleich> Mit Best, Hsu MCB. Dies ist ein Mehrfachvergleichsverfahren, bei dem geprüft wird, ob sich jede Ebene der X-Variablen erheblich von der "besten" Ebene unterscheidet. Die Ausgabe zeigt p-Werte für den Vergleich aller Pegel mit dem Maximum sowie mit dem Min.
Einige Informationen zu dieser Option finden Sie in JMP unter Fit Y by X: Mittel vergleichen
Beste,
Michael
