Bryan Fricke, JMP-Hauptsoftwareentwickler, SAS
Russ Wolfinger, Direktor, Forschung und Entwicklung, JMP
Wiederholte k-fache Kreuzvalidierung wird üblicherweise verwendet, um die Leistung von Vorhersagemodellen zu bewerten. Das Problem ist, woher wissen Sie, wann ein Leistungsunterschied groß genug ist, um ein Modell als besser als ein anderes zu erklären? Typischerweise wird der Nullhypothese-Signifikanztest (NHST) verwendet, um festzustellen, ob die Unterschiede zwischen Vorhersagemodellen „signifikant“ sind, obwohl die Nützlichkeit des NHST in der Statistikliteratur in den letzten Jahren ausführlich diskutiert wurde. In diesem Dokument diskutieren wir Probleme im Zusammenhang mit NHST und stellen eine Alternative vor, die als Konfidenzkurven bekannt ist und als neues JMP-Add-In entwickelt wurde, das direkt mit den Ergebnissen arbeitet, die von der Model Screening-Plattform von JMP Pro generiert wurden.
