Verwirrungsmatrix und LeistungskennzahlenDerzeit ist in JMPpro die einzige automatisch aus der Verwirrungsmatrix eines Modells berechnete Leistungsmessung die Fehlklassifizierungsrate und schließlich die AUC des ROC. Andere Messgrößen wie Fase-Positiv- und Falsch-Negativ-Raten, Sensitivität, Spezifität, negativer und positiver Vorhersagewert, Präzision/Erinnerung (= F1-Score) und MCC werden häufig in der ML-Literatur beschrieben und sind für den Modellvergleich sehr nützlich. Es gibt Online-Rechner, die jedoch eine manuelle Dateneingabe erfordern und empfindlich auf Dateneingabefehler reagieren (siehe Website für Formeln). http://onlineconfusionmatrix.com/ ). Ich habe keine Erfahrung mit der Entwicklung von Add-Ins. Ein Add-In, das diese Leistungskennzahlen aus der Verwirrungsmatrix berechnet, wäre für den JMP-Benutzer, der nach dem optimalen ML-Modell sucht, sehr willkommen. Tatsächlich ist die ROC- und Fehlklassifizierungsrate weit von der besten Leistungsmessung entfernt, insbesondere wenn die Daten stark unausgeglichen sind, was bei der medizinischen Klassifizierung sehr häufig vorkommt. Meine Frage: Ist es sinnvoll, dieses Add-In zu entwickeln, und gibt es jemanden im Forum, der sich etwas Mühe geben kann?
Grüße
Lu
Datenexploration und -visualisierungPrädiktive Modellierung und maschinelles LernenQualitäts- und VerfahrenstechnikBetreff: Verwirrungsmatrix und LeistungsmessungenHallo Lu,
Schauen Sie sich diese beiden Add-Ins an, um zu sehen, ob sie Ihnen bei dem helfen, was Sie suchen. Der zweite hat viel von dem, was Sie wollen, läuft aber tendenziell langsam, also seien Sie geduldig. Das erste habe ich speziell für die Maßnahmen entwickelt, die ich für Diagnosetests wollte.
Leistungszusammenfassungs-Add-In
Schwellenwert-Explorer für die Modellklassifizierung
