Was hat Sie zu dieser Wunschliste inspiriert?
JMP hat eine Reihe von Algorithmen für maschinelles Lernen leicht verfügbar gemacht – ein großer Mangel bei den meisten davon ist das Fehlen von Unsicherheitsmaßen für Vorhersagen, insbesondere für Klassifizierungsmodelle. Es gibt eine Reihe von Tools zur Bewertung der Modellgenauigkeit (z. B. ROC-Kurven, Konfusionsmatrizen usw.), aber nur wenige zur Bewertung der Unsicherheit in den Vorhersagen. Im Gegensatz zu klassischen statistischen Modellen (bei denen eine angenommene Fehlerstruktur vorliegt) fehlt der Grad der Unsicherheit in den Vorhersagen oft. Die konforme Vorhersage scheint eine relativ einfache Möglichkeit zu sein, dies für eine Vielzahl von Methoden des maschinellen Lernens bereitzustellen.
Welche Verbesserung würden Sie gerne sehen?
Ich würde gerne die Fähigkeit zur konformen Vorhersage in Verbindung mit allen in JMP verwendeten Klassifizierungsmodellierungsmethoden sehen. Die resultierende Ausgabe sollte (für Klassifizierungsmodelle) die vorhergesagten Klassifizierungssätze anzeigen, einschließlich eines unbestimmten Satzes, bei dem das gewünschte Maß an Sicherheit nicht gewährleistet werden kann.
Warum ist diese Idee wichtig?
Konforme Vorhersagen gibt es seit mindestens 20 Jahren, aber sie werden (meiner Meinung nach) durch eine unnötig mathematische Beschreibung der Technik behindert. Ich denke, sie sind einfacher als üblicherweise dargestellt. Ich denke auch, dass es sich um eine nichtparametrische Technik zur Quantifizierung der Vorhersageunsicherheit handelt – die dringend benötigt wird, da zunehmend Modelle des maschinellen Lernens verwendet werden. Das Fehlen einer Quantifizierung der Vorhersageunsicherheit (und nicht nur der Genauigkeit) begrenzt die Nützlichkeit dieser Methoden und macht ihre Anwendung möglicherweise fehlgeleitet (sie führen zu Vorhersagen, bei denen es möglicherweise kaum Unterschiede zwischen Beobachtungen gibt, die zuverlässig vorhergesagt werden können, und solchen, für die dies nicht möglich ist). Eine Referenz finden Sie unter https://arxiv.org/pdf/2107.07511.pdf .
