586394_de-DE

liliconcom

Modell-Screening: Diagramme und neue Metriken zum Vergleich von Methoden: AICc/BIC, Berechnungszeit, CO2-Emissionen ... ?

Hallo JMP-Team und Community,

 

Hier sind meine Vorschläge, die sich hauptsächlich auf die Plattform „Model Screening“ konzentrieren, aber sie könnten möglicherweise auf andere Plattformen ausgeweitet werden, wenn sie relevant sind. Ich hoffe, dass diese Ideen nicht zu verrückt oder „abwegig“ klingen.

 

• Was hat diese Wunschlistenanfrage inspiriert?
  • Beim Vergleich verschiedener Methoden über die „Model Screening“-Plattform werden die zum Vergleich der Methoden verwendeten Metriken R² und Mean/Std RASE verwendet. Auch wenn es möglicherweise bereits einige Entscheidungen hinsichtlich der „besten Methoden“ anleitet und hervorhebt, kann es manchmal schwierig sein, zu vergleichen und eine Auswahl zu treffen, wenn die Ergebnisse bei mehreren Methoden ähnlich sind.
  • Es scheint keinen Hinweis auf die „Komplexität“ der auf dieser Plattform verwendeten Methoden zu geben (vielleicht durch ein Informationskriterium wie AICc/BIC oder eine einfache Berechnungszeitmetrik („verstrichene Zeit“, verfügbar im roten Dreieck, aber nicht standardmäßig). ), was eine interessante und wichtige Information sein könnte, wenn das Modell in der Produktion verwendet werden soll, wo die Latenz des Modells ein wichtiger Parameter sein könnte.
  • Da Nachhaltigkeit heutzutage eine der wichtigsten Prioritäten ist, könnte es schließlich interessant sein, Modelle nicht nur hinsichtlich ihrer „statistischen“ Leistung zu vergleichen, sondern auch Rechenzeit/Energieverbrauch durch relevante Metriken zu berücksichtigen.

 

• Welche Verbesserungen wünschen Sie sich? ?  
  • Wäre es möglich, Diagramme zur Entwicklung von R² für verschiedene Methoden und möglicherweise auch ein Diagramm mit dem mittleren RASE (und dem Std. RASE als Intervalle im Diagramm) hinzuzufügen, um die Unterschiede zwischen den Methoden besser beurteilen zu können?
  • Wäre es möglich, andere Bewertungsmetriken hinzuzufügen, insbesondere eine Metrik, die sich auf die Modellkomplexität konzentriert (AICc/BIC und/oder standardmäßig Rechenzeit)? Dies kann dazu beitragen, die Leistung ähnlicher Modelle zu ordnen, indem die einfachsten Modelle gefördert werden (wie es sich gehört, bevorzugen Sie nach Möglichkeit immer sparsame/einfache Modelle).
  • Da die Rechenzeit leicht erfasst werden kann („verstrichene Zeit“ ist in den Optionen des roten Dreiecks verfügbar), wäre es toll, diese Informationen in den Plattformergebnissen als Hinweis auf „Nachhaltigkeit/Komplexität des Modells“ hervorzuheben. Wenn möglich, kann die Verwendung dieser Informationen und der Informationen der von JMP verwendeten Ausrüstung/Gerät/Computer die Erstellung von Indikatoren wie der Open-Source-Initiative „Code Carbon“ ermöglichen, die CO2-Emissionen basierend auf Rechenzeit, GPU/CPU und Energie liefern Verbrauch : Motivation – CodeCarbon 2.0.0-Dokumentation (mlco2.github.io)

 

• Warum ist diese Idee wichtig?
  • Da JMP für seine Interaktivität zwischen Grafiken und seine Benutzerfreundlichkeit bzw. seinen einfachen Zugriff durch hilfreiche Grafiken bekannt ist, die Nicht-Statistikern dabei helfen, relevante Informationen zu erhalten, wäre es aufgrund der verfügbaren Grafiken interessant, einige Visualisierungen in die „Model Screening“-Plattform aufzunehmen sind „nur“ „Actual by Predicted“ und „Profiler“. Möglicherweise mangelt es an Visualisierung für den Entscheidungsprozess über die Wahl der Methode.
  • Da sich JMP an Ingenieure und Wissenschaftler richtet, kann eine klare Vorstellung von der Komplexität eines Modells dabei helfen, den besten Kompromiss zwischen Präzision, Erklärbarkeit und Geschwindigkeit zu wählen. Das Hinzufügen einer Komplexitätsmetrik kann JMP-Benutzern auch dabei helfen, sie nicht nur für Explorations-/Erkennungszwecke in Betracht zu ziehen, sondern auch als Prototyping-Tool für den Produktionsmodus, bei dem die Modelllatenz ein wichtiger Faktor ist.
  • JMP hat bereits viele Menschen in seiner Community, die sich für die Umwelt engagieren oder eine Leidenschaft dafür haben. „Data for Green“ unterstreicht auch das Engagement von JMP für Nachhaltigkeit und Umwelt. Die Möglichkeit, auf dieser Plattform Informationen bereitzustellen, die die Auswirkungen hervorheben und dabei helfen können, Methoden auf der Grundlage einer relevanten Metrik zu differenzieren, scheint eine große Chance und ein wesentliches Unterscheidungsmerkmal im Vergleich zu anderen Softwareprogrammen zu sein und darüber hinaus das Bewusstsein zu schärfen.

 

Ich freue mich auf Ihr Feedback und wenn jemand Interesse an einem Kommentar hat, zögern Sie nicht

Frohes neues Jahr und alles Gute,

 

 

Datenexploration und -visualisierungBetreff: Modellscreening: Diagramme und neue Metriken zum Vergleich von Methoden: AICc/BIC, Berechnungszeit, CO2-Emissionen ... ?

Vielen Dank für diesen Vorschlag @Victor_G , habe ich dem Entwickler zur Prüfung mitgeteilt.

Betreff: Modellscreening: Diagramme und neue Metriken zum Vergleich von Methoden: AICc/BIC, Berechnungszeit, CO2-Emissionen ... ?

Hallo @mia_stephens ,

 

Ja, diese Art von Diagramm könnte interessant sein, um die Leistung der Model Screening-Plattform zu visualisieren.

Eine weitere Option für die RASE-Grafik im Falle einer K-Falten-Kreuzvalidierung (im Diamonds-Datensatz), um die Variabilität der Vorhersagen mithilfe von StdDev RASE besser beurteilen zu können:

 

Ok für AICc- und BIC-Berechnungen, danke für die Antwort!
Am besten,

Betreff: Modellscreening: Diagramme und neue Metriken zum Vergleich von Methoden: AICc/BIC, Berechnungszeit, CO2-Emissionen ... ?

Hallo @Victor_G ,

 

Suchen Sie nach einer solchen Grafik im Model Screening? Oder fallen Ihnen andere Beispiele ein?

 

Bezogen auf die Modellkomplexität ist hier die Antwort des Entwicklers: „ AICc und BIC sind für viele Methoden nicht verfügbar, beispielsweise für die baumbasierten Methoden oder Neural, obwohl es einige Literatur dazu gibt, wie man sie annähern kann. Die Vorhersagemethoden neigen dazu, komplexe Modelle zu erstellen, die durch die frühzeitige Verwendung des Validierungssatzes eingeschränkt werden, sodass die Komplexität etwas eingeschränkt wird.“

 

Mia

 

Betreff: Modellscreening: Diagramme und neue Metriken zum Vergleich von Methoden: AICc/BIC, Berechnungszeit, CO2-Emissionen ... ? – Status geändert zu: Wird untersuchtBetreff: Modellscreening: Diagramme und neue Metriken zum Vergleich von Methoden: AICc/BIC, Berechnungszeit, CO2-Emissionen ... ? - Status geändert in: Bestätigt

Hallo @Victor_G , Danke für deinen Vorschlag! Wir haben Ihre Anfrage erfasst und werden sie prüfen.

Betreff: Modell-Screening: Grafiken und neue Metriken zum Vergleichen von Methoden: AICc/BIC, Rechenzeit, CO2-Emissionen ...? - Status geändert in: Bestätigt