Oggetto: Screening del modello: grafici e nuove metriche per confrontare i metodi: AICc/BIC, tempo di calcolo, emissioni di CO2...? - Stato cambiato in: RiconosciutoCiao @Victor_G , Grazie per il tuo suggerimento! Abbiamo acquisito la tua richiesta e la prenderemo in considerazione.
Screening del modello: grafici e nuove metriche per confrontare i metodi: AICc/BIC, tempo di calcolo, emissioni di CO2...?
Ciao team e community di JMP,
Ecco le mie proposte, focalizzate principalmente per la piattaforma "Model Screening", ma forse potrebbe essere estesa ad altre piattaforme se pertinente. Spero che queste idee non sembrino troppo pazze o "strane".
- Cosa ha ispirato questa richiesta di lista dei desideri?
- Quando si confrontano diversi metodi attraverso la piattaforma "Model Screening", le metriche utilizzate per confrontare i metodi sono R² e Mean/Std RASE. Anche se potrebbe già guidare ed evidenziare alcune scelte riguardanti i "metodi migliori", a volte può essere difficile confrontare e fare una scelta quando i risultati sono simili tra diversi metodi.
- Non sembra esserci alcuna indicazione della "complessità" dei metodi utilizzati in questa piattaforma (forse attraverso un criterio informativo come AICc/BIC, o una semplice metrica del tempo di calcolo ("tempo trascorso" disponibile nel triangolo rosso ma non di default) ), che potrebbe essere un'informazione interessante e importante se il modello verrà utilizzato in produzione, dove la latenza del modello potrebbe essere un parametro importante.
- Infine, poiché la sostenibilità è oggi una delle priorità più importanti, potrebbe essere interessante confrontare i modelli non solo sulle loro prestazioni "statistiche", ma anche prendere in considerazione il tempo di calcolo/il consumo di energia attraverso metriche pertinenti.
- Quali sono i miglioramenti che vorresti vedere ?
- Sarebbe possibile aggiungere grafici riguardanti l'evoluzione di R² per diversi metodi, e forse anche un grafico con Mean RASE (e Std RASE come intervalli nel grafico) per valutare meglio le differenze tra i metodi?
- Sarebbe possibile aggiungere altre metriche di valutazione, in particolare una metrica incentrata sulla complessità del modello (AICc/BIC e/o tempo di calcolo per impostazione predefinita)? Questo può aiutare a selezionare le prestazioni di modelli simili promuovendo quelli più semplici (come dovrebbe essere fatto, privilegiare sempre modelli parsimoniosi/semplici se/quando possibile).
- Poiché il tempo di calcolo è facilmente registrabile ("tempo trascorso" è disponibile nelle opzioni del triangolo rosso), sarebbe bello evidenziare questa informazione nei risultati della piattaforma come indicazione della "sostenibilità/complessità del modello". Se possibile, l'utilizzo di queste informazioni e delle informazioni dell'apparecchiatura/dispositivo/computer utilizzato da JMP può consentire di creare indicatori, come l'iniziativa open source "Code Carbon", che fornisce le emissioni di CO2 in base a tempo di calcolo, GPU/CPU, energia consumo : Motivazione — Documentazione CodeCarbon 2.0.0 (mlco2.github.io)
- Perché questa idea è importante?
- Poiché JMP è famoso per la sua interattività attraverso la grafica e la sua facilità d'uso/accesso attraverso utili grafici che aiutano i non statistici a ottenere le informazioni rilevanti, sarebbe interessante considerare l'aggiunta di alcune visualizzazioni nella piattaforma "Model Screening", poiché i grafici disponibili sono "solo" "Actual by Predicted" e "Profiler". Potrebbe esserci una mancanza di visualizzazione per il processo decisionale sulla scelta del metodo.
- Poiché JMP è orientato verso ingegneri e scienziati, avere un'idea chiara della complessità di un modello potrebbe aiutare a scegliere il miglior compromesso tra precisione, spiegabilità e velocità. L'aggiunta di una metrica di complessità può anche aiutare gli utenti di JMP a considerarla non solo per scopi di esplorazione/scoperta, ma anche come strumento di prototipazione per la modalità di produzione, in cui la latenza dei modelli è un fattore importante.
- JMP ha già molte persone nella sua comunità che si dedicano o si appassionano all'ambiente. Il "Data for Green" evidenzia anche l'impegno di JMP nei confronti della sostenibilità e dell'ambiente. Essere in grado di fornire informazioni in questa piattaforma che possano evidenziare l'impatto e aiutare a differenziare i metodi sulla base di una metrica pertinente sembra un'enorme opportunità e un fattore di differenziazione chiave rispetto ad altri software, oltre a poter aumentare la consapevolezza.
Non vedo l'ora di conoscere il tuo feedback e se le persone sono interessate a commentare, sentiti libero 
Felice anno nuovo e tutto il meglio,
Esplorazione e visualizzazione dei datiStatistiche e analisiOggetto: Screening del modello: grafici e nuove metriche per confrontare i metodi: AICc/BIC, tempo di calcolo, emissioni di CO2...? - Stato cambiato in: IndagineOggetto: Screening del modello: grafici e nuove metriche per confrontare i metodi: AICc/BIC, tempo di calcolo, emissioni di CO2...?CIAO @Victor_G ,
Stai cercando questo tipo di grafico all'interno di Model Screening? Oppure hai in mente altri esempi?
In relazione alla complessità del modello, ecco la risposta dello sviluppatore: " AICc e BIC non sono disponibili per molti dei metodi, come i metodi basati sugli alberi o Neural, sebbene esista della letteratura su come approssimarli. I metodi predittivi tendono a creare modelli complessi che sono limitati dall'arresto anticipato utilizzando il set di validazione, quindi c'è un certo limite alla complessità."
Mia
Oggetto: Screening del modello: grafici e nuove metriche per confrontare i metodi: AICc/BIC, tempo di calcolo, emissioni di CO2...?CIAO @mia_stephens ,
Sì, questo tipo di grafico potrebbe essere interessante per visualizzare le prestazioni dalla piattaforma Model Screening.
Un'altra opzione per il grafico RASE in caso di convalida incrociata di K-fold (sul set di dati Diamonds) per valutare meglio la variabilità delle previsioni utilizzando StdDev RASE:
Ok per i calcoli AICc e BIC, grazie per la risposta!
Migliore,
Oggetto: Screening del modello: grafici e nuove metriche per confrontare i metodi: AICc/BIC, tempo di calcolo, emissioni di CO2...?Grazie per questo suggerimento @Victor_G , ho condiviso con lo sviluppatore per considerazione.
Re: Screening del modello: grafici e nuove metriche per confrontare i metodi: AICc/BIC, tempo di calcolo, emissioni di CO2 ...? - Stato modificato in: Riconosciuto
