586394_zh-TW
模型篩選:用於比較方法的圖表和新指標:AICc/BIC、計算時間、CO2 排放量……?嗨 JMP 團隊和社區,
這是我的建議,主要針對“模型篩選”平台,但如果相關,它可能會擴展到其他平台。 我希望這些想法聽起來不會太瘋狂或太“離譜”。
- 是什麼啟發了這個願望清單請求?
- 通過“模型篩選”平台比較不同方法時,用於比較方法的指標是 R² 和 Mean/Std RASE。 即使它可能已經指導並強調了一些關於“最佳方法”的選擇,但當幾種方法的結果相似時,有時可能很難比較和做出選擇。
- 似乎沒有跡象表明該平台中使用的方法的“複雜性”(可能通過 AICc/BIC 等信息標準,或簡單的計算時間度量(紅色三角形中提供的“經過時間”,但默認情況下不提供) ),如果模型要用於生產,這可能是一個有趣且重要的信息,其中模型的延遲可能是一個重要參數。
- 最後,由於可持續性是當今最重要的優先事項之一,因此不僅要比較模型的“統計”性能,還要通過相關指標考慮計算時間/能源消耗,這可能會很有趣。
- 您希望看到哪些改進?
- 是否可以添加關於不同方法的 R² 演變的圖表,也許還可以添加帶有 Mean RASE(和 Std RASE 作為圖中間隔)的圖表以更好地評估方法之間的差異?
- 是否可以添加其他評估指標,特別是關注模型複雜性的指標(默認情況下 AICc/BIC 和/或計算時間)? 這可以通過提升最簡單的模型來幫助整理出相似模型的性能(應該這樣做,如果/在可能的情況下,始終支持簡約/簡單的模型)。
- 由於計算時間很容易記錄(“經過的時間”在紅色三角形的選項中可用),最好在平台結果中突出顯示此信息作為“模型的可持續性/複雜性”的指示。 如果可能,使用此信息和 JMP 使用的設備/設備/計算機的信息可以創建指標,例如“Code Carbon”開源計劃,提供基於計算時間、GPU/CPU、能源的二氧化碳排放量消耗 :動機 — CodeCarbon 2.0.0 文檔 (mlco2.github.io)
- 為什麼這個想法很重要?
- 由於 JMP 以跨圖形的交互性以及通過幫助非統計學家獲取相關信息的有用圖形易於使用/訪問而聞名,因此考慮在“模型篩選”平台中添加一些可視化效果會很有趣,因為可用的圖形是“僅”“預測的實際”和“分析器”。 關於方法選擇的決策過程可能缺乏可視化。
- 由於 JMP 面向工程師和科學家,因此清楚地了解模型的複雜性可能有助於在精度、可解釋性和速度之間做出最佳折衷。 添加複雜性指標還可以幫助 JMP 用戶考慮將其不僅用於探索/發現目的,還可以將其作為生產模式的原型設計工具,其中模型延遲是一個重要因素。
- JMP 的社區中已經有很多致力於或熱衷於環境的人。 “綠色數據”還強調了 JMP 對可持續性和環境的參與。 能夠在該平台中提供可能突出影響並有助於根據相關指標區分方法的信息,這看起來是一個巨大的機會,與其他軟件相比也是一個關鍵的差異化因素,同時也能夠提高人們的認識。
期待知道您的反饋,如果有人有興趣發表評論,請隨時:)
新年快樂,萬事如意,
數據探索和可視化統計與分析
Comments
There are no comments yet