模型篩選：用於比較方法的圖表和新指標：AICc/BIC、計算時間、二氧化碳排放量...？
JMP 團隊和社區大家好，
以下是我的建議，主要針對「模型篩選」平台，但如果相關的話，也許可以擴展到其他平台。 我希望這些想法聽起來不會太瘋狂或「離譜」。
- 是什麼激發了這個願望清單請求？
- 透過「模型篩選」平台比較不同方法時，用於比較方法的指標是 R² 和平均值/標準 RASE。 即使它可能已經指導和強調了有關「最佳方法」的一些選擇，但當多種方法的結果相似時，有時可能很難進行比較並做出選擇。
- 似乎沒有跡象表明該平台中使用的方法的“複雜性”（可能通過 AICc/BIC 等信息標準，或簡單的計算時間度量（紅色三角形中提供“經過時間”，但默認情況下不提供） ），如果模型要在生產中使用，這可能是一個有趣且重要的訊息，其中模型的延遲可能是一個重要參數。
- 最後，由於永續性是當今最重要的優先事項之一，因此不僅比較模型的「統計」性能，而且還透過相關指標考慮計算時間/能耗，這可能會很有趣。
- 您希望看到哪些改進？
- 是否可以添加有關不同方法的 R² 演變的圖表，也許還可以添加具有平均 RASE（和標準 RASE 作為圖表中的間隔）的圖表，以更好地評估方法之間的差異？
- 是否可以新增其他評估指標，特別是專注於模型複雜性的指標（預設情況下 AICc/BIC 和/或計算時間）？ 這可以透過推廣最簡單的模型來幫助整理相似的模型性能（應該這樣做，如果/可能的話，總是支持簡約/簡單的模型）。
- 由於計算時間很容易記錄（紅色三角形的選項中提供“經過的時間”），因此最好在平台結果中突出顯示此資訊作為“模型的可持續性/複雜性”的指示。 如果可能，使用此資訊以及 JMP 使用的設備/裝置/計算機的資訊可以建立指標，例如「Code Carbon」開源計劃，根據計算時間、GPU/CPU、能源提供二氧化碳排放量消耗 ：動機 — CodeCarbon 2.0.0 文件 (mlco2.github.io)
- 為什麼這個想法很重要？
- 由於JMP 以其跨圖形的交互性以及通過幫助非統計學家獲取相關信息的有用圖形的易用性/訪問性而聞名，因此考慮在“模型篩選”平台中添加一些可視化效果會很有趣，因為可用的圖形是“僅”“預測實際”和“分析器”。 關於方法選擇的決策過程可能缺乏視覺化。
- 由於 JMP 面向工程師和科學家，因此清楚了解模型的複雜性可能有助於在精度、可解釋性和速度之間選擇最佳折衷方案。 添加複雜性指標還可以幫助 JMP 用戶將其不僅用於探索/發現目的，還可以將其視為生產模式的原型工具，其中模型延遲是一個重要因素。
- JMP 社群中已經有許多致力於或熱衷於環境的人。 「綠色數據」也強調了 JMP 對永續發展和環境的參與。 與其他軟體相比，能夠在這個平台上提供可以突出影響並幫助區分基於相關指標的方法的信息，看起來像是一個巨大的機會和關鍵的差異化因素，並且能夠提高認識。
期待了解您的回饋，如果人們有興趣發表評論，請隨意:)
新年快樂，萬事如意，
數據探索和視覺化回覆：模型篩選：比較方法的圖表和新指標：AICc/BIC、計算時間、二氧化碳排放量...？謝謝你的建議@Victor_G ，我已與開發人員分享以供考慮。
回覆：模型篩選：比較方法的圖表和新指標：AICc/BIC、計算時間、二氧化碳排放量...？你好@米亞史蒂芬斯,
是的，這種圖表對於可視化模型篩選平台的表現可能很有趣。
在 K 倍交叉驗證（在鑽石資料集上）的情況下，RASE 圖形的另一個選項是透過使用 StdDev RASE 來更好地評估預測的變異性：
可以進行 AICc 和 BIC 計算，感謝您的回覆！
最好的，
回覆：模型篩選：比較方法的圖表和新指標：AICc/BIC、計算時間、二氧化碳排放量...？你好@Victor_G ,
您是否在模型篩選中尋找此類圖表？ 或者，您還有其他例子嗎？
關於模型複雜性，以下是開發人員的回應：“ AICc 和 BIC 不適用於許多方法，例如基於樹的方法或神經方法，儘管有一些關於如何近似它的文獻。 預測方法傾向於創建複雜的模型，這些模型受到提前停止使用驗證集的限制，因此對複雜性有一定的限制。”
米亞
回覆：模型篩選：比較方法的圖表和新指標：AICc/BIC、計算時間、二氧化碳排放量...？ - 狀態變更為：正在調查回覆：模型篩選：比較方法的圖表和新指標：AICc/BIC、計算時間、二氧化碳排放量...？ - 狀態變更為：已確認你好@Victor_G ， 謝謝你的建議！ 我們已收到您的請求並將予以考慮。
回覆：模型篩選：圖表和新指標來比較方法：AICc/BIC、計算時間、二氧化碳排放量......？ - 狀態變更為：已確認
