Re: モデルのスクリーニング: 方法を比較するためのグラフと新しい測定基準: AICc/BIC、計算時間、CO2 排出量 ... ? - ステータスが次のように変更されました: 承認済みやあ@ビクター_G 、 提案ありがとう！ ご要望を承りましたので、検討させていただきます。
モデルのスクリーニング: 方法を比較するためのグラフと新しい測定基準: AICc/BIC、計算時間、CO2 排出量 ... ?
JMP チームおよびコミュニティの皆様、こんにちは。
主に「モデル スクリーニング」プラットフォームに焦点を当てた私の提案を以下に示しますが、関連性があれば他のプラットフォームにも拡張できる可能性があります。 これらのアイデアがあまりにもクレイジーまたは「オフ」に聞こえないことを願っています。
- このウィッシュ リスト リクエストのきっかけは何ですか?
- 「モデル スクリーニング」プラットフォームを通じてさまざまな方法を比較する場合、方法の比較に使用される指標は R² と Mean/Std RASE です。 「最良の方法」に関するいくつかの選択肢がすでにガイドされ、強調されている場合でも、いくつかの方法で結果が類似している場合、比較して選択することが難しい場合があります。
- このプラットフォームで使用される方法の「複雑さ」を示すものはないようです (おそらく AICc/BIC のような情報基準、または単純な計算時間メトリック (「経過時間」は赤い三角形で利用できますが、デフォルトでは利用できません) によるものです)。 ）、モデルが本番環境で使用される場合、これは興味深い重要な情報となる可能性があり、モデルのレイテンシーが重要なパラメーターになる可能性があります。
- 最後に、持続可能性は今日の最も重要な優先事項の 1 つであるため、モデルを「統計的」パフォーマンスだけでなく、関連するメトリックを通じて計算時間/エネルギー消費も考慮に入れることは興味深いかもしれません。
- あなたが見たいと思う改善は何ですか?
- メソッド間の違いをより適切に評価するために、さまざまなメソッドの R² の進化に関するグラフと、平均 RASE (およびグラフの間隔としての標準 RASE) を含むグラフを追加することは可能でしょうか?
- 他の評価メトリック、特にモデルの複雑さに焦点を当てたメトリック (デフォルトで AICc/BIC および/または計算時間) を追加することは可能でしょうか? これは、最も単純なモデルを促進することで、同様のモデルのパフォーマンスを整理するのに役立ちます (可能な場合は常に、節約的/単純なモデルを優先する必要があります)。
- 計算時間は簡単に記録できるため (「経過時間」は赤い三角形のオプションで利用できます)、「モデルの持続可能性/複雑さ」の指標として、プラットフォームの結果でこの情報を強調するとよいでしょう。 可能であれば、この情報と JMP が使用する機器/デバイス/コンピューターの情報を使用して、「Code Carbon」オープンソース イニシアチブなどの指標を作成し、計算時間、GPU/CPU、エネルギーに基づいて CO2 排出量を提供することができる可能性があります。消費 ：動機 — CodeCarbon 2.0.0 ドキュメント (mlco2.github.io)
- なぜこの考えが重要なのですか？
- JMP は、グラフィック全体の対話性と、統計学者以外が関連情報を取得するのに役立つ便利なグラフによる使いやすさとアクセスのしやすさで有名であるため、「モデル スクリーニング」プラットフォームにいくつかの視覚化を追加することを検討することは興味深いでしょう。 「のみ」「予測による実際」と「プロファイラー」です。 方法の選択に関する意思決定プロセスの視覚化が不足している可能性があります。
- JMP はエンジニアや科学者を対象としているため、モデルの複雑さについて明確な考えを持っていると、精度、説明可能性、および速度の間で最適な妥協点を選択するのに役立つ場合があります。 複雑性メトリクスを追加すると、JMP ユーザーはそれを探索/発見の目的だけでなく、モデルのレイテンシが重要な要素となるプロダクション モードのプロトタイピング ツールとしても考慮することができます。
- JMP のコミュニティには、環境に熱心に取り組んでいる、または情熱を持っている多くの人々がすでにいます。 「Data for Green」は、持続可能性と環境に対する JMP の関与も強調しています。 影響を強調し、関連する指標に基づいて方法を区別するのに役立つこのプラットフォームで情報を提供できることは、他のソフトウェアと比較して大きなチャンスであり、重要な差別化要因のように見えます。また、意識を高めることもできます。
フィードバックをお待ちしております。コメントに興味がある場合は、お気軽に 
明けましておめでとうございます。
データの探索と可視化統計と分析Re: モデルのスクリーニング: 方法を比較するためのグラフと新しい測定基準: AICc/BIC、計算時間、CO2 排出量 ... ? - ステータスが次のように変更されました: 調査中Re: モデルのスクリーニング: 方法を比較するためのグラフと新しい測定基準: AICc/BIC、計算時間、CO2 排出量 ... ?やあ@ビクター_G 、
モデルスクリーニングでこの種のグラフをお探しですか? または、他の例を念頭に置いていますか？
モデルの複雑さに関連して、開発者からの回答は次のとおりです。" AICc と BIC は、ツリーベースの方法やニューラルなど、多くの方法では使用できませんが、それを近似する方法に関する文献はいくつかあります。 予測手法は、検証セットを使用して早期に停止することによって制限される複雑なモデルを作成する傾向があるため、複雑さにはある程度の制約があります.」
ミア
Re: モデルのスクリーニング: 方法を比較するためのグラフと新しい測定基準: AICc/BIC、計算時間、CO2 排出量 ... ?やあ@mia_stephens 、
はい、この種のグラフは、モデル スクリーニング プラットフォームからのパフォーマンスを視覚化するのに興味深い可能性があります。
StdDev RASE を使用して予測の変動性をより適切に評価するための、(Diamonds Dataset での) K-folds 交差検証の場合の RASE グラフィックの別のオプション:
AICc と BIC の計算はOKです。返信ありがとうございます。
一番、
Re: モデルのスクリーニング: 方法を比較するためのグラフと新しい測定基準: AICc/BIC、計算時間、CO2 排出量 ... ?この提案をありがとう@ビクター_G 、検討のために開発者と共有しました。
Re: モデル スクリーニング: 方法を比較するためのグラフと新しい指標: AICc/BIC、計算時間、CO2 排出量...? - ステータスが「確認済み」に変更されました
