586394_ja-JP
モデルのスクリーニング: 方法を比較するためのグラフと新しい測定基準: AICc/BIC、計算時間、CO2 排出量 ... ?JMP チームおよびコミュニティの皆様、こんにちは。
主に「モデル スクリーニング」プラットフォームに焦点を当てた私の提案を以下に示しますが、関連性があれば他のプラットフォームにも拡張できる可能性があります。 これらのアイデアがあまりにもクレイジーまたは「オフ」に聞こえないことを願っています。
- このウィッシュ リスト リクエストのきっかけは何ですか?
- 「モデル スクリーニング」プラットフォームを通じてさまざまな方法を比較する場合、方法の比較に使用される指標は R² と Mean/Std RASE です。 「最良の方法」に関するいくつかの選択肢がすでにガイドされ、強調されている場合でも、いくつかの方法で結果が類似している場合、比較して選択することが難しい場合があります。
- このプラットフォームで使用される方法の「複雑さ」を示すものはないようです (おそらく AICc/BIC のような情報基準、または単純な計算時間メトリック (「経過時間」は赤い三角形で利用できますが、デフォルトでは利用できません) によるものです)。 ）、モデルが本番環境で使用される場合、これは興味深い重要な情報となる可能性があり、モデルのレイテンシーが重要なパラメーターになる可能性があります。
- 最後に、持続可能性は今日の最も重要な優先事項の 1 つであるため、モデルを「統計的」パフォーマンスだけでなく、関連するメトリックを通じて計算時間/エネルギー消費も考慮に入れることは興味深いかもしれません。
- あなたが見たいと思う改善は何ですか?
- メソッド間の違いをより適切に評価するために、さまざまなメソッドの R² の進化に関するグラフと、平均 RASE (およびグラフの間隔としての標準 RASE) を含むグラフを追加することは可能でしょうか?
- 他の評価メトリック、特にモデルの複雑さに焦点を当てたメトリック (デフォルトで AICc/BIC および/または計算時間) を追加することは可能でしょうか? これは、最も単純なモデルを促進することで、同様のモデルのパフォーマンスを整理するのに役立ちます (可能な場合は常に、節約的/単純なモデルを優先する必要があります)。
- 計算時間は簡単に記録できるため (「経過時間」は赤い三角形のオプションで利用できます)、「モデルの持続可能性/複雑さ」の指標として、プラットフォームの結果でこの情報を強調するとよいでしょう。 可能であれば、この情報と JMP が使用する機器/デバイス/コンピューターの情報を使用して、「Code Carbon」オープンソース イニシアチブなどの指標を作成し、計算時間、GPU/CPU、エネルギーに基づいて CO2 排出量を提供することができる可能性があります。消費 ：動機 — CodeCarbon 2.0.0 ドキュメント (mlco2.github.io)
- なぜこの考えが重要なのですか？
- JMP は、グラフィック全体の対話性と、統計学者以外が関連情報を取得するのに役立つ便利なグラフによる使いやすさとアクセスのしやすさで有名であるため、「モデル スクリーニング」プラットフォームにいくつかの視覚化を追加することを検討することは興味深いでしょう。 「のみ」「予測による実際」と「プロファイラー」です。 方法の選択に関する意思決定プロセスの視覚化が不足している可能性があります。
- JMP はエンジニアや科学者を対象としているため、モデルの複雑さについて明確な考えを持っていると、精度、説明可能性、および速度の間で最適な妥協点を選択するのに役立つ場合があります。 複雑性メトリクスを追加すると、JMP ユーザーはそれを探索/発見の目的だけでなく、モデルのレイテンシが重要な要素となるプロダクション モードのプロトタイピング ツールとしても考慮することができます。
- JMP のコミュニティには、環境に熱心に取り組んでいる、または情熱を持っている多くの人々がすでにいます。 また、「Data for Green」は、持続可能性と環境に対する JMP の取り組みを強調しています。 影響を強調し、関連する指標に基づいて方法を区別するのに役立つこのプラットフォームで情報を提供できることは、他のソフトウェアと比較して大きなチャンスであり、重要な差別化要因のように見えます。また、意識を高めることもできます。
フィードバックをお待ちしております。コメントに興味がある場合は、お気軽に 
明けましておめでとうございます。
Comments
There are no comments yet
