不均衡なデータのモデルの精度と F1 スコアを自動計算するにはどうすればよいですか?JMP が混同行列とロジスティック (一般化) 回帰の ROC を出力するのは気に入っていますが、いくつかの重要な指標が結果から欠落しているように見えます。精度そしてF1スコア。これらを出力に自動的に含める方法はありますか? または、新しい分類モデルを再実行するときに、可能な限り「自動的に」計算されるようにします。新しいモデルごとにこれらを手動で再計算することを避けようとしています。
更新: 質問に対する回答のみを投稿してください。 私は Precision と F1 を使用するか使用しないかについての意見を求めているわけではありません。 私はこれらを JMP で自動的に計算する方法を自信を持って探しています。 このようなテクニックを知らない場合は、これが実行可能かどうかを検討したり、以下に投稿したりする必要はありません。 ありがとう ：）
消費者および市場調査データの探索と視覚化予測モデリングと機械学習結果の共有と伝達Re: 不均衡なデータのモデルの精度と F1 スコアを自動計算するにはどうすればよいですか?ありがとうジム。 このような具体的な例が私が探していたものです。 私はすでに Python に戻っていますが、後で JSL サンプルを試してみます。
Re: 不均衡なデータのモデルの精度と F1 スコアを自動計算するにはどうすればよいですか?例は、File Exchange、JMP のインストール時にインストールされるスクリプトの例、スクリプト ガイド ブックに直接含まれており、JMP のインストール時にインストールされるなどもあります。さらに、出力から読み取るサンプル スクリプトを以下に示します。出力の一部として別の形式で表示します。
Names Default To Here( 1 );
dt = Open( "$SAMPLE_DATA\Big Class.jmp" );
// Run the Fit Y by X to get the XY plot
Biv = dt << Bivariate( Y( :height ), X( :weight ) );
// Run the distributions to get the stats
Dis = dt << Distribution( Continuous Distribution( Column( :height ) ), Continuous Distribution( Column( :weight ) ) );
// Extract the stats
heightMean = Report( dis )["Height"]["Summary Statistics"][Number Col Box( 1 )][1];
weightMean = Report( dis )["Weight"]["Summary Statistics"][Number Col Box( 1 )][1];
// Create the new display object
hlb = H List Box(
Text Box( "Mean of Height = " ),
Number Edit Box( heightMean ),
Spacer Box( size( 30, 0 ) ),
Text Box( "Mean of Weight = " ),
Number Edit Box( weightMean )
);
// Add the new object to the plot
Report(Biv)[Outline Box(1)] << Append( hlb );
Dis << close window;
Re: 不均衡なデータのモデルの精度と F1 スコアを自動計算するにはどうすればよいですか?ケビン、例をありがとう。
モデルを実行し、F1 スコアと精度スコアを手動で計算することには問題ありません。 しかし、JMP でこれらを自動計算する例はありますか (これは私が最初に尋ねたものです)。
その間、私はこれらの Python をコーディングしましたが、質問を投稿するよりも時間がかかりませんでした。 将来誰かが答えを提供してくれたら、喜んでもう一度試してみます。
Re: 不均衡なデータのモデルの精度と F1 スコアを自動計算するにはどうすればよいですか?こんにちは、オレグ！
元の質問を読み間違えたわけではないと思います...しかし、それは単なる私の意見です...
以下に試してみる例を示します。
Big Class.jmp を選択します。 応答として性別、因子として年齢、身長、体重を使用して、とんでもなく過剰適合したニューラル ネットワーク分析を実行します。 女性をポジティブケースとして考えてみましょう。 
次のような分割表が得られました。
「データテーブルにする」を選択します。
TP=16、FP=2。 FN=2。
F1 は 2*TP/(2*TP+FP+FN) で計算できます。 F1=0.89 となります。
これはスクリプト化するのが非常に簡単です (私の意見では 。また、スクリプトを使用して出力にこのメトリクス (およびその他のメトリクス) を自動的に含めることもできます。 試してみてください。失敗しても私がお手伝いします。
幸運を。
Re: 不均衡なデータのモデルの精度と F1 スコアを自動計算するにはどうすればよいですか?こんにちは、ケビン。
この「ディスカッション」スレッドが StackOverflow のようなものである場合、私は明確な質問に対する明確な回答を期待するでしょう。 私が間違っている場合は、ディスカッションに投稿するためのガイドラインを参照してください。 新聞で他の人の意見を読むことができます。 ただし、科学の文脈と「やり遂げる」の精神では、明確で簡潔な答えには付加価値があります。
ところで、私の質問に対して意見があったことを認めましたか? 笑。
とにかく、この問題についてはあなたに助けを求める方が効果的です。
F1 と Precision のスクリプト作成に役立ち、できれば回帰出力ページに追加するのに役立つ JSL サンプルを見つけましたか?
乾杯！
O.
Re: 不均衡なデータのモデルの精度と F1 スコアを自動計算するにはどうすればよいですか?こんにちは、オレグ！
おそらく馴染みのない言葉かもしれませんが、ディスカッションという言葉 (コミュニティにおけるこのサイトの名前) は、単なる質問と回答以上の意味を持っています。 そこには、あなたの希望に関係なく、意見、忠告、嘆願、暴言、その他多くの形式の対話が当然含まれます。
私が統計 (そして JMP!) に関して気に入っている点の 1 つは、本当に素晴らしく独創的な仕事が応用科学と芸術の間の接点で起こるように見えることです。 見る？ 私の意見。
Re: 不均衡なデータのモデルの精度と F1 スコアを自動計算するにはどうすればよいですか?ケビン、あなたは私の最初の質問を読み間違えたのかもしれません。 期待していましたF1 と精度の両方の組み込み計算。JSL は合理的な代替手段です。
真似できる例はありますか?
Re: 不均衡なデータのモデルの精度と F1 スコアを自動計算するにはどうすればよいですか?ありがとうジム。
1. 同意します
2. サポートはディスカッション グループの使用を求めており、私はそうしようとしています。
3. 確かに、JSL は良い方向性です。 誰かがすでに実装していて、例につながることを期待していました。
Re: 不均衡なデータのモデルの精度と F1 スコアを自動計算するにはどうすればよいですか?こんにちは、ケビン。 私はジムの援助に感謝しており、必要に応じて彼を称賛し、彼の解決策を受け入れてきました。 しかし、私はすべての点で彼の意見に同意するわけにはいきません。 このスレッドでは、ML の世界で何が流行しているかについての意見ではなく、質問に対する回答を期待しています。
Re: 不均衡なデータのモデルの精度と F1 スコアを自動計算するにはどうすればよいですか?こんにちは、オレグ！
全体像は次のとおりです。ジム ネルソンは、このコミュニティの非常に多くの問題を解決してきました。 彼にあなたの意見を押し付けないでください。
そして、これが私の意見です。試してみたつもりで、少し傲慢さを抑えて助けを求めれば、スクリプト作成に関してもっと助けが得られるかもしれません。
Re: 不均衡なデータのモデルの精度と F1 スコアを自動計算するにはどうすればよいですか?ジム、ディスカッションの方法は次のとおりですJMP に新機能を追加する「正当な理由」が生まれます。
Re: 不均衡なデータのモデルの精度と F1 スコアを自動計算するにはどうすればよいですか?私の前回の回答は、あなたが解釈したように見えるよりもはるかに単純にすることを意図していました。
1. JMP は完璧ではありませんが、かなり優れており、開発者は自分たちが取り組んでいる分野を常に最新の状態に保っているため、彼らが提示しているものはよく見る価値があります。
2. 機能拡張のリクエストが JMP に届いたことを確認する最良の方法は、リクエストを次の宛先に送信することです。
support@jmp.com
3. F1 のリクエストは最近のディスカッション トラックですでに取り上げられているため、既製のソリューションを持っているユーザーはいないと思われます。したがって、JSL を使用してソリューションをコーディングできる JMP で引き続き実行できることをお勧めします。
Re: 不均衡なデータのモデルの精度と F1 スコアを自動計算するにはどうすればよいですか?こんにちはケビン、返信ありがとうございます。 F1 スコアの使用に対する他の人の好みが、このディスカッションでの F1 スコアの必要性にどのように影響するのか理解できません。 それぞれの指標にはバイアスがあります。何千もの（より最近の）出版物がありますF1 と精度メトリクスの値を称賛します。
結論として、この議論では、F1 スコアと精度スコアの自動計算に関する支援を求めています。 はい、スクリプト化できます。この車輪が再発明されないように、すでにそれを実装している人の支援を大いに感謝します。
実際、私はすでに ROC を使用していますが、F1 と精度も必要です。 少なくとも、私が尋ねた質問に対する答え（発見されたときはいつでも）は、他の人が F1 や精度スコアだけでなく、あらゆる指標を自動計算するのに役立つはずです。 全体像を念頭に置いてください:)
Re: 不均衡なデータのモデルの精度と F1 スコアを自動計算するにはどうすればよいですか?こんにちは、ジムさん、あなたの答えは、JMP が完璧であり、必要なものだけを (正当な理由があれば) 含んでいることを示唆しています。 つまり、JMP に欠けているものは、JMP に存在する十分な理由がありません。 興味深い主張です 
議論自体が、新しい JMP 機能に対する多くの「正当な理由」を生み出します。 F1 (精度ではない) に関する質問が投稿され、まだ回答がありませんが、これらの尺度は広く議論され、scientica の出版物で使用されています。
サポートに電子メールを送信するというあなたの提案は気に入っていますが、サポートからはディスカッションを開始するよう求められています。 私の願いは、たとえすぐにではなくても、コミュニティが答えを提供してくれることです。
私の質問を改善できると思われる場合は、ご提案をお待ちしております。
Re: 不均衡なデータのモデルの精度と F1 スコアを自動計算するにはどうすればよいですか?こんにちは、オレグ！
F1 スコア (およびその他の「重要な」一般的な精度の尺度) は、バイアスの下でのパフォーマンスを理由に、機械学習コミュニティの一部で非推奨になりました。 添付ファイルを参照してください。このファイルには、受信機動作曲線の有用性とその他の尺度が示されています。
Jim が指摘しているように、自分の心が望むものは何でもスクリプト化できます。
Re: 不均衡なデータのモデルの精度と F1 スコアを自動計算するにはどうすればよいですか?私の経験では、JMP が特定の分析に必要な特定の統計情報を提供しない場合、JMP の開発者にはそれを含めない十分な理由があると考えられます。 このディスカッション グループは JMP によって監視されていますが、統計を将来のリリースに組み込むための最良の方法ではありません。 に機能拡張リクエストを送信する必要があります。
support@jmp.com
彼らはそのような商品に対して正式な追跡システムを持っています。
さて、JMP の美しさについて説明します。多くの場合、ディスカッション コミュニティに必要な解決策が見つかります。しかし、この話題は以前から議論されており、F1などでは返答がありませんでした。解決策は利用できないと思います。ただし、これらのリクエストのほとんどではないにしても、多くは JSL を通じて分析に追加できます。 したがって、あなたの質問に答えると、これらを分析に追加するスクリプトを作成できると思います。
