結果を比較するこんにちは、
さまざまな結果を取得した後、異なる分類方法から得られた結果がランダム性によるものではないことを確認するために、JMP で統計テストを実行するにはどうすればよいですか?
高度な統計モデリングデータの探索と視覚化予測モデリングと機械学習結果の比較についてこれらの異なるモデルが「有意に」異なるかどうかを調べる統計的検定法は知りませんが、それが正しい方法だとは思いません。比較すべき関連事項は数多くあります。検証データ (または、作成できるほど大きなデータ セットがある場合はテスト データ) を使用して、ROC、誤分類率、エントロピー、一般化 R 平方尺度、および各モデルによる誤分類の詳細を調べることができます (分類のカットオフ確率を適切に調整します)。私がよく行うのは、各モデルが提供する予測確率分布を詳しく調べ、各モデルが手元の問題に対してどの程度有用であるかを評価することです。偽陽性と偽陰性が同等の重要性を持つことはめったにないため、モデル化している決定問題に対して「適切に」機能するモデルが本当に必要です。予測される確率分布は、通常、その評価を行う際に使用できる豊富な証拠を提供します。
結果の比較についてR2の結果をWindowsテーブルに保存するにはどうすればいいですか？分散分析テストを実行したいのですが
結果の比較についてテーブルボックスを右クリックして、データテーブルにするか、結合データテーブルにするかを選択します。
結果の比較についてこんにちはフォロー 、
モデルのパフォーマンスの堅牢性を評価することが目的であれば、 翻訳者が提案するオプションを推奨し、強調することしかできません。
モデルの堅牢性を評価する方法はいくつかあります。
- さまざまなランダムシードの下でモデルのパフォーマンスを測定することにより（ランダム性はMLモデルの学習の一部であるため： 「ランダム性なしでは学習なし」 ）、
- さまざまなトレーニング セットと検証セットでモデルのパフォーマンスを測定します。
2 番目のオプションでは、検証式列と「シミュレート」オプションを使用すると、多数の異なるトレーニング条件/セットでモデルを試すことができます。JMP でこれを行う方法の詳細については、次の投稿を参照してください。
多数の繰り返し検証を自動化し、1 つの出力テーブルにまとめるにはどうすればよいですか?
ブーストツリー - チューニングテーブルデザイン
これらのシミュレーションの結果を使用して、異なるモデル間のパフォーマンス分布を視覚化して比較し、必要に応じて統計テスト（たとえば、異なるモデル間の予測シミュレーションの平均/中央値/分散パフォーマンスの比較）を実行できます。
翻訳者が述べたように、デフォルトのメトリックは興味深いものですが、分類エラーは同じ「重要性」を持たない可能性があるため、それらを微調整する必要があるかもしれません。
ML モデルによって表示される確率を「信頼レベル」として使用する場合は、その確率にも注意してください。確率はすべて調整されているわけではなく、選択したモデルとサンプル サイズに応じて、影響と結果が異なる場合があります。調整トピックの詳細:
https://scikit-learn.org/stable/auto_examples/calibration/plot_compare_calibration.html
https://ploomber.io/blog/calibration-curve/
この回答といくつかの考察がお役に立てば幸いです。
