アルゴリズム比較のための統計検定 - JMP Proこんにちは、
2 つの異なるアルゴリズムの効率をテストしたいと考えています。
同じ母集団から 2 つのランダム サンプルがあります。 1 つのサンプルで、Algorithm X を実行します。別のサンプルでは、アルゴリズム Y を実行します。 それぞれに 30 のレコードがあります。 変数の型は連続型です。
最適なアルゴリズムと比較すべきパラメータを見つけるためにどの統計テストを実行できますか?
詳細が必要な場合はお知らせください。
ありがとう
ニック
分析Re: アルゴリズム比較のための統計検定 - JMP Proたくさんの質問がありますが、多くの情報がなければ答えはほとんどありません。
1. 「効率」を評価するためにどの特性を使用しますか?
2. 「最高」を評価するために使用したい特性は何ですか? あなたの「最高」の特徴が何であれ、「最高」であると宣言する前に、結果はどの程度変化する必要がありますか?
3. 母集団の「無作為標本」から評価できる多数の母集団「パラメーター」があります。 これらのパラメータを推定しようとしていますか? もしそうなら、どのような方法で？ 信頼区間、許容区間、その他の何か? 手元のデータまたは意思決定に時系列コンポーネントはありますか?
4. これは学術的な演習ですか、それともその背後に実際的な決定があるものですか? 後者の場合は、実際の問題、サンプリング方法（本当にランダム...またはその他のもの）、および手元にある実際の決定について詳しく説明してください。
5. 進行中のプロセスに関する測定ノイズ/変動について何を知っていますか?
6. 数値分析を行う前に、データをグラフで調べていただければ幸いです。 サンプル データ セットには、外れ値、疑わしい観察結果、またはその他の特徴があり、特定の数値分析アプローチが別のアプローチよりも問題になる可能性があります。
私はおそらくすべてに触れていませんが、上記は始まりですか？
Re: アルゴリズム比較のための統計検定 - JMP Pro統計的推論は、母集団全体を観察することが不可能な場合に役立ちます。 あなたの投稿では人口が定義されていません。 統計的推論は、母集団からのサンプリングによるパラメーターの推定における不確実性を評価します。 同じデータ サンプルを使用した処理時間や処理ステップなどの効率の尺度に基づいて、2 つのアルゴリズムを比較します。 このケースは、各アルゴリズムの連続結果に対して対応のある t 検定を使用できる対応のある比較です。
データは次の表のようになります。
私はいくつかのデータをモックアップしました。 同じ母集団からのデータのサンプルは 100 個あります。 サンプルは、リサンプリングまたはブートストラップからのものである可能性があります。 結果は、アルゴリズムを完了するまでの秒数です。
これらの結果は、次を使用して分析できます。分析 > 特殊なモデリング > 対応するペア.
この例は、約 10 秒の 2 つのアルゴリズム間の統計的に有意な差を示しています。
モックアップを添付しました。
Re: アルゴリズム比較のための統計検定 - JMP Proどうもありがとうマーク。
