Iris サンプル データセットをデータセットの MWE として使用して、順列テストとモンテカルロ クロス検証を実行しようとしています。 私が物事を行って出力を正しく解釈しているかどうかはわかりません。
1) 順列検定の種の列に新しい式の列 (ランダム -> 置換なしのサンプル) を作成します。
2) 検証列 (0.75/0.25 分割) と、これをモンテカルロ クロス検証に使用する新しい数式列 (ランダム->置換なしのサンプル) を作成します。
3) 検証列を使用して判別プラットフォームを実行し、ROC 曲線を表示します。 ROC 曲線の領域でシミュレート プラットフォームを使用する
4.1) 順列テストの場合、[Species] を列として切り替えて [Species] を選択し、[Species] を列として切り替えて [In] を選択します。 目的のランダム サンプリング数とランダム シードを入力し、シミュレーションを実行します。
4.2) Distributions スクリプトを表示し、経験的な p 値に注意してください。
5.1) モンテ カルロ クロス検証の場合、切り替える列として [検証] を選択し、切り替える列として Shuffle[Validation] を選択します。 目的のランダム サンプリング数とランダム シードを入力し、シミュレーションを実行します。
5.2) Distributions スクリプトを表示し、経験的な p 値に注意してください。
6) 私が行ったこと (ROC 曲線の領域のテスト) が正しいと仮定すると、順列テストの低い p 値が予想されますが、モンテカルロ交差検証の大きな p 値はどうですか? これはどのように解釈されるべきですか？
ありがとう
