J'essaie de faire des tests de permutation et des validations croisées de Monte Carlo avec l'échantillon de données Iris en tant que MWE pour notre ensemble de données. Je ne suis pas sûr de faire les choses et d'interpréter correctement la sortie.
1) Créez une nouvelle colonne de formule (aléatoire-> échantillon sans remplacement) pour la colonne d'espèces pour le test de permutation.
2) Créez une colonne de validation (répartition 0,75/0,25) et une nouvelle colonne de formule (aléatoire-> échantillon sans remplacement) en utilisant ceci pour la validation croisée de Monte Carlo
3) Exécutez la plate-forme discriminante avec la colonne Validation et affichez les courbes ROC. Utilisez la plate-forme de simulation sur la zone de la courbe ROC
4.1) Pour le test de permutation, sélectionnez Espèce comme colonne pour désactiver et Mélangez [Espèce] comme colonne pour activer. Entrez le nombre souhaité d'échantillonnage aléatoire et de graine aléatoire et exécutez la simulation.
4.2) Affichez le script Distributions et notez la valeur p empirique.
5.1) Pour la validation croisée de Monte Carlo, sélectionnez Validation comme colonne pour désactiver et Shuffle [Validation] comme colonne pour activer. Entrez le nombre souhaité d'échantillonnage aléatoire et de graine aléatoire et exécutez la simulation.
5.2) Affichez le script Distributions et notez la valeur p empirique.
6) En supposant que ce que j'ai fait est correct (test de l'aire de la courbe ROC), la faible valeur de p du test de permutation est attendue, mais qu'en est-il de la grande valeur de p pour la validation croisée de Monte Carlo ? Comment cela doit-il être interprété ?
Merci
