L'un des dangers de l'apprentissage automatique est le surapprentissage. La méthode de permutation des cibles de John Elder offre une évaluation très intuitive du modèle. De nombreuses références existent à ce sujet. En voici une : http://www.kdnuggets.com/2014/02/3-ways-to-test-accuracy-your-predictive-models.html . Il serait judicieux de disposer de cette fonctionnalité dans JMP.
Xiaojie Zhouzhou.x.1@pg.com- Centre d'innovation Sharon Woods, Cincinnati
D'après la description de @chris_gotwalt1 , nous pouvons considérer que cette fonctionnalité est implémentée. Si vous avez besoin de fonctionnalités supplémentaires, n'hésitez pas à les ajouter à votre liste de souhaits ; nous les examinerons.
@SamGardner Il semblerait que l'équipe de développement enquête sur ce problème. Devrions-nous modifier le statut ?
La fonction Simulate sera disponible dans JMP Pro 13.0.
Cela sera possible grâce à la fonction Simulate de JMP Pro en suivant ces étapes simples. Pour effectuer un brassage de cible sur une cible nommée :Y, par exemple :
1) Faites un clic droit sur Y et sélectionnez Nouvelle colonne de formule -> Aléatoire -> Échantillon sans remise. Cela crée une nouvelle colonne de formule appelée Mélanger qui mélange aléatoirement les lignes de Y.
2) Exécutez le modèle sur la colonne de réponse d'origine.
3) Trouvez le diagnostic du modèle qui vous intéresse (par exemple R², AIC, taux de mauvaise classification, etc.) et cliquez dessus avec le bouton droit dans le rapport.
4) Dans la fenêtre contextuelle qui apparaît, sélectionnez l'option Simuler, vers le bas de la liste des options.
5) Dans la boîte de dialogue Simuler qui apparaît , sélectionnez O pour « Colonne à permuter » et Mélanger pour « Colonne à activer ». Cliquez ensuite sur OK. Si vous le souhaitez, avant de cliquer sur OK, vous pouvez définir la graine aléatoire pour garantir la reproductibilité des résultats et/ou modifier le nombre d'échantillons (par exemple, en choisissant une valeur différente de 2 500). Un nombre d'échantillons plus faible peut être préférable si l'ajustement du modèle est long. Vous pouvez également conserver les paramètres par défaut.
Simulate effectuera ensuite le brassage cible et créera un nouveau tableau des R² brassés ou de tout autre diagnostic que vous avez choisi d'évaluer à l'aide de ce brassage. Cliquez sur le script de distribution dans le nouveau tableau pour comparer la valeur du rapport à la distribution des R² brassés.
Je tiens à préciser que si John Elder est un fervent défenseur du brassage des cibles, ce dernier vise en réalité à éviter l'utilisation d'un modèle surajusté aux données. L'utilisation de modèles sélectionnés selon des pratiques de validation rigoureuses, combinée aux algorithmes de prévention du surapprentissage des plateformes Neural, GenReg, PLS et Partition de JMP, tend à rendre le brassage des cibles moins nécessaire qu'avec d'autres logiciels statistiques généralistes tels que R , SPSS ou Statistica, pour lesquels il constitue une étape essentielle de l'évaluation des modèles.
