L'un des dangers de l'apprentissage automatique est le surajustement.Le remaniement des cibles de John Elder fournit une évaluation très intuitive du modèle.Il existe de nombreuses références.Ci-dessous n'en est qu'un.http://www.kdnuggets.com/2014/02/3-ways-to-test-accuracy-your-predictive-models.html .Ce serait bien d'avoir cette capacité dans JMP.
Xiaojie Zhou zhou.x.1@pg.com - Centre d'innovation Sharon Woods, Cincinnati
@SamGardner Apparemment, cela fait l'objet d'une enquête par le développement. Devrions-nous changer le statut ?
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />Simuler sera disponible dans JMP Pro 13.0.
Cela sera possible à l'aide de la fonction Simuler de JMP Pro en suivant ces étapes simples.Pour effectuer un remaniement de cible sur une cible nommée :Y, par exemple :
1) Faites un clic droit sur Y et sélectionnez Nouvelle colonne de formule -> Aléatoire -> Échantillon sans remplacement. Cela crée une nouvelle colonne de formules appelée Shufflequi mélange aléatoirement les lignes de Y.
2) Exécutez le modèle sur la colonne de réponse d'origine.
3) Trouvez le modèle de diagnostic qui vous intéresse (par exemple, R Square, AIC, Misclassification Rate, etc.) et faites un clic droit dessus dans le rapport.
4) Dans la fenêtre contextuelle qui apparaît, sélectionnez l'option Simuler, près du bas de la liste des options.
5) Dans la boîte de dialogue Simuler qui apparaît sélectionnez Y pour "Colonne à désactiver" et Aléatoirepour "Colonne à activer".. Cliquez ensuite sur OK.Si vous le souhaitez, avant de cliquer sur OK, vous pouvez éventuellement définir la graine aléatoire si vous souhaitez que les résultats soient reproductibles et / ou modifier le nombre d'échantillons à autre chose que 2500 si vous le souhaitez.Un plus petit nombre d'échantillons peut être souhaité si l'ajustement du modèle prend beaucoup de temps.Vous pouvez également simplement utiliser les valeurs par défaut.
Simulate effectuera alors le brassage cible pour vous et créera un nouveau tableau des carrés R mélangés ou d'un autre diagnostic que vous avez choisi d'évaluer à l'aide du brassage cible.Cliquez sur le script de distribution dans le nouveau tableau et vous pouvez comparer la valeur du rapport à la distribution des carrés R "mélangés".
Je soulignerai que bien que John Elder soit un ardent défenseur du remaniement des cibles, le remaniement des cibles est vraiment conçu comme un moyen de vous empêcher d'utiliser un modèle qui a surajusté les données.L'utilisation de modèles choisis à l'aide de pratiques de validation appropriées en combinaison avec les algorithmes de prévention de surajustement des plates-formes Neural, GenReg, PLS et Partition de JMP a tendance à rendre le réarrangement des cibles moins nécessaire qu'il ne le serait avec d'autres logiciels statistiques à usage général comme R , SPSS ou Statistica pour lesquels Target Shuffling est un élément essentiel du processus d'évaluation du modèle.
