utilisation des données de validation sur un arbre boostéJ'ai développé un modèle prédictif avec un arbre boosté. J'avais 30 000 lignes de données d'entraînement. J'ai 10 000 traits de données de «validation». Comment puis-je exécuter l'ensemble de données de validation via le modèle (j'ai plus de 800 variables dans mon modèle, donc obtenir une «formule» n'était pas pratique). Veuillez fournir une solution interactive (pas un script).AnalytiqueBICHEAutreRe: utilisation des données de validation sur un arbre boostéAvec la formule, tout serait facile. As-tu essayé? Ce qui s'est produit?
Je suppose que vous utilisez JMP Pro.
Avez-vous essayé de construire un modèle moins complexe? Avez-vous essayé le dépistage des prédicteurs ou d'autres techniques de réduction des variables? Ou d'autres techniques de modélisation?
Pour avoir le meilleur modèle, il faut avoir comparé différentes techniques / ensembles de variables.
Re: utilisation des données de validation sur un arbre boostéJe ne comprends pas votre question.Si vous avez une colonne de validation et que vous la placez dans la zone Validation, les résultats du modèle pour les données de validation sont signalés.Je suis d'avis que vous voudrez peut-être un modèle plus simple et que vous devriez essayer différents modèles.J'ajouterais que vous voudrez peut-être mettre de côté 10% des données en tant que données de test, car les données de validation sont utilisées dans la construction du modèle et il existe un risque de surajustement, en particulier avec 800 variables dans votre modèle.Par conséquent, je suggérerais de diviser vos données en ensembles de données d'entraînement, de validation et de test, d'exécuter divers modèles et d'utiliser la fonctionnalité de comparaison de modèles pour voir comment les modèles fonctionnent sur les données de test.Cette comparaison doit être automatisée une fois que vous avez enregistré les formules de prédiction de tous vos modèles.
Re: utilisation des données de validation sur un arbre boostéJe vais essayer ça.
Cependant, comme le modèle est si grand, la formule de prédiction ne semblait même pas fonctionner du tout - elle semble bloquer le programme. Enfin, quand je veux vraiment exécuter les données de test, comment puis-je l'exécuter? Merci beaucoup - ksfire1
Re: utilisation des données de validation sur un arbre boostéSi vous créez la colonne de validation à l'aide de la fonction de la plateforme de modélisation prédictive, JMP exécute automatiquement votre modèle sur les données d'entraînement, de validation et de test.Donc, vous n'avez rien d'autre à faire.Maintenant, vos commentaires sur les problèmes de fonctionnement de votre modèle sont une autre affaire - il semble qu'il y ait des problèmes avec le modèle, et je soupçonne que le fait d'avoir 800 variables dans votre modèle reflète quelque chose qui doit être corrigé.Je chercherais des moyens de réduire le nombre de fonctionnalités.
Re: utilisation des données de validation sur un arbre boostéLe dépistage des prédicteurs est une bonne première étape pour comprendre quelles variables sont importantes. Consultez le script de l'index de script pour comprendre son fonctionnement.
Je ferais d'abord un échantillonnage du tableau original pour réduire le nombre de lignes (menu principal: Tables-> sous-ensemble…)
Avec ce sous-ensemble, vous pouvez essayer plusieurs choses en peu de temps, enregistrer les scripts pour les idées prometteuses et les appliquer ultérieurement au grand ensemble de données.
Names Default To Here( 1 );
dt = Open( "$SAMPLE_DATA/Boston Housing.jmp" );
obj = dt << Predictor Screening( Y( :chas ), X( :crim, :indus, :nox, :rooms, :age, :distance, :radial ) );
