Comment puis-je remplir mes données afin d'obtenir uniquement une technique d'échantillonnage sous-échantillonnage sans modélisation. Je dois faire la même chose pour le suréchantillonnage et la pesée. J'essaie d'exécuter xgboost avec ces trois techniques d'échantillonnage (une à la fois bien sûr). J'ai donc besoin d'un ensemble de données qui montre le sous-échantillonnage, d'un autre ensemble de données pour le suréchantillonnage et d'un troisième ensemble de données pour la pesée. Merci.
Salut @NishaKumar ,
Il existe probablement plusieurs façons de procéder, et cela peut dépendre de votre objectif final et de la meilleure méthode.
Une option serait de créer une colonne de validation dans laquelle vous la décalez fortement par rapport à une variable, disons 10 % de formation et 90 % de validation, puis vous créez un sous-ensemble des données de formation et faites votre ajustement sur cela. Enregistrez la formule d'ajustement dans la table de sous-ensemble, puis ramenez-la dans la table de données d'origine et voyez dans quelle mesure l'ajustement fonctionne sur les données non entraînées. Vous pouvez ensuite faire l'inverse en traitant les données de validation comme des données de « formation », répéter les étapes ci-dessus et voir dans quelle mesure elles correspondent à l'ensemble de données de formation (« validation »). Vous pouvez utiliser cette option si vous souhaitez stratifier votre colonne de validation en fonction du résultat que vous modélisez. Toutefois, si vous ne vous en souciez pas, vous pouvez essayer l'autre option.
Une autre option consiste à utiliser Ligne > Sélection de ligne > Sélectionner au hasard et à utiliser soit 10 % ou 90 % - ou même 1 % et 99 %, puis à créer un sous-ensemble de chacun d'entre eux, à effectuer les ajustements et à ramener les formules dans comparez leurs résultats avec les données inutilisées de la table d'origine.
Quant à la pondération des données, cela dépend fortement de l'ensemble de données que vous utilisez et de la manière dont les données doivent être traitées. Si vous avez ce qui semble être des valeurs aberrantes, mais que vous n'avez aucune raison de les supprimer de l'ensemble de données, vous pouvez les pondérer moins que les autres données afin qu'elles ne biaisent pas l'ajustement, mais vous devrez les examiner individuellement pour voir comment traiter de tels cas.
J'ai essayé la deuxième approche avec les exemples de données Boston Housing.jmp et cela s'est plutôt bien passé. Cela n'a pas vraiment surajusté les données pour me donner un R ^ 2 plus grand sur les données de "validation" de l'ensemble de données de suréchantillonnage, mais c'était plus grand que l'utilisation d'une colonne de validation et l'ajustement des données à l'aide de celle-ci.
À propos, j'ai ajusté les données à l'aide de la plate-forme XGBoost et (réponse = mvalue ; toutes les autres colonnes sont X, Facteurs) j'ai utilisé les paramètres par défaut avec la case Autotune cochée.
résultats de sous-échantillonnage (1 = formation, 0 = validation) :
suréchantillonnage (1=entraînement, 0=validation) :
Voici les résultats en utilisant une colonne de formation/validation .75/.25 qui a été stratifiée sur mvalue :
Le R^2 des dernières données de validation n'est pas aussi élevé que celui du modèle de suréchantillonnage, mais il est probablement plus précis car davantage d'échantillons ont été utilisés dans la validation du modèle que lors de la prise d'un trop grand nombre d'échantillons à entraîner.
Quoi qu’il en soit, j’espère que cela vous donne quelques idées sur la façon d’avancer davantage vers votre objectif spécifique.
Bonne chance!,
DS
Merci beaucoup, je vais essayer ces techniques une par une et vous fournir des commentaires/questions.
