Modèles avec poidsSalut
J'essaie de trouver une corrélation entre certains prédicteurs X et une variable de réponse continue fortement biaisée vers la droite.
La base de données contient seulement 140 instances.
Tout d’abord, j’ai transformé la variable de réponse en utilisant la fonction lnx+1.
Ensuite, j'ai normalisé tous les x dans la plage 0 et 1, j'ai réduit la dimensionnalité avec l'option de filtrage, puis j'ai supprimé les prédicteurs corrélés X. À la fin de tout ce processus, je n'avais que 4 prédicteurs. En exécutant une forêt aléatoire sans aucun poids et le R2 sur les données d'entraînement était très faible (voir le premier graphique ci-dessous). Ensuite, j'ai utilisé une fonction de pondération parabolique similaire (voir le deuxième graphique) et j'ai relancé la forêt aléatoire. Le résultat était meilleur comme le montre le dernier graphique. Il semble qu'il y ait eu une rotation des données autour du centre du graphique. Quelqu'un peut-il expliquer pourquoi ?
Comment la fonction de pondération doit-elle être choisie ?
Fusion et nettoyage des donnéesModélisation prédictive et apprentissage automatiqueRe: Modèles avec poidsJe pense qu'il serait utile que vous fournissiez plus de détails sur les caractéristiques de vos données, et éventuellement un échantillon de certaines des données. En général, je pense qu'il est étrange de pondérer une analyse à moins que les poids ne soient clairement appropriés, comme dans le cas d'enquêtes où l'échantillonnage est spécifiquement conçu pour que les poids représentent la population échantillonnée. L'autre endroit où les pondérations seraient appropriées est celui où vous exécutez une analyse de régression et où une hétéroscédasticité est présente. Mais je pense que l'utilisation de poids dans une forêt aléatoire est une chose étrange à faire. Pour cette question, je ne sais pas pourquoi vous devez réduire le nombre de fonctionnalités en utilisant une forêt aléatoire - la validation devrait éviter le surajustement et la technique devrait se concentrer sur les fonctionnalités les plus pertinentes. Sans plus de contexte sur les raisons pour lesquelles vous utilisez des pondérations, je suis sceptique quant à l'application d'une fonction de pondération car elle fournit un meilleur modèle d'ajustement.
Re: Modèles avec poidsSalut Dale
Mon idée était d'utiliser la fonction de poids en raison de la petite taille de l'échantillon. J'ai essayé de donner plus d'importance à la réponse avec des valeurs basses et élevées.Re: Modèles avec poidsJe ne pense pas que ce soit légitime. On dirait que vous pensez que les valeurs extrêmes ont peut-être été sous-représentées dans vos données. Si tel est le cas, je pense que la bonne chose à faire est d'échantillonner différemment - suréchantillonner les valeurs extrêmes probables. Ensuite, la pondération pourrait être justifiée. Mais pondérer des valeurs extrêmes après avoir collecté vos données revient à inventer des données qui pourraient vous dire ce que vous espérez. Je n'ai pas entendu une bonne raison pour laquelle ces valeurs devraient être pondérées plus fortement.
Il existe également d'autres options. La régression quantile est une technique visant à estimer des quantiles particuliers, tels que les extrêmes, plutôt que la réponse moyenne. Mais cela diffère de la pondération de ces valeurs extrêmes plus fortement.
