Validation et pondérationJe travaille avec un fichier d'environ 8 500 enregistrements dont environ 100 ont une valeur de variable de réponse Y et le reste une valeur de N.J'exécute un modèle de partition sur la variable de réponse Y, puis j'ajoute divers facteurs X.Étant donné le nombre relativement faible de « réponses », j'ai deux questions lorsque j'utilise ce modèle.
1) dois-je pondérer les variables de réponse en utilisant une mise en forme conditionnelle (en ajoutant une nouvelle colonne) ?
2) quel pourcentage dois-je utiliser pour la partie validation (20%, 30%...) ?
Re: Validation et pondérationLa sensibilité et la spécificité sont probablement de meilleurs paramètres.Re: Validation et pondérationMerci.Et quand vous parlez d’accord relatif, comment l’évalueriez-vous au mieux ? Des valeurs R2 similaires pour la formation et la validation ?
À M
Re: Validation et pondérationN'essayez pas de trop optimiser, sinon vous surajusterez votre ensemble de validation.Choisissez simplement un paramètre qui aboutit à un accord relatif entre l'ensemble de formation et de validation et continuez avec.
Re: Validation et pondérationExcellente information, je l'intégrerai.Maintenant que j'ai exécuté différentes proportions de validation, pondérées et non pondérées, j'obtiens des résultats légèrement variables, comme on pouvait s'y attendre.À quels facteurs statistiques suggéreriez-vous de prêter le plus d’attention en ce qui concerne le choix des meilleurs résultats de la modélisation ?
Re: Validation et pondération@Chris_Kirchberg , C'est vraiment cool et c'est exactement le genre de chose que j'avais en tête.J'ai appris quelque chose de nouveau aujourd'hui.
Re: Validation et pondérationVous souhaiterez peut-être également inclure la matrice des bénéfices comme système de pondération. Jetez un œil à ce lien pour en savoir un peu plus :
https://www.jmp.com/support/help/13-2/Specify_Profit_Matrix.shtml
J'espère que cela pourra aider.
Chris
Re: Validation et pondérationJe le ferais probablement, même si je suppose que cela dépend un peu de ce qu'est un bon classificateur pour votre situation.Si vous voulez vous assurer qu'il y a une énorme pénalité pour manquer les réponses « Y » afin de vous assurer que vous faites un travail adéquat pour les prédire, ce serait une bonne idée.Je ne suis pas un expert dans ce domaine, mais je jouerais probablement avec différents poids et observerais l'impact sur la matrice de confusion.
Re: Validation et pondérationMerci Cameron,
J'ai 8 facteurs pour commencer, qui peuvent affiner cela.Proposez-vous également une pondération ?
Re: Validation et pondérationPour cette taille totale, je ferais un partage 70/30 ou 60/40.Vous pourriez essayer les deux.De combien de facteurs disposez-vous ?
