Modélisation prédictive avec coût asymétrique / jeu de données déséquilibréBonjour,
Comment puis-je demander aux plates-formes de modélisation prédictive sur JMP Pro (partition, forêts aléatoires, etc.) d'attribuer un coût plus élevé à la prédiction erronée de la classe minoritaire. J'ai un ensemble de données très déséquilibré avec un coût élevé pour les faux négatifs (taux de réadmission des patients aigus) et lorsque j'utilise les classificateurs, l'AUC est faible et tous les cas positifs sont faussement classés.
Veuillez aider sur les outils disponibles pour résoudre ce problème.
Merci
Re : Modélisation prédictive avec coût asymétrique / ensemble de données déséquilibréComme cela a été souligné, l'amélioration de l'AUC et l'intégration des coûts/bénéfices asymétriques sont deux choses différentes.L'AUC a à voir avec la capacité du modèle à classer correctement, tandis que la matrice de profit oriente les erreurs de classification vers l'endroit où elles causent le moins de dommages.Si la mesure AUC n'est pas mauvaise mais que les classifications font des erreurs coûteuses (comme ne pas classer l'une des 1 valeurs), alors vous devriez essayer une probabilité de coupure différente pour la classification - c'est ce que la matrice de profit fera automatiquement, mais vous peut également modifier manuellement les probabilités de coupure pour modifier les erreurs de classification.Si vous n'aimez toujours pas ce que vous pouvez obtenir, alors vous voulez un meilleur modèle - celui qui produira une AUC plus élevée.Rien dans les coûts de mauvaise classification n'augmentera l'AUC - seul un meilleur modèle peut augmenter l'AUC.Donc, si vous avez besoin d'un meilleur modèle, essayez d'autres techniques, transformez vos variables, modifiez les paramètres du modèle, etc., mais n'utilisez pas la matrice de profit pour essayer d'améliorer le modèle lui-même.
Re : Modélisation prédictive avec coût asymétrique / ensemble de données déséquilibréJ'ai essayé tous les modèles, mais à cause de cet ensemble de données déséquilibré, tous les cas zéro sont classés correctement et tous les cas un sont mal classés. Le biais de coût devrait logiquement pouvoir optimiser l'AUC mais ne comprend pas pourquoi il ne l'impacte pas. C'est ce qui m'intrigue.
Re : Modélisation prédictive avec coût asymétrique / ensemble de données déséquilibréOn dirait que vous essayez maintenant d'obtenir une AUC améliorée. Jusqu'à présent, vous n'avez parlé que de modèles basés sur des arbres. Avez-vous essayé les techniques de réseau de neurones ?
Re : Modélisation prédictive avec coût asymétrique / ensemble de données déséquilibréComment alors cela peut-il m'aider à augmenter le taux de sensibilité de mon modèle ? et ASC ? Quels sont les autres moyens de s'assurer que l'AUC prend en compte le coût lors de la classification des résultats ? Merci
Re : Modélisation prédictive avec coût asymétrique / ensemble de données déséquilibréL'utilisation de la matrice de profit ne changera pas l'AUC.Il ne modifie que le seuil de probabilité choisi - il le choisit en fonction des bénéfices/coûts asymétriques que vous spécifiez.Il s'agit essentiellement de choisir un point sur la courbe ROC (je ne suis pas sûr, mais je pense que c'est un point optimal où les coûts relatifs des erreurs sont égaux à la pente de la courbe ROC) selon la matrice de profit.Lorsque vous enregistrez les prédictions, des colonnes supplémentaires doivent afficher la rentabilité associée à la classification optimale - et cette classification doit être différente de la classification par défaut (en supposant que les coûts sont asymétriques).
Re : Modélisation prédictive avec coût asymétrique / ensemble de données déséquilibréMerci. Je l'ai essayé mais l'AUC de mon modèle est toujours le même selon différentes méthodes. Cela n'a pas forcé le modèle à accorder une plus grande importance à la classe minoritaire.
Re : Modélisation prédictive avec coût asymétrique / ensemble de données déséquilibréLa matrice de profit peut être définie comme une propriété de colonne avant de créer un modèle prédictif et devrait faire ce que vous demandez.Cependant, je tiens à souligner que j'ai eu des difficultés à remplir la matrice des bénéfices - l'exemple du guide d'aide JMP est clair mais ne correspond souvent pas à une situation réelle.Si votre problème de décision est tel que vous pouvez spécifier exactement quel est le coût des faux positifs et négatifs, alors la matrice de profit devrait fonctionner.Par exemple, l'exemple JMP concerne un agent effectuant des réservations de lignes aériennes, où une prédiction erronée entraîne un coût supplémentaire connu pour l'agent.D'un autre côté, si vous prédisez quelque chose comme la fidélisation de la clientèle, les coûts d'une fausse prédiction ne sont pas si clairs.Si vous prédisez à tort qu'un client sera perdu, vous devrez probablement engager des frais supplémentaires pour essayer de conserver le client.Pour certains clients, cela peut les faire passer de perdus à conservés, mais cela ne sera certainement pas efficace à 100 %.Il devient compliqué de savoir quoi mettre dans la matrice de profit dans de tels cas - et je recommanderais de ne pas utiliser cette fonctionnalité.Mieux vaut regarder des seuils alternatifs et des matrices de confusion.
Re : Modélisation prédictive avec coût asymétrique / ensemble de données déséquilibréToute aide à ce sujet s'il vous plaît?
Re : Modélisation prédictive avec coût asymétrique / ensemble de données déséquilibréJe ne suis pas sûr de comprendre comment cela fonctionne. Je crois comprendre que la matrice de profit apparaît après avoir exécuté le modèle. Je veux pouvoir spécifier un coût plus élevé pour la classe minoritaire et m'assurer que le modèle en tient compte lors de la construction de la prédiction.
Pouvez-vous détailler la procédure pour y parvenir ?
Merci
Re : Modélisation prédictive avec coût asymétrique / ensemble de données déséquilibréJetez un oeil à la matrice de profit (et des liens hors de cela).
