données déséquilibrées et classification des poidsBonjour,
J'ai une base de données avec une réponse oridnale très déséquilibrée. La classe d'intérêt personnel majeur est une classe minoritaire (patients avec une infection rare mais sévère, environ 5% des observations).
La classification des autres classes oridinales fonctionne bien avec un classificateur d'arbres forestiers boosté mais ces classes ou pas à mon intérêt (infection moins sévère ou pas d'infection du tout). Je me demande si je peux utiliser l'option "poids" pour donner plus de poids à la classe minoritaire. De plus, je veux calculer à quel seuil optimal de "poids" le classificateur a le mieux fonctionné. Dans des données non équilibrées, l'AUC ROC ne semble pas être la mesure de performance appropriée.Un score F1 (mesure des taux de faux positifs et de faux négatifs) semble plus adéquat pour cela.
Quelqu'un connaît-il le calcul automatique des scores F1 dans JMP ?
Existe-t-il un moyen d'affiner l'option "Poids" dans les modèles de classification JMP dans des données très déséquilibrées afin de maximiser les scores F1 ?
Est-ce que quelqu'un a d'autres suggestions pour résoudre ce problème?
Merci,
Lu
Re : données déséquilibrées et classification des poidsDésolé, je veux dire Matthews CC
Re : données déséquilibrées et classification des poidsUne publication récente décrit clairement les avantages du coefficient de corrélation de Matthias (MCC) en tant que mesure de performance optimale pour les modèles de classification, même dans des données déséquilibrées.
https://www.ncbi.nlm.nih.gov/pubmed/31898477
https://www.ncbi.nlm.nih.gov/pubmed/28574989
Re : données déséquilibrées et classification des poidsBonjour, j'ai trouvé un joli complément qui peut aider à définir le seuil optimal pour la classification (ci-dessous). Ou recherchez « confusion matrix » sur le site Web de la communauté File Exchange - Add-ins of JMP.
Re : données déséquilibrées et classification des poidsJe pense qu'il y a là deux problèmes quelque peu différents. L'un est la nature déséquilibrée des données - certaines de vos catégories sont beaucoup plus courantes que d'autres, de sorte que de simples taux de mauvaise classification peuvent "ignorer" les catégories avec de petits nombres - je pense que la F1 est principalement un moyen de résoudre ce problème. L'autre problème est l'asymétrie des erreurs - les faux positifs et les faux négatifs peuvent avoir des conséquences très différentes. Je ne pense pas que la F1 aidera à cela - seuls de meilleurs modèles et la modification des seuils de probabilité peuvent résoudre ce problème. Je ne suis pas au courant d'une relation systématique entre les deux problèmes (il peut y en avoir un, et ce serait très intéressant d'en apprendre davantage).Re : données déséquilibrées et classification des poidsJe me suis également intéressé aux scores F1, mais je ne pense pas qu'ils soient calculés automatiquement dans JMP.À moins que quelqu'un ait une meilleure idée, je m'abstiendrais d'utiliser des poids pour résoudre votre problème - je pense que cela rendra difficile de voir ce qui se passe.Ma propre inclination serait de recoder votre variable de réponse en 2 catégories - la maladie qui vous intéresse et tout le reste.Ensuite, vous pouvez affiner manuellement les probabilités de coupure (le complément pour cela est assez bon) pour voir quelle probabilité de coupure fait le mieux pour identifier la maladie qui vous intéresse.Ensuite, vous pouvez revenir à la catégorisation complète de votre variable de réponse et voir si cette probabilité de coupure semble robuste.Pour moi, les essais et erreurs peuvent être plus éclairants que la recherche d'une solution automatique à votre problème (mais s'il existe une méthodologie automatique, j'aimerais la connaître).
Re : données déséquilibrées et classification des poidsSi vous activez l'option Matrice de confusion pour un modèle de classification, vous pouvez obtenir les taux de faux positifs/négatifs.
Vous pouvez également définir différents seuils pour la classification positive/négative (la valeur par défaut est 0,5).
