Taux d'erreur de classement, qui a raison ?<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />
Salut! Fans et experts de JMP
Dans la régression logistique, la partition et la comparaison du modèle de réseau de neurones, le taux d'erreur de classification agit comme une mesure importante pour déterminer quel modèle est le meilleur ou non ? D'après ce que je comprends, Plus la valeur du taux de mauvaise classification est petite, meilleur sera le modèle ; cependant, j'ai été confus par les cas suivants. Dans le premier cas, on m'a dit qu'un plus gros c'est mieux, mais dans le second cas, on m'a dit qu'un plus petit c'est mieux.
Fans et experts de JMP, qui peut m'aider à résoudre ce problème ? Et donnez-moi plus d'interprétation sur ce scénario.
1. Premier cas
2. Le deuxième cas
Re : Taux d'erreur de classification, qui a raison ?Utilisez-vous une sorte de système « expert » pour produire les récits associés à chaque tableau ? Le deuxième cas est évidemment la sortie liée à JMP de la plate-forme de comparaison de modèles JMP Pro. Je ne sais pas quel package d'analyse a produit l'image du cas n ° 1.
Après avoir posé cette question, je suppose qu'au moins dans le premier cas, le critère définitif utilisé pour déterminer le "meilleur" modèle est la statistique AICc et non le taux d'erreur de classification. La statistique AICc est l'un de ces diagnostics de régression "le plus bas est le meilleur"... donc puisque ce modèle a l'AICc le plus bas... le système sélectionne ce modèle comme le "meilleur".
Un peu d'un didacticiel général d'interprétation des diagnostics de régression/modélisation suit. Je crie sur tous les toits chaque fois que je le peux pour ne JAMAIS utiliser UNE seule mesure, tracé ou estimation de diagnostic de régression pour déterminer un « meilleur » modèle. À la fin de chaque problème de modélisation, j'encourage les décideurs à toujours déterminer votre « meilleur » modèle avec : « Quel modèle m'aide le mieux à résoudre mon problème pratique ? » C'est le modèle que vous devriez choisir... pas le modèle avec le plus haut R**2, F-ratio, AICc, ou le tracé résiduel le plus attrayant... ou toute autre construction mathématique/graphique.
Surtout dans les problèmes de type classification... il y a souvent des conséquences pratiques très différentes pour les différentes catégories d'erreur de classification... le taux d'erreur de classification est la somme de TOUTES les erreurs de classification. Pensez aux diagnostics du cancer comme un exemple... des conséquences très différentes pour les faux négatifs ou les faux positifs. Je pourrais donc choisir un "meilleur" modèle qui minimise les conséquences PRATIQUES de l'une des catégories d'erreur de classification... au détriment d'un taux plus élevé dans l'autre.
