Métriques pour l'analyse discriminanteJ'ai une analyse discriminante que j'utilise pour classer certains matériaux.Fonctionne plutôt bien et je vais le mettre en production sous peu.Certains éléments finissent bien sûr par être des "cas extrêmes" où de légères variations peuvent les déplacer d'une classification à l'autre.Ainsi, par exemple, l'échantillon A-1 (premier échantillonnage du flux A) finit par être classé comme un objet Gamma, tandis que l'échantillon A-2 (deuxième échantillonnage du flux A) est classé comme un objet Theta en raison de petites variations dans leur nature. .
Alternativement, j'ai des cas où le matériel ne convient tout simplement à aucune des classes mais est affecté à une.
Ce que je recherche, c'est le meilleur moyen de normaliser une mesure de notation pour déterminer dans quelle mesure quelque chose correspond à la classe qui lui est attribuée.Pour autant que je sache, la fonction de probabilité utilise une fonction Logit, elle a donc trop de mouvement exponentiel dans sa nature pour y avoir beaucoup de valeur (en gros, les flips A1 et A2 ci-dessus afficheront 99% dans l'une ou l'autre des catégories en fonction de perturbations infimes).
Alternativement, j'ai essayé de regarder le paramètre SQDIST.Le problème avec celui-ci est qu'il n'est pas normalisé, vous pouvez donc voir de très petits SQDIST pour un cluster serré et de très grands SQDIST pour un autre grand cluster.J'ai essayé de normaliser chaque SQDIST à la médiane du cluster, cela a aidé mais n'a toujours pas donné le résultat que je voulais.Peut-être les z-score ?
Quoi qu'il en soit, je me demandais simplement s'il y avait déjà un bon paramètre standard déjà en place pour cela?Voici les détails de ce que je voudrais
1) métrique normalisée pour savoir dans quelle mesure les données correspondent à son meilleur seau
2) métrique normalisée pour savoir dans quelle mesure les données correspondent à son deuxième meilleur seau.
3) Avoir suffisamment de linéarité dans ceux-ci pour être facilement interprétables (pas de décroissance/croissance exponentielle)
La normalisation est vraiment la clé.Mon objectif, en fin de compte, serait de développer une carte de contrôle des nouvelles données au fur et à mesure qu'elles sont traitées par le LDA pour détecter les valeurs aberrantes au fur et à mesure qu'elles arrivent et pour évaluer la santé globale des classes LDA.
AnalytiqueRe : Métriques pour l'analyse discriminanteSalut, Evan_Morris !
Une réponse peu pratique à votre question est qu'il n'y a pas de métrique parfaite pour mesurer la performance de votre problème de classification.Une recherche rapide sur le Web peut identifier 30 à 50 métriques différentes qui tentent de résumer les résultats d'une matrice de confusion, et c'est un signe clignotant qu'il y a des problèmes avec elles toutes dans des conditions différentes.Déterminer ces conditions est un exercice généralement laissé au lecteur. 
Une question : les statisticiens ont tendance à utiliser le mot « normalisé » différemment des autres professions.Que voulez-vous dire quand vous dites "La normalisation est vraiment la clé."?Qu'est-ce que la normalisation signifie pour vous ?Est-ce que « normalisation » = « corriger le déséquilibre de classe » ?
Une façon de le faire serait d'adopter une approche de désirabilité de la zone sous la courbe de la courbe de fonctionnement du récepteur (courbe ROC) qui est disponible sous le petit triangle rouge inversé (LIRT) de JMP à côté de l'analyse discriminante -> Options de score -> Courbe ROC .Cliquez avec le bouton droit sur la table AUC et choisissez Make Into Data Table.Définissez les désirabilités individuelles de chaque classe à 1 à 1 et zéro à 0,5-0, et calculez une moyenne géométrique des désirabilités individuelles pondérées par la taille de l'échantillon dans chaque classe.Utilisez cette désirabilité résumée comme une figure de mérite.
Une autre façon : il existe des références qui prétendent que le coefficient de corrélation de Matthew est supérieur à d'autres mesures de performance de classification binaire populaires, en particulier dans le cas de déséquilibre de classe, en partie parce qu'il utilise explicitement chaque cellule de la matrice de confusion.Le MCC a été généralisé au cas multiclasse (que vous avez, je suppose), appelé Rk .
Je ne connais pas votre application et je ne peux pas recommander avec confiance l'une ou l'autre approche.Il me semble cependant clair que l'une ou l'autre approche nécessiterait un script JSL, et chacune impliquerait beaucoup d'efforts et de tests.
J'espère que quelqu'un aura une réponse plus efficace et efficace à votre question que moi.
Bonne chance!
Re : Métriques pour l'analyse discriminanteAinsi, une solution de raccourci que j'ai trouvée (merci Di !) consistait à utiliser la fonction Col Standardize avec une variable bygroup.Cela normalise les données autour de la distribution normale, je pense, qui ne fonctionne pas à 100% car les données sont très asymétriques, mais c'est quand même sacrément efficace et très facile à mettre en place.
