Métricas para el análisis discriminanteTengo un análisis discriminante que estoy usando para clasificar algunos materiales.Funciona bastante bien y lo llevaré a producción en breve.Por supuesto, algunos elementos terminan siendo "casos extremos" en los que ligeras variaciones en ellos pueden moverlos de una clasificación a la siguiente.Entonces, por ejemplo, la Muestra A-1 (primer muestreo del flujo A) termina clasificándose como un objeto Gamma, mientras que la muestra A-2 (segundo muestreo del flujo A) se clasifica como un objeto Theta debido a pequeñas variaciones en su naturaleza. .
Alternativamente, tengo casos en los que el material simplemente no encaja muy bien en ninguna de las clases, pero se asigna a una.
Lo que estoy buscando es la mejor manera de normalizar una métrica de puntuación de qué tan bien encaja algo con su clase asignada.Por lo que puedo decir, la función de probabilidad está utilizando una función Logit, por lo que tiene demasiado movimiento exponencial en su naturaleza para tener mucho valor allí (básicamente, el cambio A1 y A2 anterior mostrará el 99% en cualquiera de las categorías según las perturbaciones mínimas).
Alternativamente, he intentado mirar el parámetro SQDIST.El problema con este es que no está normalizado, por lo que puede ver SQDIST muy pequeños para un clúster reducido y SQDISTS muy grandes para otro clúster grande.Intenté normalizar cada SQDIST a la mediana del clúster, eso ayudó, pero aún así no dio el resultado que quería.¿Tal vez la puntuación z?
De todos modos, ¿me preguntaba si ya existía un buen parámetro listo para usar para esto?Aquí están los detalles de lo que me gustaría
1) métrica normalizada de qué tan bien se ajustan los datos a su mejor segmento
2) métrica normalizada de qué tan bien se ajustan los datos a su segundo mejor grupo.
3) Tener suficiente linealidad en estos para ser fácilmente interpretables (sin caída / crecimiento exponencial)
La normalización es realmente la clave.Mi objetivo, en última instancia, sería desarrollar un gráfico de control de nuevos datos a medida que la LDA los procesa para detectar los valores atípicos a medida que ingresan y medir el estado general de las clases de LDA.
AnalíticaRe: Métricas para análisis discriminante¡Hola, Evan_Morris!
Una respuesta inconveniente a su pregunta es que no existe una métrica perfecta para medir el rendimiento de su problema de clasificación.Una búsqueda rápida en la web puede identificar de 30 a 50 métricas diferentes que intentan resumir los resultados de una matriz de confusión, y esa es una señal intermitente de que hay problemas con todas ellas en diferentes condiciones.Averiguar esas condiciones es un ejercicio que generalmente se deja al lector. 
Una pregunta: los estadísticos tienden a usar la palabra "normalizado" de manera diferente a otras profesiones.¿Qué quiere decir cuando dice "La normalización es realmente la clave"?¿Qué significa la normalización para ti?¿"Normalización" = "corregir el desequilibrio de clases"?
Una forma de hacerlo sería adoptar un enfoque de deseabilidad para el área bajo la curva de la curva de funcionamiento del receptor (curva ROC) que está disponible en el pequeño triángulo rojo invertido de JMP (LIRT) junto al análisis discriminante -> Opciones de puntuación -> Curva ROC .Haga clic con el botón derecho en la tabla AUC y seleccione Convertir en tabla de datos.Establezca las deseabilidades individuales de cada clase en 1 en 1 y cero en 0,5-0, y calcule una media geométrica de las deseabilidades individuales ponderadas por el tamaño de la muestra en cada clase.Utilice esa conveniencia resumida como una figura de mérito.
De otra manera: hay referencias que afirman que el coeficiente de correlación de Matthew es superior a algunas otras métricas de rendimiento de clasificación binaria populares, especialmente en el caso de desequilibrio de clases, en parte porque utiliza explícitamente todas las celdas de la matriz de confusión.El MCC se ha generalizado al caso multiclase (que supongo que tiene), llamado Rk .
No estoy familiarizado con su aplicación y no puedo recomendar con seguridad ninguno de los enfoques sobre el otro.Sin embargo, me parece claro que cualquiera de los enfoques requeriría un script JSL, y cada uno implicaría mucho esfuerzo y pruebas.
Espero que alguien tenga una respuesta más eficiente y eficaz para su pregunta que yo.
¡Buena suerte!
Re: Métricas para análisis discriminanteEntonces, una solución rápida que encontré (¡gracias Di!) fue usar la función Col Standardize con una variable por grupo.Creo que esto estandariza los datos en torno a la distribución normal, lo que no funciona al 100% ya que los datos están muy sesgados, pero aún así es bastante efectivo y fue muy fácil de implementar.
