PLS con respuesta categóricaNecesito hacer una demostración de JMP Pro la próxima semana para un cliente interesado en PLS con respuesta categórica (binomial).¿Alguien tiene un buen conjunto de datos para demostrar esto?Todos los conjuntos de datos de PLS que he encontrado hasta ahora involucran respuestas numéricas.
Gracias,
Marca
Re: PLS con respuesta categóricaActualizar a este hilo.He notado un problema con PLS al modelar respuestas categóricas donde la fórmula de predicción guardada en la tabla de datos no tiene la propiedad de columna Probabilidad de respuesta.Como resultado, no es posible comparar el modelo PLS con otros modelos de clasificación en Comparación de modelos.Puede haber una razón específica para esto, pero aún no sé cuál podría ser.Actualizaré este hilo con lo que aprendo del soporte técnico con respecto a este problema.
Re: PLS con respuesta categóricame parece bien
Re: PLS con respuesta categóricaLa curva ROC en realidad contiene ambos tipos de errores que puede ver en una tasa de clasificación errónea, solo que se expresa de manera diferente. La forma de la curva ROC le permite determinar qué tipo de error (si alguno) es un "mejor" error que cometer.
El problema con las clasificaciones incorrectas es que las clasificaciones incorrectas no son muy sensibles. En otras palabras, no tiene en cuenta las probabilidades de un evento. Considere dos modelos: el modelo 1 y el modelo 2. Para una condición dada, el Modelo 1 predice un 95 % de probabilidad de que ocurra el evento, mientras que el Modelo 2 predice un 55 %. Para esa condición, ambos modelos categorizarían esa observación de la misma manera, pero uno está mucho más "seguro" del resultado que el otro. Los criterios de información como AICc y BIC son métricas de modelos más sensibles.
No estoy diciendo que no usaría la clasificación errónea, pero dos modelos que tienen la misma tasa de clasificación errónea no son necesariamente iguales.
Re: PLS con respuesta categóricaSolo otra opinión: sé que las curvas ROC son una buena manera de comparar modelos. Sin embargo, para las respuestas binomiales, me gusta observar más las tasas de clasificación errónea y, especialmente, qué tan homogéneos se distribuyen los errores al error 1 frente al error 2. ¿Por qué? un modelo que predice un nivel perfectamente y el otro casi debido a eventos más o menos raros, aún podría verse mejor que otro modelo que mira solo la curva ROC, creo (@estadísticos, corríjanme si me equivoco, solo un matemático
).
Dicho esto, el resultado es un modelo que simplemente dice que todas las predicciones dan como resultado un nivel y obtiene solo algunas predicciones de error 1. Puede haber un modelo que prediga más errores en un sentido absoluto, pero están prediciendo ambos niveles bastante bien. Es posible que este modelo no sea tan bueno como el otro modelo de una curva ROC o tan bueno como el índice de clasificación errónea pura, pero aun así lo elegiría porque probablemente esté más cerca de la realidad.
Re: PLS con respuesta categórica@Dan_Obermiller
Estoy de acuerdo con su sarcasmo, pero el problema sería que si tienen que escribir un script personalizado para hacerlo, no ofrece una razón tan convincente para adoptar JMP Pro además de Python.
Actualmente estoy considerando la plataforma Discriminant como una opción potencial que tiene el diagnóstico ROC que el cliente está acostumbrado a ver, pero trato de comprender los pros y los contras entre eso y la plataforma PLS dentro de Fit Model. Agregando complejidad adicional, el cliente también desea incluir términos cruzados que Discriminant no admite pero PLS-DA sí. Uf...
Re: PLS con respuesta categóricaBueno, por supuesto que puedes hacerlo en Python porque es un lenguaje de programación. Del mismo modo, puede hacerlo en JMP a través de secuencias de comandos. Bien, ahora que he quitado mi "sarcidad" del camino...
Esperaba que pudiera guardar la fórmula de predicción de PLS-DA y obtener la curva ROC a través de la plataforma de comparación de modelos. Desafortunadamente, parece que el formato de la fórmula de predicción PLS-DA no funciona bien con la plataforma de comparación de modelos. Parece que la curva ROC debería construirse mediante secuencias de comandos.
Re: PLS con respuesta categóricaGracias a todos, muy útil! El cliente (NeuroVision) también pregunta si es posible obtener una curva de diagnóstico ROC de PLS. Parece que no es una opción, pero ¿hay alguna forma indirecta de hacerlo y también cuál es el razonamiento por el cual no es una opción para PLS con respuestas categóricas?Aparentemente, están usando Python para obtener este tipo de resultado y les gustaría que JMP Pro hiciera algo similar.
Re: PLS con respuesta categóricaen realidad, lo siento, me acabo de dar cuenta de que el conjunto de datos no es binomial, hay varias categorías.Re: PLS con respuesta categóricaCualquiera de los conjuntos de datos de análisis discriminante de ejemplo en la biblioteca de muestra también funcionaría.
El conjunto de datos de la "Dieta del Búho" es fácil de entender y trabajar a través de los conceptos de PLS-DA.
Re: PLS con respuesta categóricaOjalá hubiera estado involucrado en la escritura del libro de PSL, pero es puramente el producto de Marie Gaudard e Ian Cox.Re: PLS con respuesta categórica¿Tiene curiosidad por saber si alguien puede ayudarme a explicar las aplicaciones para PLS vs. Gen Reg (con validación)?¿Por qué uno usaría PLS sobre Gen Reg?¿O viceversa?
Re: PLS con respuesta categórica¡Recuerde mencionar el excelente libro sobre PLS usando JMP de Mia e Ian!
Re: PLS con respuesta categóricaHola, Mark,
Solo agrego un ejemplo que he usado de una situación de la industria de la ciencia/ingeniería.
Esto es de un laboratorio de química analítica forense. Los productos de marca de la empresa se venden en todo el mundo. A veces, el producto de contrabando se vende como suyo. Cuando tienen quejas de los clientes, necesitan establecer rápidamente si es su producto o una contraparte. Tradicionalmente, esto se hace analizando una muestra con muchas pruebas químicas diferentes durante días. Esto cuesta mucho tiempo de laboratorio y significa que los problemas de los clientes tardan demasiado en resolverse.
La solución es utilizar el análisis de datos en un análisis químico rápido que genera una gran cantidad de datos.
En el adjunto, las columnas RT representan el área del pico en diferentes tiempos de retención de los cromatogramas. Cada pico es una entidad química diferente. Y el área es proporcional a la cantidad de esa entidad en la muestra.
Muestro cómo diferentes técnicas visuales y de modelado te permiten comprender las diferencias entre las 3 fuentes y cómo podrías determinar cuál es la fuente para una incógnita. PLS sería una de las opciones.
Espero que ayude.
phil
Re: PLS con respuesta categóricaEn el archivo zip adjunto hay un diario que compara PCA y PLS. Dentro hay un conjunto de datos de tigre Amour que tiene una respuesta categórica.
Hay alguna descripción involucrada y algunos otros ejemplos también. Supongo que esto debería ayudar con lo que estás buscando. Tienes que comprobar si todo funciona en JMP 15 ya que no lo he comprobado. Desde hace algún tiempo.