766272_es-ES

liliconcom

detección de valores atípicos

Hola
si quiero calcular el residual de la predicción de la red neuronal en el problema de clasificación para detectar valores atípicos
¿Qué fórmula debo usar para calcular el residuo?
¿El software hace eso?

Modelado estadístico avanzadoModelado predictivo y aprendizaje automáticoRe: detección de valores atípicos

Hola @maryam_nourmand ,

Si utiliza un modelo para predecir valores numéricos continuos, algunos modelos le permiten guardar directamente los residuos en su tabla de datos haciendo clic en el triángulo rojo, seleccionando "Guardar columnas" y luego "Residuales". Para las redes neuronales, necesitará algo de trabajo manual, guardar la fórmula de predicción en su tabla (triángulo rojo, "Guardar fórmulas" o "Guardar fórmulas rápidas") y luego crear una nueva columna "Residuales" con una fórmula: Valor real - Valor previsto

Tenga en cuenta que ya tiene opciones para trazar el gráfico "Residual por predicción" en la plataforma Neural Network, al hacer clic en el triángulo rojo.

Si utiliza un modelo para predecir clases, no tendrá residuos pero tendrá información sobre clasificación errónea y probabilidades calculadas. Luego puede guardar estas columnas de probabilidades (las mismas opciones que antes) e intentar comprender dónde están los errores, por ejemplo, trazando las probabilidades de la clase principal predicha y ver si es necesario ajustar el umbral de probabilidad de clasificación.

Si está interesado en evaluar modelos de clasificación, también hay varios gráficos que le ayudarán a evaluar el rendimiento de su modelo clasificador: curva ROC , curva de elevación , matriz de confusión , ...

Espero que esta respuesta te ayude,

Re: detección de valores atípicos

pero podemos calcular el residual en regresión logística
También es una especie de modelo de clasificación.
Adjunto la foto de la fórmula para calcular la desviación residual para eso
Ahora quiero saber cuándo uso una red neuronal para un problema de clasificación.
¿Cómo puedo calcular el residuo para eso también?

Re: detección de valores atípicos

De hecho, puede calcular la desviación en modelos lineales generalizados: Detalles estadísticos para la selección y desviación del modelo

Por ejemplo, en el conjunto de datos "Detergente" de JMP, usando "marca" como respuesta categórica Y, tengo las opciones para calcular directamente los residuos de desviación y guardarlos en la tabla de datos:

La desviación es una indicación sobre la bondad de ajuste para modelos estadísticos donde el ajuste del modelo se logra con la máxima verosimilitud, que no puede usarse para modelos de aprendizaje automático que usan diferentes funciones de pérdida: Desviación (estadísticas) - Wikipedia

Por lo tanto, puede que no sea posible calcularlo para algunos modelos que utilizan funciones de ajuste diferentes.

Re: detección de valores atípicos

Entonces, ¿cuál es el concepto igual de residual en los modelos estadísticos en los modelos de aprendizaje automático?
pero creo que tenemos probabilidad para cada clase en los modelos de aprendizaje automático, por lo que también deberíamos poder calcular el residuo para eso.

Re: detección de valores atípicos

El análisis de residuos se utiliza en modelos estadísticos no solo para evaluar el desempeño de las predicciones, sino también para validar los supuestos detrás de su uso correcto: Supuestos del modelo de regresión | Introducción a la estadística | JMP

En los modelos de Machine Learning, normalmente hay suposiciones mucho menos "estrictas", ya que no asumimos que la verdadera relación sea lineal, que los errores se distribuyan normalmente, etc.
La gran suposición común detrás del uso de modelos de aprendizaje automático sigue siendo que los datos son iid: independientes e idénticamente distribuidos . Los otros supuestos están más relacionados con el uso de un algoritmo específico y la forma en que aprende de los datos. Puedes leer más sobre esto aquí :

1. https://www.kdnuggets.com/2021/02/machine-learning-assumptions.html
2. Sesgo inductivo en la serie Machine Learning: https://mindfulmodeler.substack.com/p/from-theory-to-practice-inductive

Cualquier modelo de clasificación calculará las probabilidades de que un punto de datos pertenezca a cada clase. Según un umbral específico (por ejemplo, > 0,5 para una clasificación binaria), generará la clase predicha correspondiente a la probabilidad de clase más alta. Trabajar y visualizar las probabilidades predichas puede ayudarle a definir mejor un umbral para el resultado de la clase predicha y ayudarle a evaluar si su modelo parece diferenciar correctamente las clases.

No sé si existe una métrica o una forma de utilizar directamente estas probabilidades predichas para calcular algún tipo de residuos en JMP.

Re: detección de valores atípicos

Si encuentra una manera de usar directamente estas probabilidades predichas para calcular algún tipo de residuos en JMP o encuentra una manera no solo en JMP de usar estas probabilidades predichas para calcular residuos, infórmelo en esta publicación.
Gracias

Re: detección de valores atípicos

Podrías calcular la puntuación de Brier. Pero quizás deberías decir un poco más sobre qué estás intentando hacer exactamente. Hay muchas formas de medir y evaluar la precisión de los modelos de clasificación. Considero que los residuos se encuentran entre los menos intuitivos, ya que los modelos de clasificación arrojan probabilidades y cada observación se clasificará correctamente o no. Cuanto más extrema es la probabilidad de clasificaciones incorrectas, peor es el modelo (y supongo que el residual mide eso, pero creo que hay formas más intuitivas de verlo). Entonces, ¿qué quieres hacer con los residuos?

Re: detección de valores atípicos

Quiero comprobar qué tan bien mi modelo puede predecir la respuesta.

Re: detección de valores atípicos

Ha descrito su problema como un modelo de clasificación. JMP calculará las probabilidades de los resultados discretos para cada observación (preferiblemente utilizando validación y centrándose en los datos de validación en lugar de los datos de entrenamiento). Puede utilizar estas probabilidades para calcular medidas como la puntuación de Brier o puede utilizar varios métodos descritos anteriormente para medir la precisión de su modelo. Realmente no entiendo qué quieres decir con residuos o por qué quieres centrarte en estos. Supongamos que su modelo de clasificación es binario: prediga la respuesta 0 o 1. Su modelo producirá una probabilidad de 1; digamos que la probabilidad es 0,6. Ahora supongamos que esa observación particular tiene una clasificación real de 0 (o, alternativamente, 1). ¿Cómo llamarías el "residual" de esta observación? Si es una predicción correcta, digamos 1, entonces cuanto más cerca esté la probabilidad de 1, "mejor" será su modelo. Si en realidad es 0, entonces cuanto más cerca esté la probabilidad del modelo de 1, "peor" será su modelo. La puntuación de Brier es un método de uso frecuente para medir qué tan bueno es su modelo (no creo que JMP calcule la puntuación de Brier, al menos no lo he visto, pero debería ser fácil de calcular manualmente). Alternativamente, el AUC, la tasa de clasificación errónea, el AIC, etc. son medidas que JMP proporciona fácilmente para medir qué tan bueno es su modelo.

Pero centrarse en los "residuales" está lejos de ser la forma más intuitiva de lograr su objetivo de determinar "qué tan bien mi modelo puede predecir la respuesta". Los residuos son una forma natural de determinar eso cuando se tiene una variable de respuesta continua, no un modelo de clasificación, y JMP facilita el cálculo de los residuos para esos tipos de modelos (ya sea integrados en los triángulos rojos para Guardar columnas, o simplemente creando un columna usando ABS (real-predicho).