¿Cómo predecir valores atípicos mediante el modelo de ajuste?Hola a todos,
Actualmente, intento usar Fit Model para crear un modelo que me permita predecir la salida a partir de las variables de entrada, así como decidir si la predicción es atípica. Sin embargo, tengo dificultades porque, después de obtener el modelo, este no puede identificar claramente los valores atípicos, resaltados en rojo.
Incluso intenté preprocesar la fuente de datos, como excluir valores atípicos de la fuente de datos y luego entrenar el modelo; los valores atípicos realmente no se pueden filtrar.
¿Hay alguna forma de entrenar el modelo para que se puedan distinguir los puntos atípicos?
Gracias
Análisis y modelado de datos básicosRe: ¿Cómo predecir valores atípicos mediante el modelo de ajuste?Hola @PhamBao ,
La detección y clasificación de valores atípicos puede ser un campo muy profundo en el que sumergirse con diversos enfoques. Un aspecto que debe considerar es cómo define un valor atípico (algo que no queda muy claro en su publicación): ¿busca un valor atípico que no se ajuste a su modelo, o son los puntos en áreas rojas los que ha definido como atípicos?
Como reflexión rápida, aquí hay algunas áreas que puedes probar:
Valores atípicos de Cooks 
esto define cuánto cambiarían los coeficientes de su modelo si se elimina un punto. Generalmente, un umbral de cualquier valor superior a 4/n (n = número de filas) es un buen punto de partida. Este enlace ofrece numerosas guías, así como información sobre Cooks D.
-Gráficos de residuos studentizados: brindan una buena visualización de los residuos de las filas y ayudan a definir puntos que han ingresado en una determinada región como probables valores atípicos.
Consulte ambos enlaces aquí y aquí para obtener más información.
Gracias,
Ben
Re: ¿Cómo predecir valores atípicos mediante el modelo de ajuste?Hola @PhamBao ,
Estoy de acuerdo con @Ben_BarrIngh , hay muchas posibilidades cuando se aborda el tema de los valores atípicos.
Lo primero que hay que tener en cuenta es la naturaleza del valor atípico: ¿basado en modelos (vinculado a un ajuste de modelo específico) o independiente del modelo?
Los métodos para identificar valores atípicos dependen de su naturaleza:
- Los métodos de detección de valores atípicos independientes del modelo , como las distancias de Mahalanobis, no se basan en un modelo específico y simplemente comparan la distancia entre puntos según variables, factores y características. Por lo tanto, un valor atípico identificado mediante este tipo de métodos indica que ese punto parece extraño y no parece formar parte de la distribución de factores de los demás puntos. Consulte las opciones en Análisis de Valores Atípicos de la Plataforma Multivariante.
- Métodos de detección de valores atípicos basados en modelos , basados en residuos (residuos studentizados u otras métricas como PRESS RMSE/R², etc.), que permiten identificar valores atípicos que no se ajustan bien o no son predichos por el modelo. Esto puede indicar que el modelo podría carecer de términos importantes (como interacción o efectos no lineales) o que podría no ser adecuado para los datos. Puede utilizar otros paneles/herramientas de diagnóstico para comprobar si el modelo se ajusta correctamente a sus datos, basándose en la significancia estadística del modelo y en diferentes métricas según su objetivo, como el criterio de información/RMSE/R², etc. También puede comprobar si este valor atípico detectado tiene un impacto significativo en su modelo calculando las distancias de Cook. https://www.jmp.com/es_es/portal-de-conocimiento-de-estadisticas/que-es-la-regresion-multiple/analisis-residual-mlr... Si los valores de estos puntos son altos o inusuales, esto indica que podrían influir y sesgar el modelo. Debe investigar cuáles son estos puntos y si las mediciones son válidas antes de decidir si reducir su influencia en el modelo o eliminarlos. Consulte las opciones "Diagnóstico de Filas" en la plataforma "Ajustar Modelo" u "Opciones de Ajuste del Modelo" una vez ajustado el modelo.
Preste especial atención a la causa/origen de los valores atípicos y a su manejo adecuado. Eliminarlos puede facilitar el análisis, pero no resolverá el problema ni evitará que reaparezcan.
Espero que esta respuesta pueda ayudarte.
Re: ¿Cómo predecir valores atípicos mediante el modelo de ajuste?Hola @Victor_G y @Ben_BarrIngh ,
Agradezco mucho sus comentarios. Tengo conocimientos limitados sobre el modelo de ajuste y las estadísticas. Por eso, me gustaría pedirles más consejos. Permítanme aclarar lo que quiero. Según la imagen a continuación, los puntos de datos rojos son incorrectos según nuestros criterios de fabricación. Quiero separar los puntos de datos incorrectos que estén lejos de la línea de ajuste. La primera vez, utilizo el Modelo 1, pero veo que los puntos de datos incorrectos no están realmente lejos de la línea de ajuste. La segunda vez, intento usar los mismos datos del Modelo 1, pero esta vez utilizo un polinomio de grado 2 para un parámetro, y veo que el punto de datos incorrecto está lejos de la línea de ajuste en comparación con el Modelo 1.
1. En comparación, las tablas de resumen de ajuste entre el Modelo 1 y el Modelo 2 son comparables, pero el Modelo 2 parece ser lo que busco. Pregunta: ¿Existe algún método para separar los puntos de datos erróneos de la línea de ajuste?
2. Para el modelo 1, no entiendo bien por qué los puntos de datos erróneos están tan cerca de la línea de ajuste. ¿Hay algún método para separarlos?
Estoy esperando sus respuestas
Re: ¿Cómo predecir valores atípicos mediante el modelo de ajuste?En JMP, puede predecir valores atípicos ajustando un modelo (como un modelo de regresión o clasificación) y analizando los residuos o errores de predicción. Tras ajustar el modelo, busque puntos de datos con residuos, apalancamiento o influencia inusualmente altos (por ejemplo, utilizando la distancia de Cook o residuos estudentizados). JMP también ofrece herramientas visuales como el gráfico de apalancamiento vs. residuos para ayudar a identificar posibles valores atípicos. Una vez identificados, puede explorar estos puntos con más detalle para determinar si son anomalías reales o errores de entrada de datos.
Re: ¿Cómo predecir valores atípicos mediante el modelo de ajuste?Hola @PhamBao ,
Hay varios temas en su pregunta, uno relacionado con el ajuste del modelo (y la comparación + validación de modelos) y otro relacionado con la detección de valores atípicos.
- En cuanto al ajuste del modelo, recomendaría comparar las métricas de los modelos y analizar los residuos. En su última captura de pantalla, puede ver que los modelos son muy similares, excepto por la adición de un efecto cuadrático en el modelo 2. Esta adición de efecto cuadrático solo tiene un beneficio leve al observar R²/R² ajustado y RMSE. Además, impone un patrón de curvatura no aleatorio en los residuos, por lo que sería muy cauteloso al evaluar y comparar los modelos. Quizás el uso de puntos de validación o la división del conjunto de datos en un conjunto de entrenamiento y uno de validación podrían ayudar a identificar el modelo más adecuado para sus datos.
- En cuanto a la detección de valores atípicos, como ya comenté en mi primera respuesta, existen numerosas opciones. Si ya sabes que estos puntos son extraños o anormales, ¿por qué no los etiquetas como tales e intentas comprender qué factores (y valores de rango) pueden causarlos? Podrías crear un modelo de clasificación (como una regresión logística) donde tu respuesta sería de dos clases (por ejemplo, normal y atípico) y tus factores serían las variables de entrada (como en los modelos mostrados).
Dependiendo de los resultados/rendimiento de este modelo de clasificación (matriz de confusión, tasa de clasificación errónea, ...), puede investigar qué factores causan la situación y utilizar la fórmula de probabilidades predichas para predecir la probabilidad de que un nuevo punto pueda ser extraño/atípico en función de los valores medidos.
Espero que estas pocas sugerencias puedan ayudarte.
Re: ¿Cómo predecir valores atípicos mediante el modelo de ajuste?Creo que el segundo punto de Victor_G es totalmente correcto. Los puntos que has identificado como "malos" no son realmente valores atípicos en el sentido tradicional del término; no están tan lejos de la línea de regresión. El verdadero problema es que sabes (por tu conocimiento de la materia) que hay algo malo en esos puntos de datos. Por lo tanto, lo que necesitas es un modelo que los prediga, y el modelo de regresión que proporcionaste no lo hace. Yo no buscaría diferentes modelos de regresión; creo que realmente necesitas un modelo de clasificación para predecir los puntos que sabes que son problemáticos. Ese es un tipo diferente de modelo y la mayoría de los mismos métodos se pueden usar en JMP, pero con una variable de respuesta nominal en lugar de la variable de respuesta continua que has usado.
Re: ¿Cómo predecir valores atípicos mediante el modelo de ajuste?Gracias a Víctor y a los demás miembros. Sin duda, pondré en práctica tu sugerencia.
