Supongo que el residuo estudentizado es una buena forma de identificar los ouliers (corríjame si me equivoco). Y mi pregunta es ¿cómo filtrar el efecto de estos valores atípicos en el modelo de predicción JMP? ¿El modelo evitará automáticamente estos valores atípicos o deberíamos eliminarlos para obtener una predicción más precisa?
Hola @Victor_G
Muchas gracias por la explicación detallada. Realmente ayudó.
Querido Bartell,
Muchas gracias por la respuesta. Creo que debería hacer una aclaración aquí. La imagen que envié con la pregunta era solo un ejemplo de mi modelo ajustado. Y tiene toda la razón: los últimos puntos de datos no son puntos de datos cualquiera o incorrectos. Era un DOE con diferentes recubrimientos realizados a diferentes temperaturas. Y fueron causados por algún problema con el caotingf a alta temperatura.
Hola @Mathej01 ,
Los residuos estudentizados pueden ser una buena manera de identificar valores atípicos basándose en un modelo supuesto . Vea más información sobre cómo se calculan los residuos estudentizados aquí: Row Diagnostics (jmp.com)
" Los puntos que quedan fuera de los límites rojos deben tratarse como posibles valores atípicos. Los puntos que quedan fuera de los límites verdes pero dentro de los límites rojos deben tratarse como posibles valores atípicos, pero con menos certeza. "Como puede ver en la definición, no existe una certeza definitiva sobre la naturaleza de los valores atípicos y puede depender del modelo asumido que implica.
Apoyo totalmente y estoy de acuerdo con el comentario de @P_Bartell , puede haber varias explicaciones para la presencia de su posible valor atípico (variables al acecho, ruido, diferentes operadores, ...).
El mayor consejo que se puede dar sobre los valores atípicos antes de hacer algo al respecto podría ser: conozca los valores atípicos. Dependiendo de dónde provienen, de qué tipo son (valores atípicos globales, locales/contextuales o colectivos) y de las técnicas para detectarlos, son diferentes, pueden detectarse de manera diferente y pueden tener diferentes influencias en los modelos creados:
- Valores atípicos globales : en datos univariados, los diagramas de caja pueden detectarlos fácilmente. En datos multivariados, la agrupación basada en densidad (DBSCAN, Optics, ...) o los algoritmos de detección de anomalías (Isolation Forest) pueden resultar útiles. Pueden deberse a errores de registro/medición o muestras anómalas.
- Valores atípicos contextuales (condicionales) : dado que los valores atípicos pueden no ser valores atípicos en todas las dimensiones de los datos, puede ser interesante observar los K-vecinos más cercanos, las distancias de Mahalanobis, el análisis de componentes principales y las distancias Jackknife. Es interesante considerar estos valores atípicos en el modelo, ya que sus valores anormales resultan de un contexto específico.
- Valores atípicos colectivos : las técnicas de agrupamiento podrían ser útiles en este contexto: se podrían considerar K-Means, mezclas gaussianas, agrupamiento jerárquico y otros algoritmos. Podrían considerarse como un grupo.
Un buen consejo también es saber si el posible valor atípico tiene un impacto en el modelo, ya que no todos los valores atípicos son puntos de (alto) apalancamiento. Puede intentar ajustar el mismo modelo en paralelo con y sin este punto, para ver si este valor atípico es (también) un punto de alto apalancamiento. Eche un vistazo a los gráficos Real vs. Predicho, el gráfico de residuos y métricas como RMSE PRESS y R² PRESS para evaluar mejor si el valor atípico tiene alguna influencia en el modelo.
Intente analizar qué ha causado una mayor variabilidad en los últimos 4-5 puntos (¿niveles de factores específicos que causan un alto ruido, cambio de operador/dispositivo de medición,...?).
Espero que esta respuesta complementaria te ayude.
Examinar los residuos puede ser un método útil para identificar "valores atípicos". Para responder a la primera mitad de su última pregunta, "¿El modelo evitará automáticamente (sic) estos valores atípicos ...", no.
Ahora retrocedamos un poco. Antes de excluir puntos de un análisis sólo para obtener un modelo que se ajuste mejor, puede ser como tirar al bebé con el agua del baño. ¿Ha dedicado algo de tiempo y energía a examinar la causa raíz de estos puntos extraños? ¿Esa investigación le dice algo que vale la pena saber? Y si los datos que se muestran en el gráfico son "reales", mi ojo dice que algo sucedió en el sistema durante las últimas 4 o 5 filas que fue diferente de todas las filas anteriores. Por ejemplo, si el número de fila es una secuencia de producción, o tal vez el orden de ejecución de un experimento diseñado, algún factor molesto oculto entró en el sistema y está causando estas perturbaciones. ¿Has pensado sobre esto?
