¿Cuándo eliminar valores atípicos al reducir el modelo?Hola,
Al reducir un modelo, observo los residuos estudentizados externos para saber cuándo aparecen valores atípicos. ¿Cuándo debo eliminar estos valores atípicos durante el proceso de reducción del modelo?
Si no veo valores atípicos cuando el modelo contiene todos los términos, pero luego elimino un término y aparece un valor atípico, ¿elimino ese valor atípico inmediatamente y continúo reduciendo, o continúo reduciendo y luego elimino los valores atípicos al final?
Diseño de experimentosVentanasRe: ¿Cuándo eliminar valores atípicos al reducir el modelo?Hola @MetaLizard62080 ,
¿Leíste las respuestas de @statman y mías sobre tu publicación anterior Elegir excluir de 2 valores atípicos iguales en DoE ?
Para dejarlo claro y repetirlo, los residuos estudentizados pueden ser una buena forma de identificar valores atípicos. Basado en un modelo supuesto . Consulte más información sobre el cálculo de los residuos estudentizados aquí: Diagnóstico de filas (jmp.com)
Los puntos que quedan fuera de los límites rojos deben considerarse como probables valores atípicos. Los puntos que quedan fuera de los límites verdes, pero dentro de los límites rojos, deben considerarse como posibles valores atípicos, aunque con menor certeza.
Se pueden utilizar como diagnóstico del modelo sobre la adecuación de la complejidad del modelo ajustado a los datos. Esto ilustra notablemente cómo y por qué los resultados de los residuos estudentizados dependen del modelo, ya que eliminar o añadir un término al modelo modifica el diagnóstico sobre qué puntos pueden ser valores atípicos basados en el modelo: el comportamiento de estos puntos no se describe ni predice adecuadamente por el modelo, pero esto no los convierte en valores atípicos en todos los demás casos u opciones de modelado.
NO debe descartar/eliminar puntos basándose en el análisis de valores atípicos basado en modelos, estas herramientas son excelentes para refinar su modelo y ajustar su complejidad, con la ayuda de otras métricas y criterios estadísticos (R²/R² ajustado, RMSE, valores p, criterios de información como AICc/BIC, ...).
La identificación y el análisis de valores atípicos debe realizarse antes del modelado, con herramientas adecuadas.Si desea investigar si los puntos en su conjunto de datos pueden ser valores atípicos, intente utilizar métodos multivariados basados en distancias como Mahalanobis, Jackknife o distancias T²: Análisis de valores atípicos También tiene una variedad de otros análisis en el menú Explorar valores atípicos .
En cualquier caso, un análisis estadístico no es suficiente para descartar puntos que puedan ser atípicos, hay que investigar estos puntos extraños y entender cómo/por qué los valores medidos de estos puntos parecen extraños en comparación con otros: error de medición, error experimental, cambio/error del operador, o ¿quizás está sucediendo algo inesperado?
Espero que esta respuesta pueda ayudarte.
Re: ¿Cuándo eliminar valores atípicos al reducir el modelo?Hola Víctor,
Leí la respuesta. En mi trabajo, la variabilidad de los ensayos suele ser alta, lo que puede explicar fácilmente resultados erráticos que podrían considerarse atípicos.
Normalmente comienzo mi análisis con JackKnife Z, utilizando la plataforma multivariante para evaluar las respuestas generales. Sin embargo, esto no siempre revela valores atípicos en el modelo. Por ejemplo, en mi último DoE, JackKnife muestra valores < 2 para un valor atípico que se encuentra en todos los casos mediante residuos estudentizados externamente. No pude encontrar una razón por la que este punto fuera un valor atípico, pero sin eliminarlo, mi modelo mostró un R^2 ajustado de 0,61, mientras que con el punto eliminado, el R^2 ajustado aumentó a 0,99. Además, el modelo con el punto eliminado también tenía sentido científico, mientras que sin él, era generalmente caótico.
Siempre me gusta comparar posibles modelos cuando elimino valores atípicos para ver si hay un impacto significativo en la predicción. En este caso, dependiendo del momento en que eliminé el punto de reducción del modelo (al principio, a la mitad o al final), observé que tenía diferentes modelos, pero la capacidad predictiva práctica era prácticamente la misma. En un caso, por ejemplo, obtuve una ligera desviación cuadrática, pero no fue un factor dominante. Si bien en este caso es probable que los tres modelos tuvieran una utilidad similar, me gustaría saber cuál es la mejor práctica para elegir el modelo más probable.
Entiendo que eliminar puntos implica más que simplemente seguir el proceso residual estudentizado, sin embargo, si sé que hay un valor atípico o tengo una fuerte sensación de que podría haberlo, ¿es mejor eliminarlo antes, en el medio o después de la reducción del modelo , ya que eso influirá en los resultados a los que converge el modelo?
Re: ¿Cuándo eliminar valores atípicos al reducir el modelo?Hola @MetaLizard62080 ,
Si espera una alta variabilidad del ensayo, ¿tiene en cuenta esta fuente de ruido mediante el uso de bloqueo?
Sería fantástico contar con un modelo que se pueda validar con experiencia en el dominio, ya que esto debería reducir la posibilidad de errores. ¿Podrías repetir las pruebas (o solo las mediciones) que parezcan extrañas? Esto podría ayudarte a determinar si se trata de un "error sistemático" o un "error aleatorio" y a fundamentar tu toma de decisiones.
En lugar de eliminar directamente los puntos que parecen extraños y no descritos con precisión por el modelo, los seguiría utilizando, pero reduciría su influencia en el modelo, creando una columna "peso" con valor 1 para los puntos "normales" y un valor más bajo para los puntos "extraños", y usaría esta columna "peso" en el cuadro de diálogo Modelo como una variable de Peso: Elementos en la ventana de inicio de Ajustar modelo
Eliminar puntos para que el modelo converja más rápido sesgará el modelo y probablemente creará resultados falsamente optimistas.
Espero que algunos de estos puntos tengan sentido para usted.
