Elegir excluir de 2 valores atípicos iguales en DoEHola,
¿Existe alguna otra métrica que pueda utilizar para ayudar a determinar qué valor atípico tiene más probabilidades de ser el verdadero valor atípico en el conjunto de datos?
Realicé un DoE y, durante el modelado, observé dos valores atípicos iguales (según los residuos estudentizados externamente: 48 y -48). Si excluyo uno u otro, el R2 ajustado del modelo mejora de forma inmediata y significativa, de aproximadamente 0,65 a 0,99, y el otro valor atípico se encuentra ahora dentro de la tendencia.
Dependiendo del valor atípico que decida excluir, esto afecta mi modelo. En un caso, solo obtengo efectos lineales y de interacción; en otro, también obtengo algunos efectos cuadráticos (preveo que serán cuadráticos, pero no estoy seguro).
¿Existe alguna otra métrica que pueda utilizar para ayudar a determinar qué valor atípico tiene más probabilidades de ser el verdadero valor atípico en el conjunto de datos? I want to avoid any scientific bias if at all possible. In looking at the experiment, I cannot identify anything incorrect in the execution of the conditions which would sway my decision.
Diseño de experimentosVentanasRe: Elegir excluir de 2 valores atípicos iguales en DoEHola @MetaLizard62080 ,
Los residuos estudentizados pueden ser una buena manera de identificar valores atípicos Basado en un modelo supuesto . Consulte más información sobre el cálculo de los residuos estudentizados aquí: Diagnóstico de filas (jmp.com)
Los puntos que quedan fuera de los límites rojos deben considerarse como probables valores atípicos. Los puntos que quedan fuera de los límites verdes, pero dentro de los límites rojos, deben considerarse como posibles valores atípicos, aunque con menor certeza.Como se puede ver en la definición, no existe una certeza definitiva sobre la naturaleza de los valores atípicos, ya que puede depender del modelo supuesto que esté ajustando.
¿Tal vez el modelo que estás ajustando sea demasiado simple o no sea relevante para todos los puntos y mediciones recopilados (parece que estos efectos cuadráticos pueden ser relevantes)?
Lo que podría hacer es analizar su conjunto de datos con un método de valores atípicos independiente del modelo para comprobar si estos dos puntos parecen extraños o si se trata únicamente de un problema de ajuste adecuado del modelo. Los métodos de detección de valores atípicos independientes del modelo, como las distancias de Mahalanobis o Jackknife, no se basan en un modelo específico y simplemente comparan la distancia entre puntos en función de variables, factores o características. Por lo tanto, un valor atípico identificado con este tipo de métodos indica que ese punto parece extraño y no parece formar parte de la distribución de factores de los demás puntos.
Episodio 3 de Valores Atípicos: Detección de valores atípicos mediante la distancia de Mahalanobis (y T2)
Episodio 4 de valores atípicos: Detección de valores atípicos mediante la distancia de navaja
Dada la información limitada proporcionada y el diagnóstico realizado únicamente con respecto al ajuste de un modelo específico, no debería eliminar ningún punto si no ha justificado que "puede" hacerlo, basándose en propiedades estadísticas (valores atípicos, etc.) y experiencia en el dominio (valores erróneos, errores tipográficos en el registro de mediciones, errores/problemas en el sistema de medición, etc.). En su ejemplo, aún puede comparar los resultados de dos modelos, uno con todos los puntos y el otro "ocultando y excluyendo" los dos puntos "extraños" (o simplemente agregando una columna para ponderar estos dos puntos atípicos menos que otros puntos), y ver si los resultados son muy diferentes o no. Pero puede verificar antes otras opciones, métricas como Prensa RMSE/R2, distancias de Cook y la verificación de supuestos de regresión lineal múltiple , para verificar que su modelo es aceptable. ¿Quizás sus datos podrían usar una Transformación Y de Box-Cox ?
Espero que esta respuesta pueda ayudarte.
Re: Elegir excluir de 2 valores atípicos iguales en DoEEstos son mis pensamientos y estoy de acuerdo con Víctor: no elimines datos sin saber qué sucedió con ese tratamiento (esos puntos de datos pueden ser los más informativos en tu estudio):
1. Utilizando la terminología de Deming, irónicamente, los puntos de datos de causa especial en un experimento no son tan inusuales. Esto probablemente se deba a que se está haciendo algo bastante inusual en la experimentación (por ejemplo, manipular factores en configuraciones de nivel negrita). La pregunta sobre estos puntos de datos en particular es: ¿se deben a los factores del experimento o son atribuibles al ruido?
2. Existen muchas maneras de diagnosticar la calidad de los datos de un experimento. El análisis de residuos es una de ellas y puede ser muy útil, ya que se realiza una vez definido el modelo y conocida la variación que este explica. Por ejemplo, otras maneras de diagnosticar la calidad de los datos:
- Ordene las Y (hacia abajo para cada Y) de mejor a peor. Obtenga una gráfica de RM. Los puntos fuera de contexto en ambos extremos de la gráfica de RM probablemente no se deban a efectos del tratamiento, sino a ruido. (Este método se denomina ANOG, análisis de lo bueno).
- Compare los datos reales de cada tratamiento con los valores predichos (esto requiere predecir los datos a priori). ¡No desactive la ingeniería! ¿Cuáles son sus hipótesis sobre lo que sucedió con cada tratamiento? Recuerde que, en el caso de los residuos, los datos reales pueden no parecer tan inusuales. Lo que interesa es que el modelo no predice bien los resultados de ese tratamiento en particular. ¿Por qué el modelo sería deficiente para esos tratamientos?
- Realice un análisis de rango. Con la tabla de datos ordenada según el método ANOG, añada una nueva columna y llámela Rango. Coloque números secuenciales en esa columna (por ejemplo, para un experimento de 16 ejecuciones, tendrá varios del 1 al 16). Analice el Rango junto con la Y real y compare los resultados. El Rango elimina los grandes saltos en los datos reales, por lo que se minimiza el efecto de apalancamiento del punto de datos de causa especial.
Si hubiera previsto una posible causa especial, podría ejecutar repeticiones y, si uno de los puntos de datos repetidos es inusual, aún tendría otras repeticiones para ese tratamiento para usar en el análisis.
Siempre es recomendable realizar diagnósticos de los datos del DOE. Parafraseando a uno de mis autores favoritos del DOE (Cuthbert Daniel):
Los defectos más comunes en el DOE son
- Sobresaturación: demasiados efectos para el número de tratamientos
- Exceso de conservadurismo: demasiadas observaciones para las estimaciones deseadas
- No estudiar los datos en busca de valores erróneos
- No tener en cuenta todos los alias
- Imprecisión debido a una mala interpretación de la varianza del error.
Como nota al margen, debería interesarle más la diferencia entre R-cuadrado y R-cuadrado ajustado para el refinamiento del modelo y utilizar R-cuadrado ajustado para evaluar la adecuación del modelo.
