Método de estimación PCA para valores faltantes (log transformado)<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />Hola,
Soy un principiante en estadísticas y también con JMP, así que espero que alguien pueda ayudarme con mi pregunta a continuación. Estoy tratando de usar el módulo de covarianza PCA de JMP en un conjunto de datos ambientales relativamente pequeño de 80 filas x 10 columnas (800 valores). Mi objetivo es reducir el conjunto de datos para poder predecir si las 10 variables (en las columnas) varían en 80 ubicaciones (80 filas). Las variables tienen todas las mismas unidades y log10 transformé los datos.
Mi problema es que me faltan valores para algunas celdas (es decir, ubicaciones donde la variable no se detectó en el LOD). Cuando uso el método de estimación predeterminado (REML), obtengo aproximadamente el 80 % de la varianza explicada por PC1. Pero cuando uso los datos exactos con el método Row-Wise, este valor cae al 60%. Me gustaría entender por qué. Entiendo que REML está usando todos mis datos y el método Row-Wise aparentemente omite los valores que faltan. Pero, ¿qué significa omitir a este respecto, usar cero en su lugar y, por lo tanto, disminuir la varianza calculada? La pregunta general para mí es, ¿qué método es el más conservador para interpretar los datos cuando los valores faltantes se deben a no detectar en el conjunto de datos?
Además, traté de agregar +1 al conjunto de datos transformados por log10 para evitar el problema del valor faltante (sugerencia de otro foro), pero JMP no me permite agregar +1 a las celdas vacías transformadas por log10. Estoy usando JMPPro 12.
¡Muchas gracias por tu ayuda! sascha
Re: Método de estimación PCA para valores faltantes (log transformado)Gracias DanO, ¡intentaré usar esta declaración con mis datos!
Re: Método de estimación PCA para valores faltantes (log transformado)¡Genial, muchas gracias, Jiancao! ¡Eso ayuda mucho!
Re: Método de estimación PCA para valores faltantes (log transformado)jiancao respondió la pregunta de modelado, pero indicó que JMP no le permitiría sustituir un 1 en lugar de los valores que faltan en la transformación logarítmica. En realidad, puede, pero solo necesita agregar una declaración condicional como esta:
Re: Método de estimación PCA para valores faltantes (log transformado)El REML asume un modelo normal multivariante lineal, lo que implica que cada variable está relacionada linealmente con todas las demás variables, y cada variable tiene una distribución normal. Lo que hiciste es legítimo. Solo asegúrese de que sus variables no estén muy sesgadas debido a valores atípicos extremos, etc.
Re: Método de estimación PCA para valores faltantes (log transformado)¡Muchas gracias, Jiancao!
REML también fue mi intuición, ya que las no detectaciones no son completamente aleatorias (por ejemplo, algunas variables no se detectaron en un determinado grupo de todas mis 80 ubicaciones).
Mencionó que debería estar al tanto de la distribución normal multivariante que asumiría, usando REML. ¿Qué quiere decir exactamente con esto y cómo puedo verificar esta distribución normal de mis datos? Lo que hice hasta ahora es verificar la distribución de cada variable usando el gráfico de cuantiles normales de distribución en JMP. A simple vista puedo ver que todos los puntos de cada variable siguen un patrón lineal dentro de los intervalos de confianza. ¿Es esa una forma legítima de hacerlo?
Gracias de nuevo,
sascha
Re: Método de estimación PCA para valores faltantes (log transformado)El método por filas excluye filas ENTERAS de la estimación siempre que falte al menos una sola celda; no sustituye un 0. REML usa todas las celdas que no faltan en su estimación, en otras palabras, solo las celdas que faltan en esa fila no se usan. Por lo tanto, los datos reales utilizados por Row-wise son menores que los de REML cuando faltan datos.
Es difícil decir con certeza qué método es más conservador o mejor; depende de la naturaleza de la pérdida. ¿Son esos no detectados completamente al azar?Si es así, el método por filas puede estar bien para usar. De lo contrario, use REML, ya que es esencialmente un método de imputación de datos faltantes al ajustar un modelo mixto, pero solo tenga en cuenta la distribución normal multivariante asumida. Personalmente, optaría por REML.
