783284_es-ES

liliconcom

Análisis de agrupamiento y PCA para datos espectrales

¡Hola!

Me preguntaba si alguien puede ayudarme con los pasos para realizar un análisis de PCA + agrupamiento de datos espectrales.

Ya he normalizado todos mis datos espectrales (intensidades). Tengo muestras que varían en términos de composición y luego cada una de ellas pasa por diferentes pasos de procesamiento. Espero que las técnicas multivariadas puedan ayudarme a analizar cuál es mejor (composición o paso de procesamiento) en términos de agrupamiento de muestras.

Si es útil, adjunto una versión corta de mis datos.

¡¡Gracias de antemano!!

Mariana

Modelado estadístico avanzadoRe: Análisis de agrupamiento y PCA para datos espectrales

Hay @Mariana_Aguilar ,

Veo al menos 2 opciones para explorar su conjunto de datos de curva (una con JMP, la segunda con JMP Pro):

1. Con JMP : Puede utilizar la plataforma Fit Curve con un formato de datos apilados, configurando "Intensidad normalizada" como Y, "Longitud de onda (nm)" como X y "Muestra" como Por variables. Luego, puede ajustar un pico normal sesgado (disponible en los modelos de pico en el triángulo rojo) a sus 4 muestras y extraer los parámetros de las curvas ajustadas: Ubicación , Escala , Sesgo y Valor de pico (haga clic derecho en la tabla "Estimaciones de parámetros" y haga clic en "Hacer tabla de datos combinada"). Se abrirá una nueva tabla en formato apilado.
   Puede dividir esta tabla y utilizar las estimaciones de parámetros en la plataforma PCA para evaluar qué tan similares o diferentes son los dos procesos y su composición:
   
   

   La mayor parte de la variación parece provenir del proceso, siendo el primer componente principal responsable de aproximadamente el 95% de la variación en los valores de los parámetros y está vinculado al proceso.
   La agrupación jerárquica también le mostrará que la mayor diferencia entre las muestras podría estar vinculada a una diferencia en el proceso (pasteurización vs. dispersión, primera división en la agrupación):

   

2. Con JMP Pro : puede utilizar el Explorador de datos funcionales con un formato de datos apilados, configurando "Intensidad normalizada" como Y, Salida, "Longitud de onda (nm)" como X, Entrada y "Muestra" como ID, Variables de función.
   Luego puede ajustar un modelo B-Spline a sus datos de curva, y un modelo cúbico con 17 splines debería funcionar bien:

   

   Luego, puede mirar directamente el gráfico de puntuación para visualizar sus muestras con uno o dos componentes principales funcionales:

   

   Verá una vez más que el proceso parece ser la mayor diferencia en los perfiles de curva de su muestra (que corresponde a FPC1, responsable del 99,8 % de la variación en los datos de la curva).

Esta conclusión sobre la importancia del proceso también se puede visualizar fácilmente a través del generador de gráficos (los dos identificadores de muestra son muy similares, pero el cambio en la curva se puede atribuir principalmente a diferencias de proceso):

En la tabla de datos adjunta encontrará los scripts para seguir el análisis descrito aquí.

Espero que estas dos soluciones te puedan ayudar,

Re: Análisis de agrupamiento y PCA para datos espectrales

Hay @Mariana_Aguilar ,

Le sugiero que eche un vistazo a los siguientes recursos sobre análisis multivariado para datos espectrales de @Bill_Worley , que le ayudarán a comprender las herramientas relevantes de JMP para ayudarle:

https://www.jmp.com/en_be/articles/analyzing-spectral-data-multivariate-methods.html

https://community.jmp.com/t5/Mastering-JMP/Building-Predictive-Models-for-Correlacionado-and-High-Dimensional/ta-p/618888

https://community.jmp.com/t5/Discovery-Summit-Americas-2020/Using-Multivariate-Tools-in-JMP-for-Analysis-of-Spectral-Data/ta-p/281561

Gracias,

Ben

Re: Análisis de agrupamiento y PCA para datos espectrales

Hola Víctor, gracias por tu amable y detallada respuesta.

Tengo un par de preguntas más si no te molesta...

1. Para la primera opción (utilizando el menú Ajustar curva). No logro encontrar los picos normales torcidos en el menú Modelos de picos. Probé con Gaussian (verde), pero al menos visualmente no parece que se ajuste bien. Luego probé con ExGaussian, que parece mejor, pero no estoy seguro de si estaría introduciendo más complejidad en los parámetros de mi curva ajustada.

Y mi segunda pregunta es respecto a la segunda opción.

Desde la Plataforma Functional Data Explorer, ¿sabes cómo puedo guardar los Componentes Principales obtenidos para poder proceder al clustering Jerárquico? (o si existe otra opción dentro de la plataforma para pasar al clustering?)

¡Muchas gracias!

Mariana

Re: Análisis de agrupamiento y PCA para datos espectrales

¡Oh, una duda más, si se me permite!

En la plataforma de exploración de datos funcionales, ¿cuál es la diferencia entre hacer B-Spline para preprocesar los datos primero y usar directamente PCA funcional directo en el menú de modelos (debajo del triángulo rojo)?

¡gracias!

Re: Análisis de agrupamiento y PCA para datos espectrales

Hay @Mariana_Aguilar ,

Respecto a sus preguntas:

1. Creo que este nuevo tipo de modelo " Skew Normal Peak " solo se introdujo en JMP 18, por lo que si está trabajando con JMP 17, solo tendrá acceso a las tres opciones que mencionó: Opciones de curva de ajuste
   Si no puede utilizar JMP 18 por el momento, estoy de acuerdo en que ExGaussian podría ser una opción de modelado más adecuada, ya que parece que sus picos están un poco sesgados. El modelo de pico gaussiano es más apropiado si tiene un pico gaussiano simétrico.
   No entiendo cómo ExGaussian podría agregar más "complejidad" al modelo, ya que solo habrá una diferencia de un parámetro en la complejidad del modelo entre ExGaussian y Gaussian. Si observamos los criterios de información AICc y BIC, podemos ver que agregar un parámetro mejora el modelado; hay un mejor equilibrio entre el ajuste del modelo y la complejidad del modelo (cuanto menor sea el criterio de información AICc/BIC, mejor).
2. En la plataforma Functional Data Explorer, puede guardar los componentes principales funcionales: vaya al panel " Resúmenes de funciones ", haga clic en el triángulo rojo y desde allí puede personalizar y guardar los resúmenes de funciones y los FPC:
   

   Puede visualizar directamente sus muestras en un gráfico 2D con los FPC al observar el gráfico de puntuación :

   

Espero que estas respuestas complementarias te ayuden,

Re: Análisis de agrupamiento y PCA para datos espectrales

Hay @Mariana_Aguilar ,

La diferencia está en cómo se utilizan y preprocesan los datos, como usted menciona: con un B-Spline o P-Spline, primero se utiliza un modelo que corresponde a los datos de sus curvas sin procesar y luego se pueden calcular los componentes principales funcionales en función de este modelo (aproximación).

Con modelos directos como el PCA funcional directo, se realiza directamente una descomposición en valores singulares (SVD) en los datos sin procesar para extraer valores propios y funciones propias. Más información aquí: Tipos de ajustes de modelos funcionales

Para determinar cuál sería una opción adecuada, puede ajustar diferentes modelos y evaluarlos en función de métricas estadísticas (como los criterios de información AICc y BIC), y con las visualizaciones de los gráficos de diagnóstico para evaluar la adecuación/precisión del modelo. En su caso, parece que aplicar B-Splines antes de extraer los componentes principales funcionales con los datos de sus curvas es una buena opción, ya que los residuos de los modelos son muy bajos y homogéneos, a diferencia de los del PCA funcional directo:

Gráficos de diagnóstico para B-Splines:

Parcelas de diagnóstico para FPCA directa:

Espero que esta respuesta te ayude.

Re: Análisis de PCA + clustering para datos espectrales¡Gracias Víctor!