Analizar datos espectrales es como intentar descifrar un arcoíris: es hermoso, pero está lleno de sorpresas intrincadas. Los datos espectrales presentan desafíos únicos debido a su naturaleza altamente correlacionada, lo que hace ineficaces muchas técnicas convencionales.
En esta charla, identificamos estos desafíos y exploramos métodos avanzados diseñados para gestionar dichos datos. En concreto, profundizamos en tres técnicas potentes: análisis de componentes principales (ACP), mínimos cuadrados parciales (PLS) y análisis funcional de datos (FDA). Al comparar estos métodos, destacamos sus fortalezas, limitaciones y aplicaciones prácticas, ofreciendo información para elegir el mejor enfoque para analizar datos espectrales altamente correlacionados. Le mostramos cómo transformar sus datos en un espectro vibrante de éxito, incluso si nunca ve el arcoíris de la misma manera.
Gracias por visitar nuestro póster "Descifrando Arcoíris", las mejores y más sencillas maneras de analizar datos espectrales. Este póster se centra en un trabajo de investigación donde se utilizó espectroscopia reflejada de infrarrojo cercano para analizar el suelo ártico. Analizaremos tres técnicas diferentes para analizar los datos espectrales: análisis de componentes principales, mínimos cuadrados parciales y análisis funcional de datos. Luego, compararemos estas técnicas y sus resultados, y compartiremos con ustedes el rendimiento de cada una.
Aquí, en la página principal, presentamos nuestro espectro, las tres técnicas de análisis diferentes y nuestras conclusiones finales. Primero, analicemos el espectro. Aquí pueden observar algunos de los desafíos del análisis de datos espectrales. Al observar nuestro mapa de color multivariante sobre correlación, observamos datos con una alta correlación. Esto imposibilita el uso de algunas técnicas de análisis que se suelen usar para analizar datos. Esto requiere un enfoque diferente que utilice alguna técnica que gestione eficazmente datos con alta correlación.
Aquí, observamos cómo se ve nuestro espectro en la región del infrarrojo cercano. Se puede ver cuáles de las longitudes de onda están altamente correlacionadas, menos correlacionadas o incluso negativamente correlacionadas con dos respuestas diferentes que estamos analizando: SOM (materia orgánica sólida) o ergosterol. También se puede observar que diferentes longitudes de onda están correlacionadas en diferentes cantidades. La primera técnica que queríamos analizar es el análisis de componentes principales. Thomas.
Gracias, Peter. Sí, permíteme guiarte a través de un análisis de componentes principales de estos espectros. El ACP es un método exploratorio muy adecuado para analizar datos altamente correlacionados, complejos y multivariados, al igual que los datos espectrales. Suele ser el primer método que se utiliza porque es muy sencillo. En realidad, se exploran elementos en los datos, lo que significa que se pueden encontrar tendencias, valores atípicos y también navegar dentro de las regiones espectrales para descubrir qué partes influyen en las partes interesantes que mostrará el resultado del modelo.
En el análisis de componentes principales (PCA), los datos brutos se descomponen en componentes principales. Estos se extraen según un principio matemático llamado agilidad ortogonal, lo que significa que no se deriva químicamente, lo que a veces dificulta la interpretación de las puntuaciones y las cargas. Sin embargo, se ofrece una representación visual de las puntuaciones y las cargas, como se puede observar en los tres gráficos que se muestran aquí en la diapositiva. Si observamos los dos gráficos superiores, estos son los dos primeros componentes principales a la izquierda, representados en un diagrama de dispersión. A la derecha, tenemos los componentes 3 y 4.
En el análisis de componentes principales (PCA), estos componentes se extraen en función de las variantes. Se puede observar que, en realidad, disminuyen en la cantidad de varianza explicada en los datos brutos. El componente 1 explica casi el 87 % de la variación. Esto es muy común en los datos espectrales, ya que tenemos prácticamente la misma forma en todo el espectro, con pequeñas diferencias que contienen toda la información química. Si coloreamos el primer gráfico de puntuación a la izquierda según la materia orgánica sólida, podemos ver que hay un gradiente en el gráfico de puntuación, lo que significa que hemos capturado esta materia orgánica sólida en algún punto del espectro.
Podemos hacer lo mismo para el componente 3 y el 4. Sin embargo, observamos que el ergosterol presenta un gradiente entre los componentes 3 y 4. Esto no nos indica la diferencia. Para ello, debemos consultar el gráfico de carga. Si lo trazamos sobre el eje de longitud de onda, observamos que cuanto mayor o menor sea la longitud de onda (en números absolutos), más importantes son esas regiones para describir cómo se han diferenciado las muestras en el gráfico de puntuación correspondiente.
Con el PCA, se obtiene una visión general muy buena si se tienen agrupaciones o clústeres. En este caso, no es fácil ver valores atípicos, por ejemplo, pero se observa claramente un gradiente. Esto significa que creemos que tenemos información química en nuestros espectros. Esto es importante, ya que a menudo queremos hacer más con nuestros datos que simplemente explorarlos. También queremos crear modelos predictivos, como nos mostrarán las próximas dos tecnologías.
El PCA es una excelente primera opción para determinar si tenemos indicios de que esos modelos predictivos serán un éxito o un fracaso. Por mencionar algunas ventajas y desventajas del PCA, es una técnica muy potente para datos espectrales. Es muy fácil de entender. Ofrecemos interpretaciones visuales muy precisas.
Se podría decir que, como aspecto negativo, extraemos todo basándonos en la varianza. Si la varianza no está relacionada con la química, nos resultaría difícil determinar qué ocurre realmente dentro de nuestros espectros. Pero en este caso, como pueden ver, la varianza era equivalente a la química. Analicemos el siguiente método de forma más específica. Bill.
Gracias, Thomas. La siguiente técnica que queríamos abordar es el análisis de mínimos cuadrados parciales. Este método es muy común para analizar datos espectrales. Junto con el análisis de componentes principales, aprenderás mucho sobre la química de lo que ocurre y cómo determinar qué longitudes de onda son las más importantes para analizar tus muestras y aprender de ellas a medida que avanzas. Si miras a la izquierda, el resultado que obtendrás es que deberás comparar algo llamado T al cuadrado de Vanderbilt, es decir, un valor de Q al cuadrado. Luego, puedes observar tu R al cuadrado acumulado y tu Q al cuadrado acumulado para determinar cuál es el mejor número general de factores latentes para usar.
En este caso, el mejor modelo general que creamos fue con 14 factores latentes, pero con tan solo seis factores latentes se obtendría un modelo muy bueno, basado en la línea negra que se ve en el eje x. Queríamos comparar esto con los datos del artículo donde también se utilizaron cuadrados parciales. En general, consideramos que JMP tuvo un excelente rendimiento en el análisis de los datos espectrales. De nuevo, se debe determinar la cantidad óptima de factores latentes utilizando algo como... Cuando digo factores latentes, pienso en componentes principales. Estos se utilizan para determinar el mejor ajuste general para factores altamente correlacionados.
A la derecha, pueden ver los resultados obtenidos. El primer gráfico, en la parte superior, muestra las curvas vectoriales de coeficientes de regresión, que indican dónde se encontraban las longitudes de onda más importantes para cada material. Si observan la línea azul, que está oculta, ese es el modelo o las líneas espectrales originales. Estos son los datos de los espectros originales. Si observan las líneas verde y roja, esas son las variaciones de coeficientes en los espectros determinadas para los coeficientes de cada espectro para el SOM y el ergosterol.
En la esquina inferior derecha se muestra la comparación de los datos obtenidos, es decir, los datos reales con los predichos. Se puede observar que JMP tuvo un excelente rendimiento general tanto para el ergosterol como para el SOM. Una ventaja de PLS es que genera muy buenos modelos predictivos y, a diferencia del PCA, no se obtiene información sobre la y general, por lo que se trata de un método más bien no supervisado.
Este PLS es más bien un método supervisado, y te permitirá comprenderlo mejor. Podrás comprender el porqué o lo que intentas predecir. Genera buenos modelos predictivos, es ampliamente utilizado y es muy útil para analizar datos espectrales. Los modelos en sí pueden requerir un gran esfuerzo computacional. De hecho, al crear un modelo con PLS, se utilizan todos los datos, pero se puede realizar una reducción de variables en algún momento. Por último, los modelos finales pueden ser, en este caso, muy grandes. Le cedo la palabra a Pete para que hable sobre la FDA.
Gracias, Bill. Muy bien. La última técnica que vimos fue el análisis funcional de datos. Es similar a las dos primeras que mencionamos. La idea básica del análisis funcional de datos es determinar el promedio, en este caso, la forma espectral, como se puede ver en la línea roja de este gráfico, que también se muestra aquí abajo.
Esto representa la forma promedio de todos los datos espectrales. Luego, analizamos las diferencias con respecto a esa forma promedio y las extraemos en lo que llamamos funciones de forma. Estas funciones de forma se pueden considerar componentes principales funcionales. Al igual que lo que explicó Thomas con la variación que define el componente principal, es lo mismo, pero en lugar de intentar explicar la varianza en los datos, explicamos la varianza en la forma.
Aquí pueden ver que con este modelo tenemos una forma media y luego cuatro formas que explican la diferencia con esa media. Al igual que con Thomas, el primer componente explica casi el 87%, y luego disminuye a partir de ahí. Son cifras muy similares a las que observábamos con el PCA. Una de las ventajas, como también mencionó Bill, es que con el análisis de datos funcionales (FDA) podemos obtener una respuesta, un porqué, que intentamos descifrar. Esto es lo que llamamos aprendizaje supervisado.
Aquí pueden ver nuestras dos respuestas y cómo se vería nuestro espectro con los niveles de cada respuesta. A continuación, se muestran los resultados de nuestro modelo; se extraen los componentes de forma y se crea un modelo para determinar nuestras dos respuestas: SOM y ergosterol. La ventaja de esta técnica es que pudimos crear un modelo altamente predictivo, aunque no tan bueno como el PLS en este caso, pero obtenemos una visualización clara, lo que facilita su interpretación.
Puedes ver cómo espero que se vea mi espectro con diferentes niveles de respuesta. Una de las desventajas es que esta técnica no es tan común como la habitual. El PLS y el PCA sí lo son. Está menos documentado y se comprende menos. Requiere una breve explicación para comprender qué sucede y requiere este modelo sustituto, que es un intermediario para generar los componentes de forma. Se requiere algo como una ondícula o un spline AP para ajustar los datos y extraer estos componentes de forma.
Esos modelos pueden requerir un gran esfuerzo computacional y dificultar la comprensión de ese modelo sustituto intermedio. Quería volver a nuestra diapositiva principal y mostrar nuestros resultados. El artículo, como mencionó Bill, utilizó la técnica PLS, y los resultados que obtuvimos aquí incluyen nuestro error cuadrático medio y nuestra r cuadrada. Crearon modelos bastante buenos, pero creo que pueden ver aquí que, incluso con PCA, obtuvimos resultados similares. En este caso, PLS pareció ofrecer los mejores resultados. El análisis de datos funcionales se situó entre ambos, pero ofrece una buena interpretabilidad.
Gracias. Thomas, Bill, ¿alguna última reflexión?
No de mi parte. Gracias, Peter.
No. Gracias, Peter y Bill.
Gracias, Thomas.
