Un rápido recordatorio de dónde lo dejamos Parte 1 de esta serie sobre datos espectroscópicos: Estábamos analizando un conjunto de datos de espectroscopía popular de Martens et al. " Dispersión de luz y absorbancia de luz separadas por corrección de señal multiplicativa extendida. Aplicación al análisis de transmisión de infrarrojo cercano de mezclas de polvos. " Química analítica 1 de febrero de 2003; 75 (3): 394-404. Unos pocos pasos simples de preprocesamiento nos permitieron mejorar drásticamente la relación señal-ruido en los datos.
En esta publicación, utilizamos los mismos datos para demostrar la utilidad de las plataformas multivariadas en JMP . En el análisis espectral, las estadísticas multivariadas se utilizan ampliamente cuando se prueban iterativamente diferentes pasos de preprocesamiento y se evalúa el impacto en los datos. Al principio nos centramos en el aprendizaje no supervisado o análisis de datos exploratorios. Luego demostramos cómo se puede utilizar el explorador de datos funcionales (FDE) para construir modelos de calibración multivariados. Finalmente, presentamos un método de preprocesamiento más avanzado (la corrección de señal multiplicativa extendida) y mostramos cómo esto puede mejorar aún más nuestro modelo de calibración multivariante.
Métodos multivariados
Análisis de componentes principales
El primer método exploratorio que demostramos es el análisis de componentes principales (PCA). Curiosamente, cuando se realiza una PCA en los espectros sin procesar, los subgrupos conocidos se pueden identificar en el gráfico de puntuación sin necesidad de ningún procesamiento previo (Figura 1).Recuerde de la Parte 1 que las muestras son mezclas de gluten y almidón, y que los colores indican la fracción de gluten. Si bien existe una buena separación entre grupos, todavía hay una cantidad considerable de variación para los espectros con la misma fracción de gluten, lo que causará problemas para la calibración multivariada más adelante. Este error mejora considerablemente al final de esta publicación, después de encontrar el flujo de trabajo de preprocesamiento óptimo.
Figura 1. Los gráficos de puntuación y carga para el modelo PCA. El gráfico de carga indica un alto grado de correlación entre longitudes de onda, como se esperaba. Los colores indican la fracción de gluten presente en cada muestra del 0 (azul) al 1 (rojo). Los valores propios indican que la variación en este conjunto de datos se puede explicar con 2 componentes principales.
Gráfico de control multivariado basado en modelo
Normalmente, se realiza algún tipo de análisis de valores atípicos para identificar y eliminar valores atípicos influyentes del modelo. JMP proporciona herramientas de análisis de valores atípicos dentro de la plataforma PCA. Sin embargo, con JMP 15 llegó el Gráfico de control multivariado basado en modelos (MDMCC), que es una herramienta con más funciones para el análisis de valores atípicos que permite una investigación más profunda del análisis de la causa raíz y la comparación de espectros en busca de diferencias.
Figura 2.El gráfico de control multivariado basado en modelo identifica dos espectros (13 y 14) como valores atípicos según la t 2 y gráficos SPE . Los gráficos de proporción de contribución media demuestran las longitudes de onda con mayor contribución a la señal fuera de control.
Para los espectros en este análisis, MDMCC identifica dos espectros (13 y 14), como valores atípicos basados en su T derivada de PCA. 2 y gráficos SPE (Figura 2).La t 2 El gráfico indica que estos puntos están lejos de los datos dentro del plano modelo, mientras que el gráfico SPE indica que los puntos están distantes del plano modelo. Otra forma de conceptualizar esto es que estos espectros están 1) distantes de los espectros promedio y 2) ajustes deficientes en el modelo PCA. Dado que ambas condiciones se cumplen, los puntos son valores atípicos potencialmente influyentes, lo que significa que pueden atraer el plano del modelo PCA hacia ellos cuando el modelo se ajusta. Si estos son datos realmente erróneos, existe la posibilidad de que el modelo PCA sea deficiente. Tenga en cuenta que hay otros puntos además del 13 y 14 que son valores atípicos en el T 2 gráfico, pero no en el gráfico SPE. Dado que estos puntos están alejados de los espectros promedio, pero aún se ajustan al modelo PCA, es menos probable que sean valores atípicos influyentes. Para ver una buena ilustración que distingue a T 2 y valores atípicos de SPE, consulte la Figura 4 de este papel .
Para tener una mejor idea de por qué los puntos 13 y 14 son valores atípicos, construimos gráficos de barras de proporción de contribución media para el T 2 y gráficos SPE (Figura 3).Estos muestran las longitudes de onda con mayor contribución al estado atípico en ambos gráficos. También puede pasar el cursor sobre barras individuales para ver gráficos de control univariados para una longitud de onda específica.
Para este ejemplo, resulta útil trazar los espectros en Graph Builder para tener una mejor idea de por qué las observaciones son valores atípicos (Figura 3). Una anomalía notable es que estos dos espectros tienen absorbancias anormalmente grandes en longitudes de onda más largas.
Si decidimos que estos valores atípicos son sospechosos, es fácil reajustar el modelo eliminando los valores atípicos. Para hacer esto, active el recálculo automático en el informe MDMCC, seleccione las observaciones atípicas en el gráfico de control T2 o SPE y luego haga clic derecho >> Filas >> Excluir fila.
Figura 3. Vista de Graph Builder para los espectros 13 y 14 seleccionados en MDMCC mediante enlace dinámico. Este gráfico muestra cómo los dos espectros seleccionados podrían percibirse como valores atípicos en comparación directamente con el resto de los datos.
El gráfico de puntuación de MDMCC también se puede utilizar para comparar subgrupos (Figura 4). El grupo A es el subgrupo “rojo” superior y el grupo B es el subgrupo “azul” inferior. El gráfico de contribución de puntuación relativa muestra dónde hay diferencias significativas entre los dos subgrupos por longitud de onda.
Figura 4. Comparación grupal entre espectros con 0% y 100% gluten. Las longitudes de onda con mayor contribución absoluta en el gráfico de barras muestran la mayor diferencia entre grupos.
Explorador de datos funcionales
La plataforma PCA en JMP es una buena herramienta de uso general, pero no fue diseñada para datos con una forma funcional como espectros. Afortunadamente, en JMPPro , existe una herramienta que está diseñada específicamente para datos funcionales. La plataforma Functional Data Explorer (FDE) de JMP Pro se puede utilizar para una investigación más profunda de datos espectrales. FDE se utiliza para analizar datos de curvas en algún continuo; para los espectros NIR, el continuo es la longitud de onda. Debido a que todos los espectros se miden en la misma cuadrícula igualmente espaciada, podemos ajustar un modelo de PCA funcional directo, que realiza un PCA funcional sin ajustar una función base (Figura 5). Tenga en cuenta que no excluimos los valores atípicos que identificamos en la sección anterior (13 y 14) del modelo FDE. Si bien se podría optar por excluir estos valores atípicos, los incluimos en el ajuste porque en una sección posterior los compararemos con un modelo FDE que se ajusta a datos preprocesados donde estas observaciones ya no son valores atípicos (ver Figura 14).
En la Figura 5, los valores propios correspondientes a los componentes principales funcionales (fPC) muestran cuánta variación explica cada fPC. En el caso de estos datos, la variación se caracteriza por los dos primeros fPC, al igual que en el caso del PCA. También verá una curva media asociada con los fPC. Si sus datos siguen exactamente la función media, todos los fPC serían cero. Si el valor de fPC es positivo, la forma de la función varía de la media en una forma similar a la función propia correspondiente, mientras que un fPC negativo indica el efecto inverso. Las funciones propias son comparables a un gráfico común utilizado en el análisis PCA de datos espectrales llamado gráfico de cargas espectrales, donde las cargas están ordenadas por longitud de onda.
Figura 5. El modelo PCA funcional directo se ajusta a los resúmenes. Dos componentes principales funcionales explican el 100% de la variación de los datos.
Los espectros individuales están ajustados y el gráfico de puntuación resultante se muestra en la Figura 6. Una característica útil en la plataforma de componentes principales funcionales es la capacidad de desplazarse sobre puntos en gráficos de puntuación y ver gráficos para los espectros correspondientes. Esto es muy útil en este ejemplo, ya que el gráfico de puntuación organiza los datos en subgrupos de espectros similares y luego la ayuda flotante muestra las diferencias en la forma funcional. Esto se puede utilizar para descubrir diferencias entre subgrupos sin depender de análisis más sofisticados.
Figura 6. El gráfico de puntuación para el ajuste del modelo FDE. Las diferencias entre subgrupos se pueden explorar pasando el cursor sobre los puntos en el gráfico de puntuación, lo que revela la forma funcional de los espectros.
El fPC Profiler permite una interpretación más sencilla de las dimensiones de puntuación para los fPC individuales (Figura 7). Mover uno de los controles deslizantes de fPC muestra el efecto sobre la función prevista de moverse a lo largo de una de las direcciones de fPC, con los otros valores de fPC fijos.
Figura 7. Las funciones propias (A) y el perfilador fPC (BD) para el ajuste del modelo FDE. El perfilador de fPC con los fPC establecidos en sus valores medios (B), fPC2 establecido en su valor mínimo (C) y fPC2 establecido en su valor máximo (D). Cuando el valor de fPC2 es positivo, la forma de los espectros varía de la media en una forma similar a la función propia correspondiente, mientras que un fPC negativo indica el efecto inverso.
Diseño Funcional de Experimentos (Calibración Multivariada)
Dado que estos datos provienen de un experimento diseñado, es relevante un análisis funcional DOE (Figura 8). El FDOE Profiler permite la predicción de la forma funcional de los espectros en fracciones de almidón y gluten no observadas en los datos experimentales. En análisis de espectros, esto se denomina modelo de calibración multivariado. Dado que el almidón y el gluten son proporciones de mezcla que suman 1, aplicamos una restricción de mezcla en Profiler.
A menudo es deseable construir lo inverso de este modelo, en el que los factores experimentales (las proporciones de los constituyentes, en este caso) se predicen en función de los espectros. Curiosamente, esto también se llama calibración multivariada. Para mayor claridad, adoptamos la terminología de Brereton y nos referimos a esto como calibración multivariada inversa. Para adaptarse a este tipo de modelos, se pueden generar los componentes principales funcionales y proporcionarlos a cualquier plataforma de modelado predictivo en JMP. Esto permite adaptar modelos flexibles, como redes neuronales, a los resúmenes de funciones. Estos modelos pueden modelar no linealidades y dependencias mejor que PLS. Ilustraremos este enfoque en la próxima publicación.
Figura 8. El perfilador DOE funcional. Se ha aplicado una restricción lineal al almidón y al gluten para que sumen 1. Los espectros se predicen en combinaciones de factores experimentales no observadas en los datos originales.
Agrupación jerárquica
La agrupación jerárquica es otra herramienta de aprendizaje automático no supervisada popular en el análisis espectral. El objetivo de la agrupación jerárquica es identificar subgrupos en los datos, donde las diferencias son pequeñas dentro de los grupos y grandes entre los grupos. En secciones anteriores identificamos subgrupos pero lo hicimos de forma subjetiva. La agrupación jerárquica proporciona un criterio objetivo para definir estos subgrupos.
El dendrograma de conglomerados muestra una jerarquía de agrupamientos que va desde las puntas, donde cada espectro está en su propio grupo, hasta la raíz, en la que todos los espectros están en un grupo. El dendrograma muestra cómo el algoritmo de agrupación fusiona los grupos de forma iterativa. La longitud de las ramas internas es proporcional a la diferencia entre conglomerados, donde la diferencia entre conglomerados se define según un criterio de vinculación.
La agrupación jerárquica en JMP es una plataforma rica, con muchas características útiles para el análisis espectral que no tenemos tiempo para cubrir aquí. Te facilitamos el informe en la revista adjunta para que puedas descubrir las características por tu cuenta. Algunas características que vale la pena revisar son la selección interactiva del número de conglomerados, el resultado de las asignaciones de conglomerados, la capacidad de seleccionar y resaltar conglomerados en el dendrograma y la capacidad de iniciar gráficos paralelos para conglomerados. También vale la pena señalar que la agrupación jerárquica tiene un rendimiento excelente para problemas de n y p grandes.
Figura 9. Agrupación jerárquica de los espectros sin procesar (izquierda) y los espectros preprocesados según la parte 1 de esta serie (derecha). Los datos sin procesar muestran una agrupación mucho más dispersa de los espectros individuales, lo que da como resultado un subgrupo deficiente, mientras que los datos preprocesados muestran un subgrupo mejor definido. Se pueden guardar las designaciones de grupos individuales y utilizarlas como entrada en un proceso de modelado si así se desea.
Preprocesamiento avanzado
Corrección de señal multivariante extendida
Esta sección presenta un gráfico de diagnóstico útil llamado gráfico de efectos de dispersión y un poderoso método de preprocesamiento llamado corrección de dispersión multiplicativa extendida (EMSC). El gráfico de efectos de dispersión es sencillo de crear en JMP y se proporciona un ejemplo en la revista adjunta. El EMSC requerirá algunos conocimientos de JSL para reproducirse. Presentamos el EMSC porque funciona bien con estos datos y la plataforma Fit Model es una herramienta pedagógica útil para enseñar el método. Además, tenemos la intención de proporcionar muchos métodos de preprocesamiento como EMSC en la plataforma FDE en una versión futura de JMP, así que estad atentos.
La Figura 10 muestra el gráfico de efectos de dispersión, que resulta útil a la hora de seleccionar métodos de preprocesamiento. Hay patrones en estos gráficos que indican diferentes fuentes de ruido y puede utilizar esta información para seleccionar qué métodos de preprocesamiento son apropiados para sus datos. En los gráficos de efectos de dispersión, los cambios en la intersección y indican un cambio de línea de base constante o un efecto aditivo. Un método de preprocesamiento como el 1 calle El filtro derivado Savitzky Golay (SG), que presentamos en la publicación anterior del blog, elimina estos efectos. Los efectos de dispersión multiplicativa ocurren cuando los espectros tienen una gran variación solo en ciertas longitudes de onda. Estos aparecen como cambios en la pendiente, o “abanico”, en el gráfico de efectos de dispersión. Algunos métodos de preprocesamiento que pueden eliminar los efectos multiplicativos son la corrección de dispersión multiplicativa (MSC) y la variación normal estándar. Mostramos la variación normal estándar en la publicación anterior. En esta publicación, presentamos el MSC. Los efectos químicos también aparecen como un patrón distintivo en estos gráficos. Curiosamente, ¡estos aparecen como bucles!
Figura 10. Gráfico de efectos de dispersión para espectros sin procesar (A) y 1 calle datos filtrados SG derivados (B). Una vez que el filtro SG elimina los efectos aditivos, los efectos multiplicativos permanecen. Para estos datos será necesario un método de preprocesamiento que elimine los efectos multiplicativos.
El gráfico de efectos de dispersión para los datos brutos sugiere claramente un efecto aditivo (Figura 10A). También puede haber efectos multiplicativos, pero es difícil saberlo porque el efecto aditivo es muy dominante. Entonces, primero eliminamos el efecto aditivo aplicando un 1 calle derivar el filtro SG en los datos como lo hicimos en la publicación anterior. En la publicación anterior, trazamos los espectros preprocesados en Graph Builder y demostramos que los efectos multiplicativos persisten. Los efectos multiplicativos también son evidentes en el gráfico de efectos de dispersión: observe el considerable abanico (Figura 10B). Entonces, hay efectos tanto aditivos como multiplicativos en los datos. El EMSC puede eliminar ambas fuentes de ruido en un solo paso.
En su artículo original, Martens et al. presentó el EMSC y mostró cómo este método podría mejorar los métodos de preprocesamiento más simples, como los que se muestran en nuestra publicación anterior. Estamos preparando el EMSC, pero es más fácil comenzar primero con la corrección de dispersión multiplicativa (MSC). El MSC tiene como objetivo corregir las diversas fuentes de ruido en los datos haciendo que los datos se parezcan más a un espectro de referencia. Dado que a menudo no existe un buen estándar disponible, con frecuencia se utiliza el espectro medio. Para cada espectro, se realiza una regresión separada. Dejar X = {x 1 , …, X pag } ser un vector de absorbancias para un espectro dado y X * = {x * 1 , …, X * pag } el espectro de referencia. El modelo es
Y el espectro se corrige de la siguiente manera:
Un problema con el MSC es que no tiene en cuenta la relación que existe entre los efectos de dispersión y la longitud de onda. El EMSC aborda esto incorporando una relación polinomial en el modelo. Normalmente, se supone una relación cuadrática para la longitud de onda. Otro problema con el MSC es que al hacer una regresión de cada espectro en el espectro medio, se pueden eliminar los efectos químicos reales que son de interés. Si se sabe que las muestras son una mezcla de una pequeña cantidad de componentes químicos (y se dispone de espectros de referencia puros para cada componente), el EMSC se puede ampliar aún más incorporando información previa sobre la composición química en el modelo. En los datos de Marten et al., hay gluten puro ( X gramo ) y almidón puro ( X s ) muestras en los datos. Como en Marten et al. En el artículo, elegimos la muestra 1 y la muestra 93 como espectros de referencia. El modelo EMSC modificará el espectro de referencia dependiendo de la composición química estimada, lo que preserva mejor la verdadera señal química en los datos.
metro = ( X gramo + X s )/2 y k = ( X gramo - X s ) y yo = {l 1 , …, yo pag } es el vector de longitudes de onda.El metro y k Los términos del modelo se expresan de esta manera para simplificar la ecuación de corrección. Los espectros corregidos se calculan como:
Para realizar EMSC en JMP, primero necesitaremos crear columnas para el X gramo y X s espectros de referencia. Hacemos esto subconjuntos de la tabla de datos para crear tablas para los espectros de referencia y luego unimos las tablas de referencia a la tabla original. Esto lo hacemos con los siguientes pasos:
- Utilice Filas >> Selección de filas >> Seleccionar dónde para seleccionar todas las filas correspondientes a uno de los espectros de referencia.
- Utilice Subconjunto para crear una tabla que contenga solo los espectros de referencia.
- Vuelva a unir las tablas a la tabla original, utilizando la longitud de onda como columna coincidente.
A continuación, creamos el k y metro columnas, lo que se puede hacer usando columnas de fórmula que operan en el X gramo y X s columnas. Entonces estamos listos para estimar el modelo EMSC. Esto se puede hacer en el modelo ajustado usando las opciones que se muestran en la Figura 11. Para realizar la corrección EMSC, necesitamos extraer los coeficientes de los términos del modelo y guardarlos en columnas de la tabla de datos. Necesitamos usar un script jsl para esto, pero el script es bastante sencillo. Finalmente, realizamos la corrección EMSC usando la fórmula que se muestra en la Figura 12.
Figura 11. Diálogo de lanzamiento del modelo Fit para el modelo EMSC.
Figura 12. Fórmula de columna para la corrección EMSC.
El resultado final se muestra en la Figura 13. Los espectros están notablemente libres de efectos de dispersión y son una representación mucho más precisa de los verdaderos espectros subyacentes.
Figura 13. Espectros antes y después de los pasos de preprocesamiento aplicados en este blog. (Arriba) Antes del preprocesamiento, (Abajo) después de la corrección EMSC.
Modelo de calibración multivariante final
Los espectros ahora están listos para nuestro modelo de calibración multivariante final en FDE. Realizamos DOE funcional utilizando el método descrito en la sección FDE. El modelo resultante nos permite predecir con precisión la forma espectral para una combinación dada de proporciones de mezcla. Un ejemplo de tales predicciones se muestra en la Figura 14.
Figura 14. El DOE funcional de los espectros corregidos por EMSC antes y después del preprocesamiento. Se ha aplicado una restricción lineal al almidón y al gluten para que sumen 1. Tenga en cuenta los grandes cambios en la forma espectral después del preprocesamiento. Dado que los efectos de dispersión se han eliminado de los espectros, podemos obtener estimaciones más precisas de la forma espectral predicha en combinaciones de factores no observadas en los datos.
Conclusiones y publicaciones futuras
Demostramos varias plataformas multivariadas en JMP que son útiles para identificar patrones en sus datos espectrales. Nos centramos en los análisis de subgrupos y los análisis de valores atípicos comunes en el análisis espectral. La utilidad de FDE para analizar datos espectrales quedó en evidencia cuando demostramos las numerosas herramientas exploratorias disponibles. Es importante destacar que el diseño funcional de los experimentos permite construir fácilmente modelos de calibración multivariados. Demostramos cómo se puede utilizar la plataforma Fit Model en JMP para construir un modelo de corrección de señal multiplicativa extendida (EMSC), que limpió drásticamente el ruido en nuestros datos. Al crear modelos EMSC desde cero en Fit Model, obtenemos más control y una comprensión más profunda del proceso de creación de modelos.
En la próxima publicación, cubriremos los modelos multivariados supervisados. Adoptamos la terminología de Brereton y nos referimos a ellos como modelos de calibración multivariados inversos. Estos predecirán factores experimentales en función de los espectros. Construiremos modelos en las plataformas de Mínimos Cuadrados Parciales y Regresión Generalizada. También mostraremos cómo se pueden generar componentes principales funcionales desde FDE y proporcionarlos a cualquier modelo predictivo en JMP, permitiendo la construcción de modelos de calibración más complejos.
