Un recordatorio rápido de dónde lo dejamos en Parte 1 de esta serie sobre datos espectroscópicos: Estábamos analizando un conjunto de datos de espectroscopia popular de Martens et al. " Dispersión de luz y absorbancia de luz separadas por corrección de señal multiplicativa extendida. Aplicación al análisis de transmisión de infrarrojo cercano de mezclas de polvo " Química analítica 2003 1 de febrero; 75 (3): 394-404. Unos pocos pasos simples de preprocesamiento nos permitieron mejorar drásticamente la relación señal-ruido en los datos.
En esta publicación, usamos los mismos datos para demostrar la utilidad de las plataformas multivariadas en JMP . En el análisis espectral, las estadísticas multivariadas se utilizan ampliamente, ya que uno prueba iterativamente diferentes pasos de preprocesamiento y evalúa el impacto en los datos. Al principio, nos centramos en el aprendizaje no supervisado o el análisis exploratorio de datos. Luego demostramos cómo se puede usar el explorador de datos funcionales (FDE) para construir modelos de calibración multivariados. Finalmente, presentamos un método de preprocesamiento más avanzado, la corrección de señal multiplicativa extendida, y mostramos cómo esto puede mejorar aún más nuestro modelo de calibración multivariable.
Métodos multivariantes
Análisis de componentes principales
El primer método exploratorio que demostramos es el análisis de componentes principales (PCA). Curiosamente, cuando se realiza un PCA en los espectros sin procesar, los subgrupos conocidos se pueden identificar en el gráfico de puntuación sin necesidad de ningún procesamiento previo (Figura 1).Recuerde de la Parte 1 que las muestras son mezclas de gluten y almidón, y que los colores indican la fracción de gluten. Si bien hay una buena separación entre los grupos, todavía hay una cantidad considerable de variación para los espectros con la misma fracción de gluten, lo que causará problemas para la calibración multivariada más adelante. Este error mejora considerablemente al final de esta publicación, después de encontrar el flujo de trabajo de preprocesamiento óptimo.
Figura 1. La puntuación y los diagramas de carga para el modelo PCA. El gráfico de carga indica un alto grado de correlación entre longitudes de onda, como se esperaba. Los colores indican la fracción de gluten presente en cada muestra de 0 (azul) a 1 (rojo). Los valores propios indican que la variación en este conjunto de datos se puede explicar con 2 componentes principales.
Gráfica de control multivariante impulsada por modelos
Por lo general, se realiza algún tipo de análisis de valores atípicos para identificar y eliminar los valores atípicos influyentes del modelo. JMP proporciona herramientas de análisis de valores atípicos dentro de la plataforma PCA. Sin embargo, con JMP 15 llegó el Gráfico de control multivariado basado en modelos (MDMCC), que es una herramienta más completa para el análisis de valores atípicos que permite una investigación más profunda del análisis de la causa raíz y la comparación de espectros en busca de diferencias.
Figura 2.El gráfico de control multivariado basado en modelos identifica dos espectros (13 y 14) como valores atípicos de acuerdo con el T 2 y gráficos SPE . Los gráficos de proporción de contribución media demuestran las longitudes de onda con la mayor contribución a la señal fuera de control.
Para los espectros en este análisis, MDMCC identifica dos espectros (13 y 14), como valores atípicos en función de su T derivada de PCA 2 y gráficos SPE (Figura 2).La t 2 El gráfico indica que estos puntos están lejos de los datos dentro del plano del modelo, mientras que el gráfico SPE indica que los puntos están lejos del plano del modelo. Otra forma de conceptualizar esto es que estos espectros son 1) distantes de los espectros promedio y 2) ajustes deficientes en el modelo PCA. Dado que ambas condiciones se cumplen, los puntos son valores atípicos potencialmente influyentes, lo que significa que pueden atraer el plano del modelo PCA hacia ellos cuando el modelo se ajusta. Si estos son datos realmente erróneos, existe la posibilidad de un modelo de PCA deficiente. Tenga en cuenta que hay otros puntos además de 13 y 14 que son valores atípicos en la T 2 gráfico, pero no en el gráfico SPE. Dado que estos puntos están distantes de los espectros promedio, pero aún se ajustan al modelo PCA, es menos probable que sean valores atípicos influyentes. Para ver una buena ilustración que distingue T 2 y valores atípicos de SPE, consulte la Figura 4 de este papel .
Para tener una mejor idea de por qué los puntos 13 y 14 son atípicos, construimos gráficos de barras de proporción de contribución media para el T 2 y gráficos SPE (Figura 3).Estos muestran las longitudes de onda con la mayor contribución al estado de valores atípicos en ambos gráficos. También puede pasar el cursor sobre barras individuales para ver gráficos de control univariados para una longitud de onda específica.
Para este ejemplo, es útil trazar los espectros en Graph Builder para tener una mejor idea de por qué las observaciones son atípicas (Figura 3). Una anomalía notable es que estos dos espectros tienen absorbancias anormalmente grandes en longitudes de onda más largas.
Si decidimos que estos valores atípicos son sospechosos, es fácil reajustar el modelo con los valores atípicos eliminados. Para hacer esto, active Recálculo automático en el informe MDMCC, seleccione las observaciones de valores atípicos en el gráfico de control T2 o SPE y luego haga clic con el botón derecho en >> Filas >> Excluir fila.
Figura 3. Vista de Graph Builder para los espectros 13 y 14 seleccionados en MDMCC a través de enlaces dinámicos. Este gráfico muestra cómo los dos espectros seleccionados podrían percibirse como valores atípicos cuando se comparan directamente con el resto de los datos.
El Score Plot para MDMCC también se puede usar para comparar subgrupos (Figura 4). El Grupo A es el subgrupo "rojo" superior y el Grupo B es el subgrupo "azul" inferior. La gráfica de contribución de puntuación relativa muestra dónde hay diferencias significativas entre los dos subgrupos por longitud de onda.
Figura 4. Comparación de grupos entre espectros con 0% y 100% gluten. Las longitudes de onda con la mayor contribución absoluta en el gráfico de barras muestran la mayor diferencia entre grupos.
Explorador de datos funcionales
La plataforma PCA en JMP es una buena herramienta de propósito general pero no fue diseñada para datos con una forma funcional como los espectros. Afortunadamente, en Pro JMP , existe una herramienta que está diseñada específicamente para datos funcionales. La plataforma Functional Data Explorer (FDE) en JMP Pro se puede utilizar para una investigación más profunda de los datos espectrales. FDE se utiliza para analizar datos de curvas en algún continuo, para espectros NIR, el continuo es la longitud de onda. Debido a que todos los espectros se miden en la misma cuadrícula igualmente espaciada, podemos ajustar un modelo PCA funcional directo, que realiza un PCA funcional sin ajustar una función base (Figura 5). Tenga en cuenta que no excluimos los valores atípicos que identificamos en la sección anterior (13 y 14) del modelo FDE. Si bien uno puede optar por excluir estos valores atípicos, los incluimos en el ajuste porque en una sección posterior compararemos con un modelo FDE que se ajusta a datos preprocesados donde estas observaciones ya no son valores atípicos (consulte la Figura 14).
En la Figura 5, los valores propios correspondientes a los componentes principales funcionales (fPC) muestran cuánta variación explica cada fPC. En el caso de este dato, la variación está caracterizada por las dos primeras fPC, al igual que ocurría con PCA. También verá una curva media asociada con los fPC. Si sus datos rastrean exactamente la función media, todos los fPC serían cero. Si el valor de fPC es positivo, la forma de la función varía de la media en una forma similar a la función propia correspondiente, mientras que un fPC negativo indica el efecto inverso. Las funciones propias son comparables a una gráfica común utilizada en el análisis PCA de datos espectrales denominada gráfica de cargas espectrales, donde las cargas se ordenan por longitud de onda.
Figura 5. Los resúmenes de ajuste del modelo PCA funcional directo. Dos componentes principales funcionales explican el 100% de la variación de los datos.
Los espectros individuales se ajustan y el gráfico de puntuación resultante se muestra en la Figura 6. Una característica útil en la plataforma de componentes principales funcionales es la capacidad de pasar el mouse sobre los puntos en los gráficos de puntuación y ver los gráficos para los espectros correspondientes. Esto es muy útil en este ejemplo, ya que el gráfico de puntuación organiza los datos en subgrupos de espectros similares, y luego la ayuda flotante muestra las diferencias en la forma funcional. Esto se puede usar para descubrir diferencias entre subgrupos sin depender de ningún análisis más sofisticado.
Figura 6. El gráfico de puntuación para el ajuste del modelo FDE. Las diferencias entre los subgrupos se pueden explorar pasando el cursor sobre los puntos en el gráfico de puntuación, revelando la forma funcional de los espectros.
El fPC Profiler permite una interpretación más sencilla de las dimensiones de puntuación para los fPC individuales (Figura 7). Mover uno de los controles deslizantes de fPC muestra el efecto sobre la función predicha de moverse a lo largo de una de las direcciones de fPC, con los otros valores de fPC fijos.
Figura 7. Funciones propias (A) y fPC Profiler (BD) para el ajuste del modelo FDE. El perfilador de fPC con los fPC configurados en sus valores medios (B), fPC2 configurado en su valor mínimo (C) y fPC2 configurado en su valor máximo (D). Cuando el valor de fPC2 es positivo, la forma de los espectros varía de la media en una forma similar a la función propia correspondiente, mientras que un fPC negativo indica el efecto inverso.
Diseño Funcional de Experimentos (Calibración Multivariada)
Dado que estos datos provienen de un experimento diseñado, es relevante un análisis DOE funcional (Figura 8). El FDOE Profiler permite la predicción de la forma funcional de los espectros en las fracciones de almidón y gluten no observadas en los datos experimentales. En el análisis de espectros, esto se denomina modelo de calibración multivariable. Dado que el almidón y el gluten son proporciones de mezcla que suman 1, aplicamos una restricción de mezcla en Profiler.
A menudo es deseable construir el inverso de este modelo, en el que los factores experimentales (las proporciones constituyentes, en este caso) se predicen en función de los espectros. Confusamente, esto también se llama calibración multivariada. Para mayor claridad, adoptamos la terminología de Brereton y nos referimos a esto como calibración multivariante inversa. Para adaptarse a este tipo de modelos, se pueden generar los componentes principales funcionales y proporcionarlos a cualquier plataforma de modelado predictivo en JMP. Esto permite adaptar modelos flexibles, como redes neuronales, a los resúmenes de funciones. Estos modelos pueden modelar no linealidades y dependencias mejor que PLS. Ilustraremos este enfoque en el próximo post.
Figura 8. El perfilador DOE funcional. Se ha aplicado una restricción lineal al almidón y al gluten para que sumen 1. Los espectros se predicen en combinaciones de factores experimentales no observadas en los datos originales.
Agrupación jerárquica
El agrupamiento jerárquico es otra herramienta de aprendizaje automático no supervisada popular en el análisis espectral. El objetivo del agrupamiento jerárquico es identificar subgrupos en los datos, donde las diferencias son pequeñas dentro de los clústeres y grandes entre los clústeres. En secciones anteriores, identificamos subgrupos pero lo hicimos de manera subjetiva. La agrupación jerárquica proporciona un criterio objetivo para definir estos subgrupos.
El dendrograma de conglomerados muestra una jerarquía de conglomerados que va desde las puntas, donde cada espectro está en su propio conglomerado, hasta la raíz, en la que todos los espectros están en un conglomerado. El dendrograma muestra cómo el algoritmo de agrupamiento fusiona los clústeres de manera iterativa. La longitud de las ramas internas es proporcional a la diferencia entre conglomerados, donde la diferencia entre conglomerados se define según un criterio de vinculación.
El agrupamiento jerárquico en JMP es una plataforma rica, con muchas funciones útiles para el análisis espectral que no tenemos tiempo de cubrir aquí. Proporcionamos el informe en el diario adjunto para que pueda descubrir las características por su cuenta. Algunas funciones que vale la pena revisar son la selección interactiva de la cantidad de conglomerados, la salida de las asignaciones de conglomerados, la capacidad de seleccionar y resaltar conglomerados en el dendrograma y la capacidad de iniciar gráficos paralelos para conglomerados. También vale la pena señalar que el agrupamiento jerárquico tiene un rendimiento excelente para problemas de n grande y p grande.
Figura 9. Agrupación jerárquica de los espectros sin procesar (izquierda) y los espectros preprocesados según la parte 1 de esta serie (derecha). Los datos sin procesar muestran un agrupamiento mucho más disperso de los espectros individuales, lo que da como resultado un subagrupamiento deficiente, mientras que los datos preprocesados muestran un subagrupamiento mejor definido. Se pueden guardar las designaciones de grupos individuales y usarlas como entrada en un proceso de modelado si así se desea.
Preprocesamiento avanzado
Corrección de señal multivariante extendida
Esta sección presenta una gráfica de diagnóstico útil llamada gráfica de efectos de dispersión y un poderoso método de preprocesamiento llamado corrección de dispersión multiplicativa extendida (EMSC). El gráfico de efectos de dispersión es sencillo de crear en JMP, y se proporciona un ejemplo en el diario adjunto. El EMSC requerirá algunos conocimientos de JSL para reproducirse. Presentamos el EMSC porque funciona bien para estos datos, y la plataforma Fit Model es una herramienta pedagógica útil para enseñar el método. Además, tenemos la intención de proporcionar muchos métodos de preprocesamiento como el EMSC en la plataforma FDE en una versión futura de JMP, así que esté atento a eso.
La Figura 10 muestra el diagrama de efectos de dispersión, que es útil al seleccionar métodos de preprocesamiento. Hay patrones en estos gráficos que indican diferentes fuentes de ruido, y puede usar esta información para seleccionar qué métodos de preprocesamiento son apropiados para sus datos. En las gráficas de efectos de dispersión, los cambios en el intercepto y indican un cambio de línea de base constante o un efecto aditivo. Un método de preprocesamiento como el 1 S t El filtro derivado Savitzky Golay (SG), que presentamos en la publicación anterior del blog, elimina estos efectos. Los efectos de dispersión multiplicativa ocurren cuando los espectros tienen una gran variación solo en ciertas longitudes de onda. Estos aparecen como cambios en la pendiente, o "abanico", en el gráfico de efectos de dispersión. Algunos métodos de preprocesamiento que pueden eliminar los efectos multiplicativos son la corrección de dispersión multiplicativa (MSC) y la variación normal estándar. Mostramos la variación normal estándar en la publicación anterior. En esta publicación, presentamos el MSC. Los efectos químicos también aparecen como un patrón distinto en estos gráficos. ¡Curiosamente, estos aparecen como bucles!
Figura 10. Gráfica de efectos de dispersión para espectros sin procesar (A) y 1 S t datos filtrados SG derivados (B). Después de que el filtro SG elimine los efectos aditivos, los efectos multiplicativos permanecen. Para estos datos será necesario un método de preprocesamiento que elimine los efectos multiplicativos.
El diagrama de efectos de dispersión para los datos sin procesar sugiere fuertemente un efecto aditivo (Figura 10A). También puede haber efectos multiplicativos, pero es difícil saberlo porque el efecto aditivo es muy dominante. Entonces, primero eliminamos el efecto aditivo aplicando un 1 S t derivar el filtro SG en los datos como hicimos en la publicación anterior. En la publicación anterior, trazamos los espectros preprocesados en Graph Builder y mostramos que los efectos multiplicativos permanecieron. Los efectos multiplicativos también son evidentes en el gráfico de efectos de dispersión; tenga en cuenta el considerable abanico (Figura 10B). Entonces, hay efectos aditivos y multiplicativos en los datos. El EMSC puede eliminar ambas fuentes de ruido en un solo paso.
En su artículo original, Martens et al. presentó el EMSC y mostró cómo este método podría mejorar los métodos de preprocesamiento más simples, como los que se muestran en nuestra publicación anterior. Estamos construyendo el EMSC, pero es más fácil comenzar primero con la corrección de dispersión multiplicativa (MSC). El MSC tiene como objetivo corregir las diversas fuentes de ruido en los datos haciendo que los datos se parezcan más a un espectro de referencia. Dado que a menudo no se dispone de un buen estándar, se utiliza con frecuencia el espectro medio. Para cada espectro, se realiza una regresión separada. Dejar X = {x 1 , …, X pags } ser un vector de absorbancias para un espectro dado y X * = {x * 1 , …, X * pags } el espectro de referencia. el modelo es
Y el espectro se corrige de la siguiente manera:
Un problema con el MSC es que no tiene en cuenta la relación que existe entre los efectos de dispersión y la longitud de onda. El EMSC aborda esto incorporando una relación polinomial en el modelo. Por lo general, se asume una relación cuadrática para la longitud de onda. Otro problema con el MSC es que al retroceder cada espectro sobre el espectro medio, se pueden eliminar los efectos químicos reales que son de interés. Si se sabe que las muestras son una mezcla de una pequeña cantidad de componentes químicos, y se dispone de espectros de referencia puros para cada componente, el EMSC se puede ampliar aún más incorporando información previa de composición química en el modelo. En los datos de Marten et al., hay gluten puro ( X gramo ) y almidón puro ( X s ) muestras en los datos. Como en Marten et al. papel, elegimos la muestra 1 y la muestra 93 como espectros de referencia. El modelo EMSC modificará el espectro de referencia según la composición química estimada, lo que conserva mejor la verdadera señal química en los datos.
metro = ( X gramo + X s )/2 y k = ( X gramo - X s ) y yo = {l 1 , …, yo pags } es el vector de longitudes de onda.los metro y k los términos del modelo se expresan de esta manera para simplificar la ecuación de corrección. Los espectros corregidos se calculan como:
Para realizar el EMSC en JMP, primero necesitaremos crear columnas para el X gramo y X s espectros de referencia Hacemos esto creando subconjuntos de la tabla de datos para crear tablas para los espectros de referencia, y luego unimos las tablas de referencia a la tabla original. Esto lo hacemos con los siguientes pasos:
- Use Filas >> Selección de fila >> Seleccionar dónde para seleccionar todas las filas correspondientes a uno de los espectros de referencia.
- Utilice Subset para crear una tabla que contenga solo los espectros de referencia.
- Vuelva a unir las tablas a la tabla original, utilizando la longitud de onda como columna coincidente.
A continuación, creamos el k y metro columnas, que se pueden hacer usando columnas de fórmula que operan en el X gramo y X s columnas Entonces estamos listos para estimar el modelo EMSC. Esto se puede hacer en el modelo de ajuste utilizando las opciones que se muestran en la Figura 11. Para realizar la corrección EMSC, necesitamos extraer los coeficientes de los términos del modelo y guardarlos en las columnas de la tabla de datos. Necesitamos usar un script jsl para esto, pero el script es bastante sencillo. Finalmente, realizamos la corrección EMSC utilizando la fórmula que se muestra en la Figura 12.
Figura 11. Ajuste el diálogo de lanzamiento del modelo para el modelo EMSC.
Figura 12. Fórmula de columna para la corrección EMSC.
El resultado final se muestra en la Figura 13. Los espectros están notablemente libres de efectos de dispersión y son una representación mucho más precisa de los verdaderos espectros subyacentes.
Figura 13. Espectros antes y después de los pasos de preprocesamiento aplicados en este blog. (Arriba) Antes del preprocesamiento, (Abajo) después de la corrección EMSC.
Modelo final de calibración multivariable
Los espectros ahora están listos para nuestro modelo final de calibración multivariante en FDE. Realizamos DOE funcional utilizando el método descrito en la sección FDE. El modelo resultante nos permite predecir con precisión la forma espectral de una combinación dada de proporciones de mezcla. Un ejemplo de tales predicciones se muestra en la Figura 14.
Figura 14. DOE funcional de espectros corregidos de EMSC antes y después del preprocesamiento. Se ha aplicado una restricción lineal al almidón y al gluten para que sumen 1. Tenga en cuenta los grandes cambios en la forma espectral después del preprocesamiento. Dado que los efectos de dispersión se han eliminado de los espectros, podemos obtener estimaciones más precisas de la forma espectral predicha en combinaciones de factores que no se observan en los datos.
Conclusiones y Publicaciones Futuras
Demostramos varias plataformas multivariadas en JMP que son útiles para identificar patrones en sus datos espectrales. Nos enfocamos en los análisis de subgrupos y análisis de valores atípicos comunes en el análisis espectral. La utilidad de FDE para analizar datos espectrales se puso de manifiesto cuando demostramos las numerosas herramientas exploratorias disponibles. Es importante destacar que el diseño funcional de los experimentos permite construir fácilmente modelos de calibración multivariados. Demostramos cómo se puede usar la plataforma Fit Model en JMP para construir un modelo extendido de corrección de señal multiplicativa (EMSC), que eliminó drásticamente el ruido en nuestros datos. Al crear modelos EMSC desde cero en Fit Model, obtenemos más control y una comprensión más profunda del proceso de creación de modelos.
En la próxima publicación, cubriremos los modelos multivariados supervisados. Adoptamos la terminología de Brereton y nos referimos a estos como modelos de calibración multivariados inversos. Estos predecirán los factores experimentales en función de los espectros. Construiremos modelos en las plataformas de mínimos cuadrados parciales y regresión generalizada. También mostraremos cómo los componentes principales funcionales pueden generarse desde FDE y proporcionarse a cualquier modelo predictivo en JMP, lo que permite la construcción de modelos de calibración más complejos.
