Chris Gotwalt, Científico de Datos Jefe de JMP, y Ryan Parker, Desarrollador Estadístico de Investigación Sénior de JMP, presentaron un Tutorial para Desarrolladores (vía ZOOM) sobre este tema el 8 de diciembre (11:00 - 12:30 h, hora del este de EE. UU.). Abierto a todos, será especialmente útil para usuarios de JMP o JMP Pro que comprendan los principios básicos del modelado predictivo, hayan utilizado JMP Pro para modelado predictivo y necesiten modelar datos curvos o espectrales. Comprenda cómo, por qué y cuándo usar las técnicas, así como las estadísticas que sustentan las herramientas. Habrá tiempo para preguntas y respuestas. Vea el video .
En esta publicación de blog, Senior Analytics Software Tester @Mark_Bailey y te explico algunas nuevas características en JMP Pro 17. El equipo de desarrollo de JMP ha trabajado arduamente para incorporar al software una nueva capacidad de análisis quimiométrico. La mayor parte de la nueva capacidad se centra en el Explorador de datos funcionales. Ahora, con unos pocos clics del mouse, puede preprocesar los datos de su curva, guardar los datos preprocesados en una nueva tabla para un análisis multivariante adicional y completar un análisis funcional de estos datos en una plataforma. Nos centraremos en analizar datos espectrales en esta publicación, pero tenga en cuenta que esta plataforma analiza prácticamente cualquiera de sus datos quimiométricos con resultados sobresalientes.
Muchas gracias a @clay_barker , @RyanParker , y @chris_gotwalt1 para llevar esta capacidad de análisis quimiométrico a una sola plataforma.
preprocesamiento
El preprocesamiento de datos espectrales no podría ser mucho más fácil que con FDE. Hay una nueva pestaña espectral donde encontrará varias herramientas de preprocesamiento, que incluyen variación normal estándar (SNV), corrección de dispersión multiplicativa (MSC), suavizado Savitzky-Golay con capacidad de 1.ª y 2.ª derivada y corrección de línea de base.
Figura 1. Captura de pantalla de la nueva capacidad de preprocesamiento integrada en FDE
Demostramos la nueva capacidad de análisis quimiométrico en JMP Pro utilizando un conjunto de datos de infrarrojo cercano de Dyrby et al., Espectroscopia aplicadaVol 56, Number5, 2002.
Preprocesamiento inicial
Para este conjunto de datos, los pasos iniciales de preprocesamiento fueron SNV seguidos de Corrección de referencia. La corrección de la línea de base fue un modelo cuadrático sobre toda la función. Puede ver en las imágenes a continuación cómo funcionó el preprocesamiento para mitigar la mayor parte de la variación en los datos.
Utilice un solo método de preprocesamiento o utilícelos en combinación para aprovechar al máximo la estandarización de sus datos. Una de las combinaciones más comunes que se ven en muchos artículos científicos es tomar la 1ra Derivada de Savitzky-Golay y luego tomar el SNV para un paso final. Esta combinación funciona bien, pero no se avergüence de probar varias combinaciones para ver cuál funciona mejor para sus datos.
Figura 2. Datos NIR de la tableta Antes y después del preprocesamiento
Guarde los datos preprocesados como una nueva tabla apilada para realizar más pasos de análisis multivariado. Debe volver a transponer los datos al formato ancho para cualquier análisis adicional.
Modelado Wavelet
Anteriormente mostramos cómo usar B-Splines y P-Splines en FDE para modelar datos espectrales. Con JMP Pro 17, se agrega una nueva capacidad de modelado Wavelet principalmente para datos quimiométricos. Encontrará el nuevo modelo Wavelet alternar debajo del triángulo rojo (Explorador de datos funcionales > Modelos > Wavelets).
Figura 3. Modelos asociados a FDE en JMP Pro 17
El modelado de ondículas es mucho mejor para ajustar datos de curvas con muchos picos que cualquiera de los métodos de spline.
La salida del modelo Wavelet, como se ve a continuación, ajusta rápidamente los datos de los 310 lotes. El resultado sugiere que un modelo Symlet 4 se ajusta mejor a todos los datos de otros 15 algoritmos basados en los Criterios de Información Bayesianos (BIC). El modelo con el BIC más bajo es el mejor.
Figura 4. Selección del modelo Wavelet y mejor ajuste basado en BIC
Debido a que FDE encuentra el mejor modelo para la forma de la curva de interés, verá que los componentes principales funcionales (FPC) ahora se denominan funciones de forma.
Figura 5. Nueva designación de función de forma para datos FDE
También puede ver que la gráfica de valores propios todavía muestra cuánto explican las funciones de forma individuales la variación de forma.
En este punto, querrá guardar los resúmenes de funciones en una nueva tabla. Haga clic en el triángulo rojo de Resúmenes de funciones y seleccione Guardar resúmenes. Los componentes principales funcionales se guardarán con los coeficientes Wavelet en esta nueva tabla con sus variables complementarias. Revisaremos esta tabla en la sección Modelado predictivo.
Una nueva función del generador de gráficos de control también representa gráficamente los resúmenes de funciones por los FPC para cada ID de muestra.
Figura 6. Generador de gráficos de control Integrado en FDE.
Como antes, puede limitar el número de componentes utilizados para definir la forma utilizando la herramienta Selección de modelo FPCA. Esta reducción ayudará a simplificar su modelo cuando la mayor parte de la variación se explica por una menor cantidad de componentes de forma que los que se muestran en el modelo original.
Figura 7. Herramienta de selección de modelo de componente principal funcional (función de forma)
Análisis DOE de wavelets
La última función nueva es Wavelets DOE Analysis, que se encuentra en el menú del triángulo rojo para Wavelets (Wavelets on Reduce Grid (404)).
Las transformaciones son muy rápidas con datos en una cuadrícula. La cuadrícula reducida garantiza que los números de onda estén espaciados uniformemente, sin puntos decimales. JMP desarrolla la cuadrícula reducida para usted, pero puede controlar qué tan regular es la cuadrícula si así lo desea.
Figura 8. Opción de selección de Wavelet DOE.
Para estos datos, queremos ver qué curva o conjunto de curvas emula mejor un porcentaje de API determinado. Los coeficientes Wavelet se analizan rápidamente utilizando la plataforma de Regresión Generalizada. El analizador Wavelet DOE resultante se utiliza para encontrar la longitud de onda o establecer longitudes de onda que definen las diferencias entre los distintos niveles porcentuales. Debido a que los coeficientes representan longitudes de onda y resoluciones, se usan para construir un modelo más interpretable de lo que podría haber sido posible usando FPC.
Figura 9. Wavelet DOE Energy Graphic y FDOE Profiler.
En la imagen de arriba, la tabla Energía muestra las diferencias más significativas para todos los coeficientes. El coeficiente de Res 2 en la longitud de onda 8175 tiene la energía más alta y representa alrededor del 27 % de la energía total de las longitudes de onda activas. Como beneficio adicional, los coeficientes representan directamente longitudes de onda o picos específicos en los datos de la curva.
Construcción de un modelo predictivo a partir de los coeficientes Wavelet
La nueva tabla de resúmenes es útil para el análisis estadístico y el modelado predictivo. Los FPC podrían usarse para construir un modelo predictivo, o otra opción es construir un modelo predictivo basado en un subconjunto de datos de coeficientes Wavelet usando la plataforma de Regresión Generalizada. Como puede ver en el margen de la tabla a continuación, hay una columna para los 512 coeficientes Wavelet. Probablemente, solo necesitará un pequeño subconjunto de todos los coeficientes para construir un buen modelo predictivo.
Figura 10. Tabla de resúmenes del modelo Wavelet (coeficientes 512).
El siguiente modelo de regresión generalizada muestra el ajuste utilizando todos los datos de los coeficientes Wavelet como variables para el ajuste. La penalización de Elastic Net se utilizó con Elastic Net Alpha de 0,56 para incluir tantas longitudes de onda esenciales como fuera posible, pero para evitar el sobreajuste mediante el uso de todos los coeficientes 512 Wavelet en el modelo.
Figura 11. Ajuste del modelo de regresión generalizado.
Pruebe las nuevas técnicas con sus propios conjuntos de datos o solicite una demostración. Gracias nuevamente a nuestro excelente equipo de desarrollo, y esperamos escuchar sus comentarios sobre estas mejoras revolucionarias del software.
