Muchos instrumentos y sensores generan datos en un continuo. Analizar y comprender estos datos de "curva" puede ser, en el mejor de los casos, difícil, especialmente cuando se intenta analizar datos en todo el continuo. Muchas técnicas quimiométricas son opciones, pero para analizar datos de curvas, básicamente se analizan los datos punto por punto en lugar de la curva completa o el grupo de curvas a la vez.
El análisis de datos funcionales es uno de los métodos más recientes que se ha consolidado para el análisis de datos de curvas. Esta presentación utiliza casos prácticos sobre datos cromatográficos y espectrales que demuestran la utilidad de analizar datos en el continuo junto con métodos quimiométricos más tradicionales. Se destacan algunas de las técnicas de análisis quimiométrico más recientes en JMP Pro 18 Functional Data Explorer.
Hola a todos. Me llamo Bill Worley y hoy hablaremos sobre el Análisis de Datos Funcionales y, en esencia, un caso práctico sobre el uso del FDA para mostrar cómo se usa, dónde se usa o dónde podríamos usarlo. Quiero agradecerles desde el principio. Hay muchas contribuciones aquí, y todas están enumeradas. Sin duda, quiero destacar a Tom Donnelly y Chris Gottwalt. También a Pete Hersh, personas que realmente ayudaron a que esta presentación se hiciera realidad.
Un breve resumen de esto es que no solo nos centramos en el Análisis de Datos Funcionales, sino que también queremos integrar la tecnología analítica de procesos. El PAT se utiliza con frecuencia en la industria farmacéutica como parte de su calidad por diseño, y lo utilizan para reducir los tiempos de ciclo mediante mediciones en línea, en línea y fuera de línea. Es como un proceso continuo.
Esto es todo lo que ayuda a prevenir rechazos, desechos y cualquier reprocesamiento que pueda ser necesario. También permite pruebas de liberación en tiempo real y PAT con Análisis de Datos Funcionales o la tecnología analítica de procesos con Análisis de Datos Funcionales es y debería ser aplicable a cualquier industria. Creo que eso es solo una parte... Verán más sobre esto a medida que avancemos en la presentación. Pero cómo se integra o cómo puede integrarse.
Otra idea de qué son los datos funcionales. Queremos explorar curvas y formas, y extraer sus características para un análisis más profundo. Esto se hace en lugar de analizar los datos punto por punto. Muchos de nuestros datos se presentan de forma continua, y necesitamos capturar las formas complejas de las curvas en valores numéricos. Luego, queremos analizar las relaciones entre las formas de las curvas y otras variables.
¿Dónde encontramos datos funcionales? Como mencioné antes, muchos datos son inherentemente funcionales. Datos de series temporales, flujos de sensores de procesos de fabricación, espectros y mediciones realizadas en un rango de temperaturas. JMP Pro facilita la resolución de muchos de estos problemas con datos funcionales.
Con el Análisis de Datos Funcionales, se utilizan componentes principales funcionales para descomponer los datos en puntuaciones FPC y componentes de forma. En una reducción de dimensión estrechamente relacionada con el análisis de componentes principales clásico, las puntuaciones o ponderaciones LPC son magnitudes escalares que explican la variación entre funciones. Los componentes de forma explican la variación longitudinal observada en tiempo, distancia, longitud de onda y otros aspectos similares. Ajustamos modelos con las puntuaciones FPC y los agrupamos. Los graficamos como cualquier otro dato continuo.
Para los datos funcionales, ajustamos las puntuaciones de FPC como funciones de los factores DOE y utilizamos la puntuación de FPC multiplicada por los componentes de forma como fórmulas intermedias. Posteriormente, tomamos la puntuación de FPC modelada multiplicada por los componentes de forma como fórmula de predicción final.
¿Cómo manejamos los datos funcionales? Ya lo explicamos antes. Pero con JMP Pro puedes convertir un grupo de puntos discretos en un conjunto de componentes principales funcionales con solo unos clics.
Al ajustar un spline, un wavelet o un modelo directo a cada conjunto de datos funcionales y describir las curvas con FPC, obtendrá rápidamente nuevos conocimientos y comprensión de su proceso o producto. A continuación, mostramos un conjunto de curvas con el modelo utilizado para ajustar esos datos. Con los datos funcionales, se muestran los componentes principales funcionales por lote. En este caso, se trata de un ajuste spline.
Pero el punto clave de la charla de hoy será analizar o reanalizar datos espectrales de RMN de una mezcla de tres alcoholes mediante el análisis de datos funcionales. Este fue el artículo original de donde provienen los datos. Quiero felicitarlos por publicar esto. Luego, podremos reanalizar esos datos.
En los datos originales, se presenta el análisis cuantitativo de los espectros de RMN con Chemo metrics. A continuación, se presenta una superposición de las tres mezclas de alcoholes de los espectros de RMN: pentanol, butanol y propanol. Queremos descomponerlos con nuestro análisis y luego predecir cualquier mezcla resultante.
Para darles una mejor idea de los métodos de modelado espectral, todo tipo de métodos multivariantes. La reducción de dimensión es importante, y podemos usar el análisis de componentes principales para lograrlo. Escalamiento multidimensional, Explorador de Datos Funcionales.
La agrupación en clústeres también es importante. Ayuda a comprender mejor las agrupaciones existentes. Si necesita realizar un análisis de valores atípicos, puede usar gráficos de control multivariantes. Si va a crear modelos predictivos a partir de estos datos, usará métodos como mínimos cuadrados parciales o regresión penalizada. El análisis de datos funcionales, los bosques de bootstrap y otras redes neuronales admiten máquinas de vectores. Tiene muchas opciones.
Pero quiero hacer una comparación directa de algunos de estos métodos con ese. Para empezar, el análisis de componentes principales. Si observan estos datos, como pueden ver en el gráfico, tenemos los puntos 8, 20 y 18. Esos son nuestros niveles reales de propanol, butanol y pentanol.
Estamos obteniendo una especie de gráfico ternario, pero se necesitan muchos componentes principales para explicar al menos el 85% de la variación. Estamos analizando unos 18 componentes principales. Los datos siguen estando altamente correlacionados. Lo que se podría hacer con esto es guardar los componentes principales en la tabla de datos y realizar una regresión de componentes principales. Bueno, es un camino un poco largo para llegar a una respuesta, pero es factible.
Otra plataforma no funcional que analizamos o que podemos analizar son los mínimos cuadrados parciales. En este caso, podemos ajustar un modelo muy bueno, al menos en lo que respecta al butanol, pentanol y propanol. Con cinco factores latentes en lugar de 18 componentes principales.
Los componentes principales y los factores latentes son lo mismo, pero con valores parcialmente cuadrados. Al menos podemos explicar el porqué o obtener la variación del porqué, algo que no ocurre con los componentes principales.
Lo que se muestra aquí. Veamos la variación porcentual explicada. Con el modelo más pequeño de cinco factores, podemos ver que solo explicamos alrededor del 28 % de la variación en la X, pero podemos explicar rápidamente alrededor del 98 % de la variación, o un poco más del 98 %. Con dos factores latentes.
Este gráfico de arriba muestra dónde podríamos hacer una reducción variable. Tenemos el propanol, el butanol y el pentanol, y están coloreados, con cada longitud de onda incluida. Pero esta línea justo aquí, en 0.8, es como la regla general, el punto de corte, donde podríamos hacer una reducción variable y simplificar mucho este modelo si quisiéramos. Pero, de nuevo, esta es una forma no funcional. Estamos analizando los datos punto por punto. Todos estos modelos serán muy grandes, más allá de todo lo demás.
Pero luego podemos analizar el análisis funcional de datos con wavelets. Obtenemos un ajuste muy bueno con estos datos utilizando el modelo wavelet. El mejor modelo es el que tiene la puntuación AICc o BIC más baja. Aquí arriba se puede ver que explicamos aproximadamente el 86 %, casi la misma variación que observábamos en los componentes principales, pero lo hacemos con cinco componentes principales funcionales menos.
Ya es un modelo más simple. Si observamos los gráficos de comparación entre lo real y lo predicho, la función wavelet explica muy bien la variación que se produce. Ahora, si observamos aquí, a la derecha del gráfico de puntuación, tenemos algo así como un gráfico ternario. Tenemos nuestro pentanol, butanol y, perdón, propanol, butanol y pentanol aquí.
El pentanol es un poco más difícil de explicar. Presenta picos superpuestos con otros datos, por lo que en el gráfico de puntuación no se distingue fácilmente de los demás, pero aun así obtenemos un resultado razonable.
Otra opción para analizar mezclas es la llamada resolución de curva multivariante. Analizamos los datos en general. Esta es la resolución de curva multivariante utilizando todos los datos de validación, ya sea el pentanol o el propanol, butanol y pentanol. El resto de los datos son mezclas de estos tres alcoholes. En este caso, los usamos como datos de entrenamiento para predecir, o para ver si podemos predecir los datos de los alcoholes puros.
Nos va bien, especialmente con el propanol. Los otros dos quizá no sean tan buenos, pero sabemos qué componentes principales funcionales están asociados con cada uno en este caso.
Entonces, el componente principal funcional tres es el propanol. El butanol es el componente principal funcional dos. Luego, el pentanol es el componente principal funcional uno. Estamos obteniendo un buen resultado. Pero si observan los gráficos de diagnóstico, sí. Bueno, vamos bien. Pero como usamos las mezclas para intentar predecir la parte incorrecta de los materiales puros, vemos una especie de gráfico ternario, pero no vemos los otros tres. Les mostraré brevemente cómo se ve eso al ir en sentido inverso.
Bien, lo que se desprende de todo esto es que queremos intentar realizar un diseño funcional de experimentos o DOE funcional. En este ejemplo de mezcla de alcohol, el componente principal funcional tres está altamente correlacionado con la proporción de propanol. Esto permite cierta interpretación. Como mencioné antes, el FPC 1 está altamente correlacionado con el pentanol y el FPC 2 con el butanol. No siempre se obtiene este tipo de correlación al analizar los componentes principales funcionales y los factores.
En este caso, obtuvimos algunos, pero no mezclamos los FPC, sino los alcoholes. En eso nos centramos. Por eso es tan importante el DOE funcional. Ajustaremos estas puntuaciones como funciones de los componentes de hecho o factores. De esta manera, podemos interactuar fácilmente con este modelo y usarlo de forma práctica para predecir el impacto de los componentes o factores en los espectros.
Si recuerdan, mencionamos antes que los puntajes FPC son ponderaciones, es decir, cantidades escalares que explican la variación entre funciones, y los componentes de forma explican la variación longitudinal, las diferencias en el tiempo y aspectos similares. Longitud de onda.
Para el DOE funcional, ajustamos las puntuaciones de FPC como funciones del DOE. Luego, realizamos los mismos cálculos que explicamos antes. Bien. Dicho esto, llegamos a un perfilador de DOE funcional. Aquí es donde podemos comparar el aspecto de los espectros en diferentes proporciones de butanol, propanol y pentanol.
Bien. Hablaremos de eso en la demostración, que debería estar disponible ahora mismo. Permítanme salir de aquí y dejar esto de lado por un momento. Bien, estoy trabajando en un proyecto JMP. Estos son los datos. Tenemos 23 espectros de RMN por lote. Correcto. Ahí está su ID. Luego tenemos las diferentes proporciones de propanol, butanol y pentanol. Y luego tenemos mil columnas de datos de longitud de onda.
Los datos son muy amplios y están altamente correlacionados. Deberíamos tener todo esto en cuenta al realizar este análisis. Bien. Lo primero que analizamos es el análisis de componentes principales funcionales (ACP), el análisis de componentes principales normal, no el análisis de componentes principales funcionales.
Permítanme ampliar esto un poco para que puedan ver qué está pasando aquí. Si observamos el gráfico de puntuación y el gráfico de dispersión, podemos ver que la altura de los datos está altamente correlacionada. Si observamos los diferentes puntos, la estrella y las estrellas, el diamante y la estrella de aquí. Esos son nuestros materiales puros. Esto nos da una idea de que todavía estamos viendo un gráfico ternario. Estamos viendo mezclas.
Pero, de nuevo, si miramos aquí, tenemos que bajar a 80 o valores propios a 18 para explicar aproximadamente el 86 % de la variación. Bien. Aún hay muchos factores que debemos retomar y realizar una regresión de componentes principales cuando estemos listos. Una vez que los guardemos en la tabla de datos.
Si recordamos, hablamos de mínimos cuadrados parciales. Este nos muestra que podemos obtener una muy buena explicación de la variable Y, pudiendo predecir el pentanol, el butanol y el propanol con cinco factores latentes. Si bien no estamos explicando muy bien la variación de X, podemos mejorarla si queremos añadiendo más factores latentes para acercarnos al modelo de otros componentes principales. Pero creo que con esto, seguimos ahorrando mucho con solo usar este primer modelo.
Si observamos la T de Van der Voet, esto nos indica que no necesitamos superar los cinco factores latentes, ya que ahí es donde nuestro valor de T de Van der Voet llega a uno. Cualquier valor por encima de 0,1 podría considerarse un buen modelo. De hecho, podríamos bajar a dos, tres o cuatro. Pero por ahora, nos quedaremos con cinco.
Muy bien. Si observamos el gráfico de presión media raíz aquí abajo, vemos que, de nuevo, podemos usar cinco factores. Ese será nuestro valor más bajo, la presión media raíz, pero parece que los demás también son bastante bajos. Esto les da una idea del ajuste. Es muy útil porque los datos son muy precisos en estos gráficos de puntuación, estos gráficos de puntuación z. Esto indica que tenemos un modelo bastante bueno.
Estamos explicando, ya sabes, el 98% de la variación aquí, casi el 99% de la variación con solo dos factores latentes. Pero siempre podemos usar más si llegamos al 100%. ¡Genial! Este último ejemplo analiza de nuevo el VIP. Hablamos de poder usarlo para la selección de variables. De hecho, podríamos eliminar muchos de estos datos y aun así crear un modelo muy bueno.
Estos son dos análisis de componentes principales. Los mínimos cuadrados parciales son dos maneras de analizar datos que no se encuentran en una plataforma no funcional. Si pasamos de un Explorador de Datos Funcional a uno Funcional, lo primero que quiero mostrarles es simplemente observar los datos en formato sin procesar, ¿verdad? Acabamos de realizar el análisis. No procesamos los datos. Simplemente extrajimos los datos y luego ajustamos el modelo, bajando un poco.
Estos son datos de resolución de curva multivariante sin restricciones. En este caso, los datos podrían ser negativos, pero estamos bien con lo que tenemos. Observamos nuestro propanol o este lote, y ese es nuestro propanol. Estamos bien con esto. No lo estamos haciendo muy bien, pero sí bien. No tenemos validación ni conjunto de entrenamiento. No hemos usado nada de eso por ahora, pero creemos que estaremos bien si analizamos estos datos tal como están.
Si observan los gráficos de valores reales por predicción, quizá no mucho. Tenemos bastante dispersión, especialmente en el gráfico de residuos por predicción. Quizás queramos intentar mejorar un poco este modelo. Aunque ese es el caso, si observan aquí, aún tenemos nuestro propanol, butanol y pentanol. Es una especie de gráfico ternario, no perfecto, pero si usan la imaginación, se forma un triángulo, algo así.
Estamos analizando esa información. Nos va bastante bien con ese análisis. Luego, analizamos el análisis wavelet, como mostramos antes, y este funciona muy bien. Si quieres analizar datos de curvas como este, los wavelets son una excelente opción.
El único problema con las wavelets es que son casi idénticas a las de los componentes principales. Hay que recuperar los datos y luego realizar una regresión generalizada, especialmente con los datos que veremos aquí abajo.
Hay algunas puntuaciones que podrían obtenerse. Tendrán que hacerlo de nuevo; si observan estos datos, tenemos muchos componentes principales funcionales. Pero si observan el gráfico de puntuaciones, vemos que tenemos un triángulo bastante bueno. Un buen gráfico ternario. Creemos que estamos analizando los datos muy bien.
El Explorador de Datos Funcionales, que les mostré antes, ya está activo. Pueden ver cómo se mueven. Si llego al 100 % de propanol, los otros dos llegan a cero. Entonces verán cómo se ve la curva aquí. Esto también es útil si buscan maneras de comprender el aspecto de las curvas o cómo compararlas. Usar la función wavelet o cualquiera de estas funciones con el perfilador DOE funcional es una buena manera de comparar esas curvas. Bien.
Por último, pero no menos importante, aquí abajo se usa la resolución de la curva multivariante. Esto solo permite datos positivos. Si volvemos a mirar aquí arriba, esto acertó justo con el propanol. O sea, esto fue prácticamente perfecto para el propanol, ¿verdad? Estos son los otros dos que están aquí abajo, pero no fueron tan buenos. Obtuvimos el 93%, o estamos explicando el 93% de la variación con el butanol, y luego con el pentanol, fue alrededor del 83%. Eso debería ser el 100%. Los modelos están bien. No muy bien. Correcto.
Cuando añadimos validación, capacidad aquí, si observamos los datos de validación ahora, al usar... Aquí es donde usamos los materiales puros para intentar predecir los porcentajes de los otros alcoholes presentes. De nuevo, observamos algunas diferencias. Pero si volvemos a mirar aquí arriba, bueno, les mostraré la comparación en un momento. Si observamos estos datos, aquí están los de nuestro lote uno, no están nada mal. La comparación de la predicción de lo que obtenemos con lo que realmente hay es bastante precisa. Bien.
Jugando con todo eso o dejándolo todo de lado, recuerden que estamos analizando los gráficos reales y predichos; aún nos queda camino por recorrer, pero lo estamos haciendo bastante bien. Nada mal. Luego tenemos el perfilador de DOE funcional. De nuevo, podemos experimentar con esto y jugar a "qué pasaría si..." y comparar curvas con eso. Muy bien.
Por último, pero no menos importante, en este caso usamos los materiales puros como entrenamiento. Así que los usamos para predecir qué sucede en los demás datos. En este caso también obtuvimos buenos resultados. De nuevo, si observamos la primera fila, los porcentajes son casi exactos. Creo que fueron 0,8, 0,1 y 0,1. Nada mal. De acuerdo.
Volvamos a la presentación de PowerPoint y terminemos esto. Permítanme compartirlo de nuevo. La moraleja es que tienen todas estas opciones para analizar sus datos. Functional Data Explorer es una herramienta muy potente. Como decía antes, al comparar los valores reales con los previstos, si miramos aquí, podemos obtener esto. Veamos si podemos dibujarlo. Si miran aquí, lo hicimos bastante bien. Correcto.
Solo ese modelo en sí. Ahora hay otros, incluso el siguiente que se muestra a continuación, es bastante bueno en general, comparado con lo previsto. El modelo es bueno. Necesitamos mejorarlo un poco. Pero es realmente bueno, especialmente si se realizan mediciones en línea, tanto dentro como fuera de línea. Si se conservan los datos, mejor será el modelo. Bien.
Conclusiones. El análisis de datos funcionales mediante wavelets puede combinarse con el diseño de mezclas de experimentos. Permite predecir la RMN y prácticamente cualquier espectro, así como datos cromatográficos en función de los componentes y proporciones de la formulación. Se tomará esa información, se obtendrá el modelo de la FDA y el DOE y se podrá predecir la información que este espectro intenta proporcionar.
Luego, utilizando cualquiera de las técnicas de química analítica mencionadas, considerando una mezcla desconocida como objetivo y el modelo de mezcla FDA-DOE, se puede minimizar el error integrado del objetivo para predecir las proporciones de los componentes de la formulación. Lo hicimos en el segundo estudio.
Eso es todo. Y hay una cosa más. A ver si puedo quitarme esta sugerencia. Porque ahí vamos. Una conclusión más. El análisis de datos funcionales divide datos longitudinales altamente correlacionados, como espectros y cualquier dato de curva, en dos partes. Hemos hablado de esto: las funciones de forma que explican la variación longitudinal y las puntuaciones FPC que explican esa variación entre funciones.
Tomas esta información y la combinas con esto. Luego, usas tus métodos de diseño de experimentos y cualquier método de aprendizaje automático que desees, especialmente en este caso, el Explorador de Datos Funcionales o el Análisis de Datos Funcionales. Puedes aumentar tu capacidad predictiva usando esa información en el flujo original del sensor: flujo de datos, curvas o espectros. Bien.
Por último, pero no menos importante, querrás comunicar y compartir estos datos a medida que obtienes tus procesos, datos de tecnología analítica, mediciones y datos de transmisión. Quieres poder actualizarlos sobre la marcha y luego compartirlos con otros. Para ello, necesitas JMP Live.
Supongo que, para terminar, quiero darles las gracias, pero recuerden que con Functional Data Explorer y Process Analytical Technology Data pueden avanzar mucho en la creación de un buen modelo predictivo para sus datos, especialmente para las mezclas. Bien. Gracias a todos.
