| Vocero |
Transcripción |
| Bill Worley |
Hola a todos, soy Bill Worley, ingeniero de sistemas de JMP. Llevo casi siete años en JMP. Hoy hablaremos sobre... |
| |
Preprocesamiento de datos espectroscópicos para su análisis. Lo llamo una precuela porque ya di una charla sobre el análisis de datos espectrales en JMP, pero el preprocesamiento es un primer paso importante y les mostraré por qué. Profundicemos en ello. |
| |
Hablemos un poco del resumen. El preprocesamiento de datos espectroscópicos es un primer paso fundamental en la preparación de los datos, cualquier dato, para su análisis. |
| |
Podemos, ya sabes, hablar contigo sobre... vamos a revisar la demostración y mostrarte la variable normal estándar y las herramientas de suavizado de Savitzky-Golay en JMP. Estas herramientas de preprocesamiento son bastante comunes en todo el... |
| |
El mundo químico, la industria química y, en realidad, cualquiera que se dedique a la espectroscopia y analice datos espectroscópicos. Sabrían que... |
| |
Más información sobre la variable normal estándar de Savitzky-Golay y su uso. Por lo tanto, es un primer paso importante para ayudarle a construir modelos predictivos a partir de sus datos espectroscópicos sin procesar. |
| |
Por lo tanto, con un poco de fondo, los datos espectrales pueden ser muy confusos. El preprocesamiento se utiliza para suavizar, filtrar y corregir la línea base antes de construir estos modelos predictivos o cualquier otro modelo predictivo que desee crear. El filtrado de Savitzky-Golay y la variable normal estándar... |
| |
Son herramientas que se usan en JMP. Savitzky-Golay fue un complemento desarrollado por Ian Cox, así que... gracias a Ian por eso. La variable normal estándar requiere... |
| |
Algún tipo de fórmula y te mostraremos cómo integrarla en JMP. Y la última línea, esto es... el Constructor de Gráficos también es una herramienta invaluable para visualizar tus datos espectroscópicos y puede usarse como una plataforma alternativa para suavizar tus datos. |
| |
Pero volveremos a abordar eso a medida que avancemos en la charla. |
| |
¿Por qué hacemos esto? ¿Por qué querrías realizar algún tipo de preprocesamiento? Bueno, si observas eso, primero, esos espectros superiores ahí, o grupos de espectros, son los datos sin procesar de 100 espectros y realmente no se puede notar ninguna diferencia entre... |
| |
Ya sabes, una mezcla de 100% almidón o 100% gluten. Se pueden ver algunas diferencias, pero no se puede distinguir qué es qué. Bueno, |
| |
Lo que hacemos a partir de ahí es suavizar y filtrar Savitzky-Golay y luego tomamos esa primera derivada y eso nos da un conjunto de espectros mucho más limpio. |
| |
Bien agrupados, pero aún no completamente donde te gustaría. Y finalmente, después de aplicar el suavizado de la variable normal estándar, los espectros son mucho más limpios y es mucho más fácil ver dónde están los picos. |
| |
Se pueden observar las diferencias en los distintos grupos de espectros. De nuevo, hay 20 espectros para cada una de estas líneas rojas, grises y azules, y el resultado es mucho más claro. Se pueden observar los picos de las diferentes mezclas. |
| |
Bien, el filtrado Savitzky-Golay es un filtro digital que se aplica a los datos espectrales para suavizarlos. Lo bueno es que no altera el espectro general, ni la ubicación de los picos, ni nada parecido. Es una herramienta muy útil. |
| |
Utiliza convolución para suavizar y se basa en una fórmula de mínimos cuadrados lineales. |
| |
Esa primera y segunda derivada también son...también puedes controlarlas a partir de la señal suave. |
| |
También se puede filtrar cualquier dato irrelevante en ambos extremos del espectro. Si se llega a situaciones en las que, al principio, se tiene algo sin importancia y solo causará problemas a medida que avanza, y la situación se repite en el otro extremo. |
| |
Graph Builder le permite realizar incluso suavizados internos o filtrados internos que no puede hacer con Savitzky-Golay. |
| |
Complemento. Así, puede usar el filtro de datos local con el Constructor de Gráficos y definir con más detalle las áreas de interés. |
| |
Entonces, |
| |
Sigamos adelante. Savitzky-Golay |
| |
El análisis es que tenemos... si hacemos ese análisis, esta es una agrupación de espectros. Así que tenemos el suave... |
| |
La primera derivada, ahora un poco estirada. Y ponemos la línea cero ahí. Y con la primera derivada, puedes... |
| |
decir dónde están los picos, basándose en los puntos cero o el cruce de los puntos cero, correcto, de modo que eso le da una idea de dónde están los picos para cualquier valor dado. |
| |
Grupo de espectros, conjunto de espectros. Y para la segunda derivada, esto es un poco diferente. Ayuda a aplanar la línea base y, si hay picos superpuestos, ayuda. |
| |
Desarrolla más o observa mejor dónde se superponen y pasas de positivo a negativo, lo cual indica la superposición de picos y su posible ubicación. Así es como se usa esta herramienta. |
| |
La variable normal estándar en sí misma constituye la estandarización de los datos con respecto a los espectros individuales. Puede utilizarse sola o como herramienta de suavizado adicional, y hoy la utilizamos como herramienta adicional. |
| |
Se usa... |
| |
Se utiliza para corregir el desplazamiento de la línea base y las variaciones de intensidad global. Lo bueno es que elimina la variación de la línea base sin alterar la forma de los espectros, ¿verdad? |
| |
Y los datos, lo importante es esto (y lo verán cuando lo hagamos), que los datos deben estar apilados, ¿de acuerdo? |
| |
Muy bien, esta es solo una de las fórmulas que... |
| |
Podría usarse para configurar la fórmula de la variable normal estándar, y les mostraré cómo hacerlo. Hay un par de maneras diferentes, pero es un poco complejo y les mostraré cómo hacerlo. Lo importante aquí es que |
| |
Aquí tenemos la fórmula estándar para la columna estandarizada, pero debemos asegurarnos de usarla como variable, es decir, el espectro en sí. |
| |
Hay un pequeño truco para agregar eso. |
| |
Bien, entonces si hiciera la variación normal estándar solo en los datos sin procesar, así es como se vería. |
| |
Podemos ver las agrupaciones, cómo se desglosan las cosas, pero si calculamos la variable normal estándar después de calcular la primera derivada, queda mucho más claro. Se obtiene una idea mucho más clara de dónde se superponen los espectros, dónde... |
| |
donde quizás tengas que hacer un poco... donde entraría en juego esa segunda derivada, donde tienes picos superpuestos tal vez aquí, ¿verdad? |
| |
y quizás de vuelta aquí. Así que |
| |
Ahí es donde esto realmente ayuda a construir una mejor visión de lo que se observa. Y esa línea cero, de nuevo, indica dónde, al cruzarla, se encuentran los picos, utilizando la primera derivada. |
| |
Muy bien, veamos una demostración. |
| |
Esta bien, sal de ahí. |
| |
Hablemos de visualizar los datos... primero los datos. Recuerda, siempre que obtengas un nuevo conjunto de datos, lo mejor es extraerlos y visualizarlos. Es decir, graficarlos para tener una mejor idea de cómo se ven y a qué te enfrentas. Y ahora bajemos aquí y extraigamos... |
| |
Nuestros datos brutos de gluten. Bien, ya importamos los datos. Ahora necesitamos visualizarlos. Vayamos al Constructor de Gráficos. |
| |
Bien, lo primero que vamos a hacer es... |
| |
Mueve esto un poco hacia arriba, ve a datos sin procesar. Bien, ahora vamos a extraerlos. |
| |
Y estos son los datos puntuales, así que esto es lo que vimos antes de suavizar, antes de hacer cualquier otra cosa. Esos eran los datos de línea y, si puedo cambiarlos a... |
| |
Un gráfico paralelo, ¿verdad?, que me da los datos lineales de los espectros. De nuevo, no podemos ver mucho de lo que ocurre ahí, pero nos da una mejor idea de dónde se están desviando las cosas. Puedo hacer eso... |
| |
Podemos hacer algunas cosas aquí abajo, algo llamado... si es necesario, y verán esto con otros datos, esta fusión paralela. Pero eso no cambió nada. No unió nada como verán con algunos de los otros datos, así que voy a cerrar esto. |
| |
Bien, algunas de las otras herramientas que me gusta usar cuando visualizo los datos son el gráfico de control multivariado impulsado por modelos, y hagámoslo primero. |
| |
Entonces vamos a Analizar, Calidad y Proceso, y Gráfico de Control Multivariado Impulsado por Modelos. |
| |
Mueva esto hacia arriba. |
| |
Bien, no tengo datos históricos, así que digo: «Está bien». Y esto nos permite analizar los datos y decir: |
| |
Podemos ver agrupaciones de espectros, ¿verdad? Y, en general, esto es... solo quiero señalar esto, |
| |
Podemos explicar la mayor parte de la variación que observamos, al menos hasta el 85%, con dos componentes principales. ¿Y eso usando esta T al cuadrado? |
| |
La información que tenemos aquí. Y esto también nos indica dónde las cosas podrían estar fuera de control para un espectro dado, ¿cierto? ¿Por qué es diferente del resto del grupo? |
| |
Entonces, si paso el cursor sobre uno de estos puntos, puedo extraerlo, ¿cierto? Si paso el cursor sobre uno de los puntos fuera de control, de nuevo, lo extraigo. |
| |
Y ahora podemos ver, ¡vaya!, que son realmente diferentes. Hay algo diferente en estos espectros que debemos comprender mejor. En este caso, ya tenemos una mejor comprensión, porque sabemos que son mezclas, pero queremos observar eso. |
| |
Y saquemos este también. Bien, ese es otro más. Entre esos tres espectros, tenemos una mezcla bastante variada. Tenemos tres de los tres grupos y podríamos incluir los otros dos también, solo para ver. Pero lo dejaremos así por ahora. |
| |
Bien, ese es el gráfico de control multivariante basado en modelos. La otra herramienta que me gusta usar es... dentro de los métodos multivariantes, y se llama escalamiento multidimensional. |
| |
Y la razón por la que me gusta usar esto es que, especialmente para sistemas como este, |
| |
es que tenemos |
| |
Nuestros datos sin procesar de nuevo, ¿cierto? Y necesitamos... |
| |
Déjame configurar esto primero y te lo diré. |
| |
Tenemos dos dimensiones aquí, ¿verdad? Y eso se basa en lo que vimos antes, pero me gusta usarlas porque nos permite agrupar o visualizar los datos. Bien, |
| |
Hagámoslo. Tarda un segundo en aparecer. |
| |
Podemos ver que tenemos cinco grupos distintos de espectros, ¿verdad? Cada uno de ellos se relaciona con un grupo de nuestra mezcla de almidón y gluten. Si destaco este grupo aquí, es el primer grupo, que contiene 100 % almidón. |
| |
El grupo intermedio es una mezcla 50/50 y este grupo de aquí abajo es 100 % gluten. Bien, esto también resalta los datos en la tabla de datos, tal como se muestra allí, para que... |
| |
La interactividad también es buena. Esto también nos muestra que ya estamos haciendo un buen trabajo al poder desglosar los diferentes grupos. Si observamos el diagrama de Shepard, |
| |
tenemos R cuadrado de 1 y |
| |
Línea recta, bien. De nuevo, es una buena forma de visualizarlo, y se puede hacer más con esto, pero lo dejaremos para otro momento. |
| |
Bien, hasta ahora, |
| |
Hemos introducido los datos, los hemos visualizado, ¿de acuerdo? Y ahora necesitamos hacer un preprocesamiento. |
| |
Y lo que vamos a hacer, tengo estos, más o menos, aquí hay marcadores de posición, así que vamos a hacer un análisis de Savitzky-Golay y vamos a hacer una variable normal estándar, al menos en la primera derivada, ¿de acuerdo? |
| |
Bien, déjame aclarar esto un poco. |
| |
Bien, cierra eso. |
| |
Nuevamente, tomaremos esos datos sin procesar y usaremos el complemento Savitzky-Golay para realizar el análisis. Eso está en la sección de complementos. |
| |
Este es un complemento gratuito, así que puedes obtenerlo y lo pondremos a tu disposición. De nuevo, tomaremos los datos sin procesar, |
| |
Bien, y si quieres saber más sobre Savitzky-Golay, tenemos un enlace a Wikipedia aquí para que puedas usarlo. Pero vamos a usarlo para suavizar los datos en cada longitud de onda, ¿verdad?, y luego calcular la primera y la segunda derivada. Y digo, bien. |
| |
Y ahí vamos, y tenemos nuestros datos fluidos aquí. |
| |
Y una cosa, ya sabes, puedes ajustar esto según sea necesario, pero lo que queremos hacer es tomar esto, |
| |
Amplía esa ventana un poco. |
| |
Muy bien. |
| |
Haz eso. |
| |
Y puedes jugar con los polinomios aquí, el orden de ajuste del polinomio. |
| |
En este caso, no hay mucha diferencia si se utiliza un polinomio de octavo grado. Un segundo... de segundo orden funciona perfectamente. Bien, y luego podemos tomar esos datos de nuestra primera derivada. |
| |
Digamos que guardamos los datos sin problemas, ¿de acuerdo? Y podemos guardarlos de nuevo en la tabla de datos. Ya lo hice, así que no tengo que mostrarles el proceso, pero sepan que los datos se guardan de nuevo en la tabla de datos desde allí. |
| |
Vamos a cerrar esto. |
| |
Bien, ya estamos listos, pero ahora necesitamos el último paso, ¿no? Así que veamos... antes de continuar, retrocedamos y veamos... |
| |
Nuestros datos de Savitzky-Golay. Estos son los datos de la primera derivada. Me gustaría volver a analizarlos en el... |
| |
Constructor de gráficos, ¿verdad? Y mira, eso no parece muy prometedor, pero hagamos un gráfico paralelo. |
| |
Lo mejora un poco. Lo limpiamos y luego hacemos esta fusión paralela de escalas combinadas, y esto trae los datos a un nivel mucho más... |
| |
Visual... una mejor visualización que la que teníamos antes, ¿verdad? Podemos jugar con eso y, de nuevo, podríamos añadir nuestra propia línea cero aquí para comprender mejor dónde se cruzan los picos. |
| |
Pero esos son los datos de la primera derivada. Se pueden ver los grupos, pero no están completamente separados como nos gustaría para tener una mejor idea. |
| |
Así que ya está todo listo. Los datos están de nuevo en la tabla de datos. Voy a cerrarla, y luego recuerda que dije que hay que apilar los datos para... para calcular la variable normal estándar, así que tenemos que hacerlo. Primero, subdividamos algunos datos. |
| |
Está bien, entonces |
| |
Subconjunto todos estos. |
| |
Tablas. Subconjunto. |
| |
Todas las filas. Columnas seleccionadas y decir "OK". Listo, ya podemos empezar. |
| |
Bien. |
| |
Bueno, al menos... tenemos los datos separados, ¿verdad? Ahora tenemos que... apilarlos, ¿verdad? Y, de nuevo, esto es para poder filtrar todos los datos que necesitamos para la fórmula. |
| |
Entonces, en Tablas, Apilar. |
| |
Y estas son nuestras columnas que estamos apilando. |
| |
A la derecha, y apilando por fila. |
| |
Voy a seleccionar las columnas que queremos conservar. |
| |
Además de eso. Y después, |
| |
Lo siento... Solo estoy haciendo clic para configurarlo, pero ya se harán una idea. Lo dejaré abierto un momento para que vean lo que se necesita para lograrlo. Así que lo he guardado. |
| |
Mira el número 12 sin título. Son nuestros datos apilados, ¿verdad? Ahora podemos realizar la variable normal estándar. Una forma rápida de hacerlo es crear una nueva columna. |
| |
clic derecho. |
| |
Y tengo que crear esta fórmula desde aquí, desde el editor de fórmulas. Voy a usar esta herramienta estadística llamada |
| |
Estandarizar la columna, ¿cierto? Y si paso el cursor sobre esto, aquí, les da una idea de lo que están haciendo. ¿Qué significa estandarizado? ¿Cierto? Entonces vamos a... |
| |
Una media de 0 y una desviación estándar de 1, que es lo que buscamos con los datos y con respecto a todos los espectros dados. Por lo tanto, necesitamos tomar los datos |
| |
Aquí y entonces, recuerda que dije que teníamos que agregar esa bivariable, que en este caso serán los espectros. Voy a decir, bien. |
| |
Bien, eso nos da un conjunto de datos. Hay una forma más sencilla de hacerlo, o lo que creo que es más sencilla, pero también puede ser... |
| |
A veces lleva un poco más de tiempo. Pero si hago clic derecho en los espectros aquí mismo, y de nuevo, recuerda que lo hago porque necesitamos una bivariable, iré a la nueva información de la columna y crearé ese grupo. |
| |
Y tomaré mi columna de datos y haré clic derecho sobre ella y crearé una nueva columna de fórmula. |
| |
Vamos a pasar a la distribución y, recuerden, estandarizada. Estamos... así que queremos eso. |
| |
Media de 0; desviación estándar de 1. Selecciónalo y se genera la nueva columna. Lo bueno es que los datos coinciden, así que puedo respirar tranquilo porque lo hice bien. |
| |
Bien, ya lo tengo. Ahora, esto requiere que haga clic en esa columna. |
| |
Tomamos estos datos, los dividimos y los volvemos a colocar en la tabla de datos normal o inicial. Quiero mostrarles que... |
| |
Una vez que tengas los datos apilados, puedes hacer otras visualizaciones. Entonces, si vuelvo al Constructor de Gráficos, quiero tomar estos datos. |
| |
En el |
| |
Y, y luego voy a colocar la etiqueta, y esta es una forma genial de ver dónde está toda la variación. Así que estos son todos los... |
| |
Ya sabes, diagramas de caja para ver dónde... estás viendo la variación en los datos, así que es una muy buena manera de poder visualizar lo que está pasando. |
| |
Otra forma eficaz de usar el Constructor de Gráficos, y en este caso, los datos deben apilarse para lograrlo. Ahora, lo que también puede hacer es |
| |
Si extraemos los datos puntuales, los quitamos, los colocamos y luego podemos suavizarlos. Este suavizado individual es un promedio para todos los datos. Lo que queremos hacer es... |
| |
Suavizado Savitzky-Golay, por lo que necesito incorporar |
| |
La superposición, ¿verdad? Esos son todos los datos. Ahora será difícil verlos, pero haré esto (espero que puedan verlo): si selecciono "Suavizado", cambiaremos a Savitzky-Golay. |
| |
Correcto, y creo que... con suerte, viste que eso ahora se ajusta a esa línea, esa línea de suavizado allí. |
| |
Esa es otra forma de suavizar los datos, ¿verdad?, usando la ecuación de Savitzky-Golay. Y luego puedes convertirla en una ecuación cuadrática, hacer un recorte local y, finalmente, guardarla en la tabla de datos. |
| |
Lo dejaré así por ahora. |
| |
Bien, y recuerda, tuvimos que dividir estos datos y guardarlos en la tabla de datos. Voy a omitir el paso de división y luego simplemente volveré a los datos... a la tabla de datos original. |
| |
No necesito eso |
| |
Bien y luego cuando yo |
| |
Mire los datos nuevamente en Graph Builder. |
| |
Puedo tomar este grupo de variantes normales estándar, |
| |
Coloque eso. Nuevamente, no parece muy prometedor, pero haremos el gráfico paralelo y luego haremos clic derecho. |
| |
Combina esas escalas. |
| |
Y eso es básicamente nuestro suavizado terminado. Ya lo tenemos todo configurado. De nuevo, podríamos añadir una línea de cero aquí. |
| |
Si es necesario. Añadamos eso. |
| |
Cero y lo haremos de algún modo verde. |
| |
Ahí está, agrégalo. |
| |
Diga "Está bien" y luego, nuevamente, usará esto para ayudarle a determinar dónde están sus picos. |
| |
Basándome en el pico máximo cuando crucé ese punto cero, está bien. |
| |
Bueno, básicamente eso es todo. Volvamos a nuestro |
| |
PowerPoint. |
| |
Así que, en conclusión, el preprocesamiento... necesitábamos preprocesar los datos... preprocesar los datos para que estuvieran más limpios, para que fuera mucho más fácil trabajar con ellos. |
| |
Donde también con JMP... |
| |
JMP está haciendo esto... |
| |
Estamos trabajando para simplificar mucho este proceso. El preprocesamiento en JMP 16 será compatible con complementos y funciones integradas. |
| |
Estamos esperando con ansias JMP 17, donde se ofrecerá preprocesamiento en el Explorador de datos funcionales con opciones de suavizado espectral y de línea base mucho más sofisticadas, junto con detección y selección de picos. |
| |
Para analizar datos espectrales, por favor, hubo una charla que hice en 2020 para el Discovery |
| |
Múnich. Fue una charla virtual, pero te dará una buena idea de cómo usar JMP para analizar tus datos espectrales. |
| |
Y con esto, les agradezco y espero que les haya resultado útil. Por favor, háganmelo saber. |
