Vocero
|
Transcripción
|
| Bill Worley |
Hola a todos, soy Bill Worley, ingeniero de sistemas de JMP. Llevo casi siete años en JMP. Hoy estaremos hablando de |
| |
preprocesamiento de datos espectroscópicos para su análisis. Llamo a esto una precuela porque ya di una charla sobre el análisis de datos espectrales dentro de JMP, pero el procesamiento previo es un primer paso importante y le mostraré por qué. Entremos en ello. |
| |
Así que hablemos un poco de lo abstracto. El preprocesamiento de datos espectroscópicos es realmente un primer paso importante en la preparación de sus datos, cualquier dato, para el análisis. |
| |
Ya sabes, podemos hablar contigo sobre... vamos a revisar la demostración y demostrar la variación normal estándar y las herramientas de suavizado Savitzky-Golay en JMP. Estas son las herramientas de preprocesamiento que son bastante estándar en todo el mundo. |
| |
mundo químico, la industria química y realmente cualquiera que esté haciendo espectroscopia y analizando datos espectroscópicos. Ellos sabrían que... |
| |
Más información sobre la variación normal estándar Savitzky-Golay y cómo se utilizan. Nuevamente, es un primer paso importante para ayudarlo a construir modelos predictivos a partir de sus datos espectroscópicos sin procesar. |
| |
Entonces, con un poco de contexto, los datos espectrales pueden ser muy confusos. El procesamiento previo se utiliza para ayudar a suavizar, filtrar y corregir la línea de base antes de crear estos modelos predictivos o cualquier modelo predictivo que desee crear. El filtrado Savitzky-Golay y la variación normal estándar. |
| |
son herramientas que tienen... se utilizan en JMP. Savitzky-Golay fue un complemento desarrollado por Ian Cox, así que... gracias a Ian por eso. La variación normal estándar requiere un... |
| |
algún tipo de fórmula y le mostraremos cómo integrarla en JMP. Y luego, la última línea, esta es... Graph Builder también es una herramienta invaluable para visualizar sus datos espectroscópicos y puede usarse como una plataforma alternativa para suavizar sus datos. |
| |
Pero nuevamente entraremos en eso a medida que avancemos en la charla. |
| |
Por qué hacemos esto. ¿Por qué querrías hacer algún tipo de procesamiento previo? Bueno, si miras eso, primero, los espectros superiores de ahí, o grupos de espectros, son los datos sin procesar de 100 espectros y realmente no puedes notar ninguna diferencia entre |
| |
ya sabes, una mezcla de 100% almidón o 100% gluten. Puedes ver algunas diferencias, simplemente no... no puedes decir qué es qué. Bien, |
| |
lo que hacemos a partir de ahí, hacemos el suavizado y filtrado Savitzky-Golay y luego tomas esa primera derivada y eso te da un conjunto de espectros mucho más limpio, |
| |
muy bien agrupado, pero aún no completamente donde le gustaría estar. Y luego, finalmente, después de hacer ese suavizado variable normal estándar, los espectros son mucho más limpios y es mucho más fácil ver dónde están los picos. |
| |
Y puedes ver dónde están las diferencias en los diferentes grupos de espectros. Nuevamente hay 20 espectros para cada una de estas líneas rojas, grises y azules, y definitivamente es mucho más limpio. Puedes ver dónde están los picos de las diferentes mezclas. |
| |
Bien, entonces con el filtrado Savitzky-Golay, es un filtro digital que se suministra a sus datos espectrales con el fin de suavizarlos. Lo bueno de esto es que no altera el espectro general en sí, dónde están los picos y todo eso. Entonces es una buena herramienta allí. |
| |
Utiliza convolución para suavizar y se basa en una fórmula lineal de mínimos cuadrados. |
| |
Esa primera y segunda derivada también lo son... también puedes controlarlas a partir de la señal suave. |
| |
Y también se puede filtrar cualquier dato sin importancia en cualquier extremo del espectro. Si te encuentras en situaciones en las que, ya sabes, tienes algo al principio, simplemente no es importante y solo te arruinará a medida que avanzas y lo mismo, en el otro extremo. |
| |
Graph Builder le permite realizar incluso un suavizado o filtrado interno que no puede realizar con Savitzky-Golay. |
| |
complemento. De esta forma, puede utilizar el filtro de datos local con Graph Builder y definir aún más áreas de interés. |
| |
Entonces, |
| |
continúemos. Savitzky-Golay |
| |
El análisis es que tenemos... hemos hecho... si hacemos ese análisis, esta es una agrupación de espectros. Entonces tenemos la suavidad, |
| |
la primera derivada, ahora un poco estirada. Y ponemos la línea cero allí. Y con la primera derivada, puedes |
| |
decir dónde están los picos, basándose en los puntos cero o en el cruce de los puntos cero, cierto, eso te da una idea de dónde están los picos para un momento dado |
| |
grupo de espectros, conjunto de espectros. Y para la segunda derivada, eso es un poco diferente. Ayuda a aplanar la línea base y luego, si tienes picos que se superponen, te ayuda |
| |
desarrollar más o ver mejor dónde se superponen y pasar de positivo a negativo, lo cual es una indicación de picos superpuestos y dónde podrían estar. Bien, y así es como usas esa herramienta. |
| |
La propia variación normal estándar es nuevamente la estandarización de los datos con respecto a los espectros individuales. Se puede usar solo o como una herramienta de suavizado adicional y hoy lo estamos usando como una herramienta adicional. |
| |
Es usado... |
| |
se utiliza para corregir el cambio de línea base y corregir variaciones de intensidad global. Lo bueno es que elimina la variación inicial sin alterar la forma de los espectros, ¿verdad? |
| |
Y los datos, lo que pasa con esto, y lo verán cuando lo hagamos, es que los datos deben estar apilados, está bien. |
| |
Muy bien, esta es sólo una de las fórmulas que |
| |
podría usarse para configurar la fórmula variable normal estándar, y le mostraré cómo hacerlo. Hay un par de maneras diferentes, pero es un poco complicado y te mostraré cómo hacerlo. La parte importante aquí es que |
| |
Aquí tenemos la fórmula estándar para la columna estandarizada, pero tenemos que asegurarnos de usarla como variable y esos son los espectros en sí. Entonces |
| |
hay un pequeño truco para agregar eso. |
| |
Bien, entonces si hiciera la variación normal estándar solo en los datos sin procesar, así es como se vería. |
| |
Podemos ver las agrupaciones, podemos ver, ya sabes, cómo se desarrollan las cosas, pero si hiciéramos esa variación normal estándar después de hacer la primera derivada, sería mucho más limpio. Tienes una idea mucho mejor de dónde están los espectros o dónde se superponen, dónde, ya sabes, |
| |
donde quizás tengas que hacer un poco... donde esa segunda derivada entraría en juego, donde tienes picos superpuestos tal vez aquí, cierto, |
| |
y tal vez de regreso aquí. Entonces |
| |
Ahí es donde esto realmente ayuda a crear una mejor visión de lo que estás viendo. Y esa línea cero, nuevamente, dice, donde, ya sabes, al cruzar esto, esa línea cero es una indicación de picos, donde los picos están usando la primera derivada. |
| |
Muy bien, entremos en una demostración. |
| |
Muy bien, sal de ahí. |
| |
Así que hablemos de visualizar los datos... los datos primero. Recuerde, cada vez que obtenga un nuevo conjunto de datos, lo mejor que puede hacer es extraerlos y visualizarlos. Ya sabes, traza esos datos, obtén una mejor idea de cómo se ve a qué te enfrentas. Y bajemos aquí y levantemos |
| |
nuestros datos brutos de gluten. Bien, entonces hemos importado los datos. Ahora necesitamos visualizarlo un poco y hagámoslo... vayamos a Graph Builder. |
| |
Bien y las primeras cosas que vamos a hacer, |
| |
suba esto un poco, vaya a datos sin procesar. Bien, ahora vamos a hacer eso. |
| |
Y estos son los datos de puntos, así que esto es lo que... lo que vimos antes de suavizar, antes de hacer cualquier otra cosa. Esos eran los datos de esa línea y, si puedo cambiarlos a |
| |
un gráfico paralelo, cierto, que me da los datos lineales para los espectros. Nuevamente, no podemos ver mucho de lo que sucede allí, pero nos da una mejor idea de dónde están ocurriendo las cosas. Puedo hacer eso... |
| |
Podemos hacer algunas cosas aquí abajo, algo llamado... si es necesario, y verán esto con otros datos, este paralelo fusionado. Pero eso no cambió nada. No reunió ninguno como verán algunos de los otros datos, así que voy a cerrar eso. |
| |
Bien, y algunas de las otras herramientas que me gusta usar cuando visualizo los datos son el gráfico de control multivariado impulsado por el modelo, y hagámoslo primero. |
| |
Así que vamos a Analizar, Calidad y Proceso y Gráfico de control multivariado basado en modelo. |
| |
Mueve esto hacia arriba. |
| |
Bien, no tengo ningún dato histórico, así que digo Está bien. Y lo que esto nos permite hacer es mirar los datos y decir, está bien, |
| |
Podemos ver agrupaciones de espectros, ¿verdad? Y en su mayor parte, esto es... sólo quiero señalar esto, |
| |
Podemos explicar la mayor parte de la variación que estamos viendo, al menos hasta el 85% de la variación con dos componentes principales, está bien. ¿Y eso es usar esto? T al cuadrado |
| |
información que tenemos aquí. Y esto también nos dice dónde las cosas podrían estar fuera de control para un espectro determinado, ¿verdad? ¿Por qué es diferente al resto del grupo? |
| |
Entonces, si paso el cursor sobre uno de estos puntos, puedo sacarlo, ¿verdad? Si coloco el cursor sobre uno de los puntos fuera de control, nuevamente, lo saco, |
| |
y ahora podemos ver, guau, esos realmente son diferentes, ¿sabes? Hay algo diferente en estos espectros que tenemos que entender mejor. En este caso, ya lo entendemos mejor, porque sabemos que son mezclas, pero queremos ver eso. |
| |
Y saquemos este también. Muy bien, esa es una más otra vez. Entonces, entre esos tres espectros, tenemos una gran variedad de mezclas. Así que tenemos tres de los... tres de los grupos y podríamos poner los otros dos allí también, sólo para ver. Pero lo dejaremos así, por ahora. |
| |
Bien, ese es el gráfico de control multivariado impulsado por el modelo. La otra herramienta que me gusta usar es... está bajo métodos multivariados y se llama escalamiento multidimensional. |
| |
Y la razón por la que me gusta usar esto es, especialmente para sistemas como este, |
| |
es que tenemos |
| |
nuestros datos sin procesar otra vez, cierto, y necesitamos... |
| |
déjame configurar esto primero y te lo diré. |
| |
Tenemos dos dimensiones aquí, cierto, y eso se basa en lo que vimos antes, pero la razón por la que me gusta usarlas es que nos permite hacer algunas agrupaciones o visualizar algunas agrupaciones de los datos en sí. Está bien, |
| |
vamos a hacer eso. Esto tarda un segundo en aparecer. |
| |
Y podemos ver que tenemos cinco grupos distintos de espectros, así que cada uno de ellos tiene que ver con un grupo de nuestra mezcla de almidón y gluten. Si resalto este grupo aquí, ese es el primer grupo, que es todo, ya sabes, 100% almidón. |
| |
El grupo medio es una mezcla 50/50 y este grupo de aquí abajo es 100% gluten. Bien, entonces lo que hace es también resaltar los datos en la tabla de datos, tal como se muestra allí, de modo que |
| |
La interactividad también es agradable. Lo que esto también nos muestra es que ya estamos haciendo un trabajo bastante bueno... ya podemos desglosar cuáles son los diferentes grupos. Si miramos el diagrama de Shepard, |
| |
tenemos R cuadrado de 1 y |
| |
línea recta, está bien. Nuevamente, es una buena manera de visualizarlo, y hay más que puedes hacer con esto, pero lo dejaremos para otro momento. |
| |
Bien, hasta ahora, |
| |
Hemos incorporado los datos, los visualizamos, y ahora necesitamos realizar un procesamiento previo. |
| |
Y lo que vamos a hacer, tengo estos, más o menos, marcadores de posición, así que vamos a hacer un análisis de Savitzky-Golay y vamos a hacer algo de varite normal estándar, al menos en la primera. derivado, está bien. |
| |
Muy bien, déjame limpiar esto un poco. |
| |
Bien, cierra eso. |
| |
Y nuevamente tomaremos esos datos sin procesar y usaremos el complemento Savitzky-Golay para hacer el análisis. Eso está en complementos para mí. |
| |
Y este es un complemento gratuito, por lo que puede obtenerlo y nosotros lo publicaremos para usted. De nuevo, vamos a tomar los datos sin procesar, |
| |
Bien, y si quieres aprender más sobre de qué se trata Savitzky-Golay, tenemos un enlace de Wikipedia aquí para que puedas usarlo. Pero vamos a usar esto para ayudar a suavizar los datos en cada longitud de onda, ¿verdad? y luego tomaremos la primera y la segunda derivada. Y yo digo, está bien. |
| |
Y ahí vamos, y aquí tenemos nuestros datos fluidos. |
| |
Y una cosa, ya sabes, puedes ajustar esto según sea necesario, pero lo que queremos hacer es tomar esto, |
| |
ensancha un poco esa ventana. |
| |
Muy bien. |
| |
Haz eso. |
| |
Y aquí puedes jugar con los polinomios, el orden de ajuste de los polinomios. |
| |
En este caso, realmente no hace mucha diferencia ir a un polinomio de octavo orden. Un segundo... el segundo pedido funciona bien. Muy bien, entonces podemos tomar esos datos de nuestra primera derivada. |
| |
Digamos guardar datos fluidos, correcto, y podremos guardarlos nuevamente en la tabla de datos. Y ya lo hice, así que no tengo que mostrarles ese proceso, solo sepan que los datos luego se llevan nuevamente a la tabla de datos desde allí, está bien. |
| |
Cerremos eso. |
| |
Muy bien, y estamos listos para comenzar ahora, pero ahora tenemos que dar el último paso, ¿verdad? Así que veamos... antes de ir allí, regresemos y miremos |
| |
nuestros datos de Savitzky-Golay. Estos son los datos de la primera derivada. Me gustaría volver a ver esto bajo el |
| |
Generador de gráficos, a la derecha. Y mira, eso... simplemente no parece muy prometedor, pero hagamos una trama paralela. |
| |
lo hace un poco mejor. Y límpielo y luego hagamos esta fusión paralela de escalas combinadas, y esto lleva los datos a un estado mucho más |
| |
visual...una mejor imagen que la que teníamos antes, ¿verdad? Podemos jugar... jugar con eso y nuevamente podríamos agregar nuestra propia línea cero aquí para comprender mejor dónde se cruzan los picos. |
| |
Pero esos son los datos de la primera derivada. Es... puedes ver los grupos, pero no están, ya sabes, no están completamente separados como si realmente te gustaría tenerlos para tener una mejor idea, está bien. |
| |
Así que ahí estamos. Esos datos están nuevamente en la tabla de datos. Voy a cerrar eso, y luego recuerdo que dije, tienes que apilar los datos para... para hacer la variación normal estándar, así que tenemos que hacer eso. Primero subpongamos algunos datos aquí. |
| |
Muy bien, entonces |
| |
subconjunto de todos estos. |
| |
Mesas. Subconjunto. |
| |
Todas las filas. Columnas seleccionadas y diga Aceptar. Muy bien, ahora estamos listos para ir allí. |
| |
Bien. |
| |
Bueno, al menos, estamos... tenemos los datos separados, ¿verdad? Ahora tenemos que hacer...apilar los datos, ¿verdad? Y nuevamente, esto es para poder ponerle el filtro a todos los datos que necesitamos para la fórmula. |
| |
Entonces, en Tablas. Pila. |
| |
Y estas son nuestras columnas que estamos apilando. |
| |
A la derecha y apilar por fila. |
| |
Voy a seleccionar las columnas que queremos conservar. |
| |
Además de eso. Y después, |
| |
Lo siento... Sólo estoy haciendo clic para obtener esta configuración, pero ya entenderás la idea. Dejaré esto por un segundo para que la gente vea qué se necesita para llegar allí. Así que guardé esto. |
| |
Ya sabes, mira los 12 sin título ahora. Esos son nuestros datos apilados, cierto, y ahora podemos realizar esa variación normal estándar. Una forma rápida de hacerlo es crear una nueva columna, |
| |
botón derecho del ratón. |
| |
Y tengo que construir esta fórmula desde aquí, desde el editor de fórmulas. Voy a utilizar esta herramienta estadística llamada |
| |
columna estandarizar, derecha. Y si paso el cursor sobre esto, aquí, les da una idea de lo que están haciendo con eso. ¿Qué significa estandarizado? Entonces vamos a... |
| |
una media de 0 y una desviación estándar de 1, así que eso es lo que estamos tratando de obtener con los datos y con respecto a todos los espectros dados. Entonces necesitamos tomar los datos. |
| |
Aquí y entonces, recuerden que dije que teníamos que agregar esa bivariable, que, en este caso, serán los espectros. Voy a decir que está bien. |
| |
Muy bien, y eso nos da un conjunto de datos. Ahora hay una forma más sencilla de hacer esto, o lo que creo que es una forma más sencilla, pero también puede ser... |
| |
A veces lleva un poco más de tiempo. Pero si hago clic derecho en los espectros aquí y otra vez, recuerden que estoy haciendo esto porque necesitamos una bivariable. Así que iré a la información de la nueva columna y crearé ese grupo. |
| |
Y voy a tomar mi columna de datos y haré clic derecho en ella y haré una nueva columna de fórmula. |
| |
Pasaremos a la distribución y, recuerden, estandarizada. Somos... así que queremos eso. |
| |
media de 0; desviación estándar de 1. Seleccione eso y luego se construirá esa nueva columna. Lo bueno de esto es que los datos coinciden, así que puedo respirar aliviado de haberlo hecho bien. |
| |
Bien, ya lo tengo. Ahora, esto requeriría que desde aquí, voy a hacer clic en esa columna, |
| |
que tomemos estos datos, los dividamos y luego los volvamos a colocar en la tabla de datos normal o en la tabla de datos inicial. Una cosa que quiero mostrarles con esto es que |
| |
Una vez que tenga los datos apilados, puede hacer otras visualizaciones, ¿verdad? Entonces, si voy a... volver a la derecha del Generador de gráficos, quiero tomar estos datos. |
| |
en el |
| |
Y, luego quitaré la etiqueta y esta es una forma genial de ver dónde está toda la variación. Entonces estos son todos los, |
| |
ya sabes, diagramas de caja para dónde... estás viendo la variación en los datos, así que es una forma realmente agradable de poder visualizar lo que está sucediendo. |
| |
Otra forma poderosa de usar Graph Builder, y en este caso los datos deben apilarse para hacerlo. Ahora, lo que también puedes hacer es |
| |
Si ingresa los datos de puntos, quitémoslos, coloquemos los datos de puntos allí y luego podríamos suavizarlos un poco. Ahora bien, ese es un cálculo individual, por lo que es un promedio... para cada... para todos los datos. Lo que nos gustaría hacer es hacer eso. |
| |
Suavizado Savitzky-Golay, así que necesito detenerme |
| |
la superposición, cierto. Entonces esos son todos los datos. Ahora va a ser difícil de ver, pero voy a hacer esto, espero que puedan verlo, si selecciono bajo más suave, cambiaremos a Savitzky-Golay. |
| |
Bien, y creo que... con suerte, habrás visto que eso ahora encaja con esa línea, esa línea suavizada justo allí. |
| |
Esa es otra forma de suavizar los datos, cierto, usando Savitzky-Golay. Y luego puede cambiar esto a cuadrático, puede hacer algunos recortes locales aquí y, finalmente, puede guardarlo nuevamente en la tabla de datos. |
| |
Lo dejaré así por ahora. |
| |
Bien, recuerde que tuvimos que dividir estos datos y guardarlos nuevamente en la tabla de datos. Voy a renunciar al paso de división y luego volveré a los datos... la tabla de datos original. |
| |
No necesito eso. |
| |
Justo y entonces cuando yo |
| |
mire los datos nuevamente en Graph Builder, |
| |
Puedo tomar este grupo variable normal estándar, |
| |
deja eso ahí. Nuevamente, no parece muy prometedor, pero haremos el gráfico paralelo y luego haremos clic derecho. |
| |
Combina esas escalas. |
| |
Y ese es básicamente nuestro alisado terminado, ¿de acuerdo? Así que lo tenemos todo configurado. Nuevamente podríamos agregar una línea cero aquí, |
| |
si es necesario. Sigamos adelante y agreguemos eso. |
| |
Cero y lo haremos una especie de verde, |
| |
Ahí está, agrégalo. |
| |
Di "Está bien" y, de nuevo, usarías esto para ayudarte a determinar dónde están tus picos. |
| |
Basado en el pico máximo cuando crucé ese punto cero, está bien. |
| |
Más o menos, eso es todo. Volvamos a nuestro |
| |
PowerPoint. |
| |
Entonces, en conclusión, el preprocesamiento... necesitábamos preprocesar los datos... preprocesar los datos para que sean más limpios, para que sea mucho más fácil trabajar con ellos. |
| |
Donde también con JMP... |
| |
JMP está haciendo esto... |
| |
Estamos trabajando para que este sea un proceso mucho más fácil. El preprocesamiento en JMP 16 será compatible con complementos y capacidades integradas. |
| |
Esperamos con ansias el JMP 17, donde se realizará el preprocesamiento, lo que se ofrecerá en Functional Data Explorer con opciones de suavizado espectral y de línea de base mucho más sofisticadas, junto con algo de detección y selección de picos. |
| |
Para analizar datos espectrales, por favor, ahí... hubo una charla que hice allá por 2020 para el Discovery |
| |
Munich. Fue una charla virtual, pero le dará una buena idea de cómo utilizar JMP para analizar sus datos espectrales. |
| |
Y con eso, les diré gracias y, con suerte, todos ustedes encontraron... encuentren esto útil. Por favor hágamelo saber. |
