Vocero
|
Transcripción
|
| Bill Worley |
Hola a todos, soy Bill Worley, ingeniero de sistemas de JMP. Llevo casi siete años en JMP. Hoy estaremos hablando de |
| |
preprocesamiento de datos espectroscópicos para su análisis. Llamo a esto una precuela porque ya di una charla sobre el análisis de datos espectrales dentro de JMP, pero el procesamiento previo es un primer paso importante y le mostrará por qué. Entremos en ello. |
| |
Así que hablemos un poco de lo abstracto aquí. El preprocesamiento de datos espectroscópicos es realmente un primer paso importante en la preparación de sus datos, cualquier dato, para el análisis, en realidad. |
| |
Podemos, ya sabe, hablar con usted sobre ... vamos a revisar la demostración y demostrar la variante normal estándar y las herramientas de suavizado Savitzky-Golay en JMP. Estas son las herramientas de preprocesamiento que son bastante estándar en todo el |
| |
mundo químico, la industria química y realmente cualquiera que esté haciendo espectroscopía y analizando datos espectroscópicos. Ellos sabrían que ... |
| |
más sobre la variante normal estándar de Savitzky-Golay y cómo se utilizan. De nuevo, es un primer paso importante para ayudarlo a construir modelos predictivos a partir de sus datos espectroscópicos sin procesar. |
| |
Por lo tanto, con un poco de fondo, los datos espectrales pueden ser muy confusos. El procesamiento previo se utiliza para ayudar a suavizar y filtrar y corregir la línea de base antes de crear estos modelos predictivos o cualquier modelo predictivo que desee crear. El filtrado Savitzky-Golay y la variante normal estándar |
| |
son herramientas que tienen ... se utilizan en JMP. El Savitzky-Golay fue un complemento que fue desarrollado por Ian Cox, así que eso es ... gracias a Ian por eso. La variante normal estándar requiere un ... |
| |
algún tipo de fórmula y le mostraremos cómo construir eso en JMP. Y luego la última línea, esta es ... Graph Builder también es una herramienta invaluable para visualizar sus datos espectroscópicos y que puede usarse como una plataforma alternativa para suavizar sus datos. |
| |
Pero de nuevo entraremos en eso a medida que avancemos en la charla. |
| |
Por qué hacemos esto. ¿Por qué querría hacer algún tipo de procesamiento previo? Bueno, si miras eso, primero, esos espectros superiores allí mismo, o grupos de espectros, esos son los datos sin procesar de 100 espectros y realmente no puedes notar ninguna diferencia entre |
| |
ya sabes, una mezcla de 100% almidón o 100% gluten. Puedes ver algunas diferencias, pero no ... no puedes saber qué es qué. Bien, |
| |
lo que hacemos a partir de ahí, hacemos el suavizado y filtrado de Savitzky-Golay y luego tomas esa primera derivada y eso te da un conjunto de espectros mucho más limpio, |
| |
bien agrupados, pero aún no completamente donde le gustaría estar. Y luego, finalmente, después de hacer ese suavizado variable normal estándar, los espectros son mucho más limpios, mucho más fácil de ver dónde están los picos. |
| |
Y puede ver dónde están las diferencias en las diferentes agrupaciones de espectros. Entonces, nuevamente, hay 20 espectros para cada una de estas líneas rojas a líneas grises a líneas azules, y definitivamente es mucho más limpio. Puede ver dónde están los picos para las diferentes mezclas. |
| |
Bien, con el filtrado Savitzky-Golay, es un filtro digital suministrado a sus datos espectrales con el propósito de suavizar. Lo bueno de esto es que no altera los espectros generales en sí, dónde están los picos y todo eso. Así que es una buena herramienta ahí. |
| |
Utiliza la convolución para suavizar y se basa en una fórmula de mínimos cuadrados lineales. |
| |
Esa primera y segunda derivadas también son ... también puedes domesticarlas de la señal suave. |
| |
Y también se puede filtrar cualquier dato sin importancia en cualquier extremo de los espectros. Si te encuentras en situaciones en las que, sabes, tienes algo al principio, simplemente no es importante y solo te va a estropear a medida que avanzas y lo mismo, en el otro extremo. |
| |
Graph Builder le permite realizar incluso un filtrado interno o un suavizado interno que no puede hacer con Savitzky-Golay. |
| |
complemento. Por lo tanto, puede utilizar el filtro de datos locales con Graph Builder y definir aún más las áreas de interés. |
| |
Asi que, |
| |
continúemos. Savitzky-Golay |
| |
El análisis es que tenemos el ... lo hemos hecho ... si hacemos ese análisis, esto es una agrupación de espectros. Entonces tenemos la suavidad |
| |
la primera derivada, ahora estirada un poco. Y ponemos la línea cero ahí. Y con la primera derivada, puedes |
| |
decir dónde están los picos, en función de los puntos cero o el cruce de los puntos cero, a la derecha, de modo que le dé una idea de dónde están los picos para cualquier punto dado. |
| |
grupo de espectros, conjunto de espectros. Y para la segunda derivada, ahora eso es un poco diferente. Ayuda a aplanar la línea de base y luego, si tiene picos que se superponen, le ayuda |
| |
desarrolle aún más o vea mejor dónde se superponen y pasa de positivo a negativo, lo que es una indicación de picos superpuestos y dónde podrían estar. De acuerdo, y así es como usas esa herramienta. |
| |
La variante normal estándar en sí misma es nuevamente la estandarización de los datos con respecto a los espectros individuales. Se puede usar solo o como una herramienta de suavizado adicional y lo estamos usando como una herramienta adicional hoy. |
| |
Es usado... |
| |
se utiliza para corregir el cambio de línea de base y corregir las variaciones de intensidad global. Lo bueno es que elimina la variación de la línea de base sin alterar la forma de los espectros, ¿verdad? |
| |
Y los datos, lo que pasa con esto es, y lo verán cuando lo hagamos, es que los datos deben apilarse, está bien. |
| |
Muy bien, esta es solo una de las fórmulas que |
| |
se puede utilizar para configurar la fórmula de variación normal estándar, y le mostraré cómo hacerlo. Hay un par de formas diferentes, pero se complica un poco y te mostraré cómo hacerlo. La parte importante aquí es que |
| |
tenemos la fórmula estándar aquí para la columna estandarizada, pero tenemos que asegurarnos de que la usamos por variable y ese es el espectro en sí. Asi que |
| |
hay un pequeño truco para agregar eso. |
| |
Bien, entonces si hiciera la variación normal estándar solo en los datos sin procesar, así es como se vería. |
| |
Podemos ver las agrupaciones, podemos ver, ya sabes, cómo se desencadenan las cosas, pero si hicimos esa variante normal estándar después de hacer esa primera derivada, es mucho más limpio. Tienes una idea mucho mejor de dónde están los espectros o dónde se superponen, dónde, ya sabes, |
| |
donde podría tener que hacer un poco ... donde esa segunda derivada entraría en juego, donde tiene picos superpuestos tal vez aquí, correcto, |
| |
y tal vez de vuelta aquí. Asi que |
| |
ahí es donde esto realmente ayuda a construir una mejor visión de lo que está viendo. Y esa línea cero, de nuevo, dice, donde, ya sabes, cuando cruzas esto, esa línea cero es una indicación de picos, donde los picos están usando la primera derivada. |
| |
Muy bien, entremos en una demostración. |
| |
Muy bien, sal de ahí. |
| |
Así que hablemos de visualizar los datos ... los datos primero. Recuerde, siempre que obtenga un nuevo conjunto de datos, lo mejor que puede hacer es extraerlo y visualizarlo. Ya sabes, grafica esos datos, ten una mejor idea de cómo se ve a lo que te enfrentas. Y bajemos aquí y levantemos |
| |
nuestros datos crudos de gluten. Bien, entonces hemos importado los datos. Ahora tenemos que visualizarlo, y hagámoslo ... vayamos a Graph Builder. |
| |
Bien y las primeras cosas que vamos a hacer |
| |
mueva esto un poco hacia arriba, vaya a datos sin procesar. Bien, ahora vamos a sacar eso. |
| |
Y estos son los datos puntuales, así que esto es lo que ... lo que vimos antes antes de suavizar, antes de hacer cualquier otra cosa. Esa era la línea de datos y, si puedo cambiarla a |
| |
una gráfica paralela, a la derecha, que me da los datos lineales de los espectros. Una vez más, no podemos ver mucho de lo que está sucediendo allí, pero nos da una mejor idea de dónde están cayendo las cosas. Puedo hacer eso ... |
| |
podemos hacer algunas cosas aquí, algo llamado ... si es necesario, y verá esto con otros datos, este paralelo se fusionó. Pero eso no cambió nada. No reunió ninguno como verán algunos de los otros datos, así que voy a cerrar eso. |
| |
Correcto, y algunas de las otras herramientas que me gusta usar cuando visualizo los datos son el gráfico de control multivariante impulsado por el modelo, y hagámoslo primero. |
| |
Así que vamos a Analizar, Calidad y proceso, y Gráfico de control multivariante impulsado por modelo. |
| |
Mueva esto hacia arriba. |
| |
Bien, no tengo ningún dato histórico, así que digo de acuerdo. Y lo que esto nos permite hacer es mirar los datos y decir, está bien, |
| |
podemos ver agrupaciones de espectros, a la derecha. Y en su mayor parte, esto es ... solo quiero señalar esto, |
| |
podemos explicar la mayor parte de la variación que estamos viendo, al menos hasta el 85% de la variación con dos componentes principales, de acuerdo. ¿Y eso está usando esto ??? T al cuadrado |
| |
información que tenemos aquí. Y esto también nos dice dónde las cosas podrían estar fuera de control para un espectro dado, ¿verdad? ¿Por qué es diferente al resto del grupo? |
| |
Entonces, si coloco el cursor sobre uno de estos puntos, puedo sacarlo, ¿verdad? Si coloco el cursor sobre uno de los puntos fuera de control, nuevamente, sáquelo, |
| |
y ahora podemos ver, guau, esos son realmente diferentes, ya sabes. Hay algo diferente en este espectro que tenemos que, ya sabes, quizás entender mejor. En este caso, ya lo entendemos mejor, porque sabemos que son mezclas, pero queremos ver eso. |
| |
Y saquemos este también. Muy bien, eso es uno más de nuevo. Entonces, entre esos tres espectros, tenemos una gran variedad de, ya sabes, la mezcla. Así que tenemos tres de ... tres de los grupos y podríamos poner los otros dos allí también, solo para ver. Pero lo dejaremos así, por ahora. |
| |
Bien, ese es el gráfico de control multivariante impulsado por modelo. La otra herramienta que me gusta usar es ... está bajo métodos multivariados y se llama escalamiento multidimensional. |
| |
Y la razón por la que me gusta usar esto es, especialmente para sistemas como este, |
| |
es que tenemos |
| |
nuestros datos sin procesar de nuevo, correcto, y tenemos que ... |
| |
déjame configurar esto primero y te lo diré. |
| |
Tenemos dos dimensiones aquí, correcto, y eso se basa solo en lo que vimos antes, pero la razón por la que me gusta usar es que nos permite hacer algunas agrupaciones o visualizar algunas agrupaciones de los datos en sí. Está bien, |
| |
vamos a hacer eso. Esto tarda un segundo en aparecer. |
| |
Y podemos ver que tenemos cinco grupos distintos de espectros, correcto, así que cada uno de ellos tiene que ver con un grupo de nuestra mezcla de almidón y gluten. Si destaco este grupo aquí mismo, ese es el primer grupo, que es todo, ya sabes, 100% almidón. |
| |
El grupo del medio es una mezcla 50/50 y este grupo de aquí es 100% gluten. Bien, entonces lo que hace es que también resalta los datos en la tabla de datos, tal como se muestra allí, de modo que |
| |
la interactividad también es agradable. Lo que esto también nos muestra es que estamos haciendo un trabajo bastante bueno de ya ... ya de poder desglosar cuáles son los diferentes grupos. Si miramos el diagrama de Shepard, |
| |
tenemos R cuadrado de 1 y |
| |
línea recta, está bien. De nuevo, una buena forma de visualizarlo, y hay más que puedes hacer con esto, pero lo dejaremos para otro momento. |
| |
Bien, hasta ahora, |
| |
hemos traído los datos, los hemos visualizado, correcto, y ahora tenemos que hacer un procesamiento previo. |
| |
Y lo que vamos a hacer, tengo estos, más o menos, aquí están los marcadores de posición, así que vamos a hacer un análisis de Savitzky-Golay y vamos a hacer algo de varita normal estándar, al menos en la primera derivado, de acuerdo. |
| |
Muy bien, déjame limpiar esto un poco. |
| |
Bien, ciérralo. |
| |
Y nuevamente tomaremos esos datos sin procesar y usaremos ese complemento de Savitzky-Golay para hacer el análisis. Así que eso está debajo de los complementos para mí. |
| |
Y este es un complemento gratuito, por lo que puede obtenerlo y lo publicaremos para usted. De nuevo, vamos a tomar los datos sin procesar, |
| |
correcto, y si desea obtener más información sobre de qué se trata Savitzky-Golay, tenemos un enlace de Wikipedia aquí para que pueda usarlo. Pero usaremos esto para ayudar a suavizar los datos en cada longitud de onda, correcto, y luego tomaremos esa primera y segunda derivada. Y yo digo, está bien. |
| |
Y ahí vamos, y tenemos nuestros datos fluidos aquí. |
| |
Y una cosa, ya sabes, puedes ajustar esto según sea necesario, pero lo que queremos hacer es tomar esto, |
| |
ensancha esa ventana un poco. |
| |
Alrigh. |
| |
Haz ese. |
| |
Y puedes jugar con los polinomios aquí, el orden de ajuste polinomial. |
| |
En este caso, realmente no hay mucha diferencia para ir a, qué, un polinomio de octavo orden. Un segundo ... el segundo orden funciona bien. Muy bien, y luego podemos tomar esos datos de nuestra primera derivada. |
| |
Digamos guardar datos sin problemas, a la derecha, y podemos guardarlos de nuevo en la tabla de datos. Y ya lo he hecho, así que no tengo que mostrarte ese proceso, pero debes saber que los datos se devuelven a la tabla de datos desde allí, está bien. |
| |
Cerremos eso. |
| |
Muy bien, y estamos listos para irnos ahora, pero ahora tenemos que hacer el último paso, ¿verdad? Así que veamos ... antes de ir allí, regresemos y veamos |
| |
nuestros datos de Savitzky-Golay. Entonces, estos son los primeros datos derivados. Quisiera volver a mirar esto bajo el |
| |
Generador de gráficos, a la derecha. Y mira, eso ... no parece muy prometedor allí, pero hagamos una trama paralela, |
| |
lo hace un poco mejor. Y límpielo y luego hagamos esta combinación de escalas combinadas en paralelo, y esto lleva los datos a un aspecto mucho más |
| |
visual ... una imagen mejor que la que teníamos antes, ¿verdad? Podemos jugar el ... jugar con eso y nuevamente podríamos agregar nuestra propia línea cero aquí para tener una mejor comprensión de dónde se cruzan los picos. |
| |
Pero esos son los primeros datos derivados. Es ... puedes ver los grupos, pero no están, ya sabes, no están completamente separados como realmente te gustaría tenerlos para tener una mejor idea, de acuerdo. |
| |
Así que estamos allí. Esa información está de vuelta en la tabla de datos. Voy a cerrar eso, y luego recordar que dije, tienes que apilar los datos para ... para hacer la variante normal estándar, así que tenemos que hacer eso. Primero, hagamos un subconjunto de algunos datos. |
| |
Bien, entonces |
| |
subconjunto todos estos. |
| |
Mesas. Subconjunto. |
| |
Todas las filas. Columnas seleccionadas y decir ok. Muy bien, ahora estamos listos para ir allí. |
| |
Correcto. |
| |
Bueno, al menos, lo estamos ... tenemos los datos separados, ¿no? Ahora tenemos que hacer ... apilar los datos, ¿no? Y nuevamente, esto es para poder poner el filtro a todos los datos que necesitamos para la fórmula. |
| |
Así que debajo de Tablas. Apilar. |
| |
Y estas son nuestras columnas que estamos apilando. |
| |
Derecha y apilar por fila. |
| |
Voy a seleccionar las columnas que queremos mantener. |
| |
Además de eso. Y después, |
| |
Lo siento ... Solo estoy haciendo clic para obtener esta configuración, pero entenderás la idea. Dejaré esto por un segundo para que la gente vea lo que se necesita para llegar allí. Así que guardé esto. |
| |
Ya sabes, mira los 12 sin título ahora. Esos son nuestros datos apilados, correcto, y ahora podemos realizar esa variante normal estándar. Una forma rápida de hacerlo es crear una nueva columna, |
| |
botón derecho del ratón. |
| |
Y tengo que construir esta fórmula desde aquí, desde el editor de fórmulas. Voy a utilizar esta herramienta estadística llamada |
| |
columna estandarizar, derecha. Y si coloco el cursor sobre esto, aquí, esto te da una idea de lo que estás haciendo con eso. ¿Qué significa estandarizado? Entonces vamos a ... |
| |
una media de 0 y una desviación estándar de 1, así que eso es lo que estamos tratando de obtener con los datos y con respecto a todos los espectros dados. Entonces necesitamos tomar los datos |
| |
aquí y entonces, recuerden que dije que teníamos que agregar esa bivariable, que es, en este caso, los espectros. Voy a decir que está bien. |
| |
Muy bien, y eso nos da un conjunto de datos. Ahora hay una forma más sencilla de hacer esto, o lo que creo que es una forma más sencilla, pero también puede ser ... |
| |
a veces lleva un poco más de tiempo. Pero si hago clic con el botón derecho en los espectros aquí y nuevamente, recuerde que estoy haciendo esto porque necesitamos una bivariable. Así que iré a la información de la nueva columna y haré ese grupo. |
| |
Y voy a tomar mi columna de datos y voy a hacer clic derecho en eso y voy a hacer una nueva columna de fórmula. |
| |
Vamos a pasar a distribucional y recordar, estandarizado. Somos ... así que queremos eso |
| |
media de 0; desviación estándar de 1. Seleccione eso y luego eso construirá esa nueva columna. Lo bueno de esto es que los datos coinciden, por lo que puedo dar un suspiro de alivio por haberlo hecho bien. |
| |
Bien, lo tengo. Ahora, esto requeriría desde aquí, voy a hacer clic en esa columna, |
| |
que tomamos estos datos, los dividimos y luego los volvemos a colocar en la tabla de datos normal o en la tabla de datos inicial. Una cosa que quiero mostrarte con esto es que |
| |
Una vez que tenga los datos apilados, puede hacer algunas otras visualizaciones, ¿verdad? Entonces, si voy a ... de vuelta al Generador de gráficos a la derecha, quiero tomar estos datos |
| |
en el |
| |
Y, y luego voy a tirar de la etiqueta, y esta es una forma genial de ver dónde está toda la variación. Así que estos son todos los |
| |
ya sabes, diagramas de caja para dónde ... estás viendo la variación en los datos, así que esa es una forma realmente agradable de poder visualizar lo que está sucediendo. |
| |
Otra forma poderosa de usar Graph Builder, y los datos deben apilarse en este caso para hacer eso. Ahora, lo que también puedes hacer es |
| |
si extrae los datos de puntos, eliminemos eso, coloquemos los datos de puntos allí y luego podríamos suavizar un poco. Eso es una fluidez individual, por lo que es un promedio ... para cada ... para todos los datos. Lo que nos gustaría hacer es hacer eso |
| |
Suavizado Savitzky-Golay, así que necesito tirar |
| |
la superposición, a la derecha. Entonces esos son todos los datos. Ahora va a ser difícil de ver, pero voy a hacer esto, espero que puedan ver esto, si selecciono bajo más suave, vamos a cambiar a Savitzky-Golay. |
| |
Correcto, y creo que estás ... con suerte, viste que eso ahora encaja en esa línea, esa línea de suavizado allí mismo. |
| |
Esa es otra forma de suavizar los datos, ¿verdad? Usando Savitzky-Golay. Y luego puede cambiar esto a una cuadrática, puede hacer algunos recortes locales aquí y, en última instancia, puede guardar eso de nuevo en la tabla de datos. |
| |
Voy a dejarlo así por ahora. |
| |
Bien y recuerde, tuvimos que dividir estos datos, guardarlos de nuevo en la tabla de datos. Voy a renunciar al paso de división y luego volveré a los datos ... la tabla de datos original. |
| |
No necesito eso. |
| |
Justo y luego cuando yo |
| |
mire los datos nuevamente en Graph Builder, |
| |
Puedo tomar este grupo de variantes normales estándar, |
| |
suelta eso. Una vez más, no parece muy prometedor, pero haremos el gráfico paralelo y luego haremos clic con el botón derecho. |
| |
Combina esas escalas. |
| |
Y ese es básicamente nuestro alisado terminado, de acuerdo. Así que lo tenemos todo configurado. Nuevamente, podríamos agregar una línea cero aquí, |
| |
si es necesario. Sigamos adelante y agreguemos eso. |
| |
Cero y lo haremos una especie de verde |
| |
ahí está, agrégalo. |
| |
Diga Okay, y luego nuevamente, usaría esto para ayudarlo a descubrir dónde están sus picos. |
| |
Basado en el pico máximo cuando crucé ese punto cero, está bien. |
| |
Bastante, eso es todo. Volvamos a nuestro |
| |
PowerPoint. |
| |
Entonces, en conclusión, el preprocesamiento ... necesitábamos preprocesar los datos ... preprocesar los datos para que estén más limpios, para que sea mucho más fácil trabajar con ellos. |
| |
Donde también con JMP ... |
| |
JMP está haciendo esto ... |
| |
estamos trabajando para que este sea un proceso mucho más sencillo. El preprocesamiento en JMP 16 será compatible con complementos y capacidad incorporada. |
| |
Esperamos con ansias el JMP 17, donde el preprocesamiento, lo que se ofrecerá en el Explorador de datos funcionales con opciones de suavizado espectral y de línea de base mucho más sofisticadas, junto con alguna detección y selección de picos. |
| |
Para analizar datos espectrales, por favor, allí ... hubo una charla que hice en 2020 para el Discovery |
| |
Munich. Fue una charla virtual, pero le dará una buena idea de cómo usar JMP para analizar sus datos espectrales. |
| |
Y con eso, les daré las gracias y, con suerte, todos ustedes encontraron ... encontrarán esto útil. Por favor hagamelo saber. |
