| Vocero |
Transcripción |
| Jeremy Ash, JMP |
Hola y gracias por asistir a nuestra charla. Soy Jeremy Ash, estadístico en el departamento de I+D de JMP, y Bill Worley, ingeniero sénior de sistemas, nos acompaña. Hablaremos sobre el análisis de datos de espectroscopía de infrarrojo cercano en JMP. |
| |
Esta no es la primera charla sobre este tema. Bill tiene varias charlas relacionadas que pueden encontrar en la Comunidad. |
| |
Tengo enlaces a un par de estos aquí, que son material complementario y |
| |
Bill dará una charla sobre FDE y DOE para modelar eficientemente modelos de calibración multivariada con menos experimentos, y también cubrirá el preprocesamiento de espectros con más detalle. |
| |
En Discovery Europe a principios de este año. Bill y yo hemos estado escribiendo una serie de artículos sobre este tema en el blog de Communit. Estos son los temas que hemos tratado hasta ahora y creamos un complemento JMP, cuyo uso mostraré más adelante. |
| |
Entonces, un caso de uso común de la espectroscopia de infrarrojo cercano es determinar la composición química de una mezcla y estoy mostrando un ejemplo de espectros de infrarrojo cercano a la derecha. |
| |
Y se recoge cierta medida de absorbancia en un rango de longitudes de onda, y los espectros aquí representan una muestra de cereal en polvo, que es una mezcla de varios componentes químicos subyacentes. |
| |
Y los espectros de los componentes puros están en la parte inferior, y los espectros de la mezcla están por encima. Y debido a fenómenos como... |
| |
armónicos y bandas de combinación, los picos de los componentes individuales son a menudo amplios y superpuestos, y eso dificulta la deconvolución de los espectros en los componentes subyacentes. |
| |
Entonces, en cambio, el camino que la gente toma es construir modelos que predicen la composición como una función de la absorbancia en muchas longitudes de onda, y esto hace que los datos sean de alta dimensión y las variables estén a menudo altamente correlacionadas. |
| |
Por lo tanto, uno de los principales desafíos a superar al analizar los espectros de infrarrojo cercano es que la relación señal/ruido suele ser baja y eso se debe a variaciones no controladas. |
| |
Causado por efectos de dispersión de luz. Estos deben corregirse antes de construir un modelo fiable. Por lo tanto, los datos suelen someterse a importantes transformaciones de preprocesamiento, y existen varias fuentes comunes de ruido, que se ilustran a la derecha. |
| |
Los espectros reales se muestran en negro y luego los espectros en verde tienen un desplazamiento de línea de base constante o un efecto aditivo. |
| |
Los espectros en azul presentan un efecto aditivo y un efecto multiplicativo. Los efectos multiplicativos se dan cuando la distorsión es mayor a mayores absorbancias, mientras que los espectros en púrpura presentan un efecto aditivo, un efecto multiplicativo y un desplazamiento de la pendiente respecto a la línea base. |
| |
A continuación, mostraré algunos métodos de preprocesamiento para limpiar estas fuentes de ruido. Todos ellos se explican con más detalle en nuestras entradas del blog, pero mostraré varios en la demostración, y la primera derivada de Savitzky-Golay limpiará los efectos aditivos. |
| |
Un filtro de segunda derivada también eliminará los desplazamientos de la línea base inclinada. Estos son métodos comunes y eficaces, pero el problema es que la transformación es mucho más difícil de interpretar que el espectro original. |
| |
Así que los otros métodos de preprocesamiento que mencionaré hacen un mejor trabajo al mantener esta interpretabilidad. |
| |
centros y escalas de variables normales estándar, de modo que haya una media cero en la varianza unitaria a lo largo de cada espectro, y esta es una normalización simple pero es efectiva para limpiar tanto los efectos aditivos como los multiplicativos. |
| |
Y luego la corrección de dispersión multiplicativa, que utiliza un modelo lineal para hacer que cada espectro parezca un espectro de referencia y, a menudo, no hay ninguna referencia disponible, por lo que en su lugar se utilizan espectros medios. |
| |
Y luego la corrección de dispersión multiplicativa extendida es el único método que limpiará las tres fuentes de ruido y este es un método más avanzado que requiere espectros de referencia para cada componente en una mezcla. |
| |
Y veremos cómo funciona eso más adelante. |
| |
Dado que los datos son altamente dimensionales y las variables están altamente correlacionadas, se pueden aplicar numerosos métodos multivariados. Todos los análisis mencionados pueden realizarse en JMP. |
| |
Los métodos de reducción de dimensionalidad son esenciales para visualizar los datos. Los métodos más comunes son el análisis de componentes principales o el escalamiento multidimensional. |
| |
Y los componentes principales funcionales en el explorador de datos funcionales son un método particularmente útil aquí. |
| |
JMP es único entre los programas disponibles para el análisis espectral, ya que cuenta con una plataforma de análisis de datos funcional e intuitiva. Dado que los espectros tienen una forma funcional, la FDE ofrece numerosos usos potenciales. |
| |
Y apenas estamos empezando a explorar esas capacidades. La agrupación en clústeres es común. La agrupación jerárquica en JMP es particularmente útil. |
| |
Y luego generalmente se lleva a cabo un análisis de valores atípicos, |
| |
y para hacer esto primero se construye un modelo PCA o PLS y luego se identifican los valores atípicos en los gráficos T cuadrado y DModX. |
| |
Todo esto se puede realizar en la plataforma de gráficos de control multivariados basados en modelos. Además, los modelos predictivos que predicen la composición química en función de los espectros, denominados modelos de calibración multivariados, gestionan casos con más variables que observaciones. |
| |
Y esto se puede hacer bien con PLS o regresión penalizada en GenReg o también con el explorador de datos funcionales. |
| |
Bien, entonces cambiaré a JMP y comenzaré mi demostración. |
| |
Primero mostraré cómo leer datos espectrales utilizando el complemento de herramientas espectrales. |
| |
Para los archivos delimitados por texto, el complemento que proporcionamos es solo un contenedor para el importador de archivos múltiples, que se encuentra aquí. |
| |
Pero el complemento presenta algunas de las funciones más útiles. Además, contamos con un importador JCAMP-DX, algo nuevo en JMP. En general, |
| |
La mayor parte de esto ya se puede hacer en JMP, pero mi objetivo era escribir algunos envoltorios que agilizaran un poco el flujo de trabajo para los espectros. Cabe mencionar que esto se mejorará en JMP 17, así que espero que este complemento quede obsoleto pronto. |
| |
Esto podría ser útil por el momento, si estás construyendo modelos espectrales. |
| |
Así que tengo una |
| |
Carpeta con archivos csv, un archivo por espectro, y en estos archivos, la primera columna es la variable X y la segunda columna es la variable Y. Entonces voy a importar este directorio a JMP. |
| |
Seleccione esa carpeta. |
| |
Y quiero leer en formato apilado porque ese es el formato que usa el complemento. |
| |
Y luego tengo un encabezado en esos archivos; seleccionaré esa opción. También puedo usar esto para seleccionar solo archivos CSV. |
| |
Así que esto se lee en los espectros en un formato apilado. |
| |
Y también tengo algunos metadatos en una tabla JMP aquí |
| |
que quiero agregar a esta tabla de datos. Y lo haré mediante una unión en la columna de espectros. |
| |
Pero he leído en los nombres de archivos con extensión de archivo, así que use texto en las columnas aquí. |
| |
Quítate esas extensiones. |
| |
Le daré un nombre de archivo más informativo. |
| |
Y voy a utilizar una actualización de tabla y voy a hacer coincidir las columnas de espectros. |
| |
Y lo último que voy a mostrar es... |
| |
o voy a mover esta columna de espectro aquí. |
| |
Bien, así es como configuré esta tabla de datos. |
| |
y lo agregó a los datos de muestra en el complemento. |
| |
Entonces, voy a echar un primer vistazo a los datos y, para ello, utilizaré el comando de inicio del Generador de gráficos en el complemento. |
| |
Voy a colorear por gluten. |
| |
Y aquí a la izquierda, la herramienta espectral configura algunos filtros de datos locales con controles útiles, lo que permite filtrar por longitud de onda para enfocarse solo en las regiones de interés. Por ejemplo, si solo quisiera enfocar este pico aquí y... |
| |
Si tengo todas las columnas seleccionadas en la tabla de datos, puedo usar el comando mostrar subconjunto y eso creará un subconjunto con esa región de interés. |
| |
También puedo trazar espectros individuales aquí con este filtro y |
| |
Es útil buscar espectros para simplemente trazar subconjuntos. |
| |
Y lo último que voy a mostrar son los controles de animación, |
| |
pero para hacer esto voy a bloquear los ejes, de lo contrario se adaptarán a los espectros individuales. |
| |
Aquí... voy a acelerarlo un poco, para que podamos escanearlos rápidamente. |
| |
Y esta característica es particularmente útil si tiene espectros recopilados en diferentes puntos de tiempo, como en el monitoreo de reacciones. |
| |
También puedes utilizar nuestros gráficos de dispersión 3D para visualizar esos datos. |
| |
Bueno, entonces voy a |
| |
Aclarar esto |
| |
filtrar. |
| |
Una cosa que debes recordar cuando tengas |
| |
La trama está configurada como tú quieras, puedes guardarla. |
| |
vuelve a la tabla de datos, de modo que puedas recrear el gráfico más tarde si quieres intercambiar datos nuevos, como después de haber hecho algún preprocesamiento. |
| |
Otra cosa que quería mostrar es la visualización de la variabilidad y algunos gráficos de diagnóstico. Para ello, eliminaré las variables de agrupación. |
| |
Y eso me dará un resumen general de los espectros. Y puedo usar diagramas de caja. Estos son |
| |
Resulta útil para comprender si la variación es constante en las longitudes de onda y si es específica de ciertas longitudes de onda. Si es constante, indica la necesidad de preprocesamiento adicional; si es específica de las longitudes de onda, suele tratarse de efectos químicos reales, por lo que resulta útil. |
| |
Y luego otra forma de visualizar la variabilidad es con |
| |
Gráficos de barras. Me gusta usar gráficos de barras flotantes. Además, puedes agregar variables de agrupación si deseas observar la variabilidad en diferentes subgrupos. |
| |
Y eso es todo lo que voy a mostrar sobre la visualización. Y lo otro que quería mencionar es cómo leer archivos JCAMP-DX. |
| |
Así que tengo un directorio |
| |
eso |
| |
Contiene dos archivos JCAMP-DX del sitio web del estándar JCAMP-DX. No me sentí cómodo. |
| |
Compartir archivos que usamos para probar el complemento, porque provienen de clientes. Así que tomé un archivo de prueba de ese sitio web y lo dupliqué dos veces para mostrar cómo podemos leer... |
| |
Múltiples archivos. Solo admitimos el formato más común: archivos con una lista de variables X/Y sin compresión. Solo admitimos un espectro por archivo. Creo que este es el formato más común, pero si necesita algo más, contáctenos. |
| |
Así que voy a leer eso con... |
| |
Aquí, con las opciones predeterminadas. |
| |
Y sólo para mostrarte que |
| |
Esto fue leído correctamente, |
| |
Grafiquelo en Graph Builder. |
| |
Esto muestra los mismos espectros, en realidad son espectros de RMN, pero este también es un formato común para el espectro NIR. |
| |
Así que eso es todo lo que voy a mostrar. |
| |
con importación de datos. |
| |
A continuación, mostraré algunos métodos sencillos de preprocesamiento disponibles en las herramientas espectrales. El objetivo era proporcionar un preprocesamiento básico que permitiera a los usuarios comenzar a trabajar con modelos de calibración sencillos con herramientas como PLS. |
| |
para que podamos obtener retroalimentación sobre el flujo de trabajo, pero planeamos un conjunto más completo de métodos de preprocesamiento en FDE en JMP 17, que será solo Pro, pero estamos alentando a los usuarios a usar FDE ya que esa plataforma realmente se especializa en modelar datos funcionales como espectros. |
| |
Así que primero voy a mostrar |
| |
Suavizado Savitzky-Golay. |
| |
Puedes cambiar el grado del polinomio que se usa aquí. Puedes cambiar el tamaño de la ventana deslizante; un tamaño mayor proporciona un suavizado más agresivo. Además, el recorte aquí eliminará las ventanas deslizantes desequilibradas. |
| |
Y Savitzky-Golay es en realidad un caso especial de regresión kernal local, por lo que puedes probar otras opciones para esto. |
| |
En el Constructor de Gráficos, existen diferentes maneras de definir la ventana deslizante y diferentes funciones de ponderación. Una vez seleccionados los parámetros, se pueden guardar los espectros en la tabla. |
| |
A continuación, voy a mostrar la variable normal estándar aplicada a |
| |
los espectros suaves. |
| |
Y |
| |
Esto simplemente centra y escala cada espectro individualmente, y también se puede hacer con una fórmula de columna. Bill lo mostrará en su charla sobre preprocesamiento. |
| |
Así que ahora voy a visualizar el antes y el después. |
| |
Usando esto. Inicie Graph Builder. |
| |
Color por gluten. |
| |
Como pueden ver, con estos sencillos métodos de preprocesamiento, hemos logrado eliminar considerablemente el ruido en los espectros. Aún hay ruido en los subgrupos. |
| |
Bill mostró en su charla anterior cómo se pueden depurar aún más los datos usando un filtro de primera derivada de Savitzky-Golay. Esto se encuentra en otro complemento que probamos en la entrada del blog, pero no lo explicaré aquí. |
| |
Lo más importante que hay que saber, Bill lo demostrará, es que primero se debe hacer un filtro de primera derivada y luego una variable normal estándar limpiará cualquier efecto multiplicativo restante. |
| |
Así que resulta que puedes hacerlo aún mejor. |
| |
preprocesando estos espectros usando algo llamado corrección de dispersión multiplicativa extendida. |
| |
Así que tengo esa configuración aquí. |
| |
De hecho, estos datos se tomaron de un artículo que introdujo la corrección de dispersión multiplicativa extendida (de ahora en adelante, simplemente llamémosla EMSC) y |
| |
Para mostrar las ventajas de este método de preprocesamiento, utilizaré un gráfico de efectos de dispersión. Para ello, necesito calcular la absorbancia promedio en cada longitud de onda. |
| |
Y puedo hacer eso con una fórmula de columna aquí. |
| |
Y luego lo trazaré en Graph Builder. |
| |
Por lo tanto, el gráfico de efectos de dispersión representa la absorbancia promedio en cada longitud de onda según las absorbancias individuales, y las pendientes en el eje Y indican un efecto aditivo, mientras que |
| |
cambios en |
| |
La pendiente de los espectros individuales se muestra como un abanico en estos gráficos, lo que indica un efecto multiplicativo. Curiosamente, los efectos químicos se muestran como bucles en estos gráficos. |
| |
Así que claramente hay un gran efecto aditivo aquí, así que para corregirlo, puedo usar un filtro Savitzky-Golay de primera derivada. Tengo esos datos aquí. |
| |
Esto elimina drásticamente el efecto aditivo, pero aún queda algo de abanico en estos gráficos. Puedes corregirlo con la variable normal estándar. |
| |
Pero en cambio, lo que hace el EMSC es eliminar los efectos aditivos y multiplicativos en un solo paso, y no requiere una transformación derivada, lo cual es útil porque hará que los espectros resultantes sean más fáciles de interpretar. |
| |
Y esencialmente lo que hace el EMSC es separar la variación en los espectros debida a los efectos químicos y la variación debida al ruido. |
| |
Y luego resta la variación debida al ruido y lo hace con un modelo lineal, así que configuré los términos que necesito para el modelo aquí. Y |
| |
Cubrimos los detalles en el blog. Solo diré que puedes usar el modelo de ajuste. |
| |
Para ajustar el modelo EMSC, esta es una herramienta didáctica muy útil para comprender cómo se aplica el modelo de preprocesamiento, de modo que deje de ser una caja negra. En el modelo, tenemos un modelo independiente para cada espectro y los coeficientes estimados. |
| |
se utilizan en la corrección, y puedes...también puedes |
| |
relanzar esto |
| |
modelo con diferentes efectos para ver cómo cambia las cosas. |
| |
Así que he aplicado la corrección final aquí y solo mostraré el antes y el después. |
| |
Entonces |
| |
Los espectros ahora están notablemente libres de efectos de dispersión, y el efecto sobre los espectros es |
| |
Debido al cambio en la composición de la mezcla, ahora está claro. Eso es todo lo que voy a cubrir. Le cedo la palabra a Bill para que aborde algunos métodos de modelado. |
| Bill Worley |
Hola, gracias, Jeremy. |
| |
Cambiemos las pantallas aquí. |
| |
Deberías estar viendo mi tabla de datos ahora mismo. Espero que estés listo en cuanto haga clic en ella. |
| |
¿Todos están viendo mi tabla de datos? |
| Jeremy Ash, JMP |
Sí. |
| Bill Worley |
Bien, aquí vamos. Estos son los mismos datos que Jeremy estaba usando, solo que en este caso los tenemos en formato ancho. Les aviso que pueden analizar los datos de ambas maneras. Algunos prefieren el formato de pila, otros el ancho. |
| |
Así que sepan que se puede lograr. Lo primero que quiero mostrarles es... |
| |
Lo que Jeremy mencionaba antes es cómo podemos analizar los datos en formato bruto y luego aplicar la primera derivada de Savitzky-Golay y, posteriormente, el suavizado de las variables normales estándar. Y, de nuevo, recuerden que esto se realiza en formato ancho. |
| |
Bueno, entonces te mostraré que eso se puede hacer. |
| |
A continuación, quiero mostrarles |
| |
Análisis de componentes principales. Esto es bastante común para quienes utilizan o analizan datos espectrales. |
| |
Lo que... es muy factible en JMP. Es, ya sabes, analizar, |
| |
Métodos multivariados y componentes principales. Ya lo hice. Ya configuré lo que mostramos aquí: en general, con dos componentes principales, podemos explicar toda la variación. Si observamos este gráfico de puntuaciones, |
| |
Se puede observar la subagrupación de los diferentes grupos de las mezclas que tenemos, el gluten y el almidón. |
| |
Tenemos... |
| |
Bueno, podemos ver esa subagrupación. Está muy bien hecha. Además, Jeremy mencionó datos altamente correlacionados. |
| |
Lo mostramos en este otro gráfico de componentes. Podemos activar las variables, pero... las etiquetas, pero sería un poco complicado. |
| |
Aquí abajo hay un gráfico de análisis de valores atípicos, un gráfico de T-cuadrado, y usamos los dos componentes principales del análisis. Muestra que, sí, quizás algunos espectros estén un poco desfasados... |
| |
Eso podría ser valores atípicos, pero en la mayoría de los casos... en la mayoría de los casos, de todos modos no íbamos a utilizar todos los datos; es solo una forma de delimitar los datos, ¿de acuerdo? |
| |
A continuación, quiero mostrar algo llamado gráfico de control multivariado impulsado por modelos, y esto es prácticamente lo mismo que hice con los componentes principales, solo que en un |
| |
De otra manera. Así que estamos viendo estos mismos dos componentes principales. |
| |
Aquí arriba, tenemos la agrupación de los subgrupos. Y si miramos hacia abajo, tenemos algo llamado DModX normalizado, que es otra forma de ver el valor atípico... |
| |
Posibles valores atípicos en tus datos. Simplemente recuerda que están ahí. Otra ventaja que ofrecen los gráficos de control multivariantes basados en modelos es la posibilidad de comparar tus datos. |
| |
Lo que he hecho aquí es seleccionar las muestras 13, 46, 95 y 45 para mostrar esas diferencias entre |
| |
Esos cuatro espectros, ¿verdad? Ahora podemos ver que, dentro de esos grupos, son bastante diferentes. Los espectros son bastante diferentes. |
| |
La otra forma de hacer esta comparación es aquí abajo, a través del gráfico de puntuación. Voy a seleccionar la letra L, que me dará la herramienta Lazo. |
| |
Y voy a rodear esto lo mejor que pueda, sin tomar ninguno de los otros datos, y convertirlo en el grupo A. Y luego aquí abajo en el grupo rojo, este último grupo rojo, |
| |
Toma eso y selecciónalo. Es mi grupo B y luego compáralo, ¿cierto? Esto te permite comparar los datos de nuevo eficazmente. |
| |
Mientras hago esto, puedo ver cómo, ya sabes, a medida que selecciono los espectros, qué se selecciona en los diferentes grupos, así que es una forma interesante de visualizar los datos. |
| |
Bien. Voy a pasar al siguiente. Estos son datos sin procesar, ¿de acuerdo? El siguiente paso es con los datos preprocesados, así que son prácticamente los mismos que vieron antes. |
| |
Pero ya realicé el preprocesamiento, así que pasé de los datos sin procesar a la variable normal estándar. Y, de nuevo, usando los dos componentes principales aquí, |
| |
Podemos ver que los datos están un poco mejor agrupados. Hay mucho menos ruido, mucha menos variación que en ese gráfico de T al cuadrado. Y juro que no lo hice a propósito, pero los datos parecen estar un poco más contentos ahora, ¿verdad? Es una pequeña sonrisa. |
| |
Cada uno de estos pequeños grupos de aquí abajo contiene 20 espectros. Si paso el cursor sobre ellos, puedo trazarlos y extraerlos. |
| |
Y mira eso, si así lo decido, vale. Puedo hacer la misma agrupación que vi antes, así que intentémoslo. Resalte esto. |
| |
Y esto lo hace un poco más fácil, porque no tengo que usar esa herramienta de dibujo, porque los datos están mejor agrupados, ¿verdad? En ese mismo caso, puedo hacer lo que hice antes: resaltar los datos y luego... |
| |
Haz comparaciones según sea necesario. Así que ese es el uso de componentes principales. Hay otra forma de hacer el mismo tipo de análisis, usando |
| |
Mínimos cuadrados parciales. Se guardan las puntuaciones X de mínimos cuadrados parciales y se usan esos datos para construir el gráfico de control multivariante basado en modelos. De nuevo, esto se ve muy limpio. Estos son los datos preprocesados. La agrupación es muy buena, así que podemos verlos desde ahí. |
| |
Podemos mirar el |
| |
DModX. Sigue siendo un poco ruidoso, pero no tanto como los datos cuando analizamos los datos sin procesar con los componentes principales. Volvamos a... |
| |
Estamos analizando otro método de análisis, que se centra en la agrupación jerárquica superior. Jeremy ya lo había mencionado. |
| |
Inicialmente, y mirando los datos, |
| |
Observando cómo se produce la agrupación. Si analizamos los datos sin procesar, podemos ver que hay muchos grupos más pequeños. |
| |
Y los datos reales parecen estar dispersos en diferentes grupos. Es decir, no están agrupados como cabría esperar, ¿verdad? Así que hemos tomado eso. |
| |
Datos preprocesados, realizamos el mismo análisis y obtuvimos una agrupación muy precisa. Cada uno de estos está en cinco grupos, así que ahí es donde se ve aquí. |
| |
Así que el almidón y el gluten se separan perfectamente aquí. Si guarda estos datos en su tabla de datos mediante la función de guardar clústeres, |
| |
De hecho, puedes usar eso en tu modelado, si así lo deseas. También puedes guardar la fórmula para el grupo más cercano y, así, cualquier dato nuevo que obtengas se... |
| |
Colóquelo en el clúster que esté más cercano. |
| |
Bien, estas son solo un par de maneras de ingresar los datos, analizarlos, configurarlos para el modelado y, a continuación, el siguiente paso sería el modelado. Lo que les mostraré a continuación son mínimos cuadrados parciales, que normalmente es... perdón, esto es regresión generalizada. |
| |
Así que este es un modelo de regresión generalizado que queremos mostrarles a las personas, ¿cierto? |
| |
esto es |
| |
Donde podríamos ver algunas cosas que estaban sucediendo. Y parece que un par de cosas han cambiado en mí. |
| |
Quiero tomar... ahí, ahí. Son mis mínimos cuadrados parciales, y esto demuestra que realmente he analizado los datos de una manera que espero... |
| |
Dame un buen modelo. Y lo que he hecho, te mostraré cómo hacerlo. Ve a analizar, y esta es la versión JMP Pro. Como dije, muchas de las cosas que te estoy mostrando se pueden hacer en JMP normal. Si voy a los métodos multivariables, |
| |
Mínimos cuadrados parciales. Puedo hacer el mismo análisis, pero usaré la versión JMP Pro. Y seleccionaré almidón y gluten. |
| |
Voy a seleccionar mis datos sin procesar y agregarlos y luego ejecutarlos desde allí. |
| |
Correcto. Y puse la configuración incorrecta, pero vamos. |
| |
volver a |
| |
El análisis que hemos configurado aquí. Puedo mostrarles un par de cosas diferentes aquí abajo. Esto se hizo con datos preprocesados. |
| |
Bien, el ajuste se ve muy bien y les mostraré una comparación de esos ajustes en un momento. |
| |
Tenemos nuestros datos de mínimos cuadrados parciales para los datos sin procesar, la parte... y luego los datos preprocesados. Y si quiero compararlos, |
| |
Puedo ver cómo funcionan esos modelos, ¿verdad? Lo que muestro aquí es una comparación de los datos sin procesar a la izquierda y los datos preprocesados a la derecha. Obtenemos un ajuste mucho mejor con los datos preprocesados, así que esto vuelve a lo que Jeremy mencionó antes. |
| |
Necesitamos limpiar estos datos para obtener los mejores modelos predictivos que podamos obtener y, con suerte, salir adelante. |
| |
Otra cosa que quiero mostrarles es |
| |
el... |
| |
Veamos dónde estoy aquí. |
| |
Quiero mostrarte el explorador de datos funcional. |
| |
Y esto es |
| |
una forma de...la forma más nueva de modelar o, al menos en JMP, la forma más nueva de modelar datos espectrales porque se pueden analizar los datos de manera continua. |
| |
Bien, les mostraré cómo hacer esto. Pero lo que esto muestra es que, ahora mismo, si solo miro los datos sin procesar, podemos analizar esto con dos componentes principales funcionales. |
| |
Al igual que hicimos con el análisis de componentes principales, podemos obtener un modelo bastante decente. Sin embargo, lo que notarán es que este es un método de calibración multivariante, pero es un método multivariante inverso. |
| |
Vamos a repasar este análisis paso a paso. |
| |
Analizar. |
| |
Y luego tenemos que ir al modelado especializado y vamos a ir al explorador de datos funcionales. |
| |
Como tengo los datos en formato ancho, tengo que usar filas como funciones. |
| |
Voy a usar mi |
| |
Almidón y gluten como variables suplementarias. Spectra es mi identificación, y voy a obtener los datos sin procesar. |
| |
Bueno. |
| |
Y ahora hay muchas cosas que puedes hacer con los datos en el explorador de datos funcionales, como limpiarlos y realizar algún preprocesamiento, pero eso, como dijo Jeremy, solo va a mejorar en JMP 17. |
| |
A partir de aquí, queríamos modelar o construir un modelo a partir de esto. Queremos ajustar todos los datos. |
| |
Así que vamos a ir a los modelos, PCA funcional directo. |
| |
Y si miramos esto desde aquí, esto dice que podríamos usar cinco componentes principales funcionales, pero es casi un desperdicio de esfuerzo, porque tenemos... |
| |
Con dos, ajustamos todos los datos, el 100% de la variación, ¿cierto? Así que voy a deslizar esto hacia atrás, limpiarlo un poco y luego volver a bajar. |
| |
Y veamos el gráfico de puntuación aquí. |
| |
Esto nos muestra los datos, como los datos sin procesar de sus subgrupos, como vimos antes, y todos los demás gráficos de puntuación. Lo mejor de esto es que, si paso el cursor sobre ellos, puedo extraer estos espectros individuales. |
| |
y compararlos solo visualmente, ¿de acuerdo? |
| |
Más abajo, tenemos el perfilador de componentes principales funcional, y es muy útil. Podemos ver qué sucederá con el |
| |
curvas a medida que cambiamos los componentes principales funcionales, pero tratando de decirle a la gente, ya sabes, vayan a cambiar el componente principal funcional 2 |
| |
Obtener la curva deseada no será... no será bien recibido. Por eso, se ha añadido una función llamada análisis funcional DOE. Con eso, se puede... |
| |
Observen la capacidad de... o cómo cambian las curvas, según los componentes que he añadido, los componentes suplementarios, nuestros componentes mixtos. Permítanme añadir algo aquí: voy a modificar la linealidad. Voy a añadir una restricción. |
| |
y |
| |
cambia esto |
| |
Muy bien, y digamos OK. Y luego, al observar nuestras agrupaciones aquí, a medida que... a medida que disminuyo el almidón, el gluten aumentará, así que esa restricción nos permite observar... |
| |
Cómo se comparan las diferentes agrupaciones o mezclas y qué sucederá con las curvas al modificar los diferentes niveles de almidón y gluten. Y eso, de nuevo, es un proceso continuo. Lo que hemos hecho con los datos está muy definido. |
| |
partes de los datos, para que podamos tener una idea de lo que va a pasar, incluso si las mezclas no son exactas como las mostramos en los datos, ¿de acuerdo? |
| |
Muy bien, entonces eso es con los datos sin procesar, y veamos si esto es... mi siguiente paso es... esto es virtualmente lo mismo. |
| |
Quiero asegurarme de que tengo el correcto. Esto se hace con los datos preprocesados, por lo que es el mismo explorador de datos funcional. |
| |
utilizando los datos preprocesados, disculpa, y ya puedes ver las diferencias. |
| |
Y las curvas, a medida que llegan los datos preprocesados, ajustamos los modelos y obtenemos dos componentes principales funcionales. Y lo que queremos observar aquí es que... |
| |
Gráfico de puntuación. Y podemos ver de nuevo cómo esas agrupaciones de las variables son el hecho de las diferentes versiones o las diferentes |
| |
Las agrupaciones o mezclas de gluten y almidón se agrupan mucho mejor aquí. Además, se pueden separar diferentes, así que eso es lo que se ve. |
| |
Lo último que quiero mostrar o hablar es algo llamado regresión generalizada. |
| |
Y si esto sucederá |
| |
Tengan paciencia, este es el ajuste de regresión generalizado de los datos brutos, ¿cierto? Lo he logrado usando un ajuste de red elástica con una validación cruzada de k-fold. |
| |
He establecido el alfa de la red elástica en 0,56 para lograr lo que yo llamo un ajuste más agradable a la vista. Lo que hace es permitir diferentes... o más grupos de... |
| |
Las longitudes de onda se añadirán al ajuste del modelo. Esto no solo limitará el ajuste general del modelo. |
| |
Si hiciera eso, si limitara ese elástico, ese alfa, obtendría un ajuste más parecido a este. Y ahora es un modelo mucho más pequeño, mucho más simple, pero también estás obteniendo... podrías estar perdiéndote algo del efecto aditivo o... |
| |
Efectos aditivos que podrían ayudarte a conseguir un mejor ajuste general. Así que es tu decisión: el modelo más sencillo te ayudará a largo plazo. |
| |
Si necesita tener diferentes grupos, eso le ayudará a encontrar diferentes grupos si tiene una mezcla de componentes múltiples, pero solo sepa que encajan con el |
| |
Una red elástica alfa más baja permitirá que más factores y más variables, más longitudes de onda, sean parte del modelo, ¿de acuerdo? |
| |
Y eso es con los datos sin procesar. A ver si esto me da... |
| |
Ya veremos si conseguimos...y entonces este es el ajuste con el |
| |
datos totalmente preprocesados, por lo que es prácticamente lo mismo. |
| |
Lo que pasa es que estás viendo un resultado general diferente, |
| |
Correcto. Estás viendo un modelo diferente, se ve muy diferente. Esto, de nuevo, usa el alfa neto elástico diferente y |
| |
En definitiva, lo que queremos hacer es comparar estas cosas. Si comparo... |
| |
De nuevo, al comparar los datos brutos de PLS con los datos preprocesados, se obtiene un ajuste mucho mejor. Si comparo la regresión generalizada con... estos son datos de mínimos cuadrados parciales para... |
| |
Preprocesado, preprocesado mediante regresión generalizada con un alfa neto elástico menor, y luego con el alfa neto elástico mayor. Estamos obteniendo buenos ajustes en todas partes, ¿cierto? Así que no está de más investigar usando... |
| |
Regresión generalizada en JMP Pro versus mínimos cuadrados parciales. De hecho, se obtienen modelos muy buenos y... |
| |
Es simplemente una excelente manera de, ya sabes, analizar tus datos y crear modelos predictivos para futuras comparaciones o cuando obtengas datos futuros. |
| |
Con esto, quiero darles las gracias. Jeremy, muchas gracias por su contribución. Esperamos que lo disfruten. Por favor, compartan sus comentarios. Nos gustaría saber qué opinan de estas nuevas funciones. |
