398718_es-ES

liliconcom

Análisis de datos espectrales: preprocesamiento y más (2021-US-45MP-878)

Nivel: Intermedio

 

Bill Worley, ingeniero sénior de habilitación global de JMP, SAS
Jeremy Ash, probador de software de análisis, SAS Institute, Inc.

 

JMP está mejorando las capacidades para analizar datos espectrales desde el preprocesamiento hasta la construcción de modelos predictivos.En esta presentación se muestran la visualización, el preprocesamiento y el desarrollo de modelos.Los espectroscopistas, químicos analíticos y científicos de materiales sacarán algo de esta presentación.Revisamos y demostramos el suavizado estándar normal variable (SNV) y Savitsky-Golay (SG) utilizando JMP.Luego compartimos herramientas de preprocesamiento más avanzadas y mostramos cómo se puede utilizar Functional Data Explorer para visualizar y analizar espectros cualitativamente.Utilizando JMP, los mínimos cuadrados parciales y la regresión generalizada se demuestran como herramientas de desarrollo de modelos para datos espectrales.

 

 

Transcripción generada automáticamente...

 

Vocero	Transcripción
Jeremy Ash	Hola y gracias por venir a nuestra charla. Soy Jeremy Ash. Soy estadístico en JMP R&D y Bill Worley está aquí. Es un ingeniero de sistemas senior. Hablaremos sobre el análisis de datos de espectroscopía de infrarrojo cercano en JMP.
	Entonces esta no es la primera charla que se hace sobre este tema. Bill tiene varias charlas relacionadas que puedes encontrar en la Comunidad.
	Tengo enlaces a un par de estos aquí, que contienen material complementario y
	Bill dará una charla sobre FDE y DOE para modelar de manera eficiente modelos de calibración multivariados con menos experimentos y también cubrió el preprocesamiento de espectros con más detalle.
	en Discovery Europe a principios de este año. Y luego Bill y yo hemos estado escribiendo una serie de blogs sobre este tema, y está en Communit. Estos son los temas que hemos cubierto hasta ahora y creamos un complemento JMP, cuyo uso demostraré más adelante.
	Entonces, un caso de uso común de la espectroscopia de infrarrojos cercanos es determinar la composición química de una mezcla y a la derecha muestro un ejemplo de espectros de infrarrojos cercanos.
	Y se recoge alguna medida de absorbancia en un rango de longitudes de onda, y el espectro aquí representa una muestra de cereal en polvo, que es una mezcla de varios componentes químicos subyacentes.
	Y los espectros de los componentes puros están en la parte inferior, y los espectros de la mezcla están en la parte superior. Y debido a fenómenos como
	En armónicos y bandas combinadas, los picos de los componentes individuales suelen ser amplios y superpuestos, lo que dificulta la deconvolución de los espectros en los componentes subyacentes.
	Entonces, en cambio, el camino que la gente toma es construir modelos que predigan la composición en función de la absorbancia en muchas longitudes de onda, y esto hace que los datos sean altamente dimensionales y las variables a menudo estén altamente correlacionadas.
	Entonces, uno de los principales desafíos a superar al analizar espectros de infrarrojos cercanos es que la relación señal-ruido suele ser baja y eso se debe a variaciones incontroladas.
	causado por efectos de dispersión de la luz. Y es necesario limpiarlos antes de poder construir un modelo confiable. Por lo tanto, los datos a menudo están sujetos a importantes transformaciones de preprocesamiento y existen varias fuentes comunes de ruido, que se ilustran aquí a la derecha.
	Los espectros verdaderos se muestran en negro y luego los espectros en verde tienen un cambio de línea de base constante o un efecto aditivo.
	Y luego los espectros en azul tienen un efecto aditivo y un efecto multiplicativo. Los efectos multiplicativos se producen cuando la distorsión es mayor a absorbancias mayores, y luego el espectro púrpura tiene un efecto aditivo, un efecto multiplicativo y una pendiente hacia el cambio de línea base.
	A continuación mostraré algunos de los métodos de preprocesamiento para limpiar estas fuentes de ruido. Todos estos se analizan con más detalle en las publicaciones de nuestro blog, pero mostraré varios en la demostración y el primer derivado de Savitzky-Golay limpiará los efectos aditivos.
	Y luego, un segundo filtro derivado también limpiará los cambios de línea de base inclinados. Y estos son métodos efectivos y de uso común, pero el problema es que la transformada es mucho más difícil de interpretar que el espectro original.
	Entonces, los otros métodos de preprocesamiento que mencionaré hacen un mejor trabajo al mantener esta interpretabilidad. El
	centros y escalas variables normales estándar, de modo que haya una media cero en la varianza unitaria a lo largo de cada espectro, y esta es una normalización simple pero efectiva para limpiar los efectos tanto aditivos como multiplicativos.
	Y luego la corrección de dispersión multiplicativa, que utiliza un modelo lineal para hacer que cada espectro parezca un espectro de referencia y, a menudo, no hay ninguna referencia disponible, por lo que en su lugar se utilizan espectros medios.
	Y luego, la corrección de dispersión multiplicativa extendida es el único método que limpiará las tres fuentes de ruido y este es un método más avanzado que requiere espectros de referencia para cada componente de una mezcla.
	Y veremos cómo funciona eso más adelante.
	Y luego, dado que los datos son de alta dimensión y las variables están altamente correlacionadas, se pueden aplicar muchos métodos multivariados. Todos los análisis enumerados se pueden realizar en JMP.
	Los métodos de reducción de dimensionalidad son esenciales para visualizar los datos. Los métodos comunes son el análisis de componentes principales o el escalamiento multidimensional.
	Y luego, los componentes principales funcionales en el explorador de datos funcionales son un método particularmente útil aquí.
	Y JMP es único entre los software disponibles para análisis espectral y tiene una plataforma de análisis de datos funcional fácil de usar. Y dado que los espectros tienen una forma funcional, FDE tiene muchos usos potenciales para los espectros.
	Y recién estamos comenzando a explorar esas capacidades. Y luego la agrupación es común. La agrupación jerárquica en JMP es particularmente útil.
	Y luego se suele realizar un análisis de valores atípicos,
	y para hacer esto, primero cree un modelo PCA o PLS y luego se identifican los valores atípicos en los gráficos T cuadrado y DModX.
	Y todo esto se puede hacer en la plataforma de gráficos de control multivariado basada en modelos. Y luego los modelos predictivos que predicen la composición química en función de los espectros, se denominan modelos de calibración multivariados, y estos modelos manejan casos en los que hay más variables que observaciones.
	Y esto se puede hacer bien con PLS o regresión penalizada en GenReg o también con el explorador de datos funcional.
	Bien, entonces cambiaré a JMP y comenzaré mi demostración.
	Primero, mostraré cómo leer datos espectrales usando el complemento de herramientas espectrales.
	Para archivos delimitados por texto, el complemento que proporcionamos es solo un contenedor para el importador de archivos múltiples, que se encuentra aquí.
	Pero el complemento muestra algunas de las características más útiles. Y luego también tenemos un importador JCAMP-DX, que es algo nuevo para JMP. Y en general,
	La mayor parte de esto ya se puede hacer en JMP, pero mi objetivo era escribir algunos contenedores que simplifiquen un poco el flujo de trabajo para los espectros. Y también debo señalar que esto se mejorará en JMP 17, por lo que, con suerte, este complemento quedará obsoleto pronto, pero
	Esto podría resultar útil por el momento, si está construyendo modelos espectrales.
	Entonces tengo un
	carpeta con archivos csv, un archivo por espectros, y en estos archivos, la primera columna es la variable X y la segunda columna es la variable Y. Entonces voy a importar este directorio a JMP.
	Seleccione esa carpeta.
	Y quiero leer en formato apilado porque ese es el formato que utiliza el complemento.
	Y luego tengo un encabezado en esos archivos; Seleccionaré esa opción. Y también puedo usar esto para seleccionar solo archivos csv.
	Entonces esto se lee en los espectros en un formato apilado.
	Y también tengo algunos metadatos en una tabla JMP aquí.
	que quiero agregar a esta tabla de datos. Y la forma en que voy a hacerlo es uniendo la columna de espectros.
	Pero he leído los nombres de los archivos con la extensión del archivo, así que use texto en las columnas aquí para
	Quítate esas extensiones.
	Le voy a dar a este un nombre de archivo más informativo.
	Y voy a usar una actualización de tabla y haré coincidir las columnas de espectros.
	Y luego lo último que voy a mostrar es...
	o voy a mover esta columna de espectro aquí.
	Bien, así es como configuro esta tabla de datos.
	y lo agregó a los datos de muestra en el complemento.
	Entonces, echaré un primer vistazo a los datos y, para hacerlo, usaré el comando de inicio de Graph Builder en el complemento.
	Voy a colorear por gluten.
	Y aquí a la izquierda, la herramienta espectral configura algunos filtros de datos locales que tienen algunos controles útiles, para que pueda filtrar por longitud de onda para centrarse solo en las regiones de interés. Entonces, si solo quisiera concentrarme en este pico aquí y
	Si tengo todas las columnas seleccionadas en la tabla de datos, puedo usar el comando mostrar subconjunto y eso creará un subconjunto con esa región de interés.
	También puedo trazar espectros individuales aquí con este filtro, y
	es útil buscar espectros para trazar solo subconjuntos.
	Y lo último que voy a mostrar son los controles de animación,
	pero para hacer esto voy a bloquear los ejes, de lo contrario se adaptarán a los espectros individuales.
	Aquí... voy a acelerarlo un poco, para que podamos escanearlos muy rápido.
	Y esta característica es particularmente útil si tiene espectros recolectados en diferentes momentos, como en el monitoreo de reacciones.
	Y también puede utilizar nuestros diagramas de dispersión 3D en gráficos para visualizar esos datos.
	Bien, entonces voy a
	borrar esto
	filtrar.
	Una cosa para recordar cuando tengas
	La trama está configurada de la manera que quieras, puedes guardar esto.
	script de nuevo a la tabla de datos, para que pueda recrear el gráfico más tarde si desea intercambiar datos nuevos, como después de haber realizado algún preprocesamiento.
	La otra cosa que quería mostrar es la visualización de la variabilidad y algunos gráficos de diagnóstico. Para hacer eso, voy a eliminar las variables de agrupación.
	y eso me dará un resumen de los espectros en general. Y puedo usar diagramas de caja. Estos son
	Son útiles para tener una idea de si la variación es constante en las longitudes de onda y son específicas de determinadas longitudes de onda. Si es constante, eso indica la necesidad de un preprocesamiento adicional, pero si es específico de las longitudes de onda, a menudo son efectos químicos reales, por lo que son útiles.
	Y luego, otra forma de visualizar la variabilidad es con
	parcelas de barras. Me gusta usar gráficos de barras flotantes y luego también puedes agregar variables de agrupación si quieres observar la variabilidad en diferentes subgrupos.
	Y eso es todo lo que voy a mostrar con visualización. Y la otra cosa que quería mencionar es cómo leer archivos JCAMP-DX.
	Entonces tengo un directorio
	eso
	contiene dos archivos JCAMP-DX que provienen del sitio web del estándar JCAMP-DX. no estaba comodo
	compartir archivos que usamos para probar el complemento, porque provienen de clientes. Así que tomé un archivo de prueba de ese sitio web y lo dupliqué dos veces para mostrar cómo podemos leerlo.
	múltiples archivos. Y solo admitimos el formato más común y son archivos con una lista de variables X/Y sin compresión y solo admitimos un espectro por archivo. Y creo que este es el formato más común, pero si necesitas algo más, háznoslo saber.
	Así que voy a leer eso con...
	aquí, con las opciones predeterminadas.
	Y solo para mostrarte eso
	esto fue leído correctamente,
	trazarlo en Graph Builder.
	Esto muestra los mismos espectros, en realidad son espectros de RMN, pero este también es un formato común para el espectro NIR.
	Entonces eso es todo lo que voy a mostrar.
	con importación de datos.
	Y a continuación voy a mostrar algunos de los métodos simples de preprocesamiento que se encuentran en las herramientas espectrales. La intención era proporcionar un preprocesamiento básico que permitiera a los usuarios comenzar con algunos modelos de calibración simples con algo como PLS.
	para que podamos obtener comentarios sobre el flujo de trabajo, pero planeamos un conjunto más completo de métodos de preprocesamiento en FDE en JMP 17, que será solo Pro, pero alentamos a los usuarios a usar FDE ya que esa plataforma realmente se especializa en modelar datos funcionales. como espectros.
	Así que primero voy a mostrar
	Alisado Savitzky-Golay.
	Y puedes cambiar el grado del polinomio que se utiliza aquí. Puedes cambiar el tamaño de la ventana corrediza; el tamaño más grande se suaviza más agresivamente. Y luego la moldura aquí recortará las ventanas correderas desequilibradas.
	Y Savitzky-Golay es en realidad un caso especial de regresión kernal local, por lo que puedes probar otras opciones para esto.
	en Graph Builder, como diferentes formas de definir su ventana deslizante y diferentes funciones de ponderación. Y una vez que haya elegido los parámetros que desea, puede guardar los espectros en la tabla.
	Y a continuación voy a mostrar la variación normal estándar aplicada a
	los espectros suaves.
	Y
	esto simplemente centra y escala a lo largo de cada espectro individualmente, y también puede hacerlo con una fórmula de columna. Bill lo mostrará en su charla sobre preprocesamiento.
	Así que ahora voy a visualizar el antes y el después.
	usando esto. Inicie el Generador de gráficos.
	Color por gluten.
	Puedes ver que con esos sencillos métodos de preprocesamiento hemos hecho mucho para limpiar el ruido en los espectros. Todavía hay algo de ruido en los subgrupos.
	Y luego Bill mostró en su charla anterior cómo se pueden limpiar los datos aún más si se utiliza un filtro de primera derivada de Savitzky-Golay. Y eso está en otro complemento que probamos en la publicación del blog, pero no entraré en eso aquí.
	Lo principal que hay que saber, Bill lo mostrará, es que primero haga un filtro de primera derivada y luego una variable normal estándar limpiará cualquier efecto multiplicativo restante.
	Entonces resulta que puedes hacerlo aún mejor.
	preprocesar estos espectros usando algo llamado corrección de dispersión multiplicativa extendida.
	Entonces tengo esa configuración aquí.
	Entonces, estos datos en realidad fueron tomados de un artículo que introdujo la corrección de dispersión multiplicativa extendida (simplemente llámela EMSC de ahora en adelante) y
	Para mostrar las ventajas de este método de preprocesamiento, usaré un gráfico de efectos de dispersión. Pero para hacer esto, necesito calcular la absorbancia promedio en cada longitud de onda.
	Y puedo hacerlo con una fórmula de columna aquí.
	Y luego trazaré esto en Graph Builder.
	Entonces, el gráfico de efectos de dispersión representa la absorbancia promedio en cada longitud de onda por las absorbancias individuales, y las pendientes en el eje Y indican un efecto aditivo, mientras que
	cambios en
	La pendiente de los espectros individuales aparece como un abanico en estos gráficos, y eso indica un efecto multiplicativo. Y luego, curiosamente, los efectos químicos aparecen como bucles en estas tramas.
	Y entonces hay claramente un gran efecto aditivo aquí, así que para limpiarlo, puedo usar un filtro Savitzky-Golay de primera derivada. Tengo esos datos aquí.
	Así que esto limpia dramáticamente el efecto aditivo, pero todavía queda algo de ventilación en esta trama. Entonces puedes limpiar eso con la variación normal estándar.
	Pero en cambio, lo que hace el EMSC es eliminar los efectos aditivos y multiplicativos en un solo paso, y no requiere una transformación derivada, lo cual es útil porque hará que los espectros resultantes sean más fáciles de interpretar.
	Y esencialmente lo que hace el EMSC es separar la variación en los espectros debida a efectos químicos y la variación debida al ruido.
	Y luego resta la variación debida al ruido y lo hace con un modelo lineal, así que configuré los términos que necesito para el modelo aquí. Y
	Cubrimos los detalles de eso en el blog. Todo lo que voy a decir es que puedes usar el modelo de ajuste.
	para ajustarse al modelo EMSC, y esta es una herramienta de enseñanza muy útil para comprender cómo se aplica el modelo de preprocesamiento para que ya no sea una caja negra. Y aquí en el modelo tenemos un modelo separado para cada espectro y los coeficientes estimados.
	se utilizan en la corrección, y puedes...también puedes
	relanzar esto
	modelo con diferentes efectos para ver cómo eso cambia las cosas.
	Así que apliqué la corrección final aquí y solo mostraré el antes y el después.
	Entonces
	los espectros ahora están notablemente libres de efectos de dispersión, y el efecto en los espectros es
	debido al cambio en la composición de la mezcla ahora está claro. Eso es todo lo que voy a cubrir y se lo entregaré a Bill para que pueda cubrir algunos de los métodos de modelado.
Bill Worley	Oye, gracias Jeremy.
	Cambiemos de pantalla aquí.
	Y deberías estar viendo mi tabla de datos ahora mismo. Espero que tan pronto como haga clic en eso.
	¿Todos están viendo mi tabla de datos?
Jeremy Ash	Sí.
Bill Worley	Bien, aquí vamos. Estos son los mismos datos que Jeremy estaba usando, excepto que en este caso los tenemos... los tengo en formato ancho. Solo le hago saber que puede analizar los datos en ambos sentidos. Algunas personas prefieren el formato de pila, otras prefieren el formato ancho.
	Así que debes saber que se puede hacer. Lo único... lo primero que quiero mostrarles es,
	De lo que Jeremy estaba hablando antes es de cómo podemos mirar los datos en el formato sin procesar y luego hacer esa primera derivada de Savitzky-Golay y luego el estándar eventual... el suavizado de variaciones normales estándar. Y nuevamente, sepa que esto se hace en formato ancho.
	Bien, les muestro que eso se puede hacer allí.
	Lo siguiente que quiero mostrar es
	análisis de componentes principales. Esto es bastante estándar para la mayoría de las personas que utilizan o analizan datos espectrales.
	Lo que nosotros... es muy factible en JMP. Es, ya sabes, vas a analizar,
	métodos multivariados y componentes principales. Entonces ya lo hice. Ya he configurado lo que estamos mostrando aquí es que, en su mayor parte, con dos componentes principales, podemos explicar toda la variación que está sucediendo. Si miramos este gráfico de puntuación aquí,
	Se puede ver que el subgrupo de los diferentes grupos de las mezclas que tenemos, el gluten y el almidón.
	Tenemos...
	bueno, podemos ver ese subgrupo. Está muy bien hecho allí. La otra cosa que puedes ver es que Jeremy había hablado de datos altamente correlacionados.
	Estamos mostrando eso en este otro gráfico de componentes aquí. Podemos activar las variables pero... activar las etiquetas, pero sería un poco complicado.
	para mirar. A continuación se muestra un gráfico de análisis de valores atípicos, por lo que es un gráfico de T cuadrado y estamos utilizando los dos componentes principales del análisis. Y está mostrando que, sí, tal vez tengamos algunos de los espectros que podrían estar un poco fuera de...
	Esos podrían ser valores atípicos, pero en la mayoría de los casos... en la mayoría de los casos, no íbamos a utilizar todos los datos de todos modos; es simplemente una forma de analizar los datos, está bien.
	Lo siguiente que quiero mostrar es algo llamado gráfico de control multivariado basado en modelo, y esto es prácticamente lo mismo que hice con los componentes principales solo en un
	Manera diferente. Entonces estamos viendo estos mismos dos componentes principales.
	aquí arriba, y tenemos la agrupación de los subgrupos aquí. Y si miramos aquí abajo, tenemos algo llamado DModX normalizado, que es otra forma de ver el valor atípico...
	posibles valores atípicos dentro de sus datos. Sólo sé que eso está ahí. La otra cosa que ofrecen los gráficos de control multivariado basados en modelos es una forma de comparar sus datos.
	Lo que he hecho aquí es que seleccioné las muestras 13, 46, 95 y 45 para mostrar esas diferencias entre
	Esos cuatro espectros, cierto. Entonces ahora podemos ver que esos... fuera de esos grupos, son bastante diferentes, cierto, los espectros son bastante diferentes.
	La otra forma de hacer esta comparación es aquí abajo, a través del gráfico de puntuación. Voy a seleccionar la letra L, que me dará mi herramienta de lazo.
	Y voy a rodear esto lo mejor que pueda, sin tomar ningún otro dato, y convertirlo en el grupo A. Y luego aquí abajo en el grupo rojo, este último grupo rojo,
	toma eso y selecciónalo. Es mi grupo B y luego compara, ¿verdad? Y luego esto le permitirá volver a comparar los datos de manera efectiva.
	Mientras hago esto, puedo ver cómo, ya sabes, a medida que selecciono los espectros, lo que se selecciona en los diferentes grupos, cierto, esa es una forma genial de visualizar los datos.
	Está bien. Voy a pasar al siguiente. Entonces estos son datos sin procesar, está bien. El siguiente paso es con los datos preprocesados, por lo que son prácticamente los mismos datos que vio antes,
	pero hice el preprocesamiento, por lo que pasé de los datos sin procesar a la variación normal estándar. Y nuevamente, usando los dos componentes principales aquí,
	Podemos ver que los datos están un poco mejor agrupados. Hay un poco... mucho menos ruido, mucha menos variación que ese gráfico de T cuadrado. Y juro que no hice esto a propósito, pero los datos parecen ser un poco más felices ahora, ¿verdad? Es una pequeña sonrisa.
	Cada uno de estos pequeños grupos de aquí abajo tiene 20 espectros. Si paso el cursor sobre eso, puedo trazar esos espectros, extraerlos,
	Y mira eso, si así lo deseo, está bien. Puedo hacer la misma agrupación que vi antes, así que intentémoslo. Resalta esto
	y esto lo hace un poco más fácil, porque no tengo que hacer... usar esa herramienta de dibujo, porque los datos se agrupan un poco mejor, ¿verdad? En ese mismo caso, puedo hacer lo que hice antes, resaltar los datos y luego
	haz comparaciones según sea necesario, está bien. Así que ese es el uso de componentes principales. Hay otra manera de hacer el mismo tipo de análisis, usando
	mínimos cuadrados parciales. Guarde las puntuaciones X de mínimos cuadrados parciales y luego utilice esos datos para crear el gráfico de control multivariado basado en el modelo a partir de ahí. Y nuevamente, esto se ve realmente limpio. Estos son los datos preprocesados. La agrupación es realmente bonita, así que podemos verla desde allí.
	Podemos mirar el
	DModX. Todavía es un poco ruidoso, pero no tanto como los datos cuando miramos los datos sin procesar con los componentes principales, está bien. Así que volvamos a
	Estamos mirando otro método de análisis, y este es mirar el agrupamiento jerárquico superior. Jeremy había mencionado esto
	Inicialmente, y mirando los datos,
	observando cómo ocurre la agrupación. Si analizamos los datos sin procesar, podemos ver que hay muchos grupos más pequeños.
	Y los datos reales... parecen estar distribuidos en diferentes grupos. Quiero decir, ellos... no están agrupados como cabría esperar, ¿verdad? Así que hemos tomado eso
	datos preprocesados, hicimos el mismo análisis y realmente obtuvimos una agrupación realmente buena. Y cada uno de estos está en cinco grupos, así que ahí es donde se ve aquí.
	Así que aquí el almidón y el gluten se separan muy bien. Si guarda estos datos en su tabla de datos a través de la capacidad de guardar clústeres,
	De hecho, puedes usarlo en tu modelado, si así lo deseas. También puede guardar la fórmula para el grupo más cercano y luego cualquier dato nuevo que obtenga será
	coloque el grupo más cercano.
	Bien, estas son solo un par de formas de incorporar sus datos, verlos, configurarlos para el modelado y luego el siguiente paso sería pasar al modelado. Y lo que les voy a mostrar a continuación son mínimos cuadrados parciales, que es típicamente o... Lo siento, esto es una regresión generalizada.
	Entonces este es un modelo de regresión generalizada que queremos mostrarle a la gente, ¿verdad?
	esto es
	donde podríamos ver algunas cosas que estaban sucediendo. Y parece que un par de cosas han cambiado en mí.
	Quiero agarrar... ahí, ahí. Son mis mínimos cuadrados parciales, y esto muestra que realmente he analizado los datos de una manera que, con suerte,
	Dame un buen modelo. Y lo que he hecho, simplemente te mostraré cómo hacerlo. Vas a analizar y esta es la versión JMP Pro. Como dije, hay... muchas de las cosas que les estoy mostrando se pueden hacer en JMP normal. Si voy a métodos multivariados,
	mínimos cuadrados parciales, puedo hacer el mismo análisis, pero voy a hacer la versión JMP Pro, ¿verdad? Y voy a seleccionar almidón y gluten.
	Voy a seleccionar mis datos sin procesar, los agregaré y luego los ejecutaré desde allí,
	bien. Y puse la configuración incorrecta, pero vamos.
	de regreso
	el análisis que hemos configurado aquí. Y puedo mostrarles un par de cosas diferentes aquí abajo. Esto se hizo con datos preprocesados.
	Bien, el ajuste se ve muy bien y les mostraré una comparación de esos ajustes en un momento. Entonces
	Tenemos nuestros datos de mínimos cuadrados parciales para los datos sin procesar, la pieza... y luego los datos preprocesados. Y si quiero compararlos,
	Puedo ver cómo funcionan esos modelos, ¿verdad? Lo que estoy mostrando aquí ahora es una comparación de los datos sin procesar a la izquierda y luego los datos preprocesados a la derecha, y obtenemos un ajuste mucho mejor con los datos preprocesados, así que esto vuelve a lo que Jeremy estaba diciendo antes.
	Necesitamos limpiar estos datos para obtener los mejores modelos predictivos que podamos obtener, con suerte, salir, está bien.
	Otra cosa que quiero mostrarles es
	el...
	veamos dónde estoy aquí.
	Lo que quiero mostrarles es el explorador de datos funcional.
	Y esto es
	una forma de... la forma más nueva de modelar o, al menos en JMP, la forma más nueva de modelar datos de espectros porque puedes analizar los datos de forma continua.
	Muy bien, entonces te mostraré cómo hacer esto. Pero lo que esto muestra es que, ahora mismo, si solo mirara los datos sin procesar, podemos analizarlos con dos componentes principales funcionales,
	tal como lo hicimos con el análisis de componentes principales, y podemos obtener un modelo bastante decente. Lo único que notarás es que esto es más... este es un método de calibración multivariado, pero es un método multivariado inverso.
	Repasemos este análisis.
	Analizar.
	Y luego tenemos que ir al modelado especializado y vamos a ir al explorador de datos funcionales.
	Como tengo los datos en formato ancho, tengo que usar filas como funciones.
	Voy a usar mi
	almidón y gluten como variables suplementarias. Spectra es mi identificación y voy a obtener los datos sin procesar.
	Bueno.
	Y hay muchas cosas que se pueden hacer con los datos ahora en el explorador de datos funcional, en cuanto a limpiarlos y hacer algo de preprocesamiento, pero eso, como dijo Jeremy, eso solo mejorará en JMP 17.
	A partir de aquí, queríamos modelar o construir un modelo a partir de esto. Queremos ajustar todos los datos,
	Entonces vamos a ir a los modelos, PCA funcional directa.
	Y si miramos esto aquí, esto quiere decir que podríamos usar cinco componentes principales funcionales, pero es casi una pérdida de esfuerzo, porque tenemos...
	con dos, en realidad estamos ajustando todos los datos, el 100% de los datos, de la variación, ¿verdad? Así que voy a deslizar esto hacia atrás, limpiarlo un poco y luego volveré a moverlo hacia abajo.
	Y veamos el gráfico de puntuación aquí.
	Esto nos muestra los datos, como los datos sin procesar en sus subgrupos, como vimos antes, y todos los demás gráficos de puntuación. Y lo bueno de esto es que si coloco el cursor sobre esto, puedo sacar estos espectros individuales.
	y compararlos sólo visualmente, está bien.
	Más abajo aquí, tenemos el generador de perfiles del componente principal funcional y es bueno. Podemos ver lo que va a pasar con el
	curvas a medida que cambiamos los componentes principales funcionales, pero tratando de decirle a la gente, ya sabes, vayan a cambiar el componente principal funcional 2
	obtener la curva que deseas no va a... no va bien. Entonces lo que se ha agregado es una capacidad llamada análisis funcional DOE, ¿vale? Y con eso puedes
	Mire la capacidad de... o cómo cambian las curvas, según los componentes que he agregado, los componentes suplementarios, nuestros componentes mixtos. Déjame agregar una cosa aquí y voy a alterar el lineal. Voy a agregar una restricción.
	y
	cambia esto.
	Muy bien, y di OK. Y luego, cuando miramos nuestras agrupaciones aquí, a medida que... a medida que bajo en almidón, ese gluten aumentará, entonces esa restricción nos permite mirar
	cómo se comparan los diferentes grupos o las mezclas y qué pasará con las curvas a medida que cambiemos los diferentes niveles de almidón y gluten, está bien. Y eso, nuevamente, es un continuo, lo que hemos hecho en los datos está, ya sabes, muy definido.
	porciones de los datos, para que podamos tener una idea de lo que va a suceder, incluso sobre... incluso si las mezclas no son exactas como las que mostramos en los datos, está bien.
	Muy bien, eso es con los datos sin procesar, y veamos si esto es... mi siguiente paso es... esto es prácticamente lo mismo.
	Y quiero asegurarme de tener el correcto aquí. Esto se hace con los datos preprocesados, por lo que es el mismo explorador de datos funcional,
	usando los datos preprocesados, discúlpeme, y ya podrá ver las diferencias.
	Y las curvas a medida que llegan los datos preprocesados, las hacemos... ajustamos los modelos, obtenemos dos componentes principales funcionales. Y lo que queremos ver aquí abajo es que el
	trama de puntuación. Y podemos ver nuevamente como esas agrupaciones de las variables son el hecho de las diferentes versiones o las diferentes
	Las agrupaciones o mezclas de gluten y almidón se agrupan mucho mejor aquí, de acuerdo. Una y otra vez, puedes sacar otros diferentes, así que eso es algo así como verlo.
	Lo último que quiero mostrar o hablar es sobre algo llamado regresión generalizada.
	Y si esto será
	Juega bien conmigo, este es el ajuste de regresión generalizada de los datos sin procesar, ¿verdad? Y lo he hecho usando un ajuste de red elástica con validación cruzada de pliegues en K.
	He configurado el alfa de la red elástica en .56 para obtener un... lo que yo llamo un ajuste más agradable a la vista. Lo que hace es permitir que diferentes... o más grupos de
	longitudes de onda que se agregarán al ajuste del modelo. No sólo limitará el ajuste general del modelo.
	Si hiciera eso, si limitara ese elástico, ese alfa, obtendría un ajuste que se parece más a este. Y ahora es un modelo mucho más pequeño, un modelo mucho más simple, pero también estás obteniendo... es posible que te estés perdiendo algunos de los aditivos o
	efectos aditivos que podrían ayudarle a conseguir un mejor ajuste general. Así que es tu elección, el modelo más simple te ayudará a largo plazo,
	Si necesita tener diferentes grupos, eso le ayudará a encontrar diferentes grupos si tiene una mezcla de múltiples componentes, pero sepa que encajan con el
	Un alfa neto elástico más bajo permitirá que más factores y más variables, más longitudes de onda formen parte del modelo, está bien.
	Y eso es con los datos sin procesar. A ver si esto me da...
	veremos si lo conseguimos... y luego este es el ajuste con el
	datos completamente preprocesados, por lo que es prácticamente lo mismo.
	Es sólo que estás viendo un resultado general diferente,
	bien. Estás viendo un modelo diferente, se ve muy diferente. Esto es, nuevamente, usando las diferentes redes elásticas alfa y
	Qué... en última instancia, lo que queremos hacer es simplemente comparar estas cosas. Si comparo el...
	Nuevamente, al comparar los datos sin procesar de PLS con los datos preprocesados, se obtiene un ajuste mucho mejor. Si miro la regresión generalizada versus... entonces estos son datos de mínimos cuadrados parciales para
	preprocesado, preprocesado usando regresión generalizada en un alfa neto elástico más pequeño, y luego el alfa neto elástico más alto. Estamos teniendo buenos ajustes por todas partes, cierto, así que no está de más investigar usando el
	regresión generalizada en JMP Pro versus sus mínimos cuadrados parciales. De hecho, obtienes algunos modelos realmente buenos y
	Es simplemente una excelente manera de analizar sus datos y crear modelos predictivos para compararlos en el futuro o cuando obtenga datos futuros.
	Con eso, voy a decir gracias. Jeremy, muchas gracias por tu parte en esto. Y esperamos que todos disfruten esto. Por favor danos tu opinión. Estamos buscando comentarios. Queremos saber qué piensa la gente sobre estas nuevas capacidades.

FugarseExploración de datosEstadística y Modelización