Vocero
|
Transcripción
|
| Jeremy Ash, JMP |
Hola y gracias por venir a nuestra charla. Soy Jeremy Ash. Soy estadístico en I + D de JMP y Bill Worley está aquí. Es un ingeniero de sistemas senior. Vamos a hablar sobre el análisis de datos de espectroscopía de infrarrojos cercanos en JMP. |
| |
Así que esta no es la primera charla que se hace sobre este tema. Bill tiene varias charlas relacionadas que puedes encontrar en la Comunidad. |
| |
Tengo enlaces a un par de estos aquí, que se encuentran en material complementario y |
| |
Bill está dando una charla sobre FDE y DOE para modelar de manera eficiente modelos de calibración multivariante con menos experimentos, y también cubrió el preprocesamiento de espectros con más detalle. |
| |
en Discovery Europe a principios de este año. Y luego Bill y yo hemos estado escribiendo una serie de blogs sobre este tema, y está en la Comunidad. Estos son los temas que hemos cubierto hasta ahora, y creamos un complemento JMP, que demostraré su uso más adelante. |
| |
Entonces, un caso de uso común de la espectroscopia IR cercana es determinar la composición química de una mezcla y estoy mostrando un ejemplo de espectros IR cercanos a la derecha. |
| |
Y se recolecta alguna medida de absorbancia en un rango de longitudes de onda, y los espectros aquí representan una muestra de cereal en polvo, que es una mezcla de varios componentes químicos subyacentes. |
| |
Y los espectros de los componentes puros están en la parte inferior y los espectros de la mezcla están por encima. Y debido a fenómenos como |
| |
armónicos y bandas de combinación, los picos de los componentes individuales son a menudo amplios y superpuestos, lo que dificulta la desconvolución de los espectros en los componentes subyacentes. |
| |
Entonces, en cambio, la ruta que toman las personas es construir modelos que predicen la composición como una función de la absorbancia en muchas longitudes de onda, y esto hace que los datos sean de alta dimensión y las variables a menudo estén altamente correlacionadas. |
| |
Por lo tanto, uno de los principales desafíos a superar al analizar espectros de infrarrojos cercanos es que la relación señal / ruido suele ser baja y eso se debe a variaciones incontroladas. |
| |
causado por efectos de dispersión de la luz. Y estos deben limpiarse antes de poder construir un modelo confiable. Por lo tanto, los datos a menudo están sujetos a algunas transformaciones de preprocesamiento importantes, y hay varias fuentes comunes de ruido, que se ilustran a la derecha aquí. |
| |
Los espectros verdaderos se muestran en negro y luego los espectros en verde tienen un cambio de línea de base constante o un efecto aditivo. |
| |
Y luego los espectros en azul tienen un efecto aditivo y un efecto multiplicativo. Los efectos multiplicativos son donde la distorsión es mayor a absorbancias mayores, y luego el espectro púrpura tiene un efecto aditivo, un efecto multiplicativo y una pendiente hacia el cambio de la línea de base. |
| |
A continuación, mostraré algunos de los métodos de preprocesamiento para limpiar estas fuentes de ruido. Todos estos se analizan con más detalle en las publicaciones de nuestro blog, pero mostraré varios en la demostración y la primera derivada de Savitzky-Golay limpiará los efectos aditivos. |
| |
Y luego, un filtro de segunda derivada también limpiará los cambios de línea base inclinados. Y estos son métodos efectivos y de uso común, pero el problema es que la transformación es mucho más difícil de interpretar que el espectro original. |
| |
Entonces, los otros métodos de preprocesamiento que mencionaré hacen un mejor trabajo al mantener esta interpretabilidad. los |
| |
centros y escalas variables normales estándar, de modo que hay una media cero en la varianza unitaria a lo largo de cada espectro, y esta es una normalización simple, pero es eficaz para limpiar los efectos tanto aditivos como multiplicativos. |
| |
Y luego la corrección de dispersión multiplicativa, que usa un modelo lineal para hacer que cada espectro se vea como un espectro de referencia y, a menudo, no hay ninguna referencia disponible, por lo que en su lugar se usa el espectro medio. |
| |
Y luego, la corrección de dispersión multiplicativa extendida es el único método que limpiará las tres fuentes de ruido y este es un método más avanzado que requiere espectros de referencia para cada componente en una mezcla. |
| |
Y veremos cómo funciona eso más adelante. |
| |
Y luego, dado que los datos son de alta dimensión y las variables están altamente correlacionadas, se pueden aplicar muchos métodos multivariados. Todos los análisis enumerados se pueden realizar en JMP. |
| |
Los métodos de reducción de dimensionalidad son esenciales para visualizar los datos. Los métodos habituales son el análisis de componentes principales o el escalado multidimensional. |
| |
Y luego, los componentes principales funcionales en el explorador de datos funcionales es un método particularmente útil aquí. |
| |
Y JMP es único entre el software disponible para el análisis espectral y tiene una plataforma de análisis de datos funcional fácil de usar. Y dado que los espectros tienen una forma funcional, FDE tiene muchos usos potenciales para los espectros. |
| |
Y recién estamos comenzando a explorar esas capacidades. Y luego la agrupación es común. La agrupación jerárquica en JMP es particularmente útil. |
| |
Y luego se suele realizar un análisis de valores atípicos, |
| |
y para hacer esto, primero construya un modelo PCA o PLS y luego los valores atípicos se identifican en los gráficos T cuadrado y DModX. |
| |
Y todo esto se puede hacer en la plataforma de gráficos de control multivariante impulsados por modelos. Y luego los modelos predictivos que predicen la composición química en función de los espectros, estos se denominan modelos de calibración multivariante, y estos modelos manejan casos donde hay más variables que observaciones. |
| |
Y esto se puede hacer bien con PLS o regresión penalizada en GenReg o también con el explorador de datos funcional. |
| |
Bien, voy a cambiar a JMP y comenzar mi demostración. |
| |
Primero, mostraré cómo leer datos espectrales usando el complemento de herramientas espectrales. |
| |
Para archivos delimitados por texto, el complemento que proporcionamos es solo un contenedor para el importador de múltiples archivos, que está aquí. |
| |
Pero el complemento muestra algunas de las características más útiles. Y luego también tenemos un importador de JCAMP-DX, que es algo nuevo para JMP. Y en general, |
| |
la mayor parte de esto ya se puede hacer en JMP, pero mi objetivo era escribir algunas envolturas que agilicen un poco el flujo de trabajo para los espectros. Y también debo señalar que esto se mejorará en JMP 17, así que con suerte, este complemento estará obsoleto pronto, pero |
| |
esto podría ser útil en el momento, si está construyendo modelos espectrales. |
| |
Entonces tengo un |
| |
carpeta con archivos csv, un archivo por espectro, y en estos archivos, la primera columna es la variable X y la segunda columna es la variable Y. Así que voy a importar este directorio a JMP. |
| |
Seleccione esa carpeta. |
| |
Y quiero leer en formato apilado porque ese es el formato que usa el complemento. |
| |
Y luego tengo un encabezado en esos archivos; Seleccionaré esa opción. Y también puedo usar esto para seleccionar solo archivos csv. |
| |
Entonces, esto se lee en los espectros en un formato apilado. |
| |
Y también tengo algunos metadatos en una tabla JMP aquí |
| |
que quiero agregar a esta tabla de datos. Y la forma en que voy a hacer eso es con una combinación en la columna de espectros. |
| |
Pero he leído los nombres de los archivos con la extensión de archivo, así que use el texto en las columnas aquí para |
| |
Quítese esas extensiones. |
| |
Le estoy dando a este un nombre de archivo más informativo. |
| |
Y voy a usar una actualización de tabla y voy a hacer coincidir las columnas de espectros. |
| |
Y luego lo último que voy a mostrar es ... |
| |
o voy a mover esta columna de espectro aquí. |
| |
Bien, así es como configuro esta tabla de datos |
| |
y lo agregó a los datos de muestra en el complemento. |
| |
Así que voy a echar un primer vistazo a los datos y para hacer eso, voy a usar el comando de lanzamiento de Graph Builder en el complemento. |
| |
Voy a colorear por gluten. |
| |
Y aquí a la izquierda, la herramienta espectral configura algunos filtros de datos locales que tienen algunos controles útiles, por lo que puede filtrar por longitud de onda para enfocarse solo en las regiones de interés. Entonces, si solo quisiera enfocarme en este pico aquí y |
| |
si tengo todas las columnas seleccionadas en la tabla de datos, puedo usar el comando show subset y eso solo hará un subconjunto con esa región de interés. |
| |
También puedo trazar espectros individuales aquí con este filtro, y |
| |
es útil buscar espectros para trazar subconjuntos. |
| |
Y lo último que voy a mostrar son los controles de animación, |
| |
pero para hacer esto voy a bloquear los ejes, de lo contrario se van a adaptar a los espectros individuales. |
| |
Aquí ... voy a acelerarlo un poco, para que podamos escanear estos muy rápido. |
| |
Y esta función es particularmente útil si tiene espectros recopilados en diferentes puntos de tiempo, como en el monitoreo de reacciones. |
| |
Y también puede utilizar nuestros diagramas de dispersión 3D en gráficos para visualizar esos datos. |
| |
Está bien, entonces voy a |
| |
aclara esto |
| |
filtrar. |
| |
Una cosa para recordar cuando tengas |
| |
la trama configurada de la manera que lo desee, puede guardar esto |
| |
script de nuevo a la tabla de datos, para que pueda volver a crear el gráfico más tarde si desea intercambiar nuevos datos, como después de haber realizado un preprocesamiento. |
| |
Entonces, la otra cosa que quería mostrar es visualizar la variabilidad y algunas gráficas de diagnóstico. Para hacer eso, voy a eliminar las variables de agrupación. |
| |
y eso me dará un resumen de los espectros en general. Y puedo usar diagramas de caja. Estos son |
| |
útiles para tener una idea de si la variación es constante en las longitudes de onda, son específicas para ciertas longitudes de onda. Si es constante, eso indica la necesidad de un preprocesamiento adicional, pero si es específico de las longitudes de onda, a menudo se trata de efectos químicos reales, por lo que son útiles. |
| |
Y luego otra forma de visualizar la variabilidad es con |
| |
parcelas de barras. Me gusta usar gráficos de barras flotantes y luego también puede agregar variables de agrupación si desea ver la variabilidad en diferentes subgrupos. |
| |
Y eso es todo lo que voy a mostrar con la visualización. Y la otra cosa que quería mencionar es cómo leer archivos JCAMP-DX. |
| |
Entonces tengo un directorio |
| |
ese |
| |
contiene dos archivos JCAMP-DX que provienen del sitio web estándar de JCAMP-DX. No estaba cómodo |
| |
compartir archivos que usamos para probar el complemento, porque provienen de los clientes. Así que tomé un archivo de prueba de ese sitio web y lo dupliqué dos veces para mostrar cómo podemos leer en |
| |
varios archivos. Y solo admitimos el formato más común, que son archivos con una lista de variables X / Y sin compresión y solo admitimos un espectro por archivo. Y creo que este es el formato más común, pero si necesita algo más, avísenos. |
| |
Así que voy a leer eso con ... |
| |
aquí, con las opciones predeterminadas. |
| |
Y solo para mostrarte eso |
| |
esto se leyó correctamente, |
| |
trazarlo en Graph Builder. |
| |
Esto muestra los mismos espectros, estos son espectros de RMN en realidad, pero este también es un formato común para el espectro NIR. |
| |
Entonces eso es todo lo que voy a mostrar |
| |
con importación de datos. |
| |
Y a continuación, mostraré algunos de los métodos de preprocesamiento simples que se encuentran en las herramientas espectrales. La intención era proporcionar un preprocesamiento básico que permitiera a los usuarios comenzar con algunos modelos de calibración simples con algo como PLS |
| |
para que podamos obtener comentarios sobre el flujo de trabajo, pero planeamos un conjunto más completo de métodos de preprocesamiento en FDE en JMP 17, que será solo Pro, pero alentamos a los usuarios a usar FDE ya que esa plataforma realmente se especializa en modelar datos funcionales como espectros. |
| |
Así que primero te voy a mostrar |
| |
Alisado Savitzky-Golay. |
| |
Y puede cambiar el grado del polinomio que se usa aquí. Puede cambiar el tamaño de la ventana deslizante; el tamaño más grande se suaviza más agresivamente. Y luego, la moldura aquí recortará las ventanas corredizas desequilibradas. |
| |
Y Savitzky-Golay es en realidad un caso especial de regresión kernal local, por lo que puede probar las otras opciones para esto |
| |
en Graph Builder, como diferentes formas de definir su ventana deslizante y diferentes funciones de ponderación. Y una vez que haya elegido los parámetros que desea, puede guardar los espectros en la tabla. |
| |
A continuación, mostraré la variante normal estándar aplicada a |
| |
los espectros suaves. |
| |
Y |
| |
esto solo se centra y escala a lo largo de cada espectro individualmente, y también puede hacerlo con una fórmula de columna. Bill lo mostrará en su charla de preprocesamiento. |
| |
Así que ahora voy a visualizar el antes y el después |
| |
usando esto. Inicie Graph Builder. |
| |
Color por gluten. |
| |
Puede ver que con esos simples métodos de preprocesamiento, hemos hecho mucho para limpiar el ruido en los espectros. Todavía hay algo de ruido en los subgrupos. |
| |
Y luego Bill mostró en su charla anterior cómo puede limpiar los datos aún más si usa un filtro de primera derivada Savitzky-Golay. Y eso está en otro complemento que probamos en la publicación del blog, pero no entraré en eso aquí. |
| |
Lo principal que hay que saber, Bill mostrará esto, es que primero haga un filtro de primera derivada y luego una variante normal estándar limpiará cualquier efecto multiplicativo restante. |
| |
Entonces resulta que puedes hacerlo aún mejor |
| |
preprocesar estos espectros usando algo llamado corrección de dispersión multiplicativa extendida. |
| |
Así que tengo esa configuración aquí. |
| |
Entonces, estos datos en realidad se tomaron de un documento que introdujo la corrección de dispersión multiplicativa extendida (solo llame a ese EMSC de aquí en adelante) y |
| |
Para mostrar las ventajas de este método de preprocesamiento, usaré un gráfico de efectos de dispersión. Pero para hacer esto, necesito calcular la absorbancia promedio en cada longitud de onda. |
| |
Y puedo hacer eso con una fórmula de columna aquí. |
| |
Y luego trazaré esto en Graph Builder. |
| |
Entonces, la gráfica de efectos de dispersión traza la absorbancia promedio en cada longitud de onda por las absorbancias individuales, y las pendientes en el eje Y indican un efecto aditivo, mientras que |
| |
cambios en |
| |
La pendiente de los espectros individuales se muestra como un abanico en estos gráficos, y eso indica un efecto multiplicativo. Y luego, curiosamente, los efectos químicos aparecen como bucles en estos gráficos. |
| |
Y aquí hay claramente un gran efecto aditivo, así que para limpiar eso, puedo usar un filtro Savitzky-Golay derivado de primera. Tengo esos datos aquí. |
| |
Así que esto limpia el efecto aditivo dramáticamente, pero todavía queda algo de fanatismo en esta trama. Entonces puedes limpiar eso con la variante normal estándar. |
| |
Pero en cambio, lo que hace el EMSC es eliminar los efectos aditivos y multiplicativos en un solo paso, y no requiere una transformación derivada, lo cual es útil porque hará que los espectros resultantes sean más fáciles de interpretar. |
| |
Y esencialmente lo que hace el EMSC es separar la variación en los espectros debida a los efectos químicos y la variación debida al ruido. |
| |
Y luego resta la variación debida al ruido y lo hace con un modelo lineal, así que configuré los términos que necesito para el modelo aquí. Y |
| |
cubrimos los detalles de eso en el blog. Todo lo que voy a decir es que puedes usar el modelo de ajuste |
| |
para ajustarse al modelo EMSC, y esta es una herramienta de enseñanza muy útil para comprender cómo se aplica el modelo de preprocesamiento para que ya no sea una caja negra. Y aquí en el modelo, tenemos un modelo separado para cada espectro y los coeficientes estimados |
| |
se utilizan en la corrección, y puede ... también puede |
| |
relanzar esto |
| |
modelo con diferentes efectos para ver cómo eso cambia las cosas. |
| |
Así que apliqué la corrección final aquí y solo mostraré el antes y el después. |
| |
Entonces |
| |
los espectros ahora están notablemente libres de efectos de dispersión, y el efecto sobre los espectros es |
| |
debido al cambio en la composición de la mezcla ahora está claro. Así que eso es todo lo que voy a cubrir, y se lo entrego a Bill y él puede cubrir algunos de los métodos de modelado. |
| Bill Worley |
Oye, gracias, Jeremy. |
| |
Cambiemos las pantallas aquí. |
| |
Y deberías estar viendo mi tabla de datos ahora. Espero tan pronto como haga clic en eso. |
| |
¿Todos están viendo mi tabla de datos? |
| Jeremy Ash, JMP |
Si. |
| Bill Worley |
Bien, aquí vamos. Estos son los mismos datos que estaba usando Jeremy, excepto que en este caso, los tenemos ... los tengo en formato ancho. Solo le hago saber que puede analizar los datos en ambos sentidos. Algunas personas prefieren el formato de pila, algunas personas prefieren el formato ancho. |
| |
Así que sepa que se puede hacer. Lo único ... lo primero que quiero mostrarte es, |
| |
De lo que Jeremy estaba hablando antes, es cómo podemos mirar los datos en el formato sin procesar y luego hacer esa primera derivada de Savitzky-Golay y luego el estándar eventual ... suavizado de variables normales estándar. Y nuevamente, sepa que esto se hace en formato ancho. |
| |
Bien, mostrándote que eso se puede hacer allí. |
| |
A continuación, quiero mostrar es |
| |
análisis de componentes principales. Esto es bastante estándar para la mayoría de las personas que utilizan o analizan datos espectrales. |
| |
Lo que ... es muy factible en JMP. Es, ya sabes, vas a analizar |
| |
métodos multivariados y componentes principales. Así que ya lo hice. Ya configuré lo que estamos mostrando aquí es que, en su mayor parte, con dos componentes principales, podemos explicar toda la variación que está sucediendo. Si miramos este gráfico de puntuación aquí, |
| |
se puede ver que el subgrupo de los diferentes grupos de las mezclas que tenemos, el gluten y el almidón. |
| |
Tenemos... |
| |
bueno, podemos ver ese subgrupo. Está muy bien hecho allí. Lo otro que puede ver es que Jeremy había hablado de datos altamente correlacionados. |
| |
Estamos mostrando eso en este otro diagrama de componentes aquí. Podemos activar las variables pero ... las etiquetas pero estaría un poco desordenado |
| |
para mirar. Aquí abajo hay un gráfico de análisis de valores atípicos, por lo que es un gráfico T cuadrado y estamos usando los dos componentes principales del análisis. Y está mostrando que, sí, tal vez tengamos algunos de los espectros que podrían estar un poco fuera de ... |
| |
pueden ser valores atípicos, pero en la mayoría de los casos ... en la mayoría de los casos, no íbamos a utilizar todos los datos de todos modos; es solo una especie de forma de determinar el alcance de los datos, de acuerdo. |
| |
A continuación, quiero mostrar algo llamado gráfico de control multivariante impulsado por modelo, y esto es prácticamente lo mismo que hice con los componentes principales solo en un |
| |
Manera diferente. Entonces estamos viendo estos mismos dos componentes principales |
| |
aquí arriba, y tenemos la agrupación de los subgrupos aquí. Y si miramos hacia abajo, tenemos algo llamado DModX normalizado, que es otra forma de ver el valor atípico ... |
| |
posibles valores atípicos dentro de sus datos. Solo debes saber que eso está ahí. La otra cosa que ofrecen los gráficos de control multivariante impulsados por modelos es una forma de comparar sus datos. |
| |
Lo que hice aquí es que seleccioné las muestras 13, 46, 95 y 45 para mostrar esas diferencias entre |
| |
esos cuatro espectros, correcto. Entonces ahora podemos ver que esos ... fuera de esos grupos, son bastante diferentes, cierto, los espectros son bastante diferentes. |
| |
La otra forma en que puede hacer esta comparación es aquí a través del gráfico de puntuación. Voy a seleccionar la letra L, que me dará la herramienta de lazo. |
| |
Y voy a encerrar esto en un círculo lo mejor que pueda, sin tomar ningún otro dato, y convertirlo en el grupo A. Y luego aquí abajo en el grupo rojo, este último grupo rojo, |
| |
agarra eso y selecciona eso. Es mi grupo B y luego compare, ¿no? Y luego esto le permite volver a comparar los datos de manera efectiva. |
| |
Mientras hago esto, puedo ver cómo, ya sabes, al seleccionar los espectros, qué se está seleccionando en las diferentes agrupaciones, correcto, así que es una forma genial de visualizar los datos. |
| |
Bien. Voy a pasar al siguiente. Así que estos son datos sin procesar, de acuerdo. El siguiente paso es con los datos preprocesados, por lo que son prácticamente los mismos datos que vio antes, |
| |
pero he hecho el preprocesamiento, así que he ido desde los datos sin procesar hasta la variante normal estándar. Y nuevamente, usando los dos componentes principales aquí, |
| |
podemos ver que los datos están agrupados un poco mejor. Hay un poco ... mucho menos ruido, mucha menos variación que esa gráfica de T cuadrado. Y juro que no hice esto a propósito, pero los datos parecen estar un poco más felices ahora, ¿verdad? Es una pequeña sonrisa. |
| |
Cada uno de estos pequeños grupos aquí abajo tiene 20 espectros. Si coloco el cursor sobre eso, puedo trazar ese espectro, sacar ese espectro, |
| |
y mira eso, si así lo elijo, está bien. Puedo hacer la misma agrupación que vi antes, así que intentémoslo. Resalta esto |
| |
y esto lo hace un poco más fácil, porque no tengo que hacer ... usar esa herramienta de dibujo, porque los datos se agrupan un poco mejor, ¿no? En ese mismo caso, puedo hacer lo que hice antes, resaltar los datos y luego |
| |
haga comparaciones según sea necesario, de acuerdo. Así que ese es el uso de componentes principales. Hay otra forma de hacer el mismo tipo de análisis, usando |
| |
mínimos cuadrados parciales. Guarde las puntuaciones X de mínimos cuadrados parciales y luego use esos datos para construir el gráfico de control multivariante impulsado por el modelo a partir de ahí. Y nuevamente, esto se ve realmente limpio. Estos son los datos preprocesados. La agrupación es muy bonita, así que podemos verla desde allí. |
| |
Podemos mirar el |
| |
DModX. Todavía es un poco ruidoso, pero no tan ruidoso como los datos cuando miramos los datos sin procesar con los componentes principales, de acuerdo. Así que volvamos a |
| |
mirando otro método de análisis, y esto está mirando el agrupamiento jerárquico más alto. Jeremy había mencionado esto |
| |
inicialmente, y mirando los datos, |
| |
mirando cómo ocurre la agrupación. Si hacemos los datos sin procesar, podemos ver que hay muchos grupos más pequeños. |
| |
Y los datos reales son ... parece estar repartidos en diferentes grupos. Quiero decir, ellos ... no están agrupados de la forma que cabría esperar, ¿verdad? Entonces tomamos eso |
| |
datos preprocesados, hicimos el mismo análisis y obtuvimos una agrupación realmente agradable. Y cada uno de estos está en cinco grupos, así que ahí es donde se ve aquí. |
| |
Así que el almidón y el gluten se separan muy bien aquí. Si guarda estos datos en su tabla de datos a través de la capacidad de guardar clústeres, |
| |
de hecho, puede usar eso en su modelado, si así lo desea. También puede guardar la fórmula para el clúster más cercano y luego los datos nuevos que ingrese serán |
| |
poner en el grupo que está más cerca. |
| |
De acuerdo, esas son solo un par de formas de incorporar sus datos, mirarlos, configurarlos para el modelado, y luego el siguiente paso sería ir al modelado. Y lo que les voy a mostrar a continuación son mínimos cuadrados parciales, que típicamente son o ... Lo siento, esto es una regresión generalizada. |
| |
Así que este es un modelo de regresión generalizado que queremos mostrarle a la gente, a la derecha y |
| |
este es |
| |
donde podríamos ver algunas cosas que estaban sucediendo. Y parece que un par de cosas me han cambiado. |
| |
Quiero agarrar ... allí, allí. Son mis mínimos cuadrados parciales, y esto muestra que en realidad he analizado los datos de una manera que, con suerte, |
| |
dame un buen modelo. Y lo que he hecho, solo te mostraré cómo hacerlo. Vas a analizar, y esta es la versión JMP Pro. Como dije, hay ... muchas de las cosas que les estoy mostrando que se pueden hacer en JMP normal. Si voy a métodos multivariados, |
| |
mínimos cuadrados parciales, puedo hacer el mismo análisis, pero voy a hacer la versión JMP Pro, ¿verdad? Y voy a seleccionar almidón y gluten. |
| |
Voy a seleccionar mis datos sin procesar y agregarlos y luego ejecutarlos desde allí, |
| |
Derecha. Y puse la configuración incorrecta, pero vamos |
| |
de regreso |
| |
el análisis que tenemos configurado aquí. Y puedo mostrarte un par de cosas diferentes aquí. Esto se hizo con datos preprocesados. |
| |
Bien, entonces el ajuste se ve muy bien y les mostraré una comparación de esos ajustes un poco. Entonces |
| |
tenemos nuestros datos de mínimos cuadrados parciales para los datos sin procesar, la parte ... y luego los datos preprocesados. Y si quiero compararlos, |
| |
Puedo ver cómo funcionan esos modelos, ¿verdad? Lo que estoy mostrando aquí ahora es una comparación de los datos sin procesar a la izquierda y luego los datos preprocesados a la derecha, y obtenemos un ajuste mucho mejor con los datos preprocesados, por lo que esto se remonta a lo que Jeremy estaba diciendo antes. |
| |
Necesitamos limpiar estos datos para obtener los mejores modelos predictivos que podamos obtener, con suerte, salir, de acuerdo. |
| |
Otra cosa que quiero mostrarte es |
| |
los... |
| |
veamos dónde estoy aquí. |
| |
Quiero mostrarles que es el explorador de datos funcional. |
| |
Y esto es |
| |
una forma de ... la forma más nueva de modelar o, al menos en JMP, la forma más nueva de modelar datos de espectros porque puede analizar los datos de forma continua. |
| |
Muy bien, voy a mostrarte cómo hacer esto. Pero lo que esto muestra es que, en este momento, si solo miro los datos sin procesar, podemos analizar esto con dos componentes principales funcionales, |
| |
al igual que hicimos con el análisis de componentes principales, y podemos obtener un modelo bastante decente. Lo único que va a ... notarás que es, sin embargo, que esto es más ... este es un método de calibración multivariante, pero es un método multivariado inverso. |
| |
Repasemos este análisis. |
| |
Analizar. |
| |
Y luego tenemos que ir al modelado especializado y vamos a ir al explorador de datos funcionales. |
| |
Como tengo los datos en formato ancho, tengo que usar filas como funciones. |
| |
Voy a usar mi |
| |
almidón y gluten como variables complementarias. Spectra es mi identificación y voy a tomar los datos sin procesar. |
| |
Bueno. |
| |
Y hay muchas cosas que puede hacer con los datos ahora en el explorador de datos funcional, en cuanto a limpiarlos y hacer un preprocesamiento, pero eso, como dijo Jeremy, solo mejorará en JMP 17. |
| |
A partir de aquí, queríamos modelar o construir un modelo a partir de esto. Queremos ajustar todos los datos |
| |
así que vamos a ir a modelos, PCA funcional directo. |
| |
Y si miramos esto aquí, esto significa que podríamos usar cinco componentes principales funcionales, pero es casi una pérdida de esfuerzo, porque tenemos ... |
| |
con dos, en realidad estamos ajustando todos los datos, el 100% de los datos, de la variación, correcto. Así que voy a deslizar esto hacia atrás, limpiarlo un poco y luego volver a moverlo hacia abajo. |
| |
Y veamos el gráfico de puntuación aquí. |
| |
Esto nos muestra los datos, como los datos brutos en los subgrupos, como vimos antes, y todos los demás gráficos de puntuación. Y lo bueno de esto es que si coloco el cursor sobre esto, puedo sacar estos espectros individuales |
| |
y compararlos solo visualmente, de acuerdo. |
| |
Más abajo, tenemos el perfilador de componentes principales funcional y es bueno. Podemos ver lo que va a pasar con el |
| |
curvas a medida que cambiamos los componentes principales funcionales, pero tratando de decirle a la gente, ya sabes, vayan a cambiar el componente principal funcional 2 |
| |
obtener la curva que desea no va a ... no va bien. Entonces, lo que se ha agregado es una capacidad llamada análisis funcional DOE, de acuerdo. Y con eso puedes |
| |
mire la capacidad de ... o cómo cambian las curvas, según los componentes que he agregado, los componentes suplementarios, nuestros componentes mixtos. Permítanme agregar una cosa aquí y voy a alterar el lineal. Voy a agregar una restricción. |
| |
y |
| |
cambia esto. |
| |
Muy bien, y diga OK. Y luego, cuando miramos nuestras agrupaciones aquí, como ... a medida que bajo en almidón, ese gluten va a subir, por lo que esa restricción nos permite mirar |
| |
cómo se comparan los diferentes grupos o las mezclas y qué va a pasar con las curvas a medida que cambiamos los diferentes niveles de almidón y gluten, está bien. Y eso, nuevamente, eso es continuo, lo que hemos hecho con los datos es, ya sabes, muy definido |
| |
partes de los datos, para que podamos tener una idea de lo que sucederá, incluso más ... incluso si las mezclas no son exactas como las mostramos en los datos, está bien. |
| |
Muy bien, eso es con los datos sin procesar, y veamos si esto es ... mi próximo paso es ... esto es prácticamente lo mismo. |
| |
Y quiero asegurarme de tener el correcto aquí. Esto se hace con los datos preprocesados, por lo que es el mismo explorador de datos funcional, |
| |
utilizando los datos preprocesados, disculpe, y ya puede ver las diferencias. |
| |
Y las curvas a medida que ingresan los datos preprocesados, hacemos ... ajustamos los modelos, obtenemos dos componentes principales funcionales. Y lo que queremos mirar aquí es que el |
| |
gráfico de puntuación. Y podemos ver de nuevo cómo esa agrupación de las variables son el hecho de que las diferentes versiones o las diferentes |
| |
las agrupaciones o mezclas de gluten y almidón se agrupan mucho mejor aquí, de acuerdo. Una y otra vez, puedes sacar diferentes, así que eso es como mirar eso. |
| |
Lo último que quiero mostrar o hablar es mirar algo llamado regresión generalizada. |
| |
Y si esto va |
| |
juega bien conmigo, este es el ajuste de regresión generalizado de los datos sin procesar, ¿verdad? Y he hecho esto usando un ajuste de red elástica con una validación cruzada de k-fold. |
| |
He puesto el alfa de la red elástica en .56 para conseguir un ... lo que yo llamo un ajuste más agradable a la vista. Lo que hace es permitir diferentes ... o más grupos de |
| |
longitudes de onda que se agregarán al ajuste del modelo. No solo va a limitar el ajuste general de su modelo. |
| |
Si hiciera eso, si limitara ese elástico, ese alfa, obtendría un ajuste que se parece más a esto. Y ahora es un modelo mucho más pequeño, un modelo mucho más simple, pero también está obteniendo ... es posible que se esté perdiendo algo del aditivo o |
| |
efectos aditivos que pueden ayudarlo a obtener un mejor ajuste general. Así que es tu elección, el modelo más simple te ayudará a largo plazo, |
| |
Si necesita tener diferentes grupos, eso lo ayudará a encontrar diferentes grupos si tiene una mezcla de múltiples componentes, pero sepa que el ajuste con el |
| |
Un alfa neto elástico más bajo permitirá que más factores y más variables, más longitudes de onda sean parte del modelo, está bien. |
| |
Y eso es con los datos sin procesar. Veamos si esto me va a dar ... |
| |
solo veremos si obtenemos ... y entonces este es el ajuste con el |
| |
datos totalmente preprocesados, por lo que es prácticamente lo mismo. |
| |
Es solo que estás viendo un resultado general diferente, |
| |
Derecha. Estás mirando un modelo diferente, se ve muy diferente. Esto es, nuevamente, usando las diferentes redes elásticas alfa y |
| |
lo que ... en última instancia, lo que queremos hacer es comparar estas cosas. Si comparo el ... |
| |
de nuevo, al comparar los datos sin procesar de PLS con los datos preprocesados, obtienen un ajuste mucho mejor. Si miro la regresión generalizada versus ... entonces estos son datos de mínimos cuadrados parciales para |
| |
preprocesado, preprocesado usando regresión generalizada en un alfa neto elástico más pequeño, y luego el alfa neto elástico más alto. Estamos obteniendo buenos ajustes en todas partes, ¿verdad? Por lo que no está de más ni investigar usando el |
| |
regresión generalizada en JMP Pro versus sus mínimos cuadrados parciales. De hecho, obtienes algunos modelos realmente buenos y |
| |
es simplemente una excelente manera de, ya sabe, analizar sus datos y construir modelos predictivos para futuras comparaciones o cuando obtenga datos futuros. |
| |
Con eso, les voy a dar las gracias. Jeremy, muchas gracias por tu parte en esto. Y esperamos que todos disfruten de esto. Por favor envíenos sus comentarios. Estamos buscando comentarios. Queremos saber qué piensa la gente de estas nuevas capacidades. |
