En nuestras dos publicaciones de blog anteriores, Jeremy Ash ( @JeremyAshJMP ) y mostré JMP Análisis espectral y capacidades de visualización mediante el análisis de un conjunto de datos de espectroscopia popular de Martens et al. 1 Mostramos diferentes formas de visualizar datos espectrales y algunos pasos de preprocesamiento eso nos permitió mejorar drásticamente la relación señal/ruido en los datos para su posterior análisis y modelado.
En este tercer segmento de la serie de blogs, demostramos varias formas en que los datos espectrales se pueden modelar en JMP.Partial Least Squares (PLS) es la herramienta más común para analizar datos espectrales, y PLS se puede hacer con JMP y Pro JMP . JMP Pro también ofrece regresión penalizada de Elastic Net, modelado de redes neuronales y métodos avanzados de árboles de decisión como Bootstrap Forest.
Las técnicas Bootstrap Forest y Elastic Net permiten encontrar rápida y fácilmente las longitudes de onda más importantes de los compuestos individuales, así como las longitudes de onda que definen los componentes en las mezclas. Estas técnicas de modelado se pueden utilizar con datos sin procesar o datos procesados. En esta publicación, Jeremy y yo mostramos las diferencias entre modelar los datos sin procesar y los datos preprocesados para mostrar la mejora general en la capacidad predictiva después del preprocesamiento. Como declaración de claridad sobre la comparación general de métodos, se utilizó la misma columna de validación de dos niveles con el 20 % de los datos como conjunto de validación para todos los análisis.
Métodos de modelado
Mínimos cuadrados parciales
Los mínimos cuadrados parciales son el método estándar para analizar espectros. PLS maneja datos anchos y altos y es especialmente bueno para manejar factores altamente correlacionados. Esta capacidad es un buen augurio para los espectros porque los datos espectrales a menudo tienen absorbancias altamente correlacionadas, lo que da como resultado que cada longitud de onda sucesiva dependa de la longitud de onda inmediatamente anterior. Debido a esta dependencia, PLS se usa a menudo para analizar datos espectrales sin procesar con muy buenos resultados. Sin embargo, como se indicó anteriormente, el preprocesamiento mejora el modelo predictivo resultante lo suficiente como para justificar la inversión de tiempo y esfuerzo para preprocesar los datos. Recuerde que los datos de la muestra son un grupo de mezclas de gluten y almidón, y en el caso de PLS, hace un muy buen trabajo al desarrollar un modelo que predice bien las proporciones de gluten y almidón con cualquier muestra futura.
El modelo PLS se construyó con dos factores latentes porque el análisis de componentes principales anterior utilizó dos componentes principales. también q 2 no mejora mucho más allá de dos factores, y agregar más factores hace que la interpretación del modelo sea más difícil.
Figura 1. Configuración y salida del modelo de mínimos cuadrados parciales.
Figura 1. Configuración y salida del modelo de mínimos cuadrados parciales.
Figura 2. Modelo de mínimos cuadrados parciales con datos sin procesar.
Figura 3. Modelo de mínimos cuadrados parciales con datos preprocesados.
A continuación se muestra una comparación de la gráfica real por predicha para ambos modelos de PLS. El de la izquierda es para los datos sin procesar y el de la derecha usa los datos preprocesados. Como puede ver, hay una mejora significativa en el modelo utilizando los datos preprocesados.
Figura 4. Comparación del modelo de mínimos cuadrados parciales con datos sin procesar y preprocesados.
Regresión generalizada (Gen Reg)
Las técnicas de regresión generalizada se encuentran en Pro JMP . Gen Reg le ofrece al menos dos cosas que no obtendrá de los mínimos cuadrados ordinarios. Una es que con Gen Reg, sus datos no tienen que distribuirse normalmente. Tiene opciones para muchos tipos diferentes de distribuciones. Otra diferencia es que Gen Reg incluye la técnica de regresión penalizada y maneja muy bien los datos altamente correlacionados. Gen Reg proporciona Ridge, Lasso y Elastic Net. Elastic Net es un buen compromiso para el modelado de datos espectrales, ya que puede ajustar la penalización de Elastic Net Alpha (ENA) para evitar el ajuste inadecuado de un modelo al rechazar muchos factores altamente correlacionados como importantes para el modelo. El valor predeterminado de 0,99 ENA se utilizó para construir un modelo inicial. Este modelo parecía ser bastante escaso y potencialmente inadecuado. Se usó una opción avanzada en Gen Reg para escanear el rango de valores alfa para ver si había un modelo mejor. Este escaneo proporcionó un mejor ajuste utilizando un valor ENA de 0,55. Puede ver la diferencia en el ajuste de los dos valores de ENA en las rutas de solución a continuación.
Figura 5: Rutas de solución de red elástica para datos sin procesar.
Figura 6 - Estadísticas de ajuste para Gen Reg con datos sin procesar.
Figura 7: Rutas de solución de red elástica para datos preprocesados.
Figura 8: Estadísticas de ajuste para Gen Reg con datos preprocesados.
Sin entrar en más detalles, el ajuste de los datos sin procesar utilizó 10 longitudes de onda cuando el Elastic Net Alpha (ENA) era 0,99 y 37 longitudes de onda cuando ENA era 0,55.
Los datos preprocesados tienen un resultado significativamente diferente. Usando Elastic Net nuevamente, se encontraron 22 longitudes de onda significativas usando una ENA de 0.99 y 53 longitudes de onda significativas usando una ENA de 0.55. Si bien un gran número, 37 y 53, de longitudes de onda significativas se identificaron con ENA de 0,55, ambos resultados son menores que los modelos PLS por un amplio margen. La verificación de las estadísticas de ajuste para ambos conjuntos de modelos muestra que los datos preprocesados tienen el mejor modelo predictivo general. Sin embargo, si solo usara datos sin procesar, aún podría generar un modelo predictivo razonablemente bueno.
Figura 9: comparación de modelos para Gen Reg con datos sin procesar y preprocesados.
Una comparación de los modelos PLS y ELN utilizando datos procesados muestra que los modelos ELN son solo ligeramente mejores en función de R 2 . Sin embargo, los modelos ELN son más simples y fáciles de interpretar.
Figura 10 – Comparación de técnicas de modelado PLS y ELN para datos procesados.
¿Eso significa que debe usar modelos de red elástica para todos sus análisis espectrales? Debe considerarlo como un candidato viable, pero realmente se reduce a la(s) plataforma(s) de modelado que tenga disponible y si la interpretabilidad del modelo es deseable además del rendimiento de la predicción.
Más opciones de modelado
Modelos de redes neuronales
Para fines de demostración, también puede utilizar modelos de redes neuronales, que en este caso muestran ajustes extremadamente buenos pero son modelos muy complejos.
Sin embargo, Prediction Profiler en JMP permite a los usuarios interpretar incluso los modelos no lineales más complejos. Profiler puede ser abrumador cuando se utilizan todas las longitudes de onda para la predicción. Para simplificar el modelo de red neuronal, puede proporcionar las longitudes de onda seleccionadas con Gen Reg en el cuadro de diálogo del modelo.
Figura 11: comparación de ajustes de redes neuronales para datos sin procesar y preprocesados.
En ambos casos, los datos se ajustaron con una capa oculta y tres nodos con una función de activación de tangente hiperbólica utilizando una columna de validación fija del 20 % para la validación cruzada.
Bosque de arranque
El uso de un enfoque Bootstrap Forest proporciona las longitudes de onda más significativas para un conjunto de espectros determinado. También es una clara indicación de que el preprocesamiento proporciona un modelo mucho mejor. La diferencia se basa en la Validación R 2 para cada conjunto de datos. La Validación R 2 para los datos sin procesar es 0.805, y para los datos procesados la Validación R 2 es 0,987. Los modelos a continuación se ajustaron utilizando un 20 % fijo de los datos como conjunto de validación para evitar una selección aleatoria del conjunto de validación.
Figura 12: comparación de los ajustes de Bootstrap Forest para datos sin procesar y preprocesados.
Regresión de vectores de soporte
El modelado de regresión vectorial compatible (SVR) también está disponible en JMP Pro y es otra buena alternativa para analizar datos espectrales. SVR es un algoritmo de aprendizaje automático basado en límites potente y flexible que se utiliza para crear modelos predictivos para una respuesta continua. En el caso de nuestro conjunto de datos, SVR también muestra una mejora significativa al analizar los datos procesados.
Figura 13: comparación de los ajustes del modelo SVR para datos sin procesar y preprocesados.
Hay más técnicas de modelado en JMP y JMP Pro que puede usar para modelar datos espectrales, por lo que si no vio una que le gustaría usar o que haya usado, infórmenos y nos aseguraremos de cubrirla. una futura publicación de blog.
1) " Dispersión de luz y absorbancia de luz separadas por corrección de señal multiplicativa extendida. Aplicación al análisis de transmisión de infrarrojo cercano de mezclas de polvo " Química analítica 2003 1 de febrero; 75 (3): 394-404
