En nuestras dos publicaciones de blog anteriores, Jeremy Ash ( @JeremyAshJMP ) y mostré JMP capacidades de visualización y análisis espectral mediante el análisis de un conjunto de datos de espectroscopía popular de Martens et al. 1 Mostramos diferentes formas de visualizar datos espectrales y algunos pasos previos al procesamiento eso nos permitió mejorar drásticamente la relación señal-ruido en los datos para su posterior análisis y modelado.
En este tercer segmento de la serie de blogs, demostramos varias formas en que se pueden modelar datos espectrales en JMP.Mínimos cuadrados parciales (PLS) es la herramienta más común para analizar datos espectrales, y PLS se puede realizar tanto con JMP como con JMPPro . JMP Pro también ofrece regresión penalizada de Elastic Net, modelado de redes neuronales y métodos avanzados de árboles de decisión como Bootstrap Forest.
Las técnicas Bootstrap Forest y Elastic Net permiten encontrar rápida y fácilmente las longitudes de onda más importantes de compuestos individuales, así como las longitudes de onda que definen los componentes en mezclas. Estas técnicas de modelado se pueden utilizar con datos sin procesar o con datos procesados. En esta publicación, Jeremy y yo mostramos las diferencias entre modelar los datos sin procesar y los datos preprocesados para mostrar la mejora general en la capacidad predictiva después del preprocesamiento. Como declaración de claridad sobre la comparación general de métodos, se utilizó la misma columna de validación de dos niveles con el 20% de los datos como conjunto de validación para todos los análisis.
Métodos de modelado
Mínimos cuadrados parciales
Los mínimos cuadrados parciales son el método estándar para analizar espectros. PLS maneja datos tanto anchos como altos y es especialmente bueno para manejar factores altamente correlacionados. Esta capacidad es un buen augurio para los espectros porque los datos espectrales a menudo tienen absorbancias altamente correlacionadas, lo que da como resultado que cada longitud de onda sucesiva dependa de la longitud de onda inmediatamente anterior. Debido a esta dependencia, PLS se utiliza a menudo para analizar datos espectrales sin procesar con muy buenos resultados. Sin embargo, como se indicó anteriormente, el preprocesamiento mejora el modelo predictivo resultante lo suficiente como para justificar la inversión de tiempo y esfuerzo para preprocesar los datos. Recuerde que los datos de la muestra son un grupo de mezclas de gluten y almidón y, en el caso de PLS, hace un muy buen trabajo al desarrollar un modelo que predice bien las proporciones de gluten y almidón con cualquier muestra futura.
El modelo PLS se construyó con dos factores latentes porque el análisis de componentes principales anterior utilizó dos componentes principales. Además, Q. 2 no mejora mucho más allá de dos factores, y agregar más factores dificulta la interpretación del modelo.
Figure 1. Partial Least Squares model set up and output.Figure 1. Partial Least Squares model set up and output.Figure 1. Partial Least Squares model set up and output.Figure 1. Partial Least Squares model set up and output.Figure 1. Partial Least Squares model set up and output.Figura 1. Configuración y salida del modelo de mínimos cuadrados parciales.
Figure 1. Partial Least Squares model set up and output.Figure 1. Partial Least Squares model set up and output.Figure 1. Partial Least Squares model set up and output.Figure 1. Partial Least Squares model set up and output.Figure 1. Partial Least Squares model set up and output.Figura 1. Configuración y salida del modelo de mínimos cuadrados parciales.
Figure 2. Partial Least Squares model with Raw data.Figure 2. Partial Least Squares model with Raw data.Figure 2. Partial Least Squares model with Raw data.Figure 2. Partial Least Squares model with Raw data.Figure 2. Partial Least Squares model with Raw data.Figura 2. Modelo de mínimos cuadrados parciales con datos sin procesar.
Figure 3. Partial Least Squares model with Pre-Processed data.Figure 3. Partial Least Squares model with Pre-Processed data.Figure 3. Partial Least Squares model with Pre-Processed data.Figure 3. Partial Least Squares model with Pre-Processed data.Figure 3. Partial Least Squares model with Pre-Processed data.Figura 3. Modelo de mínimos cuadrados parciales con datos preprocesados.
A continuación se muestra una comparación del gráfico real con el previsto para ambos modelos PLS. El de la izquierda es para los datos sin procesar y el de la derecha utiliza los datos preprocesados. Como puede ver, hay una mejora significativa en el modelo que utiliza datos preprocesados.
Figure 4. Partial Least Squares model comparison with Raw and Pre-Processed data.Figure 4. Partial Least Squares model comparison with Raw and Pre-Processed data.Figure 4. Partial Least Squares model comparison with Raw and Pre-Processed data.Figure 4. Partial Least Squares model comparison with Raw and Pre-Processed data.Figure 4. Partial Least Squares model comparison with Raw and Pre-Processed data.Figura 4. Comparación del modelo de mínimos cuadrados parciales con datos sin procesar y preprocesados.
Regresión generalizada (Gen Reg)
Las técnicas de regresión generalizada se encuentran en JMPPro . Gen Reg le ofrece al menos dos cosas que no obtendrá de los mínimos cuadrados ordinarios. Una es que con Gen Reg, sus datos no tienen que estar distribuidos normalmente. Tiene opciones para muchos tipos diferentes de distribuciones. Otra diferencia es que Gen Reg incluye la técnica de Regresión Penalizada y maneja muy bien datos altamente correlacionados. Gen Reg proporciona Ridge, Lasso y Elastic Net. Elastic Net es un buen compromiso para modelar datos espectrales porque puede ajustar la penalización de Elastic Net Alpha (ENA) para evitar que un modelo se ajuste insuficientemente al rechazar muchos factores altamente correlacionados que son importantes para el modelo. Se utilizó el valor predeterminado de 0,99 ENA para construir un modelo inicial. Este modelo parecía bastante escaso y potencialmente inadecuado. Se utilizó una opción avanzada en Gen Reg para escanear el rango de valores alfa para ver si había un modelo mejor. Esta exploración proporcionó un mejor ajuste utilizando un valor de ENA de 0,55. Puede ver la diferencia en el ajuste de los dos valores de ENA en las rutas de solución a continuación.
Figure 5 – Elastic Net solution paths for Raw data.Figure 5 – Elastic Net solution paths for Raw data.Figure 5 – Elastic Net solution paths for Raw data.Figure 5 – Elastic Net solution paths for Raw data.Figure 5 – Elastic Net solution paths for Raw data.Figura 5: Rutas de solución de Elastic Net para datos sin procesar.
Figure 6 - Fit Statistics for Gen Reg with Raw Data.Figure 6 - Fit Statistics for Gen Reg with Raw Data.Figure 6 - Fit Statistics for Gen Reg with Raw Data.Figure 6 - Fit Statistics for Gen Reg with Raw Data.Figure 6 - Fit Statistics for Gen Reg with Raw Data.Figura 6: Estadísticas de ajuste para Gen Reg con datos sin procesar.
Figure 7 - Elastic Net solution paths for Pre-Processed data.Figure 7 - Elastic Net solution paths for Pre-Processed data.Figure 7 - Elastic Net solution paths for Pre-Processed data.Figure 7 - Elastic Net solution paths for Pre-Processed data.Figure 7 - Elastic Net solution paths for Pre-Processed data.Figura 7: Rutas de solución de Elastic Net para datos preprocesados.
Figure 8 - Fit Statistics for Gen Reg with Pre-Processed Data.Figure 8 - Fit Statistics for Gen Reg with Pre-Processed Data.Figure 8 - Fit Statistics for Gen Reg with Pre-Processed Data.Figure 8 - Fit Statistics for Gen Reg with Pre-Processed Data.Figure 8 - Fit Statistics for Gen Reg with Pre-Processed Data.Figura 8: Estadísticas de ajuste para Gen Reg con datos preprocesados.
Sin entrar en más detalles, el ajuste de los datos sin procesar utilizó 10 longitudes de onda cuando Elastic Net Alpha (ENA) era de 0,99 y 37 longitudes de onda cuando ENA era de 0,55.
Los datos preprocesados tienen un resultado significativamente diferente. Usando Elastic Net nuevamente, se encontraron 22 longitudes de onda significativas usando una ENA de 0,99 y 53 longitudes de onda significativas usando una ENA de 0,55. Si bien un gran número, 37 y 53, de longitudes de onda significativas se identificaron con ENA de 0,55, ambos resultados son menores que los modelos PLS por un amplio margen. La verificación de las estadísticas de ajuste para ambos conjuntos de modelos muestra que los datos preprocesados tienen el mejor modelo predictivo general. Sin embargo, si solo utilizara datos sin procesar, aún podría generar un modelo predictivo razonablemente bueno.
Figure 9 – Model comparison for Gen Reg with Raw and Pre-Processed Data.Figure 9 – Model comparison for Gen Reg with Raw and Pre-Processed Data.Figure 9 – Model comparison for Gen Reg with Raw and Pre-Processed Data.Figure 9 – Model comparison for Gen Reg with Raw and Pre-Processed Data.Figure 9 – Model comparison for Gen Reg with Raw and Pre-Processed Data.Figura 9: Comparación de modelos para Gen Reg con datos sin procesar y preprocesados.
Una comparación de los modelos PLS y ELN utilizando datos procesados muestra que los modelos ELN son sólo ligeramente mejores según R 2 . Sin embargo, los modelos del ELN son más simples y fáciles de interpretar.
Figure 10 – Comparison of PLS and ELN modeling techniques for processed data.Figure 10 – Comparison of PLS and ELN modeling techniques for processed data.Figure 10 – Comparison of PLS and ELN modeling techniques for processed data.Figure 10 – Comparison of PLS and ELN modeling techniques for processed data.Figure 10 – Comparison of PLS and ELN modeling techniques for processed data.Figura 10 – Comparación de técnicas de modelado PLS y ELN para datos procesados.
¿Eso significa que debería utilizar modelos de Elastic Net para todos sus análisis espectrales? Debería considerarlo como un candidato viable, pero en realidad todo se reduce a qué plataforma(s) de modelado tiene disponible y si es deseable la interpretabilidad del modelo además del rendimiento de predicción.
Más opciones de modelado
Modelos de redes neuronales
Para fines de demostración, también se pueden utilizar modelos de redes neuronales, que en este caso muestran ajustes extremadamente buenos pero son modelos muy complejos.
Sin embargo, Prediction Profiler en JMP permite a los usuarios interpretar incluso los modelos no lineales más complejos. El Profiler puede resultar abrumador cuando se utilizan todas las longitudes de onda para la predicción. Para simplificar el modelo de red neuronal, puede proporcionar las longitudes de onda seleccionadas con Gen Reg en el cuadro de diálogo del modelo.
Figure 11 – Comparison of Neural Net fits for raw and pre-processed data.Figure 11 – Comparison of Neural Net fits for raw and pre-processed data.Figure 11 – Comparison of Neural Net fits for raw and pre-processed data.Figure 11 – Comparison of Neural Net fits for raw and pre-processed data.Figure 11 – Comparison of Neural Net fits for raw and pre-processed data.Figura 11: Comparación de ajustes de Neural Net para datos sin procesar y preprocesados.
En ambos casos, los datos se ajustaron con una capa oculta y tres nodos con una función de activación tangente hiperbólica utilizando una columna de validación fija del 20% para la validación cruzada.
Bosque de arranque
El uso de un enfoque Bootstrap Forest proporciona las longitudes de onda más significativas para un conjunto de espectros determinado. También es una clara indicación de que el preprocesamiento proporciona un modelo mucho mejor. La diferencia se basa en la Validación R. 2 para cada conjunto de datos. La validación R 2 para los datos sin procesar es 0.805, y para los datos procesados la Validación R 2 es 0,987. Los siguientes modelos se ajustaron utilizando un 20% fijo de los datos como conjunto de validación para evitar una selección aleatoria del conjunto de validación.
Figure 12 – Comparison of Bootstrap Forest fits for Raw and Pre-Processed data.Figure 12 – Comparison of Bootstrap Forest fits for Raw and Pre-Processed data.Figure 12 – Comparison of Bootstrap Forest fits for Raw and Pre-Processed data.Figure 12 – Comparison of Bootstrap Forest fits for Raw and Pre-Processed data.Figure 12 – Comparison of Bootstrap Forest fits for Raw and Pre-Processed data.Figura 12: Comparación de ajustes de Bootstrap Forest para datos sin procesar y preprocesados.
Regresión de vectores de soporte
El modelado de regresión de vectores de soporte (SVR) también está disponible en JMP Pro y es otra buena alternativa para analizar datos espectrales. SVR es un algoritmo de aprendizaje automático basado en límites potente y flexible que se utiliza para crear modelos predictivos para una respuesta continua. En el caso de nuestro conjunto de datos, SVR también muestra una mejora significativa al analizar los datos procesados.
Figure 13 - Comparison of SVR model fits for Raw and Pre-Processed data.Figure 13 - Comparison of SVR model fits for Raw and Pre-Processed data.Figure 13 - Comparison of SVR model fits for Raw and Pre-Processed data.Figure 13 - Comparison of SVR model fits for Raw and Pre-Processed data.Figure 13 - Comparison of SVR model fits for Raw and Pre-Processed data.Figura 13: Comparación de los ajustes del modelo SVR para datos sin procesar y preprocesados.
Hay más técnicas de modelado en JMP y JMP Pro que puede usar para modelar datos espectrales, por lo que si no vio una que le gustaría usar o ha usado, háganoslo saber y nos aseguraremos de cubrirla en una futura publicación de blog.
1) " Dispersión de luz y absorbancia de luz separadas por corrección de señal multiplicativa extendida. Aplicación al análisis de transmisión de infrarrojo cercano de mezclas de polvos. " Química analítica 2003 febrero 1;75(3):394-404
