Este artículo muestra un ejemplo del uso de técnicas de aprendizaje automático en datos espectrales para construir un modelo de clasificación para la identificación de muestras .
La imagen que aparece a continuación muestra los datos de espectroscopia de infrarrojo medio (FT-IR) del puré de fresa.
El espectro rojo de la izquierda representa el puré de fresa, mientras que el espectro azul de la derecha representa el puré sin fresa (puré derivado de frutas que no contienen fresas).
Los espectros rojo (fresa) y azul (no fresa) muestran formas similares en general, pero se observan diferencias en la absorbancia (valor del eje Y) en ciertas regiones de número de onda.
Por lo tanto, construiremos un modelo de aprendizaje automático que tome como entrada datos de absorbancia en múltiples números de onda y genere como salida (etiquetas) "fresa" o "no fresa" para distinguir entre ambos.
Además, examinaremos qué rangos de número de onda son útiles para distinguirlos basándonos en el modelo obtenido.
Detalles de los datos
Los datos consisten en datos espectrales FT-IR de infrarrojo medio (MIR) obtenidos de puré de fresa (fresa) y puré de fruta que no es fresa (no fresa) (las fuentes se enumeran al final del blog).
Se midió la absorbancia de cada muestra en la región de número de onda de 900–1800 cm⁻¹ , y se obtuvieron un total de 983 datos espectrales tanto para muestras de fresa como para muestras que no eran de fresa.
La figura siguiente muestra los datos espectrales de fresas (en rojo, N=351) y de otras frutas (N=632) superpuestos. Como se mencionó anteriormente, las formas espectrales son similares, pero se aprecian diferencias en regiones específicas del número de onda.
Utilizando técnicas de aprendizaje automático, intentamos distinguir entre fresas y frutas que no son fresas, detectando diferencias en múltiples números de onda en estos datos espectrales.
Estructura de datos
Los datos utilizados para el análisis están estructurados de la siguiente manera:
Se proporciona una columna llamada "Categoría" para distinguir entre fresas y no fresas, y esto se corresponde con la etiqueta en el modelo de clasificación.
Las demás columnas contienen la absorbancia en cada número de onda, y en estos datos, la información espectral para 235 puntos de número de onda se utiliza como variables explicativas.
*Las siguientes instrucciones utilizarán las funciones de JMP Pro.
Además, las 983 filas de datos se dividen aleatoriamente, utilizándose el 75% como datos de entrenamiento y el 25% como datos de validación.
En JMP Pro, accediendo a [Analizar] > [Modelo predictivo] > [Crear columna de validación] y especificando "Categoría" como columna de [Estratificación], puede crear una columna de "Validación" que divide los datos de manera que la proporción de datos de entrenamiento y datos de validación sea aproximadamente igual en cada nivel de Categoría, como se muestra en la siguiente figura.
Reducción de dimensionalidad de datos espectrales mediante análisis de componentes principales funcionales.
Como en este ejemplo, los datos espectrales son datos multivariados con muchas variables continuas, por lo que es práctica común utilizar el análisis de componentes principales (ACP) para reducir su dimensionalidad y confirmar visualmente si los grupos se pueden separar.
Sin embargo, aquí utilizaremos el análisis de componentes principales funcionales (FPCA) para tratar todo el espectro como una "función" e intentar clasificarlo en función de las diferencias en su forma.
JMP Pro le permite realizar este análisis de componentes principales funcionales utilizando una plataforma llamada "Explorador de datos funcionales" .
Para realizar un análisis de componentes principales funcionales, primero ajustamos una función wavelet adecuada a cada espectro, representándolo como una única función. Luego, extraemos las diferencias en la forma de la función como componentes principales.
La figura siguiente muestra el informe obtenido al ajustar un modelo de ondículas a los datos espectrales y realizar un análisis de componentes principales funcionales. El gráfico de puntuaciones resultante debe considerarse una versión funcional del gráfico de análisis de componentes principales. La forma de la función se reduce a dos dimensiones y se representan las coordenadas de cada una de las 983 muestras.
Esto significa que las muestras situadas cerca unas de otras tendrán formas espectrales similares, mientras que las muestras situadas lejos unas de otras tendrán formas espectrales diferentes.
Si observamos el gráfico de puntuación, podemos ver que las fresas (en rojo) se concentran cerca del centro, mientras que las que no son fresas (en azul) están más dispersas.
Si bien la clasificación completa resulta difícil utilizando únicamente estos dos ejes, el sesgo en la distribución, particularmente en una dirección de los componentes principales, sugiere que las diferencias en la forma espectral pueden estar influyendo de manera multivariada en la clasificación.
Creación de modelos de clasificación mediante técnicas de aprendizaje automático
Ahora empieza el verdadero trabajo. Existen diversos métodos para los modelos de clasificación en el aprendizaje automático, pero usar una plataforma de "selección de modelos" permite aplicar varios modelos a los mismos datos y comparar su rendimiento.
Para este conjunto de datos, en "Selección de modelos", especifique las siguientes columnas: [Y, Variable objetivo], [X, Variable explicativa] y [Validación]. Al especificar la columna de validación, puede ajustar el modelo a los datos de entrenamiento y luego validar su rendimiento con los datos de validación.
En la sección "Método" de la parte inferior izquierda, seleccione el modelo que desea aplicar. Aquí, seleccione un método relacionado con los modelos de clasificación.
Cuando se aplican todos los modelos verificados con esta configuración, las estadísticas de bondad de ajuste para cada método en los datos de "Validación" se muestran a continuación. Por defecto, se ordenan en orden descendente de "Entropía R cuadrado".
Los resultados muestran que el "neural boosting" (una red neuronal con precisión de predicción mejorada mediante boosting) arrojó los mejores resultados en todas las estadísticas de bondad de ajuste.
El coeficiente de determinación (R²) es cercano a 1, y la tasa de clasificación errónea es de 0,0041, lo que representa menos del 1%. Esto indica que las 235 variables espectrales se utilizan para distinguir casi a la perfección entre fresas y otros frutos.
Nota: En "Selección de modelos", el número máximo de parámetros a estimar está limitado a 450 .
Por lo tanto, para datos espectrales con un número aún mayor de puntos de número de onda, utilice una plataforma independiente.
Evaluación de variables clave utilizando el mejor modelo.
Consulta el informe de la aplicación para ver qué método de "Neural Boosting" ofrece el mejor rendimiento.
El informe muestra estadísticas de bondad de ajuste y matrices de confusión (tablas de doble entrada que muestran la correspondencia entre las categorías de separación observadas y predichas) tanto para los datos de entrenamiento como para los de validación.
La matriz de confusión muestra que solo hay una clasificación errónea tanto en el conjunto de datos de entrenamiento como en el de validación.
Entonces, al final, ¿qué frecuencia de onda fue importante para clasificar las fresas de las que no lo eran ?
Las redes neuronales son un método que prioriza el rendimiento predictivo, y debido a que la fórmula de predicción es compleja, no es fácil interpretar directamente la contribución de cada variable explicativa.
Sin embargo, JMP proporciona una función que utiliza la simulación de números aleatorios para evaluar los factores que contribuyen a la predicción.
Desde el informe "Neural", consulte el "Perfil de predicción" y, a continuación, seleccione la opción "Evaluar la importancia de las variables" del Perfil de predicción.
El siguiente informe resume la evaluación de la importancia de las variables y muestra un perfil predictivo codificado por colores según el "efecto total". A partir de estos resultados, podemos observar que la contribución a la predicción es mayor para los números de onda 1802,564, 899,327 y 1312,346 cm⁻¹, en ese orden.
*Efecto total: La importancia general del efecto cuando se combina con otros factores relacionados.
Finalmente, utilizando los valores del "Informe resumido", presentamos un gráfico de barras con el número de onda en el eje horizontal y el efecto total en el eje vertical. En este gráfico, podemos observar que existen múltiples regiones de número de onda donde el efecto total es grande.
Estas regiones contribuyen significativamente a la predicción, lo que sugiere que contienen información espectral crucial para distinguir entre fresas y frutas que no son fresas.
Estos resultados sugieren que, al referirse a la región del número de onda donde el efecto general es grande, es posible considerar la información derivada de la estructura química que contribuye a la clasificación.
Referencias y fuentes de datos
Uso de espectroscopia infrarroja por transformada de Fourier y regresión de mínimos cuadrados parciales para la detección de adulteración de purés de fresa" Holland JK, Kemsley EK, Wilson RH. (1998). Journal of the Science of Food and Agriculture, 76, 263-269
por Naohiro Masukawa (JMP Japón)
Naohiro Masukawa - Comunidad de usuarios de JMP
