Questo articolo illustra un esempio di utilizzo di tecniche di apprendimento automatico su dati spettrali per costruire un modello di classificazione per l'identificazione di campioni .
L'immagine sottostante visualizza i dati della spettroscopia nel medio infrarosso (FT-IR) della purea di fragole.
Lo spettro rosso a sinistra rappresenta la purea di fragole, mentre lo spettro blu a destra rappresenta la purea non di fragole (purea derivata da frutti che non contengono fragole).
Gli spettri del rosso (fragola) e del blu (non fragola) mostrano forme complessivamente simili, ma si osservano differenze di assorbanza (valore sull'asse Y) in determinate regioni di numero d'onda.
Pertanto, costruiremo un modello di apprendimento automatico che prende in input i dati di assorbanza a più numeri d'onda e restituisce in output (etichette) "fragola" o "non fragola" per distinguere tra i due.
Inoltre, esamineremo quali intervalli di numeri d'onda sono utili per distinguerli in base al modello ottenuto.
Dettagli dei dati
I dati consistono in dati spettrali FT-IR nel medio infrarosso (MIR) ottenuti da purea di fragole (fragola) e purea di frutta non di fragole (non fragola) (le fonti sono elencate alla fine del blog).
L'assorbanza è stata misurata per ciascun campione nella regione di numeri d'onda compresa tra 900 e 1800 cm⁻¹ , e sono stati ottenuti in totale 983 dati spettrali sia per i campioni di fragole che per quelli di altri tipi di fragole.
La figura seguente mostra i dati spettrali delle fragole (rosse, N=351) e di altri frutti di bosco (N=632) sovrapposti. Come accennato in precedenza, le forme spettrali sono simili, ma si possono osservare differenze in specifiche regioni di numero d'onda.
Utilizzando tecniche di apprendimento automatico, tentiamo di distinguere tra fragole e altri frutti, individuando le differenze a diversi numeri d'onda in questi dati spettrali.
Struttura dei dati
I dati utilizzati per l'analisi sono strutturati come segue:
È presente una colonna denominata "Categoria" per distinguere tra fragole e non fragole, e questa corrisponde all'etichetta nel modello di classificazione.
Le altre colonne contengono l'assorbanza a ciascun numero d'onda e, in questi dati, le informazioni spettrali relative a 235 punti di numero d'onda vengono utilizzate come variabili esplicative.
*Le seguenti istruzioni utilizzeranno le funzionalità di JMP Pro.
Inoltre, le 983 righe di dati vengono suddivise in modo casuale, con il 75% utilizzato come dati di addestramento e il 25% come dati di validazione.
In JMP Pro, andando su [Analizza] > [Modello predittivo] > [Crea colonna di convalida] e specificando "Categoria" come colonna [Stratificazione], è possibile creare una colonna "Convalida" che suddivide i dati in modo che la proporzione di dati di training e dati di convalida sia approssimativamente uguale a ogni livello di categoria, come mostrato nella figura seguente.
Riduzione della dimensionalità dei dati spettrali mediante analisi delle componenti principali funzionali
Come in questo esempio, i dati spettrali sono dati multivariati con molte variabili continue, quindi è prassi comune utilizzare l'analisi delle componenti principali (PCA) per ridurne la dimensionalità e confermare visivamente se i gruppi possono essere separati.
Tuttavia, in questo caso utilizzeremo l'analisi delle componenti principali funzionali (FPCA) per trattare l'intero spettro come una "funzione" e tenteremo di classificarlo in base alle differenze nella sua forma.
JMP Pro consente di eseguire questa analisi funzionale delle componenti principali utilizzando una piattaforma chiamata "Functional Data Explorer" .
Per eseguire un'analisi delle componenti principali funzionali, adattiamo innanzitutto una funzione wavelet appropriata a ciascuno spettro, rappresentando lo spettro come un'unica funzione. Successivamente, estraiamo le differenze nella forma della funzione come componenti principali.
La figura seguente mostra il report ottenuto adattando un modello wavelet ai dati spettrali ed eseguendo un'analisi funzionale delle componenti principali. Il "grafico dei punteggi" qui riportato deve essere considerato una versione funzionale del grafico dell'analisi delle componenti principali. La forma della funzione è ridotta a due dimensioni e vengono rappresentate le coordinate di ciascuno dei 983 campioni.
Ciò significa che i campioni situati vicini avranno forme spettrali simili, mentre i campioni situati distanti avranno forme spettrali diverse.
Osservando il grafico dei punteggi, possiamo notare che le fragole (rosse) sono concentrate vicino al centro, mentre le altre varietà (blu) sono più disperse.
Sebbene una classificazione completa sia difficile utilizzando solo questi due assi, la distorsione nella distribuzione, in particolare in una direzione delle componenti principali, suggerisce che le differenze nella forma spettrale potrebbero influenzare la classificazione in modo multivariato.
Creazione di modelli di classificazione utilizzando tecniche di apprendimento automatico
Ora inizia il vero lavoro. Esistono diversi metodi per i modelli di classificazione nell'apprendimento automatico, ma l'utilizzo di una piattaforma di "selezione dei modelli" consente di applicare più modelli agli stessi dati e confrontarne le prestazioni.
Per questo dataset, in "Screening del modello", specificare le seguenti colonne: [Y, Variabile target], [X, Variabile esplicativa] e [Validazione]. Specificando la colonna di validazione, è possibile addestrare il modello sui dati di training e quindi validarne le prestazioni con i dati di validazione.
Nella sezione "Metodo" in basso a sinistra, seleziona il modello che desideri applicare. Qui, seleziona un metodo relativo ai modelli di classificazione.
Quando tutti i modelli verificati con queste impostazioni vengono applicati, le statistiche di bontà dell'adattamento per ciascun metodo sui dati di "Validazione" vengono visualizzate come segue. Per impostazione predefinita, sono ordinate in ordine decrescente di "R-quadrato dell'entropia".
I risultati mostrano che il "neural boosting" (una rete neurale con una maggiore accuratezza predittiva tramite boosting) ha prodotto i risultati migliori in tutte le statistiche di bontà dell'adattamento.
Il valore di R-quadro è vicino a 1 e il tasso di errata classificazione è pari a 0,0041, ovvero inferiore all'1%. Ciò indica che le 235 variabili spettrali utilizzate consentono di distinguere quasi perfettamente le fragole dalle altre piante.
Nota: nella sezione "Screening del modello", il numero massimo di parametri da stimare è limitato a 450 .
Pertanto, per dati spettrali con un numero ancora maggiore di punti di numero d'onda, si prega di utilizzare una piattaforma separata.
Valutazione delle variabili chiave utilizzando il modello migliore
Consulta il report dell'applicazione per individuare il metodo "Neural Boosting" che offre le prestazioni migliori.
Il report presenta statistiche di bontà dell'adattamento e matrici di confusione (tabelle a doppia entrata che mostrano la corrispondenza tra le categorie di separazione osservate e previste) sia per i dati di addestramento che per quelli di validazione.
La matrice di confusione mostra che c'è una sola errata classificazione sia nel set di dati di addestramento che in quello di validazione.
Quindi, in definitiva, quale frequenza d'onda è risultata importante per distinguere le fragole dalle altre piante ?
Le reti neurali sono un metodo che privilegia le prestazioni predittive e, poiché la formula di previsione è complessa, non è facile interpretare direttamente il contributo di ciascuna variabile esplicativa.
Tuttavia, JMP offre una funzione che utilizza la simulazione di numeri casuali per valutare i fattori che contribuiscono alla previsione.
Dal report "Neural", visualizza il "Profilo di previsione" e seleziona l'opzione "Valuta l'importanza delle variabili" dal Profilo di previsione.
Il seguente report riassume la valutazione dell'importanza delle variabili e mostra un profilo predittivo codificato a colori in base all'"effetto totale". Da questi risultati, possiamo osservare che i numeri d'onda 1802,564, 899,327 e 1312,346 cm⁻¹ contribuiscono in modo più significativo alla previsione, in quest'ordine.
*Effetto totale: l'importanza complessiva dell'effetto se combinata con altri fattori correlati.
Infine, utilizzando i valori del "Rapporto riassuntivo", presentiamo un grafico a barre con il numero d'onda sull'asse orizzontale e l'effetto totale sull'asse verticale. Da questo grafico, possiamo osservare che esistono diverse regioni di numero d'onda in cui l'effetto totale è elevato.
Queste regioni contribuiscono in modo significativo alla previsione, suggerendo che contengano informazioni spettrali cruciali per distinguere le fragole dalle altre piante.
Questi risultati suggeriscono che, facendo riferimento alla regione di numeri d'onda in cui l'effetto complessivo è maggiore, diventa possibile considerare le informazioni derivate dalla struttura chimica che contribuiscono alla classificazione.
Riferimenti e fonti di dati
Uso della spettroscopia infrarossa a trasformata di Fourier e della regressione ai minimi quadrati parziali per l'individuazione di adulterazioni nelle puree di fragole" Holland JK, Kemsley EK, Wilson RH. (1998). Journal of the Science of Food and Agriculture, 76, 263-269
di Naohiro Masukawa (JMP Giappone)
Naohiro Masukawa - Comunità degli utenti JMP
