Analizzare i dati spettrali è un po' come cercare di decifrare un arcobaleno: è bellissimo ma pieno di insidiose sorprese. I dati spettrali presentano sfide uniche a causa della loro natura altamente correlata, che rende inefficaci molte tecniche convenzionali.
In questa presentazione, identificheremo queste sfide ed esploreremo metodi avanzati pensati appositamente per la gestione di tali dati. In particolare, approfondiremo tre potenti tecniche: l'analisi delle componenti principali (PCA), i minimi quadrati parziali (PLS) e l'analisi funzionale dei dati (FDA). Confrontando questi metodi, ne evidenzieremo i punti di forza, i limiti e le applicazioni pratiche, offrendo spunti per scegliere l'approccio migliore per l'analisi di dati spettrali altamente correlati. Vi mostreremo come trasformare i vostri dati in uno spettro vibrante di successo, anche se non guardate mai un arcobaleno allo stesso modo.
Grazie per aver visionato il nostro poster "Decoding Rainbows", i metodi migliori e meno complessi per analizzare i dati spettrali. Questo poster è incentrato su un articolo di ricerca in cui è stata utilizzata la spettroscopia riflessa nel vicino infrarosso per analizzare il suolo artico. Esamineremo tre diverse tecniche per analizzare i dati spettrali: analisi delle componenti principali, minimi quadrati parziali e analisi dei dati funzionali. Confronteremo poi queste tecniche e i relativi risultati e condivideremo con voi i risultati ottenuti da ciascuna di esse.
Qui nella pagina principale abbiamo il nostro spettro, le tre diverse tecniche di analisi e le nostre conclusioni finali. Innanzitutto, diamo un'occhiata allo spettro. Qui potete vedere alcune delle sfide nell'analisi dei dati spettrali. Osservando la nostra mappa multivariata dei colori sulla correlazione, abbiamo dati altamente correlati. Questo rende alcune delle tecniche di analisi che normalmente si utilizzano per analizzare i dati impossibili da utilizzare. Ciò richiede un approccio diverso, che utilizzi una tecnica in grado di gestire bene i dati altamente correlati.
Qui diamo un'occhiata a come appare il nostro spettro nella regione del vicino infrarosso. Potete vedere quali lunghezze d'onda sono altamente correlate, meno altamente correlate o addirittura negativamente correlate a due diverse risposte che stiamo osservando, SOM, che sta per materia organica solida o ergosterolo, e potete vedere che diverse lunghezze d'onda sono correlate in quantità diverse. La prima tecnica che volevamo esaminare è l'analisi delle componenti principali. Thomas.
Grazie, Peter. Sì, lascia che ti illustri un'analisi delle componenti principali di questi spettri. L'APC è un metodo esplorativo molto, molto adatto per analizzare dati altamente correlati, altamente complessi e altamente multivariati, esattamente come i dati spettrali. È molto spesso il primo metodo a cui si ricorre perché è molto semplice. In realtà si esplorano elementi nei dati, il che significa che si possono trovare tendenze, valori anomali e si può anche navigare all'interno delle regioni spettrali per scoprire quali parti influenzano effettivamente le parti interessanti che il risultato del modello mostrerà.
Nella PCA, i dati grezzi vengono scomposti in componenti principali. Questi vengono estratti in base a un principio matematico chiamato agilità ortogonale, ovvero l'ortogonalità, il che significa che non è in realtà derivata chimicamente, il che significa che a volte i punteggi e i carichi possono essere un po' difficili da interpretare. Tuttavia, si ottiene una rappresentazione visiva dei punteggi e dei carichi, come si può vedere nei tre grafici indicati qui nella diapositiva. Se osserviamo i due grafici in alto, si tratta delle prime due componenti principali a sinistra, rappresentate in un diagramma a dispersione. A destra, abbiamo le componenti 3 e 4.
In PCA, queste componenti vengono estratte in base alle varianti. Si può notare che in realtà diminuiscono nella quantità di varianza spiegata nei dati grezzi. La componente 1 spiega quasi l'87% della variazione. Questo è molto comune nei dati spettrali perché abbiamo più o meno la stessa forma in tutti gli spettri, con alcune piccole differenze che in realtà contengono tutte le informazioni chimiche. Se coloriamo il primo grafico a punteggi a sinistra in base alla materia organica solida, possiamo effettivamente vedere che c'è un gradiente nel grafico a punteggi, il che significa che abbiamo effettivamente catturato questa materia organica solida da qualche parte negli spettri.
Lo stesso possiamo fare per il componente 3 rispetto al 4. Ma possiamo vedere che abbiamo l'ergosterolo con un gradiente ora in qualche modo intermedio tra il componente 3 e il 4. Questo non ci dice effettivamente perché siano diversi. Per questo, dobbiamo andare al grafico di caricamento. Qui possiamo effettivamente vedere se tracciamo questi lungo l'asse delle lunghezze d'onda che più sono alti o bassi, si può dire in numeri assoluti, più importanti sono quelle regioni per descrivere come i campioni sono stati differenziati in questo grafico di punteggio corrispondente.
Con la PCA, si ottiene un'ottima panoramica in presenza di raggruppamenti o cluster. Qui, ad esempio, non è facile individuare i valori anomali, ma vediamo chiaramente un gradiente. Ciò significa che crediamo di avere informazioni chimiche nei nostri spettri. Questo è importante, perché molto spesso vogliamo fare di più con i nostri dati che semplicemente esplorarli. Vogliamo anche sviluppare modelli predittivi, come ci diranno le prossime due tecnologie.
Quindi la PCA è un'ottima prima scelta per verificare se abbiamo indicazioni che quei modelli predittivi saranno un successo o un fallimento. Solo per citare uno o due pro e contro della PCA. La PCA è una tecnica molto potente per i dati spettrali. È molto facile da capire. Offriamo ottime interpretazioni visive.
Si potrebbe dire che il lato negativo è che in realtà stiamo estraendo tutto in base alla varianza. Se la varianza non fosse correlata alla chimica, potremmo avere difficoltà a scoprire cosa succede realmente nei nostri spettri. Ma in questo caso, come potete vedere, la varianza era in realtà uguale alla chimica. Approfondiamo il metodo successivo, in cui lo facciamo in modo un po' più mirato. Bill.
Grazie, Thomas. La prossima tecnica di cui volevamo parlare è l'analisi dei minimi quadrati parziali. I minimi quadrati parziali sono una tecnica molto comune per l'analisi dei dati spettrali. Oltre all'analisi delle componenti principali, imparerai molto sulla chimica di ciò che sta accadendo e su come determinare quali lunghezze d'onda sono le più importanti per i dati spettrali, per analizzare i tuoi campioni complessivi e poi imparare da esse man mano che procedi. Se guardi a sinistra, il risultato che ottieni è che dovrai confrontare un valore chiamato T al quadrato di Vanderbilt, quindi un valore di Q al quadrato, e poi potrai esaminare il tuo R al quadrato cumulativo e il Q al quadrato cumulativo per determinare quali sono i migliori numeri complessivi di fattori latenti da utilizzare.
In questo caso, il modello migliore che abbiamo realizzato era con 14 fattori latenti, ma anche solo sei fattori latenti avrebbero fornito un modello molto valido, e questo si basa su quella linea nera che si vede partire dall'asse x. Volevamo quindi confrontarlo con i dati che abbiamo ottenuto dall'articolo in cui venivano utilizzati anche i quadrati parziali. Abbiamo ritenuto che, nel complesso, JMP abbia funzionato molto bene nell'analisi dei dati spettrali. Ancora una volta, si vuole determinare il numero di fattori latenti ottimali utilizzando qualcosa come... Quando parlo di fattori latenti, pensate alle componenti principali. Queste vengono utilizzate per determinare la migliore approssimazione complessiva per fattori altamente correlati.
Poi, sulla destra, potete vedere i risultati che abbiamo ottenuto. Il primo grafico in alto, le curve vettoriali dei coefficienti di regressione, fornisce un'indicazione di dove si trovavano le lunghezze d'onda più importanti per ciascun materiale. Se osservate la linea blu, che è nascosta lì, quello è il modello o le linee spettrali originali. Questi sono i dati degli spettri originali. Poi, se osservate le linee verde e rossa, quelle sono le variazioni dei coefficienti negli spettri determinati per i coefficienti di ciascun spettro per la SOM e per l'ergosterolo.
In basso a destra c'è solo il confronto dei dati che abbiamo ottenuto, quindi i dati effettivi con quelli previsti, e da ciò si può vedere che JMP ha funzionato molto bene nel complesso sia per l'ergosterolo che per la SOM. Un vantaggio del PLS è che produce ottimi modelli predittivi e il bello è che, a differenza della PCA, non si ottengono informazioni sulla y complessiva, quindi è più un metodo non supervisionato.
Questo PLS è più un metodo supervisionato, e da questo si può trarre una certa comprensione. Si arriva a capire il perché stesso o cosa si sta cercando di prevedere. Crea buoni modelli predittivi, è ampiamente utilizzato ed è davvero ottimo per l'analisi dei dati spettrali. I modelli stessi possono essere molto intensivi dal punto di vista computazionale. Infatti, quando si costruisce un modello con PLS, si utilizzano tutti i dati, ma è possibile effettuare una riduzione delle variabili a un certo punto. Infine, i modelli finali possono essere, in questo caso, molto grandi. Lascio la parola a Pete per parlare di FDA.
Grazie, Bill. Va bene. L'ultima tecnica che abbiamo esaminato è stata l'analisi funzionale dei dati. È una tecnica simile alle prime due di cui abbiamo sentito parlare. L'idea di base dell'analisi funzionale dei dati è quella di determinare la media, in questo caso la forma spettrale, e qui potete vederla come la linea rossa in questo grafico, visualizzata anche qui sotto.
Si tratta della forma media di tutti i dati spettrali, e poi osserviamo le differenze rispetto a quella forma media, e le estraiamo in quelle che qui chiamiamo funzioni di forma. Potete pensare a queste funzioni di forma come componenti principali funzionali. Proprio come Thomas ha spiegato con quella variazione che definisce la componente principale, questa è la stessa cosa, ma invece di cercare di spiegare la varianza nei dati, stiamo spiegando la varianza nella forma.
Qui potete vedere che con questo modello abbiamo una forma media e poi quattro forme che spiegano la differenza rispetto a quella media. Proprio come con Thomas, quella prima componente spiega quasi l'87%, e poi scende da lì. Numeri molto simili a quelli che stavamo osservando con l'analisi per via endoscopica (PCA). Uno dei vantaggi, di cui ha parlato anche Bill, è che con l'analisi dei dati funzionali (FDA) abbiamo la possibilità di avere una risposta, un perché, che stiamo cercando di capire. Questo è ciò che chiameremmo apprendimento supervisionato.
Qui potete vedere le nostre due risposte e poi come apparirebbe il nostro spettro con quei livelli di ciascuna risposta. Qui sotto abbiamo i risultati del nostro modello, quindi estraiamo quelle componenti di forma e poi creiamo un modello per determinare le nostre due risposte, quindi SOM ed ergosterolo. Il vantaggio di questa tecnica è che siamo stati in grado di creare un modello altamente predittivo, non proprio buono come PLS in questo caso, ma otteniamo questa bella visualizzazione che rende questa tecnica molto facile da interpretare.
Potete vedere come mi aspetto che appaia il mio spettro con diversi livelli di risposta. Uno degli svantaggi è che questa tecnica non è così diffusa come si potrebbe pensare. La PLS è ampiamente utilizzata, così come la PCA. È meno documentata e meno compresa. Richiede un po' di spiegazione per capire cosa sta succedendo e richiede questo modello surrogato, che è un intermedio per generare le componenti di forma. Qualcosa come una wavelet o una spline AP è necessario per adattare effettivamente i dati ed estrarre queste componenti di forma.
Questi modelli possono essere computazionalmente intensivi e difficili da comprendere, come il modello surrogato intermedio. Volevo tornare alla diapositiva principale e mostrare i nostri risultati qui. L'articolo, come ha detto Bill, ha utilizzato la tecnica PLS, e i risultati che abbiamo ottenuto qui, quindi ecco il nostro errore quadratico medio e il nostro r quadrato. Hanno prodotto modelli abbastanza buoni, ma credo che possiate vedere qui, anche con l'analisi per componenti principali, siamo riusciti a ottenere risultati simili. La PLS sembrava, in questo caso, avere i risultati migliori. Quindi, l'analisi funzionale dei dati si collocava tra queste due, ma ha una buona interpretabilità.
Grazie. Thomas, Bill, avete qualche ultimo pensiero?
Non da parte mia. Grazie, Peter.
No. Grazie, Peter e Bill.
Grazie, Thomas.
