Un rapido promemoria di dove eravamo rimasti Parte 1 di questa serie sui dati spettroscopici: Stavamo analizzando un popolare set di dati di spettroscopia di Martens et al. " Scattering della luce e assorbimento della luce separati da una correzione moltiplicativa estesa del segnale. Applicazione all'analisi della trasmissione nel vicino infrarosso di miscele di polveri " Chimica analitica 2003 febbraio 1;75(3):394-404. Alcuni semplici passaggi di pre-elaborazione ci hanno permesso di migliorare notevolmente il rapporto segnale-rumore nei dati.
In questo post, utilizziamo gli stessi dati per dimostrare l'utilità delle piattaforme multivariate in JMP . Nell'analisi spettrale, le statistiche multivariate sono ampiamente utilizzate poiché si provano in modo iterativo diverse fasi di pre-elaborazione e si valuta l'impatto sui dati. All'inizio ci concentriamo sull'apprendimento non supervisionato o sull'analisi esplorativa dei dati. Quindi dimostriamo come utilizzare il Functional Data Explorer (FDE) per costruire modelli di calibrazione multivariati. Infine, introduciamo un metodo di pre-elaborazione più avanzato, la correzione del segnale moltiplicativo estesa, e mostriamo come questo può migliorare ulteriormente il nostro modello di calibrazione multivariato.
Metodi multivariati
Analisi delle componenti principali
Il primo metodo esplorativo che dimostriamo è l'analisi delle componenti principali (PCA). È interessante notare che quando viene eseguita una PCA sugli spettri grezzi, i sottogruppi noti possono essere identificati nel diagramma di punteggio senza la necessità di alcuna pre-elaborazione (Figura 1).Ricorda dalla parte 1 che i campioni sono miscele di glutine e amido e che i colori indicano la frazione di glutine. Sebbene vi sia una buona separazione tra i gruppi, c'è ancora una notevole quantità di variazione per gli spettri con la stessa frazione di glutine, che causerà problemi per la calibrazione multivariata in seguito. Questo errore migliora considerevolmente alla fine di questo post, dopo aver trovato il flusso di lavoro di pre-elaborazione ottimale.
Figura 1. Il punteggio e i grafici di caricamento per il modello PCA. Il diagramma di caricamento indica un alto grado di correlazione tra le lunghezze d'onda, come previsto. I colori indicano la frazione di glutine presente in ogni campione da 0 (blu) a 1 (rosso). Gli autovalori indicano che la variazione in questo set di dati può essere spiegata con 2 componenti principali.
Grafico di controllo multivariato basato su modello
In genere, viene eseguito un certo tipo di analisi dei valori anomali per identificare e rimuovere i valori anomali influenti dal modello. JMP fornisce strumenti di analisi dei valori anomali all'interno della piattaforma PCA. Tuttavia, con JMP 15 è arrivato il Model Driven Multivariate Control Chart (MDMCC), che è uno strumento più completo per l'analisi dei valori anomali che consente un'indagine più approfondita sull'analisi delle cause principali e il confronto degli spettri per le differenze.
Figura 2.Il diagramma di controllo multivariato Model Driven identifica due spettri (13 e 14) come valori anomali secondo il T 2 e grafici SPE . I grafici della proporzione del contributo medio mostrano le lunghezze d'onda con il maggior contributo al segnale fuori controllo.
Per gli spettri in questa analisi, MDMCC identifica due spettri (13 e 14), come valori anomali in base alla loro T derivata dalla PCA 2 e grafici SPE (Figura 2).Il t 2 il grafico indica che questi punti sono lontani dai dati all'interno del piano del modello, mentre il grafico SPE indica che i punti sono distanti dal piano del modello. Un altro modo per concettualizzare questo è che questi spettri sono 1) distanti dagli spettri medi e 2) scarsi adattamenti nel modello PCA. Poiché entrambe queste condizioni sono soddisfatte, i punti sono valori anomali potenzialmente influenti, il che significa che possono trascinare il piano del modello PCA verso di loro quando il modello è adatto. Se si tratta di dati veramente errati, esiste il potenziale per un modello PCA scadente. Si noti che ci sono altri punti oltre a 13 e 14 che sono valori anomali nel T 2 grafico, ma non nel grafico SPE. Poiché questi punti sono distanti dagli spettri medi, ma si adattano ancora al modello PCA, è meno probabile che siano valori anomali influenti. Per vedere una buona illustrazione che distingue T 2 e valori anomali SPE, vedere la Figura 4 di questo articolo .
Per avere un'idea migliore del motivo per cui i punti 13 e 14 sono valori anomali, costruiamo grafici a barre della proporzione del contributo medio per il T 2 e grafici SPE (Figura 3).Questi mostrano le lunghezze d'onda con il maggior contributo allo stato anomalo in entrambi i grafici. Puoi anche passare il mouse sopra le singole barre per vedere i grafici di controllo univariati per una lunghezza d'onda specifica.
Per questo esempio, è utile tracciare gli spettri in Graph Builder per avere un'idea migliore del motivo per cui le osservazioni sono valori anomali (Figura 3). Un'anomalia notevole è che questi due spettri hanno assorbanze anormalmente grandi a lunghezze d'onda maggiori.
Se decidiamo che questi valori anomali sono sospetti, è facile rimontare il modello rimuovendo i valori anomali. Per fare ciò, attiva Ricalcolo automatico nel rapporto MDMCC, seleziona le osservazioni anomale nel grafico di controllo T2 o SPE, quindi fai clic con il pulsante destro del mouse >> Righe >> Escludi riga.
Figura 3. Vista del generatore di grafici per gli spettri 13 e 14 selezionati in MDMCC tramite collegamento dinamico. Questo grafico mostra come i due spettri selezionati potrebbero essere percepiti come valori anomali se confrontati direttamente con il resto dei dati.
Lo Score Plot per MDMCC può essere utilizzato anche per confrontare i sottogruppi (Figura 4). Il gruppo A è il sottogruppo "rosso" in alto e il gruppo B è il sottogruppo "blu" in basso. Il grafico del contributo del punteggio relativo mostra dove ci sono differenze significative tra i due sottogruppi per lunghezza d'onda.
Figura 4. Confronto di gruppo tra spettri con 0% e 100% di glutine. Le lunghezze d'onda con il maggior contributo assoluto nel grafico a barre mostrano la maggiore differenza tra i gruppi.
Esplora dati funzionali
La piattaforma PCA in JMP è un buon strumento generico ma non è stata progettata per dati con una forma funzionale come gli spettri. Fortunatamente, dentro JMP Pro , esiste uno strumento progettato specificamente per i dati funzionali. La piattaforma Functional Data Explorer (FDE) in JMP Pro può essere utilizzata per un'analisi più approfondita dei dati spettrali. FDE viene utilizzato per analizzare i dati della curva su alcuni continuum, per gli spettri NIR il continuum è la lunghezza d'onda. Poiché tutti gli spettri vengono misurati sulla stessa griglia equidistante, possiamo adattare un modello PCA funzionale diretto, che esegue un PCA funzionale senza adattare una funzione di base (Figura 5). Si noti che non abbiamo escluso i valori anomali che abbiamo identificato nella sezione precedente (13 e 14) dal modello FDE. Sebbene si possa scegliere di escludere questi valori anomali, li includiamo nell'adattamento perché in una sezione successiva ci confronteremo con un modello FDE adatto a dati preelaborati in cui queste osservazioni non sono più valori anomali (vedere la Figura 14).
Nella Figura 5, gli autovalori corrispondenti alle componenti principali funzionali (fPC) mostrano quanta variazione è spiegata da ciascun fPC. Nel caso di questi dati, la variazione è caratterizzata dai primi due fPC, come nel caso della PCA. Vedi anche una curva media associata agli fPC. Se i tuoi dati tracciano esattamente la funzione media, tutti gli fPC sarebbero zero. Se il valore fPC è positivo, la forma della funzione varia dalla media in una forma simile alla corrispondente autofunzione, mentre un fPC negativo indica l'effetto inverso. Le autofunzioni sono paragonabili a un grafico comune utilizzato nell'analisi PCA dei dati spettrali chiamato grafico dei carichi spettrali, in cui i carichi sono ordinati per lunghezza d'onda.
Figura 5. Il modello PCA funzionale diretto si adatta ai riepiloghi. Due componenti principali funzionali spiegano il 100% della variazione dei dati.
I singoli spettri sono adatti e il grafico del punteggio risultante è mostrato nella Figura 6. Una caratteristica utile nella piattaforma dei componenti principali funzionali è la possibilità di passare con il mouse sopra i punti nei grafici dei punteggi e vedere i grafici per gli spettri corrispondenti. Ciò è molto utile in questo esempio, poiché il grafico del punteggio organizza i dati in sottogruppi di spettri simili e quindi la guida al passaggio del mouse mostra le differenze nella forma funzionale. Questo può essere utilizzato per scoprire le differenze tra i sottogruppi senza fare affidamento su analisi più sofisticate.
Figura 6. Il grafico del punteggio per l'adattamento del modello FDE. Le differenze tra i sottogruppi possono essere esplorate passando con il mouse sopra i punti nella trama del punteggio, rivelando la forma funzionale degli spettri.
Il Profiler fPC consente una più facile interpretazione delle dimensioni del punteggio per i singoli fPC (Figura 7). Lo spostamento di uno dei cursori fPC mostra l'effetto sulla funzione prevista dello spostamento lungo una delle direzioni fPC, con gli altri valori fPC fissi.
Figura 7. Le autofunzioni (A) e l'fPC Profiler (BD) per il modello FDE si adattano. Il profiler fPC con gli fPC impostati sui valori medi (B), fPC2 impostato sul valore minimo (C) e fPC2 impostato sul valore massimo (D). Quando il valore fPC2 è positivo, la forma degli spettri varia dalla media in una forma simile alla corrispondente autofunzione, mentre un fPC negativo indica l'effetto inverso.
Progettazione funzionale degli esperimenti (calibrazione multivariata)
Poiché questi dati provengono da un esperimento progettato, è rilevante un'analisi DOE funzionale (Figura 8). Il FDOE Profiler consente la previsione della forma funzionale degli spettri nelle frazioni di amido e glutine non osservate nei dati sperimentali. Nell'analisi degli spettri, questo è chiamato modello di calibrazione multivariato. Poiché l'amido e il glutine sono proporzioni di miscela che si sommano a 1, applichiamo un vincolo di miscela nel Profiler.
Spesso è desiderabile costruire l'inverso di questo modello, in cui i fattori sperimentali (le proporzioni costituenti, in questo caso) sono previsti in funzione degli spettri. In modo confuso, questo è anche chiamato calibrazione multivariata. Per chiarezza, adottiamo la terminologia di Brereton e la chiamiamo calibrazione multivariata inversa. Per adattarsi a questi tipi di modelli, è possibile produrre i componenti principali funzionali e fornirli a qualsiasi piattaforma di modellazione predittiva in JMP. Ciò consente di adattare modelli flessibili, come le reti neurali, ai riepiloghi delle funzioni. Questi modelli possono essere in grado di modellare le non linearità e le dipendenze meglio di PLS. Illustreremo un tale approccio nel prossimo post.
Figura 8. Il funzionale profilatore DOE. È stato applicato un vincolo lineare all'amido e al glutine in modo che si sommino a 1. Gli spettri sono previsti a combinazioni di fattori sperimentali non osservate nei dati originali.
Raggruppamento gerarchico
Il clustering gerarchico è un altro strumento di apprendimento automatico non supervisionato popolare nell'analisi spettrale. L'obiettivo del clustering gerarchico è identificare i sottogruppi nei dati, dove le differenze sono piccole all'interno dei cluster e grandi tra i cluster. Nelle sezioni precedenti, abbiamo identificato i sottogruppi, ma lo abbiamo fatto in modo soggettivo. Il clustering gerarchico fornisce un criterio oggettivo per la definizione di questi sottogruppi.
Il dendrogramma del cluster mostra una gerarchia di clustering che va dalle punte, dove ogni spettro si trova nel proprio cluster, alla radice, in cui tutti gli spettri sono in un cluster. Il dendrogramma mostra come i cluster vengono uniti in modo iterativo dall'algoritmo di clustering. La lunghezza dei rami interni è proporzionale alla differenza tra i cluster, dove la differenza tra i cluster è definita secondo un criterio di linkage.
Il clustering gerarchico in JMP è una piattaforma ricca, con molte funzionalità utili per l'analisi spettrale che non abbiamo tempo di trattare qui. Forniamo il rapporto nel diario allegato in modo che tu possa scoprire le funzionalità da solo. Alcune caratteristiche che vale la pena verificare sono la selezione interattiva del numero di cluster, l'output delle assegnazioni dei cluster, la possibilità di selezionare ed evidenziare i cluster nel dendrogramma e la possibilità di avviare grafici paralleli per i cluster. Vale anche la pena notare che il clustering gerarchico ha prestazioni eccellenti per grandi problemi n e grandi p.
Figura 9. Raggruppamento gerarchico degli spettri grezzi (a sinistra) e degli spettri preelaborati secondo la parte 1 di questa serie (a destra). I dati grezzi mostrano un raggruppamento molto più sparso dei singoli spettri con conseguente scarso sottoraggruppamento, mentre i dati preelaborati mostrano un sottoraggruppamento meglio definito. È possibile salvare le designazioni dei singoli cluster e utilizzarle come input in un processo di modellazione, se lo si desidera.
Pre-elaborazione avanzata
Correzione del segnale multivariata estesa
Questa sezione introduce un utile grafico diagnostico chiamato grafico degli effetti di dispersione e un potente metodo di pre-elaborazione chiamato correzione moltiplicativa estesa della dispersione (EMSC). Il grafico degli effetti di dispersione è semplice da creare in JMP e un esempio è fornito nel diario allegato. L'EMSC richiederà alcune conoscenze JSL per riprodursi. Presentiamo l'EMSC perché funziona bene per questi dati e la piattaforma Fit Model è un utile strumento pedagogico per insegnare il metodo. Inoltre, intendiamo fornire molti metodi di pre-elaborazione come EMSC nella piattaforma FDE in una versione futura di JMP, quindi restate sintonizzati per questo.
La Figura 10 mostra il grafico degli effetti di dispersione, utile quando si selezionano i metodi di pre-elaborazione. Ci sono schemi in questi grafici che indicano diverse fonti di rumore e puoi usare queste informazioni per selezionare quali metodi di pre-elaborazione sono appropriati per i tuoi dati. Nei grafici degli effetti di dispersione, gli spostamenti nell'intercetta y indicano uno spostamento costante della linea di base o un effetto additivo. Un metodo di pre-elaborazione come 1 st il filtro derivato Savitzky Golay (SG), che abbiamo introdotto nel precedente post sul blog, rimuove questi effetti. Gli effetti di dispersione moltiplicativa si verificano quando gli spettri hanno grandi variazioni solo a determinate lunghezze d'onda. Questi vengono visualizzati come cambiamenti di pendenza, o "smazzamento", nel grafico degli effetti di dispersione. Alcuni metodi di pre-elaborazione che possono rimuovere gli effetti moltiplicativi sono la correzione della dispersione moltiplicativa (MSC) e la variazione normale standard. Abbiamo mostrato la variazione normale standard nel post precedente. In questo post introduciamo l'MSC. Anche gli effetti chimici si presentano come un modello distinto in questi grafici. È interessante notare che questi si presentano come loop!
Figura 10. Grafico degli effetti di dispersione per gli spettri grezzi (A) e 1 st derivare dati filtrati SG (B). Dopo che gli effetti additivi sono stati rimossi dal filtro SG, rimangono gli effetti moltiplicativi. Per questi dati sarà necessario un metodo di pre-elaborazione che rimuova gli effetti moltiplicativi.
Il grafico degli effetti di dispersione per i dati grezzi suggerisce fortemente un effetto additivo (Figura 10A). Potrebbero esserci anche effetti moltiplicativi, ma è difficile da dire perché l'effetto additivo è così dominante. Quindi, prima rimuoviamo l'effetto additivo applicando un 1 st derivare il filtro SG sui dati come abbiamo fatto nel post precedente. Nel post precedente, abbiamo tracciato gli spettri pre-elaborati in Graph Builder e abbiamo mostrato che gli effetti moltiplicativi sono rimasti. Gli effetti moltiplicativi sono evidenti anche nel grafico degli effetti di dispersione: si noti il notevole smazzamento (Figura 10B). Quindi, ci sono sia effetti additivi che moltiplicativi nei dati. L'EMSC può rimuovere entrambe le fonti di rumore in un solo passaggio.
Nel loro articolo originale, Martens et al. ha introdotto l'EMSC e ha mostrato come questo metodo potrebbe migliorare i metodi di pre-elaborazione più semplici, come quelli mostrati nel nostro post precedente. Stiamo costruendo fino all'EMSC, ma è più facile iniziare prima con la correzione moltiplicativa della dispersione (MSC). L'MSC mira a correggere le varie fonti di rumore nei dati rendendo i dati più simili a uno spettro di riferimento. Poiché spesso non è disponibile un buon standard, viene spesso utilizzato lo spettro medio. Per ogni spettro viene eseguita una regressione separata. Permettere X = {x 1 , …, X p } essere un vettore di assorbanze per un dato spettro e X * = {x * 1 , …, X * p } lo spettro di riferimento. Il modello è
E lo spettro è corretto come segue:
Un problema con l'MSC è che non tiene conto della relazione che esiste tra effetti di dispersione e lunghezza d'onda. L'EMSC affronta questo problema incorporando una relazione polinomiale nel modello. Tipicamente, si assume una relazione quadratica per la lunghezza d'onda. Un altro problema con l'MSC è che facendo regredire ogni spettro sullo spettro medio, i reali effetti chimici che sono di interesse possono essere rimossi. Se i campioni sono noti per essere una miscela di un piccolo numero di componenti chimici e sono disponibili spettri di riferimento puri per ciascun componente, l'EMSC può essere ulteriormente esteso incorporando le informazioni sulla composizione chimica precedenti nel modello. Nei dati di Marten et al., sono presenti glutine puro ( X g ) e amido puro ( X S ) campioni nei dati. Come in Marten et al. carta, abbiamo scelto il campione 1 e il campione 93 come spettri di riferimento. Il modello EMSC modificherà lo spettro di riferimento in base alla composizione chimica stimata, che preserva meglio il vero segnale chimico nei dati.
m = ( X g + X S )/2 e K = ( X g - X S ) e l = {l 1 , …, l p } è il vettore delle lunghezze d'onda.Il m e K i termini del modello sono espressi in questo modo per semplificare l'equazione di correzione. Gli spettri corretti sono calcolati come:
Per eseguire l'EMSC in JMP, dovremo prima creare colonne per il X g e X S spettri di riferimento. A tale scopo, sottoimposta la tabella dei dati per creare tabelle per gli spettri di riferimento, quindi unisci le tabelle di riferimento alla tabella originale. Lo facciamo con i seguenti passaggi:
- Usa righe >> Selezione riga >> Seleziona dove selezionare tutte le righe corrispondenti a uno degli spettri di riferimento.
- Utilizzare Sottoinsieme per creare una tabella contenente solo gli spettri di riferimento.
- Riunisci le tabelle alla tabella originale, utilizzando la lunghezza d'onda come colonna corrispondente.
Successivamente, creiamo il K e m colonne, che possono essere eseguite utilizzando le colonne formula che operano su X g e X S colonne. Siamo quindi pronti per stimare il modello EMSC. Questo può essere fatto nel modello di adattamento utilizzando le opzioni mostrate nella Figura 11. Per eseguire la correzione EMSC, è necessario estrarre i coefficienti dei termini del modello e salvarli in colonne nella tabella dei dati. Abbiamo bisogno di usare uno script jsl per questo, ma lo script è abbastanza semplice. Infine, eseguiamo la correzione EMSC utilizzando la formula mostrata nella Figura 12.
Figura 11. Finestra di dialogo di avvio del modello Fit per il modello EMSC.
Figura 12. Formula di colonna per la correzione EMSC.
Il risultato finale è mostrato in Figura 13. Gli spettri sono notevolmente privi di effetti di dispersione e sono una rappresentazione molto più accurata dei veri spettri sottostanti.
Figura 13. Spectra prima e dopo i passaggi di pre-elaborazione applicati in questo blog. (In alto) Prima della pre-elaborazione, (In basso) dopo la correzione EMSC.
Modello finale di calibrazione multivariata
Gli spettri sono ora pronti per il nostro modello di calibrazione multivariato finale in FDE. Eseguiamo il DOE funzionale utilizzando il metodo descritto nella sezione FDE. Il modello risultante ci consente di prevedere con precisione la forma spettrale per una data combinazione di proporzioni di miscela. Un esempio di tali previsioni è mostrato nella Figura 14.
Figura 14. Funzionale DOE di spettri corretti EMSC prima e dopo la pre-elaborazione. È stato applicato un vincolo lineare all'amido e al glutine in modo che si sommino a 1. Nota i grandi cambiamenti nella forma spettrale dopo la pre-elaborazione. Poiché gli effetti di dispersione sono stati rimossi dagli spettri, possiamo ottenere stime più accurate della forma spettrale prevista a combinazioni di fattori non osservate nei dati.
Conclusioni e post futuri
Abbiamo dimostrato diverse piattaforme multivariate in JMP utili per identificare i modelli nei dati spettrali. Ci siamo concentrati sulle analisi dei sottogruppi e sulle analisi anomale comuni nell'analisi spettrale. L'utilità di FDE per l'analisi dei dati spettrali è stata pienamente mostrata mentre abbiamo dimostrato i numerosi strumenti esplorativi disponibili. È importante sottolineare che la progettazione funzionale degli esperimenti consente di costruire facilmente modelli di calibrazione multivariati. Abbiamo dimostrato come la piattaforma Fit Model in JMP può essere utilizzata per costruire un modello EMSC (Extended Moltiplicative Signal Correction), che ripulisce drasticamente il rumore nei nostri dati. Creando modelli EMSC da zero in Fit Model, otteniamo un maggiore controllo e una comprensione più profonda del processo di costruzione del modello.
Nel prossimo post tratteremo i modelli multivariati supervisionati. Adottiamo la terminologia di Brereton e ci riferiamo a questi come modelli di calibrazione multivariati inversi. Questi prevederanno fattori sperimentali in funzione degli spettri. Costruiremo modelli nelle piattaforme dei minimi quadrati parziali e della regressione generalizzata. Mostreremo anche come i componenti principali funzionali possono essere emessi da FDE e forniti a qualsiasi modello predittivo in JMP, consentendo la costruzione di modelli di calibrazione più complessi
