Un rapido promemoria di dove ci eravamo lasciati Parte 1 di questa serie sui dati spettroscopici: Stavamo analizzando un popolare set di dati di spettroscopia di Martens et al. " Diffusione della luce e assorbimento della luce separati da una correzione moltiplicativa estesa del segnale. Applicazione all'analisi della trasmissione nel vicino infrarosso di miscele di polveri " Chimica analitica 2003 febbraio 1;75(3):394-404. Alcuni semplici passaggi di pre-elaborazione ci hanno permesso di migliorare notevolmente il rapporto segnale-rumore nei dati.
In questo post utilizziamo gli stessi dati per dimostrare l'utilità delle piattaforme multivariate in JMP . Nell'analisi spettrale, le statistiche multivariate vengono ampiamente utilizzate poiché si provano iterativamente diverse fasi di pre-elaborazione e si valuta l'impatto sui dati. Inizialmente ci concentriamo sull’apprendimento non supervisionato o sull’analisi esplorativa dei dati. Quindi dimostreremo come utilizzare l'esploratore di dati funzionali (FDE) per creare modelli di calibrazione multivariata. Infine, introduciamo un metodo di pre-elaborazione più avanzato - la correzione moltiplicativa estesa del segnale - e mostriamo come ciò possa migliorare ulteriormente il nostro modello di calibrazione multivariata.
Metodi multivariati
Analisi delle Componenti Principali
Il primo metodo esplorativo che dimostriamo è l'analisi delle componenti principali (PCA). È interessante notare che, quando viene eseguita una PCA sugli spettri grezzi, i sottogruppi noti possono essere identificati nel grafico del punteggio senza la necessità di alcuna pre-elaborazione (Figura 1).Ricordare dalla Parte 1 che i campioni sono miscele di glutine e amido e che i colori indicano la frazione di glutine. Anche se c'è una buona separazione tra i gruppi, c'è ancora una notevole quantità di variazione per gli spettri con la stessa frazione di glutine, che causerà problemi per la calibrazione multivariata successiva. Questo errore migliora notevolmente entro la fine di questo post, dopo aver trovato il flusso di lavoro di pre-elaborazione ottimale.
Figura 1. Il punteggio e i grafici di caricamento per il modello PCA. Il grafico di caricamento indica un elevato grado di correlazione tra le lunghezze d'onda, come previsto. I colori indicano la frazione di glutine presente in ciascun campione da 0 (blu) a 1 (rosso). Gli autovalori indicano che la variazione in questo set di dati può essere spiegata con 2 componenti principali.
Grafico di controllo multivariato basato su modello
In genere, viene eseguito un tipo di analisi dei valori anomali per identificare e rimuovere i valori anomali influenti dal modello. JMP fornisce strumenti di analisi dei valori anomali all'interno della piattaforma PCA. Tuttavia, con JMP 15 è arrivata la Model Driven Multivariate Control Chart (MDMCC), uno strumento più completo per l'analisi dei valori anomali che consente un'indagine più approfondita nell'analisi delle cause alla radice e il confronto degli spettri per individuare le differenze.
Figura 2.Il grafico di controllo multivariato basato su modello identifica due spettri (13 e 14) come valori anomali in base al T 2 e grafici SPE . I grafici della proporzione del contributo medio dimostrano le lunghezze d'onda con il maggiore contributo al segnale fuori controllo.
Per gli spettri in questa analisi, MDMCC identifica due spettri (13 e 14), come valori anomali in base al loro T derivato da PCA 2 e grafici SPE (Figura 2).Il t 2 il grafico indica che questi punti sono lontani dai dati all'interno del piano del modello, mentre il grafico SPE indica che i punti sono distanti dal piano del modello. Un altro modo di concettualizzare questo è che questi spettri sono 1) distanti dagli spettri medi e 2) poco adatti al modello PCA. Poiché entrambe queste condizioni sono soddisfatte, i punti sono valori anomali potenzialmente influenti, nel senso che potrebbero attirare verso di sé il piano del modello PCA quando il modello è adatto. Se questi dati sono veramente errati, esiste il rischio che il modello PCA sia inadeguato. Si noti che ci sono altri punti oltre a 13 e 14 che sono valori anomali nel T 2 grafico, ma non nel grafico SPE. Poiché questi punti sono distanti dagli spettri medi, ma si adattano comunque al modello PCA, è meno probabile che siano valori anomali influenti. Per vedere una buona illustrazione che distingue T 2 e valori anomali SPE, vedere la Figura 4 di questo articolo .
Per avere un'idea migliore del motivo per cui i punti 13 e 14 sono valori anomali, costruiamo grafici a barre della proporzione del contributo medio per il T 2 e grafici SPE (Figura 3).Questi mostrano le lunghezze d'onda con il maggiore contributo allo stato anomalo in entrambi i grafici. Puoi anche passare il mouse sulle singole barre per visualizzare i grafici di controllo univariati per una lunghezza d'onda specifica.
Per questo esempio, è utile tracciare gli spettri nel Costruttore di grafici per avere un'idea migliore del motivo per cui le osservazioni sono valori anomali (Figura 3). Un'anomalia evidente è che questi due spettri hanno assorbanze anormalmente grandi a lunghezze d'onda maggiori.
Se decidiamo che questi valori anomali sono sospetti, è facile riadattare il modello rimuovendo i valori anomali. A tale scopo, attivare il ricalcolo automatico nel report MDMCC, selezionare le osservazioni anomale nel grafico di controllo T2 o SPE, quindi fare clic con il pulsante destro del mouse >> Righe >> Escludi riga.
Figura 3. Vista del Generatore di grafici per gli spettri 13 e 14 selezionati in MDMCC tramite collegamento dinamico. Questo grafico mostra come i due spettri selezionati potrebbero essere percepiti come valori anomali se confrontati direttamente con il resto dei dati.
Il grafico dei punteggi per MDMCC può essere utilizzato anche per confrontare i sottogruppi (Figura 4). Il Gruppo A è il sottogruppo “rosso” in alto e il Gruppo B è il sottogruppo “blu” in basso. Il grafico del contributo al punteggio relativo mostra dove sono presenti differenze significative tra i due sottogruppi in base alla lunghezza d'onda.
Figura 4. Confronto di gruppo tra spettri con 0% e 100% di glutine. Le lunghezze d'onda con il maggiore contributo assoluto nel grafico a barre mostrano la maggiore differenza tra i gruppi.
Esplora dati funzionali
La piattaforma PCA in JMP è un valido strumento generico ma non è stata progettata per dati con una forma funzionale come gli spettri. Fortunatamente, dentro JMP Pro , esiste uno strumento progettato specificamente per i dati funzionali. La piattaforma Functional Data Explorer (FDE) in JMP Pro può essere utilizzata per un'analisi più approfondita dei dati spettrali. La FDE viene utilizzata per analizzare i dati della curva su un certo continuum, per gli spettri NIR il continuo è la lunghezza d'onda. Poiché tutti gli spettri sono misurati sulla stessa griglia equidistante, possiamo adattare un modello PCA funzionale diretto, che esegue una PCA funzionale senza adattare una funzione di base (Figura 5). Si noti che non abbiamo escluso gli outlier identificati nella sezione precedente (13 e 14) dal modello FDE. Sebbene si possa scegliere di escludere questi valori anomali, li includiamo nell'adattamento perché in una sezione successiva confronteremo un modello FDE che si adatta ai dati pre-elaborati in cui queste osservazioni non sono più valori anomali (vedere Figura 14).
Nella Figura 5, gli autovalori corrispondenti ai componenti principali funzionali (fPC) mostrano quanta variazione è spiegata da ciascun fPC. Nel caso di questi dati la variazione è caratterizzata dai primi due fPC, come nel caso della PCA. Vedi anche una curva media associata agli fPC. Se i tuoi dati tracciassero esattamente la funzione media, tutti gli fPC sarebbero zero. Se il valore di fPC è positivo, la forma della funzione varia dalla media in una forma simile all'autofunzione corrispondente, mentre un fPC negativo indica l'effetto inverso. Le autofunzioni sono paragonabili a un grafico comune utilizzato nell'analisi PCA dei dati spettrali chiamato grafico dei caricamenti spettrali, in cui i caricamenti sono ordinati per lunghezza d'onda.
Figura 5. Il modello PCA funzionale diretto si adatta ai riepiloghi. Due componenti principali funzionali spiegano il 100% della variazione dei dati.
I singoli spettri sono adatti e il grafico del punteggio risultante è mostrato nella Figura 6. Una caratteristica utile nella piattaforma dei componenti principali funzionali è la possibilità di passare il mouse sopra i punti nei grafici dei punteggi e visualizzare i grafici per gli spettri corrispondenti. Ciò è molto utile in questo esempio, poiché il grafico del punteggio organizza i dati in sottogruppi di spettri simili e quindi l'aiuto al passaggio del mouse mostra le differenze nella forma funzionale. Questo può essere utilizzato per scoprire differenze tra sottogruppi senza fare affidamento su analisi più sofisticate.
Figura 6. Il grafico del punteggio per l'adattamento del modello FDE. Le differenze tra i sottogruppi possono essere esplorate passando con il mouse sui punti del grafico del punteggio, rivelando la forma funzionale degli spettri.
Il profiler fPC consente un'interpretazione più semplice delle dimensioni del punteggio per i singoli fPC (Figura 7). Lo spostamento di uno dei cursori fPC mostra l'effetto sulla funzione prevista dello spostamento lungo una delle direzioni fPC, con gli altri valori fPC fissi.
Figura 7. Le autofunzioni (A) e l'fPC Profiler (BD) per il modello FDE si adattano. Il profiler fPC con gli fPC impostati sui rispettivi valori medi (B), fPC2 impostato sul valore minimo (C) e fPC2 impostato sul valore massimo (D). Quando il valore di fPC2 è positivo, la forma degli spettri varia dalla media in una forma simile alla corrispondente autofunzione, mentre un fPC negativo indica l'effetto inverso.
Progettazione funzionale degli esperimenti (calibrazione multivariata)
Poiché questi dati provengono da un esperimento progettato, è rilevante un'analisi DOE funzionale (Figura 8). Il profilatore FDOE consente la previsione della forma funzionale degli spettri nelle frazioni di amido e glutine non osservate nei dati sperimentali. Nell'analisi degli spettri, questo è chiamato modello di calibrazione multivariata. Poiché amido e glutine sono proporzioni di miscela la cui somma è 1, applichiamo un vincolo di miscela nel Profiler.
Spesso è desiderabile costruire l'inverso di questo modello, in cui i fattori sperimentali (le proporzioni dei costituenti, in questo caso) sono previsti in funzione degli spettri. In modo confuso, questa è anche chiamata calibrazione multivariata. Per chiarezza, adottiamo la terminologia di Brereton e la chiamiamo calibrazione multivariata inversa. Per adattare questi tipi di modelli, è possibile produrre i principali componenti funzionali e fornirli a qualsiasi piattaforma di modellazione predittiva in JMP. Ciò consente di adattare modelli flessibili, come le reti neurali, ai riepiloghi delle funzioni. Questi modelli potrebbero essere in grado di modellare non linearità e dipendenze meglio di PLS. Illustreremo tale approccio nel prossimo post.
Figura 8. Il profiler DOE funzionale. È stato applicato un vincolo lineare all'amido e al glutine in modo che la loro somma sia 1. Gli spettri sono previsti in combinazioni di fattori sperimentali non osservate nei dati originali.
Clustering gerarchico
Il clustering gerarchico è un altro strumento di apprendimento automatico non supervisionato popolare nell'analisi spettrale. L'obiettivo del clustering gerarchico è identificare i sottogruppi nei dati, in cui le differenze sono piccole all'interno dei cluster e grandi tra i cluster. Nelle sezioni precedenti abbiamo identificato i sottogruppi ma lo abbiamo fatto in modo soggettivo. Il clustering gerarchico fornisce un criterio oggettivo per definire questi sottogruppi.
Il dendrogramma del cluster mostra una gerarchia di clustering che va dalle punte, dove ogni spettro è nel proprio cluster, alla radice, in cui tutti gli spettri sono in un unico cluster. Il dendrogramma mostra come i cluster vengono uniti iterativamente dall'algoritmo di clustering. La lunghezza dei rami interni è proporzionale alla differenza tra cluster, dove la differenza tra cluster è definita secondo un criterio di concatenazione.
Il clustering gerarchico in JMP è una piattaforma ricca, con molte funzionalità utili per l'analisi spettrale che non abbiamo tempo di trattare qui. Forniamo il rapporto nel diario allegato in modo che tu possa scoprire le funzionalità da solo. Alcune funzionalità che vale la pena verificare sono la selezione interattiva del numero di cluster, l'output delle assegnazioni dei cluster, la possibilità di selezionare ed evidenziare i cluster nel dendrogramma e la possibilità di avviare grafici paralleli per i cluster. Vale anche la pena notare che il clustering gerarchico ha prestazioni eccellenti per problemi di grandi dimensioni n e grandi p.
Figura 9. Raggruppamento gerarchico degli spettri grezzi (a sinistra) e degli spettri preelaborati secondo la parte 1 di questa serie (a destra). I dati grezzi mostrano un raggruppamento molto più sparso dei singoli spettri con conseguente scarso sottoraggruppamento mentre i dati pre-elaborati mostrano sottoraggruppamenti meglio definiti. Se lo si desidera, è possibile salvare le singole designazioni dei cluster e utilizzarle come input in un processo di modellazione.
Pre-elaborazione avanzata
Correzione del segnale multivariata estesa
Questa sezione introduce un utile grafico diagnostico chiamato grafico degli effetti di dispersione e un potente metodo di pre-elaborazione chiamato correzione della dispersione moltiplicativa estesa (EMSC). Il grafico degli effetti di dispersione è semplice da creare in JMP e nel diario allegato viene fornito un esempio. L'EMSC richiederà alcune conoscenze JSL per riprodursi. Presentiamo l'EMSC perché funziona bene con questi dati e la piattaforma Fit Model è un utile strumento pedagogico per insegnare il metodo. Inoltre, intendiamo fornire molti metodi di pre-elaborazione come l'EMSC nella piattaforma FDE in una futura versione di JMP, quindi rimanete sintonizzati.
La Figura 10 mostra il grafico degli effetti di dispersione, utile quando si selezionano i metodi di pre-elaborazione. In questi grafici sono presenti modelli che indicano diverse fonti di rumore ed è possibile utilizzare queste informazioni per selezionare i metodi di pre-elaborazione appropriati per i propri dati. Nei grafici degli effetti di dispersione, gli spostamenti nell'intercetta y indicano uno spostamento costante della linea di base o un effetto additivo. Un metodo di pre-elaborazione come 1 st Il filtro derivato Savitzky Golay (SG), che abbiamo introdotto nel post precedente del blog, rimuove questi effetti. Gli effetti di dispersione moltiplicativi si verificano quando gli spettri presentano ampie variazioni solo a determinate lunghezze d'onda. Questi si manifestano come cambiamenti di pendenza, o “fanning”, nel grafico degli effetti di dispersione. Alcuni metodi di pre-elaborazione che possono rimuovere gli effetti moltiplicativi sono la correzione della dispersione moltiplicativa (MSC) e la variabile normale standard. Abbiamo mostrato la variazione normale standard nel post precedente. In questo post presentiamo l'MSC. Anche gli effetti chimici appaiono come uno schema distinto in questi grafici. È interessante notare che questi si presentano come loop!
Figura 10. Grafico degli effetti di dispersione per gli spettri grezzi (A) e 1 st dati filtrati SG derivati (B). Dopo che gli effetti additivi sono stati rimossi dal filtro SG, rimangono gli effetti moltiplicativi. Per questi dati sarà necessario un metodo di pre-elaborazione che rimuova gli effetti moltiplicativi.
Il grafico degli effetti di dispersione per i dati grezzi suggerisce fortemente un effetto additivo (Figura 10A). Potrebbero esserci anche effetti moltiplicativi, ma è difficile dirlo perché l’effetto additivo è dominante. Quindi, per prima cosa rimuoviamo l'effetto additivo applicando un 1 st derivare il filtro SG sui dati come abbiamo fatto nel post precedente. Nel post precedente, abbiamo tracciato gli spettri pre-elaborati nel Graph Builder e abbiamo dimostrato che gli effetti moltiplicativi rimanevano. Gli effetti moltiplicativi sono evidenti anche nel grafico degli effetti di dispersione: si noti il notevole ventaglio (Figura 10B). Quindi, nei dati ci sono sia effetti additivi che moltiplicativi. L'EMSC può rimuovere entrambe le fonti di rumore in un'unica fase.
Nel loro articolo originale, Martens et al. ha introdotto l'EMSC e ha mostrato come questo metodo potrebbe migliorare rispetto a metodi di pre-elaborazione più semplici, come quelli mostrati nel nostro post precedente. Ci stiamo avvicinando all’EMSC, ma è più semplice iniziare prima con la correzione della dispersione moltiplicativa (MSC). L'MSC mira a correggere le varie fonti di rumore nei dati rendendo i dati più simili a uno spettro di riferimento. Poiché spesso non è disponibile un buon standard, viene spesso utilizzato lo spettro medio. Per ciascuno spettro viene eseguita una regressione separata. Permettere X = {x 1 , …, X P } essere un vettore di assorbanze per un dato spettro e X * = {x * 1 , …, X * P } lo spettro di riferimento. Il modello è
E lo spettro viene corretto come segue:
Un problema con l’MSC è che non tiene conto della relazione esistente tra gli effetti di dispersione e la lunghezza d’onda. L’EMSC affronta questo problema incorporando una relazione polinomiale nel modello. Tipicamente, si presuppone una relazione quadratica per la lunghezza d'onda. Un altro problema con l'MSC è che regredendo ciascuno spettro sullo spettro medio, è possibile rimuovere gli effetti chimici reali di interesse. Se si sa che i campioni sono una miscela di un piccolo numero di componenti chimici – e per ciascun componente sono disponibili spettri di riferimento puri – l’EMSC può essere ulteriormente esteso incorporando informazioni preliminari sulla composizione chimica nel modello. Nei dati di Marten et al., è presente glutine puro ( X G ) e amido puro ( X S ) campioni nei dati. Come nel caso di Marten et al. carta, abbiamo scelto il campione 1 e il campione 93 come spettri di riferimento. Il modello EMSC modificherà lo spettro di riferimento in base alla composizione chimica stimata, che preserva meglio il vero segnale chimico nei dati.
M = ( X G + X S )/2 e K = ( X G - X S ) E l = {l 1 , …, l P } è il vettore delle lunghezze d'onda.IL M E K i termini del modello sono espressi in questo modo per semplificare l'equazione di correzione. Gli spettri corretti vengono calcolati come:
Per eseguire l'EMSC in JMP, dovremo prima creare colonne per il file X G E X S spettri di riferimento. A tale scopo, sottoinsiemi della tabella dati per creare tabelle per gli spettri di riferimento, quindi unire le tabelle di riferimento alla tabella originale. Lo facciamo con i seguenti passaggi:
- Utilizzare Righe >> Selezione riga >> Seleziona Dove per selezionare tutte le righe corrispondenti a uno degli spettri di riferimento.
- Utilizzare Subset per creare una tabella contenente solo gli spettri di riferimento.
- Unisci le tabelle alla tabella originale, utilizzando la lunghezza d'onda come colonna corrispondente.
Successivamente, creiamo il K E M colonne, che possono essere eseguite utilizzando colonne formula che operano su X G E X S colonne. Siamo quindi pronti per stimare il modello EMSC. Questo può essere fatto nel modello di adattamento utilizzando le opzioni mostrate nella Figura 11. Per eseguire la correzione EMSC, dobbiamo estrarre i coefficienti dei termini del modello e salvarli nelle colonne della tabella dati. Dobbiamo utilizzare uno script jsl per questo, ma lo script è abbastanza semplice. Infine, eseguiamo la correzione EMSC utilizzando la formula mostrata nella Figura 12.
Figura 11. Finestra di dialogo di avvio del modello Fit per il modello EMSC.
Figura 12. Formula di colonna per la correzione EMSC.
Il risultato finale è mostrato nella Figura 13. Gli spettri sono notevolmente esenti da effetti di dispersione e sono una rappresentazione molto più accurata dei veri spettri sottostanti.
Figura 13. Spettri prima e dopo le fasi di pre-elaborazione applicate in questo blog. (In alto) Prima della pre-elaborazione, (in basso) dopo la correzione EMSC.
Modello di calibrazione multivariata finale
Gli spettri sono ora pronti per il nostro modello di calibrazione multivariata finale in FDE. Eseguiamo DOE funzionale utilizzando il metodo descritto nella sezione FDE. Il modello risultante ci consente di prevedere con precisione la forma spettrale per una data combinazione di proporzioni della miscela. Un esempio di tali previsioni è mostrato nella Figura 14.
Figura 14. Il DOE funzionale degli spettri corretti EMSC prima e dopo la pre-elaborazione. È stato applicato un vincolo lineare all'amido e al glutine in modo che la loro somma sia 1. Notare i grandi cambiamenti nella forma spettrale dopo la pre-elaborazione. Poiché gli effetti di dispersione sono stati rimossi dagli spettri, possiamo ottenere stime più accurate della forma spettrale prevista per combinazioni di fattori non osservate nei dati.
Conclusioni e post futuri
Abbiamo dimostrato diverse piattaforme multivariate in JMP utili per identificare modelli nei dati spettrali. Ci siamo concentrati sulle analisi dei sottogruppi e sulle analisi dei valori anomali comuni nell'analisi spettrale. L'utilità della FDE per l'analisi dei dati spettrali è stata pienamente dimostrata mentre abbiamo dimostrato i numerosi strumenti esplorativi disponibili. È importante sottolineare che la progettazione funzionale degli esperimenti consente di costruire facilmente modelli di calibrazione multivariati. Abbiamo dimostrato come la piattaforma Fit Model in JMP possa essere utilizzata per creare un modello EMSC (Extended Multiplicative Signal Correction), che ha eliminato drasticamente il rumore nei nostri dati. Costruendo modelli EMSC da zero in Fit Model, otteniamo un maggiore controllo e una comprensione più profonda del processo di creazione del modello.
Nel prossimo post tratteremo i modelli multivariati supervisionati. Adottiamo la terminologia di Brereton e ci riferiamo a questi come modelli di calibrazione multivariata inversa. Questi prediranno i fattori sperimentali in funzione degli spettri. Costruiremo modelli nelle piattaforme dei minimi quadrati parziali e di regressione generalizzata. Mostreremo anche come i principali componenti funzionali possono essere generati da FDE e forniti a qualsiasi modello predittivo in JMP, consentendo la costruzione di modelli di calibrazione più complessi
