In questo post del blog, Sr. Analytics Software Tester @Mark_Bailey e ne spiego alcuni nuove caratteristiche in JMP Pro 17. Il team di sviluppo di JMP ha lavorato duramente per integrare nel software una nuova capacità di analisi chemiometrica. La maggior parte delle nuove funzionalità è incentrata su Functional Data Explorer. Ora, con pochi clic del mouse, puoi preelaborare i dati della curva, salvare i dati preelaborati in una nuova tabella per un'ulteriore analisi multivariata e completare un'analisi funzionale di questi dati in un'unica piattaforma. Ci concentreremo sull'analisi dei dati spettrali in questo post, ma tieni presente che questa piattaforma analizza praticamente tutti i tuoi dati chemiometrici con risultati eccezionali.
Molte grazie a @clay_barker , @Ryan Parker , e @chris_gotwalt1 per riunire questa capacità di analisi chemiometrica in un'unica piattaforma.
Preelaborazione
La preelaborazione dei dati spettrali non potrebbe essere molto più semplice che con FDE. È disponibile una nuova scheda Spectral in cui troverai diversi strumenti di pre-elaborazione, tra cui Standard Normal Variate (SNV), Multiplicative Scatter Correction (MSC), smoothing Savitzky-Golay con capacità di 1a e 2a derivata e Correzione della linea di base.
Figura 1. Screenshot della nuova capacità di pre-elaborazione integrata in FDE
Dimostriamo la nuova capacità di analisi chemiometrica in JMP Pro utilizzando un set di dati nel vicino infrarosso di Dyrby et al., Spettroscopia applicata Vol 56, Numero 5, 2002.
Pre-elaborazione iniziale
Per questo set di dati, le fasi iniziali di preelaborazione sono state SNV seguite da Baseline Correction. La correzione della linea di base era un modello quadratico sull'intera funzione. Nelle immagini sottostanti puoi vedere come ha funzionato la preelaborazione per mitigare la maggior parte della variazione dei dati.
Utilizza un unico metodo di preelaborazione o utilizzali in combinazione per ottenere il massimo dalla standardizzazione dei dati. Una delle combinazioni più comuni viste in molti articoli scientifici è prendere il 1° derivato Savitzky-Golay e quindi prendere la SNV per un passaggio finale. Questa combinazione funziona bene, ma non essere timido nel provare diverse combinazioni per vedere cosa funziona meglio per i tuoi dati.
Figura 2. Dati NIR tablet Prima e dopo la pre-elaborazione
Salva i dati preelaborati come una nuova tabella in pila per ulteriori passaggi di analisi multivariata. Dovresti trasporre i dati nel formato ampio per eventuali analisi aggiuntive.
Modellazione Wavelet
In precedenza abbiamo mostrato come utilizzare B-Spline e P-Spline in FDE per modellare i dati spettrali. Con JMP Pro 17, viene aggiunta una nuova funzionalità di modellazione Wavelet principalmente per i dati chemiometrici. Troverai il nuovo modello Wavelet sotto il triangolo rosso (Functional Data Explorer > Models > Wavelets).
Figura 3. Modelli associati a FDE in JMP Pro 17
La modellazione Wavelet è molto migliore nell'adattare i dati della curva con molti picchi rispetto a uno dei metodi spline.
L'output del modello Wavelet, come mostrato di seguito, si adatta rapidamente ai dati per tutti i 310 lotti. Il risultato suggerisce che un modello Symlet 4 si adatta a tutti i dati al meglio di altri 15 algoritmi basati sui criteri di informazione bayesiani (BIC). Il modello con il BIC più basso è il migliore.
Figura 4. Selezione del modello Wavelet e migliore adattamento basato su BIC
Poiché FDE trova il modello migliore per la forma della curva di interesse, puoi vedere che i componenti principali funzionali (FPC) sono ora chiamati funzioni di forma.
Figura 5. Nuova designazione della funzione di forma per i dati FDE
Puoi anche vedere che il grafico dell'autovalore mostra ancora quanto le singole funzioni di forma spiegano la variazione di forma.
A questo punto, vorrai salvare i riepiloghi delle funzioni in una nuova tabella. Fare clic sul triangolo rosso per Riepiloghi funzioni e selezionare Salva riepiloghi. I componenti principali funzionali verranno salvati con i coefficienti Wavelet in questa nuova tabella con le variabili supplementari. Rivisiteremo questa tabella nella sezione Modellazione predittiva.
Una nuova funzione per la creazione di grafici di controllo rappresenta anche un grafico dei riepiloghi delle funzioni in base agli FPC per ciascun ID campione.
Figura 6. Generatore di grafici di controllo integrato in FDE.
Come in precedenza, è possibile limitare il numero di componenti utilizzati per definire la forma utilizzando lo strumento FPCA Model Selection. Questa riduzione aiuterà a semplificare il tuo modello quando la maggior parte della variazione è spiegata da un numero inferiore di componenti della forma rispetto a quello mostrato nel modello originale.
Figura 7. Strumento di selezione del modello del componente principale funzionale (funzione di forma).
Analisi DOE Wavelets
L'ultima nuova funzione è Wavelets DOE Analysis, che si trova nel menu del triangolo rosso per Wavelets (Wavelets on Reduce Grid (404)).
Le trasformazioni sono molto veloci con i dati su una griglia. La griglia ridotta assicura che i numeri d'onda siano equidistanti, senza punti decimali. JMP sviluppa la griglia ridotta per te, ma puoi controllare la regolarità della griglia se lo desideri.
Figura 8. Opzione di selezione DOE Wavelet.
Per questi dati, vogliamo vedere quale curva o insieme di curve emula meglio una determinata percentuale API. I coefficienti Wavelet vengono rapidamente analizzati utilizzando la piattaforma di regressione generalizzata. Il risultante Wavelet DOE Profiler viene utilizzato per trovare la lunghezza d'onda o impostare le lunghezze d'onda che definiscono le differenze tra i vari livelli percentuali. Poiché i coefficienti rappresentano lunghezze d'onda e risoluzioni, vengono utilizzati per costruire un modello più interpretabile di quanto sarebbe stato possibile utilizzando gli FPC.
Figura 9. Wavelet DOE Energy Graphic e FDOE Profiler.
Nell'immagine sopra, la tabella Energia mostra le differenze più significative per tutti i coefficienti. Il coefficiente per Res 2 alla lunghezza d'onda 8175 ha l'energia più alta, rappresentando circa il 27% dell'energia totale delle lunghezze d'onda attive. Come bonus, i coefficienti rappresentano direttamente lunghezze d'onda o picchi specifici nei dati della curva.
Costruire un modello predittivo dai coefficienti Wavelet
La nuova tabella dei riepiloghi è utile per l'analisi statistica e la modellazione predittiva. Gli FPC potrebbero essere utilizzati per costruire un modello predittivo, oppure un'altra opzione è costruire un modello predittivo basato su un sottoinsieme dei dati dei coefficienti Wavelet utilizzando la piattaforma di regressione generalizzata. Come puoi vedere nel margine della tabella sottostante, c'è una colonna per tutti i 512 coefficienti Wavelet. Probabilmente, avrai solo bisogno di un piccolo sottoinsieme di tutti i coefficienti per costruire un buon modello predittivo.
Figura 10. Tabella dei riepiloghi del modello Wavelet (512 coefficienti).
Il modello di regressione generalizzata riportato di seguito mostra l'adattamento utilizzando tutti i dati dei coefficienti Wavelet come variabili per l'adattamento. La penalizzazione Elastic Net è stata utilizzata con Elastic Net Alpha di 0,56 per includere il maggior numero possibile di lunghezze d'onda essenziali ma per evitare l'overfitting utilizzando tutti i 512 coefficienti Wavelet nel modello.
Figura 11. Adattamento del modello di regressione generalizzato.
Prova le nuove tecniche con i tuoi set di dati o chiedici una dimostrazione. Grazie ancora al nostro eccellente team di sviluppo e non vediamo l'ora di ricevere il tuo feedback su questi miglioramenti rivoluzionari al software.
