Molti strumenti e sensori generano dati su un continuum. Analizzare e comprendere questi dati "curvi" può essere, nella migliore delle ipotesi, difficile, soprattutto quando si cerca di analizzare i dati sull'intero continuum. Molte tecniche chemiometriche sono alternative, ma per l'analisi dei dati curvi, si tratta sostanzialmente di analizzare i dati punto per punto, anziché l'intera curva o un gruppo di curve contemporaneamente.
L'analisi funzionale dei dati è uno dei metodi più recenti che si è imposto per l'analisi dei dati di curve. Questa presentazione utilizza casi di studio su dati cromatografici e spettrali che mostrano l'utilità dell'analisi dei dati nel continuum in combinazione con i metodi chemiometrici più tradizionali. Vengono evidenziate alcune delle più recenti tecniche di analisi chemiometriche in JMP Pro 18 Functional Data Explorer.
Ciao a tutti. Mi chiamo Bill Worley e oggi parleremo di analisi funzionale dei dati e, più o meno, di un caso di studio sull'uso di FDA per mostrare come viene utilizzato, dove viene utilizzato o dove potremmo utilizzarlo. Voglio ringraziarvi fin da subito. Ci sono contributi di molte persone qui, e sono tutti elencati qui. Vorrei sicuramente menzionare Tom Donnelly e Chris Gottwalt. Poi anche Pete Hersh, persone che mi hanno davvero aiutato a realizzare questa presentazione.
Un piccolo retroscena: non stiamo solo prendendo in considerazione l'analisi funzionale dei dati, ma vogliamo anche integrare qualcosa chiamato tecnologia analitica di processo. La PAT è ampiamente utilizzata nell'industria farmaceutica come parte della loro strategia di qualità fin dalla progettazione, e viene utilizzata per ridurre i tempi di ciclo utilizzando misurazioni online, in linea e fuori linea. È tutto come un processo continuo.
Questo è tutto ciò che serve per prevenire scarti, scarti e qualsiasi rielaborazione che potrebbe essere necessaria. Consente inoltre test di rilascio in tempo reale e PAT con analisi funzionale dei dati o tecnologia analitica di processo con analisi funzionale dei dati, che è e dovrebbe essere applicabile a qualsiasi settore. Penso che questo sia solo una parte di... Ne parleremo più approfonditamente nel prosieguo della presentazione. Ma come si integra o come può integrarsi?
Un altro concetto di dati funzionali. Vogliamo esplorare curve e forme ed estrarne le caratteristiche per ulteriori analisi. Questo invece di analizzare i dati punto per punto. Molti dei nostri dati sono continui e dobbiamo catturare le forme complesse delle curve in qualche forma di valori numerici. Quindi vogliamo analizzare le relazioni tra le forme delle curve e altre variabili.
Dove troviamo i dati funzionali? Come ho detto prima, molti dati sono intrinsecamente funzionali nella loro forma. Flussi di dati di serie temporali provenienti da processi di produzione, spettri, misurazioni effettuate in un intervallo di temperature. JMP Pro semplifica la risoluzione di molti di questi tipi di problemi con dati funzionali.
Con l'analisi funzionale dei dati, si utilizzano le componenti principali funzionali per scomporre i dati in punteggi FPC e componenti di forma. In una riduzione dimensionale strettamente correlata all'analisi classica delle componenti principali. I punteggi o pesi LPC sono grandezze scalari che spiegano la variazione funzione-funzione. Le componenti di forma spiegano la variazione longitudinale che si osserva lungo queste linee, ovvero tempo, distanza, lunghezza d'onda e altri parametri. Adattiamo i modelli con i punteggi FPC e li raggruppiamo. Rappresentandoli graficamente come qualsiasi altro dato continuo.
Per i dati funzionali, adattiamo i punteggi FPC in funzione dei fattori DOE e utilizziamo il punteggio FPC moltiplicato per le componenti di forma come formule intermedie. Quindi utilizziamo il punteggio FPC modellato moltiplicato per le componenti di forma come formula di previsione finale.
Come gestiamo i dati funzionali? Beh, l'abbiamo già spiegato prima. Ma con JMP Pro puoi convertire un gruppo di punti discreti in un insieme di componenti principali funzionali in pochi clic.
Adattando uno spline, un wavelet o un modello diretto a ciascun set di dati funzionali e descrivendo le curve con FPC, si ottengono rapidamente nuove informazioni e una migliore comprensione del processo o del prodotto. Bene, di seguito mostriamo un set di curve, il modello utilizzato per adattare quei dati. Quindi, con i dati funzionali, mostriamo qui le componenti principali funzionali e per lotto. Bene. In questo caso si tratta di un adattamento spline.
Ma il fulcro della conferenza di oggi sarà l'analisi o la rianalisi di alcuni dati spettrali NMR per una miscela di tre alcoli, utilizzando l'analisi funzionale dei dati. Questo è l'articolo originale da cui provengono i dati. Voglio solo fare i complimenti per averlo pubblicato. Poi potremo prendere quei dati e rianalizzarli.
Nei dati originali, si trova l'analisi quantitativa degli spettri NMR con metriche chemio. Questa è una sovrapposizione della miscela di tre alcoli degli spettri NMR. Abbiamo pentanolo, butanolo e propanolo. Vogliamo essere in grado di scomporre questi tre con la nostra analisi e quindi essere in grado di prevedere qualsiasi miscela possibile che ne sia composta.
Solo per darvi un'idea migliore dei metodi di modellazione spettrale, di tutti i tipi di metodi multivariati. La riduzione dimensionale è importante e possiamo usare l'analisi delle componenti principali per farlo. Scaling multidimensionale, Functional Data Explorer.
Anche il clustering è sempre importante. Aiuta a capire meglio quali raggruppamenti si hanno. Quindi, se si ha bisogno di fare un'analisi dei valori anomali, si possono usare carte di controllo multivariate. Ma se si vogliono costruire modelli predittivi da questi dati, si useranno metodi come i minimi quadrati parziali o la regressione penalizzata. L'analisi funzionale dei dati, le foreste bootstrap e un paio di altre reti neurali supportano le macchine vettoriali. Le opzioni sono molteplici.
Ma vorrei fare un confronto diretto tra alcuni di questi metodi. Per iniziare, se state esaminando questi dati, usate l'analisi delle componenti principali. Se vedete nel grafico qui, abbiamo punti a 8, 20 e 18. Questi sono i nostri effettivi propanolo, butanolo e pentanolo.
Stiamo ottenendo una sorta di grafico ternario, ma ci vogliono molte componenti principali per spiegare almeno l'85% della variazione. Stiamo considerando circa 18 componenti principali. I dati sono comunque altamente correlati. Quello che si potrebbe fare è salvare le componenti principali nella tabella dati ed eseguire una regressione delle componenti principali. Beh, è un po' lungo arrivare a una risposta. Ma è fattibile.
Un'altra piattaforma non funzionale che prendiamo in considerazione, o che potremmo prendere in considerazione, è quella dei minimi quadrati parziali. In questo caso, possiamo effettivamente adattare un modello molto valido, almeno per quanto riguarda butanolo, pentanolo e propanolo. Con cinque fattori latenti invece di 18 componenti principali.
Le componenti principali e i fattori latenti sono gli stessi, ma con quadrati parziali. Almeno possiamo spiegare il perché, o ottenere una variante del perché, laddove non otteniamo nulla di tutto ciò con le componenti principali.
Cosa stiamo mostrando qui? Diamo un'occhiata alla variazione percentuale spiegata. Possiamo vedere con il modello più piccolo con cinque fattori. Stiamo spiegando solo circa il 28% della variazione nella X, ma siamo in grado di spiegare molto rapidamente circa il 98% della variazione, o poco più del 98% della variazione. Con due fattori latenti.
Quindi questo grafico qui sopra vi mostra dove potremmo fare una riduzione variabile. Abbiamo il propanolo, il butanolo e il pentanolo, e sono colorati, abbiamo ogni lunghezza d'onda lì. Ma questa linea proprio qui a 0,8 è come la regola pratica, il limite, dove si potrebbe effettivamente fare una riduzione variabile e ottenere questo modello molto più semplice. Se volessimo. Ma ripeto, questa è una forma non funzionale. Si stanno esaminando i dati punto per punto. Tutti questi modelli saranno davvero grandi, al di là di tutto il resto.
Ma poi possiamo considerare qualcosa chiamato Analisi Funzionale dei Dati con wavelet. Stiamo ottenendo un ottimo adattamento con questi dati utilizzando il modello wavelet. Il modello migliore è quello con il punteggio AICc o BIC più basso. Come potete vedere, qui sopra stiamo spiegando circa l'86%, quasi la stessa quantità di variazione che stavamo osservando nelle componenti principali, ma lo stiamo facendo con cinque componenti principali meno funzionali.
Un modello già più semplice. Se osserviamo i grafici effettivi rispetto a quelli previsti, la funzione wavelet spiega egregiamente la variazione che si verifica qui. Ora, se guardiamo qui a destra del grafico dei punteggi, abbiamo quasi un grafico ternario. Abbiamo il nostro pentanolo, butanolo e, scusate, propanolo, butanolo e pentanolo qui.
Il pentanolo è un po' più difficile da spiegare. Presenta alcuni picchi sovrapposti ad altri dati, quindi nel grafico dei punteggi non è facilmente distinguibile dagli altri, ma ne ricaviamo comunque un risultato ragionevole.
Un'altra opzione per analizzare le miscele è la cosiddetta risoluzione multivariata della curva. Stiamo esaminando i dati qui. Ora, nel complesso. Questa è la risoluzione multivariata della curva utilizzando tutti i dati di convalida, ovvero il pentanolo o il propanolo, il butanolo e il pentanolo. Il resto dei dati sono miscele di questi tre alcoli. In questo caso li stiamo usando come dati di addestramento per prevedere, o per vedere se possiamo prevedere i dati degli alcoli puri.
Ce la caviamo bene, soprattutto per il propanolo. Gli altri due forse non sono altrettanto buoni, ma sappiamo quali componenti principali funzionali sono associati a quale in questo caso.
Quindi, il componente principale funzionale tre è il propanolo. Il butanolo è il componente principale funzionale due. Quindi il pentanolo è il componente principale funzionale uno. Stiamo ottenendo un risultato piuttosto buono. Ma se guardate qui sotto i grafici diagnostici... Sì. Quindi intendo dire che stiamo andando bene. Ma poiché abbiamo usato le miscele stesse per cercare di prevedere la parte sbagliata dei materiali puri, vediamo una sorta di grafico ternario, ma non vediamo quegli altri tre. Vi mostrerò tra poco come appare quando procediamo dall'altro lato.
Bene, quindi da tutto questo emerge che vogliamo provare a realizzare qualcosa chiamato disegno funzionale degli esperimenti o DOE funzionale. In questo esempio di miscelazione alcolica, il componente principale funzionale tre è altamente correlato alla proporzione di propanolo. Da questo si ottiene una certa interpretabilità. Poi, come ho detto prima, FPC 1 è altamente correlato al pentanolo e FPC 2 al butanolo. Non sempre si ottiene questo tipo di correlazione quando si esaminano i componenti principali funzionali e i fattori.
Ma in questo caso, ne abbiamo ottenuti alcuni, ma non stiamo miscelando gli FPC, stiamo miscelando gli alcoli. È su questo che vogliamo concentrarci. Ecco perché il DOE funzionale è così importante. Adatteremo questi punteggi in funzione delle componenti di fatto o dei fattori. Quindi, questo è un modello con cui possiamo facilmente interagire e utilizzare in modo pratico per prevedere l'impatto di componenti o fattori sugli spettri.
Se vi ricordate, abbiamo già detto che i punteggi FPC sono pesi, quantità scalari che spiegano la variazione da funzione a funzione, e i componenti di forma spiegano la variazione longitudinale, le differenze nel tempo e cose del genere. Lunghezza d'onda.
Per il DOE funzionale, adattiamo i punteggi FPC in funzione del DOE. Poi, eseguiamo gli stessi calcoli di cui abbiamo parlato prima. Bene. Detto questo, arriviamo a qualcosa chiamato profiler del DOE funzionale. È qui che possiamo confrontare l'aspetto degli spettri con diverse proporzioni di butanolo, propanolo e pentanolo.
Ok. Ne parleremo nella demo, che dovrebbe arrivare ora. Lasciatemi uscire di qui e togliermi di torno per un attimo. Bene, sto lavorando a un progetto JMP. Questi sono i dati. Abbiamo 23 spettri NMR per lotto. Bene. Ecco il loro ID. Poi abbiamo le diverse proporzioni di propanolo, butanolo e pentanolo. Poi abbiamo mille colonne di dati sulle lunghezze d'onda.
I dati sono molto ampi, molto ampi e altamente correlati. Dovremmo tenerne conto quando effettuiamo alcune analisi. Ok. La prima cosa che osserviamo è che torniamo indietro e analizziamo l'analisi funzionale delle componenti principali, la classica analisi delle componenti principali, non la componente funzionale principale.
Vorrei ampliare un po' il campo, così potete vedere cosa sta succedendo. Se osserviamo il grafico dei punteggi qui, e il grafico a dispersione qui, possiamo vedere ancora una volta che l'altezza dei dati è altamente correlata. Se osserviamo i diversi punti qui. Osserviamo la stella e le stelle, il diamante e la stella qui. Questi sono i nostri materiali puri. Questo ci dà l'idea che stiamo ancora osservando una sorta di grafico ternario. Stiamo osservando delle miscele qui.
Ma ancora una volta, se guardiamo qui, dobbiamo scendere a 80 o autovalori a 18 per spiegare circa l'86% della variazione. Ok. Sono ancora molti fattori che dobbiamo riprendere e fare una regressione in componenti principali quando saremo pronti. Una volta salvati nella tabella dati.
Se ricordiamo, abbiamo parlato di minimi quadrati parziali. Guardando questo, questo ci mostra che possiamo ottenere una spiegazione davvero buona della variabile Y. Essere in grado di prevedere pentanolo, butanolo e propanolo, con cinque fattori latenti. Ora, non stiamo facendo un buon lavoro nello spiegare cosa sta succedendo nella variazione di X, ma possiamo aumentare la spiegazione se vogliamo aggiungendo più fattori latenti solo per avvicinarci all'altro modello delle componenti principali. Ma penso che con questo, stiamo comunque risparmiando, sai, risparmiando molto solo usando questo primo modello qui.
Se guardiamo qui sotto al Van der Voet T, questo ci dice che non abbiamo davvero bisogno di andare oltre i cinque fattori latenti, perché è lì che il nostro valore del Van der Voet T raggiunge l'uno. Qualsiasi valore superiore a 0,1 potrebbe essere considerato un buon modello. Potremmo effettivamente scendere a due, tre, quattro. Ma per ora ci limiteremo a cinque.
Bene. Se osserviamo il grafico della media della pressione qui sotto, abbiamo di nuovo questo che mostra che potremmo usare cinque fattori. Questo sarà il nostro valore più basso, la media della pressione, ma sembra che anche tutto ciò che segue sia piuttosto basso. Questo vi dà un'idea di come appare l'adattamento. È davvero interessante perché i dati sono molto precisi su questi grafici dei punteggi, questi grafici dei punteggi z. Questa è un'altra indicazione che abbiamo un modello piuttosto buono.
Stiamo spiegando, sai, il 98% della variazione proprio qui, quasi il 99% della variazione con solo due fattori latenti. Ma possiamo sempre usarne di più se arriviamo al 100%. Ottimo. Poi quest'ultimo esamina di nuovo il VIP. Abbiamo parlato della possibilità di usarlo per la selezione delle variabili. Potremmo effettivamente eliminare una serie di questi dati e far sì che costituiscano comunque un modello davvero valido.
Questi sono due esempi di analisi delle componenti principali. I minimi quadrati parziali sono due modi di analizzare i dati che non si trovano in una piattaforma non funzionale. Se passiamo da un'analisi funzionale a un'analisi funzionale dei dati, la prima cosa che voglio mostrarvi è l'analisi dei dati in formato grezzo, giusto? Abbiamo appena eseguito l'analisi. Non abbiamo elaborato i dati. Abbiamo semplicemente inserito i dati e poi abbiamo adattato un po' il modello qui sotto.
E questi sono dati con risoluzione della curva multivariata e senza vincoli. In questo caso i dati potrebbero andare in negativo, ma con quello che abbiamo stiamo andando bene. Guardiamo qui e guardiamo il nostro propanolo o questo lotto, e quello è il nostro propanolo. Stiamo andando bene. Non stiamo andando benissimo, ma stiamo andando bene. Non abbiamo convalida, nessun set di addestramento. Non abbiamo usato nulla di tutto ciò per ora, ma siamo convinti che andrà tutto bene, se consideriamo questi dati così come sono.
Se si osservano i grafici effettivi rispetto a quelli previsti, forse non molto. Abbiamo una dispersione piuttosto ampia, soprattutto nel grafico dei residui rispetto a quelli previsti. Potremmo provare a fare un po' meglio con questo modello. Anche se è così, se si guarda ancora qui, abbiamo ancora i nostri propanolo, butanolo e pentanolo. È una specie di grafico ternario, non perfetto, ma se si usa l'immaginazione, si ottiene una specie di triangolo, qualcosa del genere.
Stiamo analizzando queste informazioni. Stiamo procedendo piuttosto bene, ottenendo quell'analisi. Poi diamo un'occhiata all'analisi wavelet, come abbiamo mostrato prima, e questa sta andando davvero bene. Voglio dire, se si vogliono analizzare dati di curve in questo modo, le wavelet sono davvero un ottimo modo per farlo.
L'unico problema con le wavelet è che sono quasi identiche alle componenti principali. Bisogna salvare i dati e poi fare una sorta di regressione generalizzata, soprattutto con i dati che stiamo per analizzare, come quelli che vediamo qui sotto.
Ci sono alcuni punteggi che potresti ottenere. Dovrai farlo di nuovo, se guardi questi dati, abbiamo molte componenti principali funzionali. Ma se guardi di nuovo il grafico dei punteggi, abbiamo un triangolo piuttosto buono. Un buon grafico ternario. Siamo abbastanza soddisfatti di come stiamo analizzando i dati davvero bene.
Quindi, il Functional Data Explorer, che vi ho mostrato prima, ora è attivo. Potete vederlo mentre vi muovete. Se vado al 100% di propanolo, gli altri due vanno a zero. Poi vedrete come appare la curva qui. Questo è anche un buon modo se state cercando modi per capire come appaiono le curve o come confrontarle, quindi usare la funzione wavelet o una qualsiasi di queste funzioni con il profiler DOE funzionale è un buon modo per confrontare quelle curve. Bene.
Infine, ultimo ma non meno importante, qui sotto si usa la risoluzione della curva multivariata stessa. Questa consente solo dati positivi. Se guardiamo indietro, questo ha colpito proprio il propanolo. Voglio dire, questo era praticamente perfetto per il propanolo, giusto? Questi sono gli altri due che sono qui sotto, non erano altrettanto buoni. Abbiamo ottenuto il 93%, o stiamo spiegando il 93% della variazione con il butanolo e poi con il pentanolo, era circa l'83%. Dovrebbero essere il 100%. I modelli sono ok. Non benissimo. Giusto.
Quando abbiamo aggiunto un po' di validazione, di capacità qui, se guardiamo i dati di validazione ora quando usiamo... È qui che stiamo usando i materiali puri per cercare di prevedere le percentuali degli altri alcoli in questo. Di nuovo, stiamo osservando alcune differenze. Ma se guardiamo indietro qui, beh, vi mostrerò il confronto tra poco. Ma se guardiamo questi dati, ecco il nostro primo lotto. Non è affatto male. Il confronto tra la previsione di ciò che otteniamo e ciò che c'è. Ciò che c'è in realtà è piuttosto vicino. Okay.
Giocando tutto questo o lasciando tutto da parte, ricorda solo che abbiamo, sai, stiamo guardando i grafici effettivi rispetto a quelli previsti, abbiamo ancora molta strada da fare, ma stiamo andando abbastanza bene. Non male. Poi abbiamo il profiler DOE funzionale. Di nuovo possiamo sperimentare con questo e giocare con i "cosa succederebbe se" e confrontare le curve con quello. Bene.
Ultimo ma non meno importante, in questo caso utilizziamo i materiali puri come training. Quindi li usiamo per prevedere cosa succede negli altri dati. Anche in questo caso abbiamo fatto un buon lavoro. Di nuovo, se guardiamo questa prima riga, quelle percentuali sono praticamente corrette. Credo fossero 0,8, 0,1 e 0,1. Non male. Tutto bene.
Torniamo al PowerPoint e concludiamo. Lasciate che vi condivida di nuovo. La morale della storia è che avete tutte queste opzioni per analizzare i vostri dati. Functional Data Explorer è uno strumento molto potente. Come dicevo prima, quando confrontiamo i dati effettivi con quelli previsti, se guardiamo qui, possiamo ottenere questo. Vediamo se riusciamo a disegnarlo. Se guardate qui, abbiamo fatto un buon lavoro. Giusto.
Solo quel modello in sé. Ora ce ne sono altri, anche quello qui sotto è un po' buono, nel complesso, i dati effettivi sono superiori a quelli previsti. Il modello è buono. Dobbiamo migliorarlo un po'. Ma questo è davvero buono. Soprattutto se si effettuano misurazioni online, in linea o fuori linea. Se si mantengono i dati, migliore sarà il modello. Okay.
Conclusioni. L'analisi funzionale dei dati mediante wavelet può essere combinata con la progettazione di esperimenti basati su miscele. Permette di prevedere la risonanza magnetica nucleare (NMR) e quasi tutti gli spettri desiderati, nonché i dati cromatografici in funzione dei componenti e delle proporzioni della formulazione. Basterà utilizzare queste informazioni, ottenere il modello FDA/DOE e quindi essere in grado di prevedere cosa questi spettri stanno cercando di dire.
Quindi, utilizzando una qualsiasi delle tecniche di chimica analitica sopra menzionate, considerando una miscela sconosciuta come target e il modello di miscela FDA-DOE, è possibile ridurre al minimo l'errore integrato del target per prevedere le proporzioni dei componenti della formulazione. Lo abbiamo fatto nel secondo caso.
Questo è tutto. Poi ce n'è un altro. Vediamo se riesco a liberarmi di questo suggerimento. Perché eccoci qui. Un'altra cosa da ricordare. L'analisi funzionale dei dati scompone i dati longitudinali altamente correlati, come gli spettri o i dati delle curve, in due parti. Abbiamo parlato delle funzioni di forma che spiegano la variazione longitudinale e dei punteggi FPC che spiegano la variazione da funzione a funzione.
Si prendono queste informazioni e le si combinano con questo. Quindi si utilizzano i metodi di progettazione degli esperimenti e qualsiasi metodo di apprendimento automatico desiderato, in particolare in questo caso Functional Data Explorer o Functional Data Analysis. È possibile aumentare la capacità predittiva utilizzando queste informazioni nel flusso di dati originale del sensore. Flusso di dati, curve o spettri. Bene.
Infine, ultimo ma non meno importante, vorrai comunicare e condividere questi dati man mano che acquisisci i dati di processo, i dati di tecnologia analitica, le misurazioni, i dati in streaming, e vorrai essere in grado di aggiornarli al volo e condividerli con altri. È qui che entra in gioco JMP Live per aiutarti a raggiungere questo obiettivo.
Immagino che alla fine, sapete, vorrei ringraziarvi, ma vi prego di ricordare che con Functional Data Explorer e Process Analytical Technology Data potete fare molta strada verso un modello predittivo davvero valido per i vostri dati, soprattutto per le miscele. Okay. Grazie a tutti.
