| Oratore |
Trascrizione |
| Jeremy Ash, JMP |
Ciao e grazie per aver partecipato alla nostra conferenza. Sono Jeremy Ash. Sono uno statistico nel reparto R&D di JMP e qui c'è Bill Worley. Lui è un ingegnere di sistema senior. Parleremo dell'analisi dei dati di spettroscopia nel vicino infrarosso in JMP. |
| |
Quindi questo non è il primo intervento su questo argomento. Bill ha già tenuto diversi interventi correlati, che potete trovare nella Community. |
| |
Ho qui i link ad un paio di questi, che sono su materiale complementare e |
| |
Bill terrà una conferenza su FDE e DOE per modellare in modo efficiente modelli di calibrazione multivariata con meno esperimenti e tratterà anche più in dettaglio la pre-elaborazione degli spettri |
| |
su Discovery Europe all'inizio di quest'anno. Poi Bill e io abbiamo scritto una serie di articoli sul blog su questo argomento, che è disponibile su Community. Ecco gli argomenti che abbiamo trattato finora e abbiamo creato un componente aggiuntivo JMP, di cui vi mostrerò l'utilizzo più avanti. |
| |
Un caso d'uso comune della spettroscopia IR vicina è la determinazione della composizione chimica di una miscela; sulla destra mostro un esempio di spettri IR vicina. |
| |
Una certa misura di assorbanza viene raccolta su una gamma di lunghezze d'onda e gli spettri qui rappresentano un campione di cereali in polvere, che è una miscela di diversi componenti chimici sottostanti. |
| |
E gli spettri per i componenti puri sono in basso, e gli spettri per la miscela sono in alto. E a causa di fenomeni come |
| |
armonici e bande di combinazione, i picchi per i singoli componenti sono spesso ampi e sovrapposti, e ciò rende difficile deconvoluzionare gli spettri nei componenti sottostanti. |
| |
Quindi, invece, la strada intrapresa è quella di costruire modelli che prevedano la composizione in funzione dell'assorbanza a molte lunghezze d'onda, e questo rende i dati altamente dimensionali e le variabili sono spesso altamente correlate. |
| |
Quindi una delle principali sfide da superare quando si analizzano gli spettri nel vicino infrarosso è che il rapporto segnale/rumore è spesso basso e ciò è dovuto a variazioni incontrollate. |
| |
causati da effetti di diffusione della luce. E questi devono essere eliminati prima di poter costruire un modello affidabile. Pertanto, i dati sono spesso sottoposti ad alcune importanti trasformazioni di pre-elaborazione e ci sono diverse fonti comuni di rumore, illustrate qui a destra. |
| |
Gli spettri reali sono mostrati in nero, mentre gli spettri in verde presentano uno spostamento costante della linea di base o un effetto additivo. |
| |
Gli spettri in blu hanno un effetto additivo e un effetto moltiplicativo. Gli effetti moltiplicativi si verificano quando la distorsione è maggiore a maggiori assorbanze, mentre gli spettri viola hanno un effetto additivo, un effetto moltiplicativo e una pendenza verso lo spostamento della linea di base. |
| |
Ora mostrerò alcuni metodi di pre-elaborazione per eliminare queste fonti di rumore. Sono tutti discussi più dettagliatamente nei nostri post del blog, ma ne mostrerò diversi nella demo e la derivata prima di Savitzky-Golay eliminerà gli effetti additivi. |
| |
E poi un filtro di derivata seconda eliminerà anche gli spostamenti inclinati della linea di base. Questi sono metodi comunemente usati ed efficaci, ma il problema è che la trasformata è molto più difficile da interpretare rispetto allo spettro originale. |
| |
Quindi gli altri metodi di pre-elaborazione che menzionerò svolgono un lavoro migliore nel mantenere questa interpretabilità. |
| |
centri e scale variabili normali standard, in modo che vi sia una media pari a zero nella varianza unitaria lungo ogni spettro; questa è una normalizzazione semplice ma è efficace nel ripulire sia gli effetti additivi che quelli moltiplicativi. |
| |
E poi la correzione della dispersione moltiplicativa, che utilizza un modello lineare per far sì che ogni spettro assomigli a uno spettro di riferimento e spesso non è disponibile alcun riferimento, quindi al suo posto vengono utilizzati gli spettri medi. |
| |
E poi la correzione della dispersione moltiplicativa estesa è l'unico metodo che eliminerà tutte e tre le fonti di rumore e questo è un metodo più avanzato che richiede spettri di riferimento per ciascun componente in una miscela. |
| |
E vedremo più avanti come funziona. |
| |
Inoltre, poiché i dati sono altamente dimensionali e le variabili sono altamente correlate, sono applicabili molti metodi multivariati. Tutte le analisi elencate possono essere condotte in JMP. |
| |
I metodi di riduzione della dimensionalità sono essenziali per la visualizzazione dei dati. Metodi comuni sono l'analisi delle componenti principali o lo scaling multidimensionale. |
| |
E poi i componenti principali funzionali nell'esploratore dei dati funzionali rappresentano un metodo particolarmente utile in questo caso. |
| |
JMP è unico tra i software disponibili per l'analisi spettrale, in quanto offre una piattaforma di analisi dati funzionale e intuitiva. E poiché gli spettri hanno una forma funzionale, l'FDE offre molteplici potenziali utilizzi per gli spettri. |
| |
E stiamo appena iniziando a esplorare queste funzionalità. E poi il clustering è comune. Il clustering gerarchico in JMP è particolarmente utile. |
| |
E poi di solito viene condotta un'analisi dei valori anomali, |
| |
Per fare ciò, prima si costruisce un modello PCA o PLS e poi si identificano i valori anomali nei grafici T-quadrato e DModX. |
| |
Tutto questo può essere fatto nella piattaforma di carte di controllo multivariate basate su modelli. E poi ci sono i modelli predittivi che prevedono la composizione chimica in funzione degli spettri, chiamati modelli di calibrazione multivariata, e che gestiscono casi in cui le variabili sono più numerose delle osservazioni. |
| |
E questo può essere fatto bene anche con PLS o con la regressione penalizzata in GenReg o nell'esploratore dei dati funzionali. |
| |
Bene, passerò a JMP e inizierò la mia demo. |
| |
Per prima cosa mostrerò come leggere i dati spettrali utilizzando il componente aggiuntivo Strumenti spettrali. |
| |
Per i file delimitati da testo, il componente aggiuntivo che forniamo è solo un wrapper per l'importatore di file multipli, disponibile qui. |
| |
Ma il componente aggiuntivo presenta alcune delle funzionalità più utili. E poi abbiamo anche un importatore JCAMP-DX, una novità di JMP. E in generale, |
| |
La maggior parte di queste operazioni può già essere eseguita in JMP, ma il mio obiettivo era scrivere alcuni wrapper che semplificassero un po' il flusso di lavoro per gli spettri. Devo anche notare che questo aspetto verrà migliorato in JMP 17, quindi spero che questo componente aggiuntivo diventi presto obsoleto, ma |
| |
questo potrebbe essere utile nel frattempo, se si stanno costruendo modelli spettrali. |
| |
Quindi ho un |
| |
cartella con file csv, un file per spettro e in questi file la prima colonna è la variabile X e la seconda colonna è la variabile Y. Quindi importerò questa directory in JMP. |
| |
Seleziona quella cartella. |
| |
E voglio leggere in formato stacked perché è il formato utilizzato dal componente aggiuntivo. |
| |
E poi ho un'intestazione in quei file; selezionerò quell'opzione. E posso anche usare questa opzione per selezionare solo i file CSV. |
| |
Quindi questo legge gli spettri in un formato impilato. |
| |
E ho anche alcuni metadati in una tabella JMP qui |
| |
che voglio aggiungere a questa tabella dati. E il modo in cui lo farò è con un join sulla colonna degli spettri. |
| |
Ma ho letto nei nomi dei file con estensione file quindi usa il testo nelle colonne qui per |
| |
togli quelle extension. |
| |
Ho deciso di dare al file un nome più informativo. |
| |
E userò un aggiornamento della tabella e farò corrispondere le colonne degli spettri. |
| |
E poi l'ultima cosa che vi mostrerò è... |
| |
oppure sposterò qui questa colonna dello spettro. |
| |
Ok, ecco come ho impostato questa tabella dati |
| |
e lo ha aggiunto ai dati di esempio nel componente aggiuntivo. |
| |
Quindi darò una prima occhiata ai dati e per farlo userò il comando di avvio di Graph Builder nel componente aggiuntivo. |
| |
Colorerò in base al glutine. |
| |
E qui a sinistra, lo strumento spettrale imposta alcuni filtri di dati locali con controlli utili, in modo da poter filtrare in base alla lunghezza d'onda per concentrarsi solo sulle regioni di interesse. Quindi, se volessi concentrarmi solo su questo picco qui e |
| |
se ho selezionato tutte le colonne nella tabella dati, posso usare il comando show subset e questo creerà un sottoinsieme con quella regione di interesse. |
| |
Posso anche tracciare spettri individuali qui con questo filtro, e |
| |
è utile cercare gli spettri per tracciare solo i sottoinsiemi. |
| |
E l'ultima cosa che mostrerò sono i controlli di animazione, |
| |
ma per fare questo bloccherò gli assi, altrimenti si adatteranno ai singoli spettri. |
| |
Ecco...accelererò un po' il tutto, così potremo scorrere queste cose velocemente. |
| |
Questa funzione è particolarmente utile se si hanno spettri raccolti in momenti diversi, come nel monitoraggio delle reazioni. |
| |
Puoi anche utilizzare i nostri grafici a dispersione 3D per visualizzare tali dati. |
| |
Ok, quindi lo farò |
| |
cancella questo |
| |
filtro. |
| |
Una cosa da ricordare quando hai |
| |
la trama impostata nel modo desiderato, puoi salvarla |
| |
script nella tabella dati, in modo da poter ricreare il grafico in un secondo momento se si desidera sostituire nuovi dati, ad esempio dopo aver eseguito una pre-elaborazione. |
| |
Quindi l'altra cosa che volevo mostrare è la visualizzazione della variabilità e alcuni grafici diagnostici. Per farlo, rimuoverò le variabili di raggruppamento. |
| |
e questo mi darà un riepilogo degli spettri complessivi. E posso usare i box plot. Questi sono |
| |
Utile per farsi un'idea se la variazione è costante attraverso le lunghezze d'onda, o se è specifica di determinate lunghezze d'onda. Se è costante, indica la necessità di un'ulteriore pre-elaborazione, ma se è specifica delle lunghezze d'onda, si tratta spesso di effetti chimici reali, quindi sono utili. |
| |
E poi un altro modo per visualizzare la variabilità è con |
| |
Grafici a barre. Mi piace usare grafici a barre mobili, a cui si possono aggiungere variabili di raggruppamento se si desidera osservare la variabilità in diversi sottogruppi. |
| |
E questo è tutto ciò che mostrerò con la visualizzazione. L'altra cosa che volevo menzionare è come leggere i file JCAMP-DX. |
| |
Quindi ho una directory |
| |
Quello |
| |
contiene due file JCAMP-DX che provengono dal sito web standard JCAMP-DX. Non mi sentivo a mio agio |
| |
Condividendo i file che utilizziamo per testare il componente aggiuntivo, perché provengono dai clienti. Quindi ho appena preso un file di prova da quel sito web e l'ho duplicato due volte per mostrare come possiamo leggere |
| |
Più file. E supportiamo solo il formato più comune, ovvero file con un elenco di variabili X/Y senza compressione, e supportiamo solo uno spettro per file. Credo che questo sia il formato più comune, ma se avete bisogno di qualcos'altro, fatecelo sapere. |
| |
Quindi leggerò questo con... |
| |
qui, con le opzioni predefinite. |
| |
E solo per mostrarti che |
| |
questo è stato letto correttamente, |
| |
tracciarlo in Graph Builder. |
| |
In questo caso vengono mostrati gli stessi spettri, in realtà si tratta di spettri NMR, ma si tratta anche di un formato comune per gli spettri NIR. |
| |
Quindi questo è tutto ciò che mostrerò |
| |
con importazione dati. |
| |
Ora mostrerò alcuni dei semplici metodi di pre-elaborazione presenti negli strumenti spettrali. L'intento era quello di fornire alcune funzionalità di pre-elaborazione di base che consentissero agli utenti di iniziare a lavorare su semplici modelli di calibrazione con strumenti come PLS. |
| |
in modo da poter ricevere feedback sul flusso di lavoro, ma stiamo pianificando una suite più completa di metodi di pre-elaborazione in FDE in JMP 17, che sarà solo Pro, ma incoraggiamo gli utenti a utilizzare FDE poiché questa piattaforma è realmente specializzata nella modellazione di dati funzionali come gli spettri. |
| |
Quindi per prima cosa mostrerò |
| |
Levigatura di Savitzky-Golay. |
| |
È possibile modificare il grado del polinomio utilizzato qui. È possibile modificare la dimensione della finestra scorrevole: dimensioni maggiori determinano una levigatura più aggressiva. Infine, il trim in questo caso eliminerà le finestre scorrevoli sbilanciate. |
| |
E Savitzky-Golay è in realtà un caso speciale di regressione kernel locale, quindi potresti provare le altre opzioni per questo |
| |
In Graph Builder, ad esempio, sono disponibili diversi modi per definire la finestra scorrevole e diverse funzioni di ponderazione. Una volta scelti i parametri desiderati, è possibile salvare gli spettri nella tabella. |
| |
E quindi ora mostrerò la variabile normale standard applicata a |
| |
gli spettri uniformi. |
| |
E |
| |
In questo modo si centrano e si ridimensionano singolarmente gli spettri, e si può fare anche con una formula a colonna. Bill lo mostrerà nel suo intervento sulla pre-elaborazione. |
| |
Quindi ora visualizzerò il prima e il dopo |
| |
utilizzando questo. Avvia Graph Builder. |
| |
Colorare in base al glutine. |
| |
Come potete vedere, con questi semplici metodi di pre-elaborazione abbiamo fatto molto per eliminare il rumore dagli spettri. C'è ancora un po' di rumore nei sottogruppi. |
| |
E poi Bill ha mostrato nel suo intervento precedente come è possibile ripulire ulteriormente i dati utilizzando un filtro di derivata prima di Savitzky-Golay. E questo è un altro componente aggiuntivo che abbiamo provato nel post del blog, ma non ne parlerò qui. |
| |
La cosa principale da sapere, come Bill mostrerà, è che prima bisogna fare un filtro della derivata prima e poi una variabile normale standardizzata che eliminerà tutti gli effetti moltiplicativi rimanenti. |
| |
Quindi si scopre che puoi fare ancora meglio |
| |
pre-elaborando questi spettri utilizzando qualcosa chiamato correzione della dispersione moltiplicativa estesa. |
| |
Ecco, ho questa configurazione qui. |
| |
Quindi questi dati sono stati in realtà presi da un documento che ha introdotto la correzione della dispersione moltiplicativa estesa (da qui in poi chiamala semplicemente EMSC) e |
| |
Per mostrare i vantaggi di questo metodo di pre-elaborazione, userò un grafico degli effetti di dispersione. Ma per farlo, devo calcolare l'assorbanza media a ciascuna lunghezza d'onda. |
| |
E posso farlo con una formula di colonna qui. |
| |
E poi lo traccio in Graph Builder. |
| |
Quindi il grafico degli effetti di dispersione traccia l'assorbanza media a ciascuna lunghezza d'onda in base alle singole assorbanze e le pendenze sull'asse Y indicano un effetto additivo, mentre |
| |
cambiamenti in |
| |
La pendenza dei singoli spettri appare come un ventaglio in questi grafici, e ciò indica un effetto moltiplicativo. E poi, cosa interessante, gli effetti chimici appaiono come anelli in questi grafici. |
| |
Quindi è chiaro che c'è un grande effetto additivo, quindi per ripulirlo posso usare un filtro Savitzky-Golay a derivata prima. Ho quei dati qui. |
| |
Quindi questo elimina drasticamente l'effetto additivo, ma in questo grafico rimane ancora un po' di sfasamento. Quindi puoi eliminarlo con la normale standard. |
| |
Invece, ciò che fa l'EMSC è rimuovere gli effetti additivi e moltiplicativi in un unico passaggio e non richiede una trasformazione derivativa, il che è utile perché renderà gli spettri risultanti più facili da interpretare. |
| |
In sostanza, l'EMSC separa la variazione negli spettri dovuta agli effetti chimici da quella dovuta al rumore. |
| |
E poi sottrae la variazione dovuta al rumore e lo fa con un modello lineare, quindi ho impostato i termini di cui ho bisogno per il modello qui. E |
| |
ne parleremo nei dettagli nel blog. Tutto quello che dirò è che puoi usare il modello fit |
| |
per adattare il modello EMSC, e questo è uno strumento didattico molto utile per capire come viene applicato il modello di pre-elaborazione, in modo che non sia più una scatola nera. Quindi, qui nel modello, abbiamo un modello separato per ogni spettro e i coefficienti stimati |
| |
vengono utilizzati nella correzione, e puoi...puoi anche |
| |
rilancia questo |
| |
modello con effetti diversi per vedere come cambiano le cose. |
| |
Quindi ho applicato la correzione finale e mostrerò solo il prima e il dopo. |
| |
COSÌ |
| |
gli spettri sono ora notevolmente liberi da effetti di dispersione e l'effetto sugli spettri è |
| |
a causa del cambiamento nella composizione della miscela è ora chiaro. Quindi questo è tutto ciò che tratterò, e lascerò la parola a Bill, che potrà illustrare alcuni dei metodi di modellazione. |
| Bill Worley |
Ciao, grazie, Jeremy. |
| |
Cambiamo schermata. |
| |
E dovresti vedere la mia tabella dati più o meno a questo punto. Spero di vederla non appena clicco. |
| |
Tutti vedono la mia tabella dati? |
| Jeremy Ash, JMP |
SÌ. |
| Bill Worley |
Bene, eccoci qui. Questi sono gli stessi dati che stava usando Jeremy, solo che in questo caso li abbiamo... li ho in formato wide. Voglio solo farti sapere che puoi analizzare i dati in entrambi i modi. Alcuni preferiscono il formato stack, altri il formato wide. |
| |
Quindi sappi che è possibile. La prima cosa che voglio mostrarti è: |
| |
Ciò di cui Jeremy parlava prima è come possiamo esaminare i dati in formato raw e poi calcolare la derivata prima di Savitzky-Golay e poi l'eventuale smoothing standard... delle variabili normali standard. E, ripeto, sappiate che questo viene fatto in formato wide. |
| |
Bene, quindi vi mostro che è possibile farlo lì. |
| |
Successivamente, voglio mostrarti che |
| |
Analisi delle componenti principali. Si tratta di una procedura piuttosto standard per la maggior parte delle persone che utilizzano o analizzano dati spettrali. |
| |
Quello che... è molto fattibile in JMP. Si tratta, sai, di analizzare, |
| |
Metodi multivariati e componenti principali. Quindi l'ho già fatto. Ho già impostato quello che stiamo mostrando qui: per la maggior parte, con due componenti principali possiamo spiegare tutta la variazione in atto. Se osserviamo questo grafico dei punteggi, |
| |
si può osservare la suddivisione dei diversi gruppi delle miscele che abbiamo, il glutine e l'amido. |
| |
Abbiamo... |
| |
Bene, possiamo vedere quel sottogruppo. È fatto bene. L'altra cosa che puoi vedere è che Jeremy ha parlato di dati altamente correlati. |
| |
Lo stiamo mostrando in quest'altro grafico dei componenti qui. Possiamo attivare le variabili ma... le etichette, ma sarebbe un po' complicato. |
| |
Da guardare. Qui sotto c'è un grafico di analisi dei valori anomali, quindi è un grafico T-quadrato e stiamo usando le due componenti principali dell'analisi. E mostra che, sì, forse abbiamo alcuni spettri che potrebbero essere un po' fuori... |
| |
potrebbero essere valori anomali, ma nella maggior parte dei casi...nella maggior parte dei casi, non avremmo comunque utilizzato tutti i dati; è solo un modo per analizzare i dati, okay. |
| |
Successivamente, voglio mostrare qualcosa chiamato modello guidato grafico di controllo multivariato, e questo è praticamente la stessa cosa che ho fatto con i componenti principali solo in un |
| |
in modo diverso. Quindi stiamo osservando le stesse due componenti principali |
| |
Qui sopra, e qui abbiamo il raggruppamento dei sottogruppi. E se guardiamo qui sotto, abbiamo qualcosa chiamato DModX normalizzato, che è un altro modo di guardare al valore anomalo... |
| |
Potenziali valori anomali nei dati. Sappi solo che ci sono. L'altra cosa che i grafici di controllo multivariati basati su modelli offrono è un modo per confrontare i dati. |
| |
Quello che ho fatto qui è stato selezionare i campioni 13, 46, 95 e 45 per mostrare le differenze tra |
| |
Quei quattro spettri, giusto. Quindi ora possiamo vedere che quelli... di quei gruppi, sono piuttosto diversi, giusto, gli spettri sono piuttosto diversi. |
| |
L'altro modo per fare questo confronto è qui sotto, attraverso il grafico del punteggio. Seleziono la lettera L, che mi darà lo strumento lazo. |
| |
E lo cerchierò il meglio possibile, senza prendere nessun altro dato, e lo farò diventare il gruppo A. E poi qui sotto nel gruppo rosso, quest'ultimo gruppo rosso, |
| |
Prendilo e selezionalo. È il mio gruppo B e poi confrontalo, giusto? E questo ti permette di confrontare di nuovo efficacemente i dati. |
| |
Mentre faccio questo, posso vedere come, sai, mentre seleziono gli spettri, cosa viene selezionato nei diversi raggruppamenti, giusto, quindi è semplicemente un modo interessante di visualizzare i dati. |
| |
Bene. Passiamo al prossimo. Questi sono dati grezzi, ok? Il passo successivo è con i dati pre-elaborati, quindi sono praticamente gli stessi dati che avete visto prima. |
| |
ma ho eseguito la pre-elaborazione, quindi sono passato dai dati grezzi alla variabile normale standard. E ancora, utilizzando le due componenti principali qui, |
| |
Possiamo vedere che i dati sono raggruppati un po' meglio. C'è un po'... molto meno rumore, molta meno variazione rispetto al grafico a T quadrato. E giuro che non l'ho fatto apposta, ma i dati sembrano un po' più allegri ora, giusto? È un po' un sorriso. |
| |
Ognuno di questi piccoli raggruppamenti qui sotto è composto da 20 spettri. Se ci passo sopra con il mouse, posso effettivamente tracciare quegli spettri, farli apparire, |
| |
E guarda qui, se lo desidero, ok. Posso fare lo stesso raggruppamento che ho visto prima, quindi proviamo. Evidenzia questo |
| |
e questo rende le cose un po' più facili, perché non devo usare... quello strumento di disegno, perché i dati sono raggruppati un po' meglio, giusto. Nello stesso caso, posso fare quello che facevo prima, evidenziare i dati e poi |
| |
fare confronti quando necessario, okay. Quindi questo è l'uso delle componenti principali. C'è un altro modo per fare lo stesso tipo di analisi, usando |
| |
Minimi quadrati parziali. Si salvano i punteggi X dei minimi quadrati parziali e si utilizzano quei dati per costruire il grafico di controllo multivariato basato sul modello. E ancora una volta, sembra davvero pulito. Questi sono i dati preelaborati. Il raggruppamento è davvero bello, quindi possiamo vederlo da lì. |
| |
Possiamo guardare il |
| |
DModX. È ancora un po' rumoroso, ma non quanto i dati grezzi con le componenti principali, okay. Quindi torniamo a |
| |
stiamo esaminando un altro metodo di analisi, ovvero il clustering gerarchico superiore. Jeremy ne aveva parlato |
| |
inizialmente, e guardando i dati, |
| |
Osservando come avviene il clustering. Se analizziamo i dati grezzi, possiamo vedere che ci sono molti cluster più piccoli. |
| |
E i dati effettivi sembrano... essere distribuiti in gruppi diversi. Voglio dire, non sono raggruppati come si potrebbe sperare, giusto? Quindi li abbiamo presi. |
| |
Abbiamo preelaborato i dati, abbiamo fatto la stessa analisi e abbiamo ottenuto un raggruppamento davvero interessante. Ognuno di questi è suddiviso in cinque cluster, quindi è qui che lo vedete. |
| |
Quindi amido e glutine sono separati molto bene qui. Se si salvano questi dati nella tabella dati tramite la funzionalità di salvataggio dei cluster, |
| |
Puoi effettivamente usarlo nella tua modellazione, se lo desideri. Puoi anche salvare la formula per il cluster più vicino e quindi tutti i nuovi dati che ottieni saranno |
| |
inseriscilo nel cluster a cui è più vicino. |
| |
Ok, questi sono solo un paio di modi per importare i dati, analizzarli, impostarli per la modellazione e poi il passo successivo sarebbe quello di passare alla modellazione. Quello che vi mostrerò ora sono i minimi quadrati parziali, che in genere sono... scusate, questa è una regressione generalizzata. |
| |
Quindi questo è un modello di regressione generalizzato che vogliamo mostrare alla gente, giusto? |
| |
questo è |
| |
dove potremmo vedere alcune cose che stavano succedendo. E sembra che un paio di cose siano cambiate per me. |
| |
Voglio afferrare... ecco, ecco. Sono i miei minimi quadrati parziali, e questo dimostra che ho effettivamente analizzato i dati in un modo che, si spera, |
| |
Datemi un buon modello. E quello che ho fatto, vi mostrerò come farlo. Andate su Analizza, e questa è la versione JMP Pro. Come ho detto, ci sono... molte delle cose che vi mostro possono essere fatte con JMP standard. Se passo ai metodi multivariati, |
| |
minimi quadrati parziali, posso fare la stessa analisi, ma userò la versione JMP Pro, giusto? E selezionerò amido e glutine. |
| |
Selezionerò i miei dati grezzi e li aggiungerò, quindi eseguirò il tutto da lì, |
| |
giusto. E ho inserito la configurazione sbagliata, ma andiamo |
| |
torna a |
| |
l'analisi che abbiamo impostato qui. E posso mostrarvi un paio di cose diverse qui sotto. Questo è stato fatto con dati pre-elaborati. |
| |
Bene, quindi la vestibilità sembra davvero bella e tra poco ti mostrerò un confronto tra queste vestibilità. Quindi |
| |
Abbiamo i nostri dati parziali dei minimi quadrati per i dati grezzi, la parte... e poi i dati preelaborati. E se voglio confrontarli, |
| |
Capisco come funzionano questi modelli, giusto. Quello che sto mostrando qui ora è un confronto tra i dati grezzi a sinistra e i dati pre-elaborati a destra, e otteniamo un adattamento molto migliore con i dati pre-elaborati, quindi questo ci riporta a quello che diceva Jeremy prima. |
| |
Dobbiamo ripulire questi dati per ottenere i migliori modelli predittivi possibili, e speriamo che vengano fuori, okay? |
| |
Un'altra cosa che voglio mostrarti è |
| |
IL... |
| |
vediamo dove mi trovo. |
| |
Voglio mostrarvi come funziona l'esploratore di dati. |
| |
E questo è |
| |
un modo di...il modo più nuovo di modellare o, almeno per JMP, il modo più nuovo di modellare i dati spettrali perché è possibile analizzare i dati in modo continuo. |
| |
Bene, ora vi mostrerò come farlo. Ma quello che sto per mostrarvi è che, in questo momento, se guardassi solo i dati grezzi, potremmo analizzarli con due componenti principali funzionali, |
| |
Proprio come abbiamo fatto con l'analisi delle componenti principali, e possiamo ottenere un modello piuttosto valido. L'unica cosa che... noterete, però, è che questo è più... questo è un metodo di calibrazione multivariata, ma è un metodo multivariato inverso. |
| |
Procediamo con l'analisi. |
| |
Analizzare. |
| |
E poi dobbiamo passare alla modellazione specializzata e passeremo all'esploratore di dati funzionali. |
| |
Poiché i dati sono in formato ampio, devo utilizzare le righe come funzioni. |
| |
Userò il mio |
| |
amido e glutine come variabili supplementari. Spectra è il mio ID e recupererò i dati grezzi. |
| |
Va bene. |
| |
E ora ci sono molte cose che puoi fare con i dati in Functional Data Explorer, per quanto riguarda la pulizia e la pre-elaborazione, ma, come ha detto Jeremy, tutto questo migliorerà ulteriormente in JMP 17. |
| |
Da qui, volevamo modellare o costruire un modello da questo. Vogliamo adattare tutti i dati, |
| |
quindi passeremo ai modelli, PCA funzionale diretta. |
| |
E se guardiamo questo qui, stiamo dicendo che potremmo usare cinque componenti principali funzionali, ma è quasi uno spreco di energie, perché abbiamo... |
| |
Con due, stiamo effettivamente adattando tutti i dati, il 100% dei dati, della variazione, giusto. Quindi lo farò scorrere indietro, lo pulirò un po' e poi mi sposterò di nuovo verso il basso. |
| |
E diamo un'occhiata al grafico dei punteggi qui. |
| |
Qui vengono mostrati i dati, come i dati grezzi nei sottogruppi, come abbiamo visto prima, e tutti gli altri grafici dei punteggi. E la cosa bella è che se passo il mouse sopra, posso far apparire questi spettri individuali. |
| |
e confrontarli solo visivamente, okay. |
| |
Più in basso, abbiamo il profiler funzionale delle componenti principali ed è utile. Possiamo vedere cosa succederà al |
| |
curve mentre modifichiamo le componenti principali funzionali, ma cercando di dire alla gente, sai, vai a cambiare la componente principale funzionale 2 |
| |
ottenere la curva desiderata non... non funziona bene. Quindi è stata aggiunta una funzionalità chiamata analisi DOE funzionale, okay. E con questa, puoi |
| |
Osservate la capacità di... o come cambiano le curve, in base ai componenti che ho aggiunto, i componenti supplementari, i nostri componenti misti. Lasciatemi aggiungere una cosa qui e modificherò la linearità. Aggiungerò un vincolo. |
| |
E |
| |
cambiare questo. |
| |
Bene, e diciamo OK. E poi mentre osserviamo i nostri raggruppamenti qui, mentre... mentre scendo nell'amido, quel glutine salirà, quindi quel vincolo ci permette di guardare |
| |
Come si confrontano i diversi raggruppamenti o le miscele e cosa succederà alle curve quando modifichiamo i diversi livelli di amido e glutine, okay. E questo, di nuovo, è su un continuum, quello che abbiamo fatto nei dati è, sai, molto definito. |
| |
porzioni di dati, così possiamo farci un'idea di cosa succederà, anche se le miscele non sono esattamente come quelle che mostravamo nei dati, okay. |
| |
Bene, questi sono i dati grezzi e vediamo se questo è... il mio prossimo passo è... è praticamente la stessa cosa. |
| |
E voglio assicurarmi di aver scelto quello giusto. Questo viene fatto con i dati preelaborati, quindi è lo stesso esploratore di dati funzionale, |
| |
usando i dati preelaborati, scusatemi, e potete già vedere le differenze. |
| |
E le curve, man mano che arrivano i dati preelaborati, noi... adattiamo i modelli, otteniamo due componenti principali funzionali. E quello che vogliamo osservare qui sotto è che |
| |
grafico del punteggio. E possiamo vedere ancora una volta come questi raggruppamenti delle variabili siano il fatto che le diverse versioni o le diverse |
| |
I raggruppamenti o le miscele di glutine e amido sono raggruppati molto meglio qui, ok. E poi, puoi estrarne di diversi, quindi questo è un po' come guardare. |
| |
L'ultima cosa di cui voglio parlare o mostrare è l'analisi di qualcosa chiamato regressione generalizzata. |
| |
E se questo sarà |
| |
Per favore, questo è l'adattamento della regressione generalizzata dei dati grezzi, giusto? E l'ho fatto usando un adattamento elastico con una convalida incrociata k-fold. |
| |
Ho impostato l'alfa netto elastico a 0,56 per ottenere... quello che chiamo un adattamento più piacevole alla vista. Ciò che fa è consentire diversi... o più gruppi di |
| |
lunghezze d'onda da aggiungere all'adattamento del modello. Non limiterà solo l'adattamento complessivo del modello. |
| |
Se facessi così, se limitassi quell'elastico, quell'alfa, otterrei una vestibilità più simile a questa. E ora è un modello molto più piccolo, molto più semplice, ma stai anche ottenendo... potresti perdere parte dell'additivo o |
| |
effetti additivi che potrebbero aiutarti a ottenere una migliore vestibilità complessiva. Quindi la scelta è tua, il modello più semplice ti aiuterà a lungo termine, |
| |
se hai bisogno di avere gruppi diversi, questo ti aiuterà a trovare gruppi diversi se hai una miscela di più componenti, ma sappi solo che l'adattamento con |
| |
un alfa netto elastico inferiore consentirà a più fattori e più variabili, più lunghezze d'onda di far parte del modello, okay. |
| |
E questo è tutto con i dati grezzi. Vediamo se questo mi darà... |
| |
vedremo se otteniamo...e poi questa è la misura con il |
| |
dati completamente preelaborati, quindi è praticamente la stessa cosa. |
| |
È solo che stai guardando un output complessivo diverso, |
| |
Giusto. Stai guardando un modello diverso, sembra molto diverso. Anche in questo caso, si utilizzano i diversi alfa netti elastici e |
| |
quello che... in definitiva quello che vogliamo fare è solo confrontare queste cose. Se confronto... |
| |
Di nuovo, confrontando i dati grezzi PLS con quelli pre-elaborati, si ottiene un adattamento molto migliore. Se confronto la regressione generalizzata con... quindi questi sono dati dei minimi quadrati parziali per |
| |
pre-elaborato, pre-elaborato utilizzando la regressione generalizzata a un alfa netto elastico più piccolo, e poi a un alfa netto elastico più alto. Stiamo ottenendo buoni adattamenti ovunque, giusto, quindi non fa male indagare usando il |
| |
regressione generalizzata in JMP Pro rispetto ai minimi quadrati parziali. In realtà si ottengono modelli davvero buoni e |
| |
è semplicemente un ottimo modo per analizzare i dati e creare modelli predittivi per confronti futuri o quando si ottengono dati futuri. |
| |
Con questo, vorrei ringraziarti. Jeremy, grazie mille per il tuo contributo. E speriamo che vi piaccia. Per favore, lasciateci un feedback. Siamo interessati a voi. Vogliamo sapere cosa ne pensano le persone di queste nuove funzionalità. |
