| Oratore |
Trascrizione |
| Bill Worley |
Ciao a tutti, sono Bill Worley, ingegnere di sistema JMP. Lavoro in JMP da quasi sette anni. Oggi parleremo di |
| |
Pre-elaborazione dei dati spettroscopici per l'analisi. Lo definisco un prequel perché ho già tenuto una presentazione sull'analisi dei dati spettrali in JMP, ma la pre-elaborazione è un primo passo importante e vi mostrerò perché. Entriamo nel dettaglio. |
| |
Quindi, parliamo un po' dell'astratto. Pre-elaborare i dati spettroscopici è davvero un primo passo importante nella preparazione dei dati, di qualsiasi tipo, per l'analisi. |
| |
Possiamo, sai, parlarti di... esamineremo la demo e ti mostreremo gli strumenti per la variabile normale standard e lo smoothing di Savitzky-Golay in JMP. Questi sono strumenti di pre-elaborazione abbastanza standard in tutto il mondo. |
| |
Il mondo della chimica, l'industria chimica e chiunque si occupi di spettroscopia e analizzi dati spettroscopici. Lo saprebbero... |
| |
Maggiori informazioni sulla normale standardizzata, la variabile di Savitzky-Golay e su come vengono utilizzate. Quindi, ancora una volta, è un primo passo importante per aiutarti a costruire modelli predittivi a partire dai tuoi dati spettroscopici grezzi. |
| |
Quindi, con un minimo di background, i dati spettrali possono essere molto complessi. La pre-elaborazione viene utilizzata per facilitare la levigatura, il filtraggio e la correzione della baseline prima di costruire questi modelli predittivi o qualsiasi altro modello predittivo che si desideri costruire. Il filtro di Savitzky-Golay e la variabile normale standard |
| |
sono strumenti che hanno... sono usati in JMP. Savitzky-Golay era un componente aggiuntivo sviluppato da Ian Cox, quindi... grazie a Ian per questo. La variabile normale standard richiede... |
| |
una sorta di formula e ti mostreremo come integrarla in JMP. E poi l'ultima riga, questa è... Graph Builder è anche uno strumento prezioso per visualizzare i tuoi dati spettroscopici e può essere utilizzato come piattaforma alternativa per il smoothing dei tuoi dati. |
| |
Ma torneremo su questo argomento più avanti, nel corso della discussione. |
| |
Perché lo facciamo? Perché mai dovresti voler fare qualsiasi tipo di pre-elaborazione? Beh, se guardi, innanzitutto, quegli spettri in alto, o gruppi di spettri, sono i dati grezzi di 100 spettri e non si nota alcuna differenza tra |
| |
Sai, una miscela di amido al 100% o glutine al 100%. Si notano alcune differenze, solo che non... non si riesce a distinguere cosa è cosa. Beh, |
| |
quello che facciamo da lì, eseguiamo il filtraggio e lo smoothing di Savitzky-Golay e poi prendi quella prima derivata e questo ti dà un set di spettri molto più pulito, |
| |
Ben raggruppati, ma non ancora completamente dove vorresti essere. E poi, finalmente, dopo aver eseguito il normale smoothing standard, gli spettri sono molto più puliti, molto più facile individuare i picchi. |
| |
E potete vedere dove si trovano le differenze nei diversi raggruppamenti di spettri. Quindi, di nuovo, ci sono 20 spettri per ciascuna di queste linee rosse, grigie e blu, ed è decisamente molto più pulito. Potete vedere dove si trovano i picchi per le diverse miscele. |
| |
Bene, quindi il filtraggio di Savitzky-Golay è un filtro digitale applicato ai dati spettrali allo scopo di uniformarli. Il bello è che non altera lo spettro complessivo, la posizione dei picchi e tutto il resto. Quindi è uno strumento utile. |
| |
Utilizza la convoluzione per lo smoothing e si basa sulla formula dei minimi quadrati lineari. |
| |
Anche le derivate prime e seconde sono...è anche possibile domarle dal segnale regolare. |
| |
Anche il filtraggio di eventuali dati non importanti su entrambe le estremità dello spettro può essere effettuato. Se ci si trova in situazioni in cui, sai, c'è qualcosa all'inizio, che è semplicemente irrilevante e che non farà altro che creare confusione man mano che si procede, e la stessa cosa si verifica all'altra estremità. |
| |
Graph Builder consente di effettuare anche alcune operazioni di smoothing interno o di filtraggio interno che non sono possibili con Savitzky-Golay. |
| |
componente aggiuntivo. In questo modo è possibile utilizzare il filtro dati locale con Graph Builder e definire ulteriormente le aree di interesse. |
| |
COSÌ, |
| |
andiamo avanti. Savitzky-Golay |
| |
L'analisi è che abbiamo... abbiamo fatto... se facciamo quell'analisi, questo è un raggruppamento di spettri. Quindi abbiamo il liscio, |
| |
la derivata prima, ora allungata un po'. E abbiamo inserito la linea dello zero. E con la derivata prima, puoi |
| |
indica dove si trovano i picchi, in base ai punti zero o all'incrocio dei punti zero, giusto, in modo da darti un'idea di dove si trovano i picchi per qualsiasi dato |
| |
gruppo di spettri, insieme di spettri. E per la derivata seconda, ora è un po' diverso. Aiuta ad appiattire la linea di base e poi, se hai picchi sovrapposti, ti aiuta |
| |
Sviluppa ulteriormente o meglio osserva dove si sovrappongono e passi da un positivo a un negativo, il che è un'indicazione di picchi sovrapposti e di dove potrebbero trovarsi. Bene, ecco come si usa quello strumento. |
| |
La variabile normale standardizzata è di per sé la standardizzazione dei dati rispetto ai singoli spettri. Può essere utilizzata da sola o come strumento di smoothing aggiuntivo, e oggi la stiamo utilizzando come strumento aggiuntivo. |
| |
Viene utilizzato... |
| |
Viene utilizzato per la correzione dello spostamento della linea di base e per correggere le variazioni di intensità globale. Il bello è che rimuove la variazione della linea di base senza alterare la forma degli spettri, giusto? |
| |
E i dati, il punto è questo, e lo vedrete quando lo faremo, è che i dati devono essere impilati, okay. |
| |
Va bene, questa è solo una delle formule che |
| |
potrebbe essere utilizzato per impostare la formula standard della variabile normale, e vi mostrerò come farlo. Ci sono un paio di modi diversi, ma è un po' complicato e vi mostrerò come farlo. La parte importante qui è che |
| |
Abbiamo qui la formula standard per la colonna standardizzata, ma dobbiamo assicurarci di usarla come variabile per variabile e questo è lo spettro stesso. Quindi |
| |
c'è un piccolo trucco per aggiungerlo. |
| |
Giusto, quindi se applicasse la normale standard solo ai dati grezzi, ecco come apparirebbe. |
| |
Possiamo vedere i raggruppamenti, possiamo vedere, sai, come si sviluppano le cose, ma se calcolassimo quella variabile normale standard dopo aver calcolato quella derivata prima, il risultato sarebbe molto più chiaro. Si otterrebbe un'idea molto più precisa di dove si sovrappongono gli spettri, o di dove si sovrappongono, dove... |
| |
dove potresti dover fare un po'... dove quella seconda derivata entrerebbe in gioco, dove hai picchi sovrapposti forse qui, giusto, |
| |
e forse tornare qui. Quindi |
| |
È qui che questo aiuta davvero a costruire una visione migliore di ciò che si sta osservando. E quella linea dello zero, di nuovo, sta dicendo, dove, sai, quando la si attraversa, quella linea dello zero è un'indicazione di picchi, dove i picchi sono calcolati usando la derivata prima. |
| |
Bene, passiamo alla demo. |
| |
Bene, uscite da lì. |
| |
Quindi parliamo di visualizzare i dati... prima i dati. Ricorda, ogni volta che ricevi un nuovo set di dati, la cosa migliore da fare è inserirli e visualizzarli. Sai, tracciare un grafico di quei dati, farti un'idea migliore di come appaiono e di cosa hai di fronte. E andiamo qui sotto e tiriamo su |
| |
I nostri dati grezzi sul glutine. Bene, abbiamo importato i dati. Ora dobbiamo visualizzarli e... andiamo su Graph Builder. |
| |
Bene, le prime cose che faremo sono: |
| |
Spostiamoci un po' più in alto, passiamo ai dati grezzi. Bene, ora li inseriamo. |
| |
E questi sono i dati puntuali, quindi questo è quello che... quello che abbiamo visto prima di fare qualsiasi smoothing, prima di fare qualsiasi altra cosa. Questi erano i dati della linea e, se posso cambiarli in |
| |
Un grafico parallelo, giusto, che mi dà i dati delle linee per gli spettri. Di nuovo, non possiamo vedere molto di quello che succede lì, ma ci dà un'idea migliore di dove si trovano le cose. Posso farlo... |
| |
Possiamo fare qualcosa qui sotto, qualcosa chiamato... se necessario, e lo vedrete con altri dati, questa fusione parallela. Ma questo non ha cambiato nulla. Non ha unito nulla come vedrete con alcuni degli altri dati, quindi chiudo. |
| |
Giusto, alcuni degli altri strumenti che mi piace usare quando visualizzo i dati sono i grafici di controllo multivariati basati su modelli, e cominciamo da quelli. |
| |
Quindi andiamo su Analisi, Qualità e Processo e Diagramma di controllo multivariato basato su modello. |
| |
Spostalo più in alto. |
| |
Giusto, non ho dati storici, quindi dico "Ok". E questo ci permette di guardare i dati e dire: "Ok, |
| |
Possiamo vedere raggruppamenti di spettri, giusto. E per la maggior parte, questo è... voglio solo sottolinearlo, |
| |
Siamo in grado di spiegare la maggior parte della variazione che stiamo osservando, almeno fino all'85% della variazione con due componenti principali, okay. E questo usando questo ??? T al quadrato |
| |
informazioni che abbiamo qui. E questo ci dice anche dove le cose potrebbero essere fuori controllo per un dato spettro, giusto? Perché è diverso dal resto del gruppo? |
| |
Quindi, se passo il mouse su uno di questi punti, posso estrarlo, giusto. Se passo il mouse su uno dei punti fuori controllo, di nuovo, estrarlo, |
| |
E ora possiamo vedere, wow, sono davvero diversi, sapete. C'è qualcosa di diverso in questi spettri che dobbiamo, sapete, forse capire meglio. In questo caso, abbiamo già una comprensione migliore, perché sappiamo che sono miscele, ma vogliamo vederlo. |
| |
E tiriamo fuori anche questo. Bene, ecco un altro. Quindi, tra questi tre spettri, abbiamo una certa varietà, sapete, di miscele. Quindi abbiamo tre dei... tre gruppi e potremmo aggiungere anche gli altri due, giusto per vedere. Ma per ora lasciamo perdere. |
| |
Ok, questo è il modello di carta di controllo multivariata. L'altro strumento che mi piace usare è... si basa sui metodi multivariati e si chiama scaling multidimensionale. |
| |
E il motivo per cui mi piace usarlo è, soprattutto per sistemi come questo, |
| |
è che abbiamo |
| |
di nuovo i nostri dati grezzi, giusto? E dobbiamo... |
| |
Lasciami prima impostare questa cosa e poi te lo dirò. |
| |
Abbiamo due dimensioni qui, giusto? E questo si basa solo su quello che abbiamo visto prima, ma il motivo per cui mi piace usarle è che ci permettono di fare dei raggruppamenti o di visualizzare dei raggruppamenti dei dati stessi. Bene, |
| |
Facciamolo. Ci vuole un secondo per farlo apparire. |
| |
E possiamo vedere che abbiamo cinque distinti gruppi di spettri, giusto? Ognuno di essi ha a che fare con un gruppo della nostra miscela di amido e glutine. Se evidenzio questo raggruppamento qui, quello è il primo gruppo, che è composto al 100% da amido. |
| |
Il gruppo centrale è una miscela 50/50 e questo gruppo qui sotto è al 100% glutine. Bene, quindi questo evidenzia anche i dati nella tabella dei dati, proprio come mostrato lì, in modo che |
| |
Anche l'interattività è interessante. Questo ci dimostra che stiamo facendo un buon lavoro nel... nel riuscire a distinguere i diversi gruppi. Se osserviamo il diagramma di Shepard, |
| |
abbiamo R quadrato di 1 e |
| |
Una linea retta, ok. Quindi, di nuovo, un buon modo per visualizzarlo, e si può fare di più, ma lo lasceremo per un'altra volta. |
| |
Bene, finora, |
| |
Abbiamo inserito i dati, li abbiamo visualizzati, giusto? Ora dobbiamo effettuare un po' di pre-elaborazione. |
| |
E quello che faremo, ho più o meno questi, ecco dei segnaposto, quindi faremo un'analisi di Savitzky-Golay e faremo un po' di variabili normali standard, almeno sulla prima derivata, okay. |
| |
Bene, lasciatemi fare un po' di chiarezza. |
| |
Bene, chiudiamolo. |
| |
E di nuovo prenderemo quei dati grezzi e useremo il componente aggiuntivo di Savitzky-Golay per fare l'analisi. Quindi, per me, questo rientra nella categoria dei componenti aggiuntivi. |
| |
E questo è un componente aggiuntivo gratuito, quindi puoi scaricarlo e noi lo renderemo disponibile per te. Quindi, di nuovo, prenderemo i dati grezzi, |
| |
Giusto, e se vuoi saperne di più su cosa sia la legge di Savitzky-Golay, abbiamo un link a Wikipedia qui, quindi puoi usarlo. Ma lo useremo per smussare i dati a ogni lunghezza d'onda, giusto, e poi prenderemo la derivata prima e la derivata seconda. E dico, ok. |
| |
Ed ecco fatto, abbiamo i nostri dati uniformi. |
| |
E una cosa, sai, puoi modificarla secondo necessità, ma quello che vogliamo fare è in un certo senso prenderla, |
| |
allarga un po' quella finestra. |
| |
Va bene. |
| |
Fallo. |
| |
E qui si può giocare un po' con i polinomi, con l'ordine di adattamento dei polinomi. |
| |
In questo caso, non fa molta differenza passare a un polinomio di ottavo ordine. Un secondo... il secondo ordine va benissimo. Bene, e poi possiamo prendere quei dati dalla nostra derivata prima. |
| |
Diciamo "salva i dati lisci", giusto, e possiamo salvarli di nuovo nella tabella dati. E l'ho già fatto, quindi non devo mostrarti il processo, ma sappi solo che i dati vengono poi riportati nella tabella dati da lì, ok? |
| |
Chiudiamo qui. |
| |
Bene, ora siamo pronti, ma ora dobbiamo fare quell'ultimo passaggio, giusto? Quindi diamo un'occhiata a... prima di andare avanti, torniamo indietro e diamo un'occhiata a |
| |
i nostri dati di Savitzky-Golay. Quindi questi sono i dati della prima derivata. Vorrei di nuovo esaminarli sotto la |
| |
Graph Builder, giusto. E vedi, questo... non sembra molto promettente, ma facciamo un grafico parallelo, |
| |
lo rende un po' migliore. E lo pulisciamo e poi facciamo questa unione parallela di scale combinate, e questo porta i dati in un modo molto più |
| |
Visuale... una visuale migliore di quella che avevamo prima, giusto? Possiamo giocare con... giocare con quella e di nuovo potremmo aggiungere la nostra linea zero qui per capire meglio dove si incrociano i picchi. |
| |
Ma questi sono i dati della derivata prima. Sono... si vedono i gruppi, ma non sono, sai, non sono completamente separati come vorresti per avere un'idea migliore, okay? |
| |
Quindi siamo a posto. Quei dati sono di nuovo nella tabella dati. Chiudo, e poi ricordo di aver detto che bisogna impilare i dati per... per ottenere la variabile normale standard, quindi dobbiamo farlo. Iniziamo subito con un sottoinsieme di dati. |
| |
Va bene, quindi |
| |
elencare tutti questi sottotipi. |
| |
Tabelle. Sottoinsieme. |
| |
Tutte le righe. Colonne selezionate e dire "OK". Bene, ora siamo pronti. |
| |
Giusto. |
| |
Beh, almeno lo siamo... abbiamo separato i dati, giusto. Ora dobbiamo... impilarli, giusto. E ancora una volta, questo serve per poter applicare il filtro a tutti i dati di cui abbiamo bisogno per la formula. |
| |
Quindi, in Tabelle. Impila. |
| |
E queste sono le nostre colonne che stiamo impilando. |
| |
Giusto, impilateli per riga. |
| |
Selezionerò le colonne che vogliamo conservare. |
| |
Oltre a ciò. E dopo, |
| |
Scusate... sto solo cliccando qua e là per impostare questa cosa, ma vi sarà chiaro il concetto. Lascio questo video per un secondo, così che la gente possa vedere cosa serve per arrivarci. Quindi l'ho salvato. |
| |
Ora guarda il 12 senza titolo. Questi sono i nostri dati sovrapposti, giusto? Ora possiamo calcolare la variabile normale standard. Un modo rapido per farlo è creare una nuova colonna. |
| |
fare clic con il tasto destro. |
| |
E devo costruire questa formula da qui, dall'editor di formule. Userò questo strumento statistico chiamato |
| |
colonna standardizzare, giusto. E se passo il mouse sopra, qui, questo ti dà un'idea di cosa stai facendo. Cosa significa standardizzato, giusto? Quindi andremo a... |
| |
una media di 0 e una deviazione standard di 1, quindi questo è ciò che stiamo cercando di ottenere con i dati e rispetto a tutti gli spettri forniti. Quindi dobbiamo prendere i dati |
| |
Qui e poi, ricordate, ho detto che dovevamo aggiungere quella bivariabile, che in questo caso sarà lo spettro. Dirò ok. |
| |
Bene, e questo ci dà un set di dati. Ora c'è un modo più semplice per farlo, o quello che credo sia il modo più semplice, ma può anche essere... |
| |
A volte è un po' più dispendioso in termini di tempo. Ma se clicco con il tasto destro del mouse sugli spettri qui, e ripeto, ricordo che lo faccio perché ci serve una variabile bivariabile, vado su "Nuova colonna" e creo il gruppo per. |
| |
Ora prendo la mia colonna di dati, faccio clic con il pulsante destro del mouse e creo una nuova colonna formula. |
| |
Passiamo alla distribuzione e, ricordate, alla standardizzazione. Vogliamo... quindi vogliamo che |
| |
Media pari a 0; deviazione standard pari a 1. Selezionando questo, si crea la nuova colonna. Il bello è che i dati corrispondono, quindi posso tirare un sospiro di sollievo per aver indovinato. |
| |
Bene, quindi ho capito. Ora, questo richiederebbe da qui, cliccherò su quella colonna, |
| |
che prendiamo questi dati, li dividiamo e poi li rimettiamo nella tabella dati normale o nella tabella dati iniziale. Una cosa che voglio mostrarvi è che |
| |
Una volta che hai i dati impilati, puoi fare altre visualizzazioni, giusto? Quindi, se vado al...torno al Generatore di Grafici, voglio prendere questi dati. |
| |
nel |
| |
Y, e poi sposto l'etichetta, e questo è un modo interessante per vedere dove si trovano tutte le variazioni. Quindi queste sono tutte, |
| |
Sai, i box plot mostrano dove... vedi la variazione nei dati, quindi è un modo davvero utile per visualizzare cosa sta succedendo. |
| |
Un altro modo potente per usare il Generatore di Grafici, e in questo caso i dati devono essere impilati per farlo. Ora, quello che puoi fare è... |
| |
Se inseriamo i dati puntuali, li togliamo, li inseriamo e poi possiamo fare un po' di smoothing. Ora, questo è uno smoothing individuale, quindi è una media... per ogni... per tutti i dati. Quello che vorremmo fare è... |
| |
Levigatura Savitzky-Golay, quindi devo tirare dentro |
| |
La sovrapposizione, giusto. Quindi questi sono tutti i dati. Ora sarà difficile da vedere, ma farò questo, spero che possiate vederlo: se seleziono "smoother", passeremo alla scala di Savitzky-Golay. |
| |
Giusto, e penso che tu...spero tu abbia visto che ora questa linea si adatta a quella linea di smussamento proprio lì. |
| |
Questo è un altro modo per smussare i dati, giusto? Usando la matrice di Savitzky-Golay. Poi si può trasformare in un'equazione quadratica, si può fare qualche rifinitura locale e infine si può salvare il tutto nella tabella dati. |
| |
Per ora mi fermo qui. |
| |
Giusto, e ricorda, abbiamo dovuto dividere questi dati e salvarli nuovamente nella tabella dati. Ora eviterò la fase di suddivisione e tornerò ai dati... alla tabella dati originale. |
| |
Non ne ho bisogno. |
| |
Proprio allora quando io |
| |
guarda di nuovo i dati in Graph Builder, |
| |
Potrei prendere questo gruppo di variabili normali standard, |
| |
inseriscilo. Di nuovo, non sembra molto promettente, ma faremo il grafico parallelo e poi cliccheremo con il tasto destro. |
| |
Combina queste scale. |
| |
E questo è fondamentalmente il nostro smoothing finito, ok. Quindi abbiamo tutto pronto. Potremmo aggiungere di nuovo una linea zero qui, |
| |
se necessario. Andiamo avanti e aggiungiamolo. |
| |
Zero e lo renderemo un po' verde, |
| |
ecco, aggiungilo. |
| |
Dì "Ok", e poi di nuovo, useresti questo per aiutarti a capire dove si trovano i tuoi picchi. |
| |
In base al picco massimo raggiunto quando ho superato il punto zero, ok. |
| |
Quindi, più o meno, questo è tutto. Torniamo al nostro |
| |
Presa della corrente. |
| |
Quindi, in conclusione, la pre-elaborazione...avevamo bisogno di pre-elaborare i dati...pre-elaborare i dati per renderli più puliti, per renderli, sai, molto più facili da usare. |
| |
Dove anche con JMP... |
| |
JMP sta realizzando questo... |
| |
Stiamo lavorando per semplificare notevolmente questo processo. La pre-elaborazione in JMP 16 sarà supportata da componenti aggiuntivi e funzionalità integrate. |
| |
Non vediamo l'ora di vedere JMP 17, dove verrà implementata la pre-elaborazione, ovvero le stesse opzioni che saranno offerte in Functional Data Explorer con opzioni di smoothing spettrale e di baseline molto più sofisticate, insieme ad alcune funzionalità di rilevamento e selezione dei picchi. |
| |
Per analizzare i dati spettrali, per favore, c'è un discorso che ho fatto nel 2020 per la Discovery |
| |
Monaco. È stata una conferenza virtuale, ma vi darà una buona idea di come usare JMP per analizzare i vostri dati spettrali. |
| |
E con questo, vi ringrazio e spero che lo abbiate trovato... utile. Fatemi sapere. |
