Altoparlante
|
Trascrizione
|
| Bill Worley |
Ciao a tutti, sono Bill Worley, ingegnere di sistema JMP. Lavoro con JMP da quasi sette anni. Oggi parleremo di |
| |
preelaborazione dei dati spettroscopici per l'analisi. Lo chiamo prequel perché ho già tenuto un discorso sull'analisi dei dati spettrali all'interno di JMP, ma la pre-elaborazione è un primo passo importante e ti mostrerà il perché. Entriamo nel merito. |
| |
Quindi parliamo un po' dell'astratto qui. La pre-elaborazione dei dati spettroscopici è davvero un primo passo importante nella preparazione dei dati, qualsiasi dato, per l'analisi, in realtà. |
| |
Possiamo, sai, parlarti di... esamineremo la demo e dimostreremo la variabile normale standard e gli strumenti di livellamento Savitzky-Golay in JMP. Questi sono gli strumenti di pre-elaborazione che sono abbastanza standard in tutto il mondo |
| |
mondo della chimica, l'industria chimica e chiunque faccia spettroscopia e analizzi dati spettroscopici. Lo saprebbero... |
| |
di più sulla variante normale standard Savitzky-Golay e su come vengono utilizzati. Quindi, ancora una volta, si tratta di un primo passo importante per aiutarti a costruire modelli predittivi dai tuoi dati spettroscopici grezzi. |
| |
Quindi, con un po' di background i dati spettrali possono essere molto confusi. La pre-elaborazione viene utilizzata per semplificare, filtrare e correggere la linea di base prima di creare questi modelli predittivi o qualsiasi modello predittivo che potresti voler creare. Il filtraggio Savitzky-Golay e la variazione normale standard |
| |
sono strumenti che hanno... vengono utilizzati in JMP. Savitzky-Golay era un componente aggiuntivo sviluppato da Ian Cox, quindi... grazie a Ian per questo. La variazione normale standard richiede un... |
| |
una sorta di formula e ti mostreremo come integrarla in JMP. E poi l'ultima riga, questa è...il Graph Builder è anche uno strumento prezioso per visualizzare i tuoi dati spettroscopici e che può essere utilizzato come piattaforma alternativa per livellare i tuoi dati. |
| |
Ma ancora una volta ne parleremo man mano che approfondiremo il discorso. |
| |
Perché lo facciamo. Perché vorresti eseguire qualsiasi tipo di pre-elaborazione? Bene, se guardi quello, prima, quegli spettri in alto proprio lì, o gruppi di spettri, questi sono i dati grezzi di 100 spettri e non puoi davvero distinguere alcuna differenza tra |
| |
sai, una miscela di amido al 100% o glutine al 100%. Puoi vedere alcune differenze, semplicemente non... non puoi dire cosa sia cosa. BENE, |
| |
quello che facciamo da lì, eseguiamo il livellamento e il filtraggio Savitzky-Golay e poi prendiamo la derivata prima e questo ci dà un insieme di spettri molto più pulito, |
| |
ben raggruppati, ma non ancora completamente dove vorresti essere. E poi, finalmente, dopo aver eseguito lo smussamento della variazione normale standard, gli spettri sono molto più puliti, molto più facile vedere dove si trovano i picchi. |
| |
E puoi vedere dove sono le differenze nei diversi raggruppamenti di spettri. Quindi ancora una volta ci sono 20 spettri per ognuna di queste linee rosse, grigie e blu, ed è decisamente molto più pulito. Puoi vedere dove sono i picchi per le diverse miscele. |
| |
Ok, quindi con il filtraggio Savitzky-Golay, è un filtro digitale fornito ai tuoi dati spettrali allo scopo di livellarli. La cosa bella è che non altera lo spettro complessivo in sé, la posizione dei picchi e tutto il resto. Quindi è uno strumento carino lì. |
| |
Utilizza la convoluzione per livellare e si basa su una formula lineare dei minimi quadrati. |
| |
Anche le derivate prima e seconda sono... sei in grado di domare anche quelle dal segnale uniforme. |
| |
È inoltre possibile eseguire il filtraggio di eventuali dati non importanti su entrambe le estremità degli spettri. Se ti trovi in situazioni in cui, sai, hai qualcosa all'inizio, non è importante e ti confonderà solo mentre vai avanti e la stessa cosa, dall'altra parte. |
| |
Il Costruttore di grafici ti consente di eseguire anche un livellamento interno o un filtraggio interno che non puoi eseguire con Savitzky-Golay. |
| |
aggiungere. Quindi puoi utilizzare il filtro dati locale con il Costruttore di grafici e definire ulteriormente le aree di interesse. |
| |
COSÌ, |
| |
andiamo avanti. Savitzky-Golay |
| |
l'analisi è che abbiamo... abbiamo fatto... se facciamo quell'analisi, questo è un raggruppamento di spettri. Quindi abbiamo tutto liscio, |
| |
la derivata prima, ora leggermente allungata. E lì inseriamo la linea dello zero. E con la derivata prima puoi |
| |
indica dove sono i picchi, in base ai punti zero o all'incrocio dei punti zero, giusto, in modo che questo ti dia un'idea di dove sono i picchi per un dato dato |
| |
gruppo di spettri, insieme di spettri. E per la derivata seconda, ora è un po' diverso. Aiuta ad appiattire la linea di base e poi, se hai picchi che si sovrappongono, ti aiuta |
| |
svilupparsi ulteriormente o vedere meglio dove questi si sovrappongono e si passa da positivo a negativo, il che è un'indicazione di picchi sovrapposti e dove potrebbero essere. Ok, ed è così che usi quello strumento. |
| |
La stessa variabile normale standard è ancora una volta la standardizzazione dei dati rispetto ai singoli spettri. Può essere utilizzato da solo o come strumento di livellamento aggiuntivo e oggi lo utilizziamo come strumento aggiuntivo. |
| |
È usato... |
| |
viene utilizzato per la correzione dello spostamento della linea di base e per la correzione delle variazioni di intensità globale. La cosa bella è che rimuove la variazione della linea di base senza alterare la forma degli spettri, giusto. |
| |
E i dati, il punto è, e lo vedrete quando lo faremo, è che i dati devono essere impilati, okay. |
| |
Va bene, questa è solo una delle formule che |
| |
potrebbe essere utilizzato per impostare la formula della variabile normale standard e ti mostrerò come farlo. Ci sono un paio di modi diversi, ma è un po' complicato e ti mostrerò come farlo. La parte importante qui è questa |
| |
qui abbiamo la formula standard per la colonna standardizzata, ma dobbiamo assicurarci di usarla come variabile e che sia lo spettro stesso. COSÌ |
| |
c'è un piccolo trucco per aggiungerlo. |
| |
Giusto, quindi se facesse la variazione normale standard solo sui dati grezzi, questo sarebbe come apparirebbe. |
| |
Possiamo vedere i raggruppamenti, possiamo vedere, sai, come funzionano le cose, ma se facessimo quella variazione normale standard dopo aver fatto quella derivata prima, sarebbe molto più pulito. Hai un'idea molto migliore di dove si trovano gli spettri o dove si sovrappongono, dove, sai, |
| |
dove potresti dover fare un po'...dove entrerebbe in gioco la derivata seconda, dove ci sono picchi sovrapposti forse qui, giusto, |
| |
e magari tornare qui. COSÌ |
| |
è qui che aiuta davvero a costruire la visione migliore di ciò che stai vedendo. E quella linea dello zero, ancora una volta, dice, dove, sai, mentre la attraversi quella linea dello zero è un'indicazione di picchi, dove i picchi usano la derivata prima. |
| |
Va bene, quindi entriamo in una demo. |
| |
Va bene, vattene da lì. |
| |
Parliamo quindi di visualizzare i dati... prima i dati. Ricorda, ogni volta che ottieni una nuova serie di dati, la cosa migliore da fare è inserirla e visualizzarla. Sai, traccia quei dati, fatti un'idea migliore di come appare ciò che stai affrontando. E scendiamo qui e fermiamoci su |
| |
i nostri dati grezzi sul glutine. Giusto, quindi abbiamo importato i dati. Ora dobbiamo visualizzarlo e procediamo... andiamo al Costruttore di grafici. |
| |
Giusto, e le prime cose che faremo, |
| |
spostalo un po' più in alto, vai ai dati grezzi. Bene, ora lo inseriremo. |
| |
E questi sono i dati puntuali, quindi questo è quello che... quello che abbiamo visto prima di eseguire qualsiasi livellamento, prima di fare qualsiasi altra cosa. Quelli erano i dati della linea e, se posso cambiarli in |
| |
un grafico parallelo, giusto, che mi fornisce i dati delle linee per gli spettri. Ancora una volta, non possiamo vedere molto di quello che sta succedendo lì, ma ci dà un'idea migliore di dove stanno andando le cose. Posso farlo... |
| |
possiamo fare alcune cose quaggiù, qualcosa chiamato...se necessario, e lo vedrete con altri dati, questo parallelo si fonde. Ma questo non ha cambiato nulla. Non ne ha messo insieme nessuno come vedrai alcuni degli altri dati, quindi lo chiuderò. |
| |
Esatto, e alcuni degli altri strumenti che mi piace usare quando visualizzo i dati sono il grafico di controllo multivariato basato sul modello, e facciamolo prima. |
| |
Passiamo quindi ad Analisi, Qualità e processo e Grafico di controllo multivariato basato su modello. |
| |
Spostalo in alto. |
| |
Giusto, non ho dati storici, quindi dico Ok. E ciò che questo ci permette di fare è guardare i dati e dire, okay, |
| |
possiamo vedere raggruppamenti di spettri, giusto. E per la maggior parte, questo è...voglio solo sottolinearlo, |
| |
siamo in grado di spiegare la maggior parte della variazione che stiamo vedendo, almeno fino all'85% della variazione con due componenti principali, ok. E questo sta usando questo ??? T al quadrato |
| |
informazioni che abbiamo qui. E questo ci dice anche dove le cose potrebbero essere fuori controllo per un dato spettro, giusto. Perché è diverso dal resto del gruppo? |
| |
Quindi, se passo il mouse su uno di questi punti, posso estrarlo, giusto. Se passo il mouse su uno dei punti fuori controllo, di nuovo, tiralo fuori, |
| |
e ora possiamo vedere, wow, quelli sono davvero diversi, lo sai. C'è qualcosa di diverso in questi spettri che dobbiamo, forse, capire meglio. In questo caso abbiamo già una migliore comprensione, perché sappiamo che sono miscele, ma vogliamo vederlo. |
| |
E tiriamo fuori anche questo. Va bene, quindi ce n'è ancora uno. Quindi tra questi tre spettri abbiamo una certa varietà di miscele. Quindi abbiamo tre dei... tre gruppi e potremmo inserire anche gli altri due, solo per vedere. Ma per ora lasciamo le cose come stanno. |
| |
Ok, questo è il grafico di controllo multivariato basato sul modello. L'altro strumento che mi piace usare è...è basato su metodi multivariati e si chiama ridimensionamento multidimensionale. |
| |
E il motivo per cui mi piace usarlo è, soprattutto per sistemi come questo, |
| |
è quello che abbiamo |
| |
di nuovo i nostri dati grezzi, giusto, e dobbiamo... |
| |
lasciami prima impostare questo e te lo dirò. |
| |
Abbiamo due dimensioni qui, giusto, e si basano solo su ciò che abbiamo visto prima, ma il motivo per cui mi piace usarle è che ci permette di fare qualche raggruppamento o visualizzare qualche raggruppamento dei dati stessi. Bene, |
| |
facciamolo. Ci vuole un secondo per emergere. |
| |
E possiamo vedere che abbiamo cinque gruppi distinti di spettri, giusto, quindi ognuno di questi ha a che fare con un gruppo della nostra miscela di amido e glutine. Se evidenzio questo raggruppamento proprio qui, quello è il primo gruppo, che è tutto, sai, amido al 100%. |
| |
Il gruppo centrale è una miscela 50/50 e questo gruppo quaggiù è composto da glutine al 100%. Esatto, quindi ciò che fa è anche evidenziare i dati nella tabella dati, proprio come mostrato lì, in questo modo |
| |
bella anche l'interattività. Ciò che questo ci mostra è che stiamo già facendo un buon lavoro... già in grado di distinguere quali sono i diversi gruppi. Se guardiamo il diagramma di Shepard, |
| |
abbiamo R quadrato di 1 e |
| |
linea retta, va bene. Quindi, ancora una volta, un buon modo per visualizzarlo, e c'è altro che puoi fare con questo, ma lo lasceremo per un'altra volta. |
| |
Va bene finora, |
| |
abbiamo inserito i dati, li abbiamo visualizzati, giusto, e ora dobbiamo eseguire un po' di pre-elaborazione. |
| |
E quello che faremo, ho questi, più o meno, ecco dei segnaposto, quindi faremo alcune analisi di Savitzky-Golay e faremo qualche varite normale standard, almeno nella prima derivato, ok. |
| |
Va bene, quindi lasciami ripulire un po' la situazione. |
| |
Giusto, chiudilo. |
| |
E ancora una volta prenderemo quei dati grezzi e utilizzeremo il componente aggiuntivo Savitzky-Golay per fare l'analisi. Quindi per me è sotto i componenti aggiuntivi. |
| |
E questo è un componente aggiuntivo gratuito, quindi puoi scaricarlo e noi lo pubblicheremo per te. Anche questo, prenderemo i dati grezzi, |
| |
giusto, e se vuoi saperne di più su cosa tratta Savitzky-Golay, abbiamo un collegamento a Wikipedia qui così puoi usarlo. Ma lo useremo per uniformare i dati ad ogni lunghezza d'onda, giusto, e poi prenderemo la derivata prima e seconda. E io dico, va bene. |
| |
Ed eccoci qui, e abbiamo i nostri dati regolari qui. |
| |
E una cosa, sai, puoi modificarla secondo necessità, ma quello che vogliamo fare è prendere questo, |
| |
allarga un po' quella finestra. |
| |
Va bene. |
| |
Fallo. |
| |
E puoi giocare con i polinomi qui, l'ordine di adattamento polinomiale. |
| |
In questo caso, non fa molta differenza andare a un polinomio dell'ottavo ordine. Un secondo...il secondo ordine va benissimo. Va bene, e poi possiamo prendere quei dati dalla nostra derivata prima. |
| |
Di' di salvare dati fluidi, giusto, e possiamo salvarli nuovamente nella tabella dei dati. E l'ho già fatto, quindi non devo mostrarti quel processo, ma sappi solo che i dati vengono poi riportati nella tabella dati da lì, okay. |
| |
Chiudiamolo. |
| |
Va bene, e ora siamo a posto, ma ora dobbiamo fare l'ultimo passaggio, giusto. Quindi diamo un'occhiata... prima di andare lì, torniamo indietro e guardiamo |
| |
i nostri dati Savitzky-Golay. Quindi questi sono i dati della derivata prima. Vorrei di nuovo vederlo sotto il |
| |
Costruttore di grafici, giusto. E vedi che... non sembra molto promettente lì, ma facciamo una trama parallela, |
| |
lo rende un po' migliore. E ripuliamolo e poi facciamo questa unione parallela di scale combinate, e questo porta i dati in molto di più |
| |
visuale... una visuale migliore di quella che avevamo prima, giusto. Possiamo giocare...giocare con quello e ancora una volta potremmo aggiungere la nostra linea zero qui per comprendere meglio dove si incrociano i picchi. |
| |
Ma questi sono i primi dati derivati. È...puoi vedere i gruppi, ma non sono, sai, non sono completamente separati come ti piacerebbe davvero averli per avere un'idea migliore, okay. |
| |
Quindi siamo a posto. Quei dati sono tornati nella tabella dei dati. Lo chiuderò e poi ricordo che ho detto, devi impilare i dati per... per fare la variabile normale standard, quindi dobbiamo farlo. Innanzitutto suddividiamo alcuni dati. |
| |
Va bene, quindi |
| |
sottoinsiemi tutti questi. |
| |
Tabelle. Sottoinsieme. |
| |
Tutte le righe. Colonne selezionate e dì ok. Va bene, quindi ora possiamo andare lì. |
| |
Giusto. |
| |
Beh, almeno siamo... abbiamo i dati separati, giusto. Ora dobbiamo fare... impilare i dati, giusto. E ancora, questo serve per poter mettere il filtro su tutti i dati di cui abbiamo bisogno per la formula. |
| |
Quindi sotto Tabelle. Pila. |
| |
E queste sono le nostre colonne che stiamo impilando. |
| |
Esatto, e impila per riga. |
| |
Selezionerò le colonne che vogliamo mantenere. |
| |
Inoltre. E dopo, |
| |
Mi dispiace... sto solo facendo clic in giro solo per ottenere questa configurazione, ma avrai un'idea. Lascerò questo argomento per un secondo in modo che la gente possa vedere cosa serve per arrivarci. Quindi ho salvato questo. |
| |
Sai, guarda i 12 senza titolo adesso. Questi sono i nostri dati in pila, giusto, e ora possiamo eseguire quella variazione normale standard. Un modo rapido per farlo è creare una nuova colonna, |
| |
fare clic con il tasto destro. |
| |
E devo costruire questa formula da qui, dall'editor delle formule. Utilizzerò questo strumento statistico chiamato |
| |
colonna standardizzare, a destra. E se passo il mouse sopra questo, qui, questo ti dà un'idea di cosa stai facendo con quello. Cosa significa standardizzato, giusto? Quindi andremo a... |
| |
una media pari a 0 e una deviazione standard pari a 1, quindi questo è ciò che stiamo cercando di ottenere con i dati e rispetto a tutti gli spettri forniti. Quindi dobbiamo prendere i dati |
| |
qui e poi, ricorda che ho detto che dovevamo aggiungere quella bivariabile, che, in questo caso, saranno gli spettri. dirò che va bene. |
| |
Va bene, e questo ci fornisce un set di dati. Ora c'è un modo più semplice per farlo, o quello che penso sia un modo più semplice, ma può anche essere... |
| |
a volte è un po' più dispendioso in termini di tempo. Ma se faccio clic con il pulsante destro del mouse sugli spettri proprio qui, e di nuovo, ricorda che lo sto facendo perché abbiamo bisogno di una bivariabile. Quindi andrò alla nuova colonna Informazioni e creerò quel gruppo. |
| |
E prenderò la mia colonna di dati e farò clic con il pulsante destro del mouse su di essa e creerò una nuova colonna formula. |
| |
Passeremo alla distribuzione e, ricordiamo, standardizzata. Siamo... quindi lo vogliamo |
| |
media di 0; deviazione standard di 1. Selezionalo e poi costruisci quella nuova colonna. La cosa bella è che i dati corrispondono, quindi posso tirare un sospiro di sollievo per aver capito bene. |
| |
Giusto, quindi ho capito. Ora, ciò richiederebbe da qui, farò clic su quella colonna, |
| |
che prendiamo questi dati, li dividiamo e poi li reinseriamo nella tabella dati normale o nella tabella dati iniziale. Una cosa che voglio mostrarti con questo è questa |
| |
una volta che hai impilato i dati, puoi fare altre visualizzazioni, giusto. Quindi, se vado a...torno al Costruttore di grafici a destra, voglio prendere questi dati |
| |
dentro |
| |
Sì, e poi sposterò l'etichetta, e questo è un bel modo per vedere dove sono tutte le variazioni. Quindi questi sono tutti, |
| |
sai, box plot per dove... stai vedendo la variazione nei dati, quindi è davvero un bel modo di poter visualizzare cosa sta succedendo. |
| |
Un altro modo potente di utilizzare il Costruttore di grafici e in questo caso i dati devono essere impilati per farlo. Ora, quello che puoi fare anche tu è |
| |
se inserisci i dati dei punti, togliamoli, inseriamo i dati dei punti lì e poi potremmo fare un po' di livellamento. Questo è un individuo omogeneo, quindi è una media... per ogni... per tutti i dati. Ciò che vorremmo fare è farlo |
| |
Levigatura Savitzky-Golay, quindi devo entrare |
| |
la sovrapposizione, giusto. Quindi questi sono tutti i dati. Ora sarà difficile da vedere, ma lo farò, spero che tu possa vederlo, se seleziono sotto Più fluido, passeremo a Savitzky-Golay. |
| |
Esatto, e penso che tu... si spera, tu abbia visto che quello ora si adatta a quella linea, quella linea levigante proprio lì. |
| |
Questo è un altro modo per livellare i dati, giusto, usando Savitzky-Golay. E poi puoi cambiarlo in quadratico, puoi fare qualche taglio locale qui, e poi, alla fine, puoi salvarlo di nuovo nella tabella dati. |
| |
Per il momento lascerò perdere le cose. |
| |
Giusto e ricorda, abbiamo dovuto dividere questi dati e salvarli nuovamente nella tabella dati. Rinuncerò al passaggio di suddivisione e poi tornerò ai dati... la tabella dei dati originale. |
| |
Non ne ho bisogno. |
| |
Giusto e poi quando I |
| |
guarda di nuovo i dati nel Costruttore di grafici, |
| |
Potrei prendere questo gruppo variabile normale standard, |
| |
lascialo cadere. Ancora una volta, non sembra molto promettente, ma faremo la trama parallela e quindi faremo clic con il pulsante destro del mouse. |
| |
Combina quelle scale. |
| |
E questo è fondamentalmente il nostro livellamento finito, va bene. Quindi abbiamo tutto pronto. Ancora una volta potremmo aggiungere una linea zero qui, |
| |
se necessario. Andiamo avanti e aggiungiamolo. |
| |
Zero e lo renderemo una specie di verde, |
| |
c'è, aggiungilo. |
| |
Dì Ok, e poi di nuovo, utilizzeresti questo per aiutarti a capire dove sono i tuoi picchi. |
| |
In base al picco massimo quando ho superato il punto zero, ok. |
| |
Quindi praticamente è tutto. Torniamo al ns |
| |
Presa della corrente. |
| |
Quindi, in conclusione, pre-elaborazione... dovevamo pre-elaborare i dati... pre-elaborare i dati per renderli più puliti, per renderli, sai, molto più facili da lavorare. |
| |
Dove anche con JMP... |
| |
JMP lo sta facendo... |
| |
stiamo lavorando per rendere questo processo molto più semplice. La preelaborazione in JMP 16 sarà supportata da componenti aggiuntivi e funzionalità integrate. |
| |
Non vediamo l'ora che JMP 17 pre-elaborazione, cosa verrà offerto in Functional Data Explorer con opzioni di livellamento spettrale e della linea di base molto più sofisticate, insieme ad alcuni rilevamento e selezione dei picchi. |
| |
Per l'analisi dei dati spettrali, per favore, ecco... c'è stato un discorso che ho fatto nel 2020 per il Discovery |
| |
Monaco. È stato un discorso virtuale, ma ti darà una buona idea di come utilizzare JMP per analizzare i tuoi dati spettrali. |
| |
E con questo vi dirò grazie e, si spera, tutti voi lo troverete... lo troverete utile. Per favore mi faccia sapere. |
