Altoparlante
|
Trascrizione
|
| Bill Worley |
Ciao a tutti, sono Bill Worley, ingegnere di sistema JMP. Lavoro con JMP da quasi sette anni. Oggi ne parleremo |
| |
preelaborazione dei dati spettroscopici per l'analisi. Lo chiamo prequel perché ho già tenuto un discorso sull'analisi dei dati spettrali all'interno di JMP, ma la pre-elaborazione è un primo passo importante e ti mostrerà il motivo. Entriamo in questo. |
| |
Quindi parliamo dell'astratto, un po 'qui. La pre-elaborazione dei dati spettroscopici è davvero un primo passo importante nella preparazione dei tuoi dati, qualsiasi dato, per l'analisi, davvero. |
| |
Possiamo, sai, parlarti di ... esamineremo la demo e dimostreremo la variazione normale standard e gli strumenti di levigatura Savitzky-Golay in JMP. Questi sono gli strumenti di pre-elaborazione che sono abbastanza standard in tutto il |
| |
il mondo chimico, l'industria chimica e chiunque stia facendo spettroscopia e analizzando dati spettroscopici. Saprebbero che ... |
| |
di più sulla variante normale standard del Savitzky-Golay e su come vengono utilizzati. Quindi, ancora una volta, è un primo passo importante per aiutarti a costruire modelli predittivi dai tuoi dati spettroscopici grezzi. |
| |
Quindi, con un po 'di sfondo i dati spettrali possono essere molto disordinati. La pre-elaborazione viene utilizzata per facilitare e filtrare e correggere la previsione prima di creare questi modelli predittivi o qualsiasi modello predittivo che potresti voler creare. Il filtraggio Savitzky-Golay e la variazione normale standard |
| |
sono strumenti che hanno ... sono usati in JMP. Il Savitzky-Golay era un componente aggiuntivo sviluppato da Ian Cox, quindi è ... grazie a Ian per questo. La variazione normale standard richiede un ... |
| |
una sorta di formula e ti mostreremo come crearla in JMP. E poi l'ultima riga, questa è ... il Graph Builder è anche uno strumento inestimabile per visualizzare i tuoi dati spettroscopici e che può essere utilizzato come piattaforma alternativa per smussare i tuoi dati. |
| |
Ma ancora una volta ci addentreremo in questo mentre andiamo avanti nel discorso. |
| |
Perché lo facciamo. Perché dovresti eseguire qualsiasi tipo di pre-elaborazione? Bene, se guardi quello, prima, quegli spettri superiori proprio lì, o gruppi di spettri, questi sono i dati grezzi da 100 spettri e non puoi davvero dire alcuna differenza tra |
| |
sai, una miscela di amido al 100% o glutine al 100%. Puoi vedere alcune differenze, semplicemente non ... non puoi dire cosa è cosa. Bene, |
| |
quello che facciamo da lì, facciamo il livellamento e il filtraggio Savitzky-Golay e poi prendi quella prima derivata e questo ti dà un insieme di spettri molto più pulito, |
| |
ben raggruppati, ma ancora non completamente dove vorresti essere. E poi, finalmente, dopo aver eseguito lo smoothing delle variazioni normali standard, gli spettri sono molto più puliti, molto più facile vedere dove sono i picchi. |
| |
E puoi vedere dove sono le differenze nei diversi raggruppamenti di spettri. Quindi di nuovo ci sono 20 spettri per ciascuna di queste linee rosse, dalle linee grigie alle linee blu, ed è decisamente molto più pulito. Puoi vedere dove sono i picchi per le diverse miscele. |
| |
Ok, quindi con il filtraggio Savitzky-Golay, è un filtro digitale fornito ai dati spettrali allo scopo di smussare. La cosa bella è che non altera gli spettri complessivi in sé, il punto in cui si trovano i picchi e tutto il resto. Quindi è un bel strumento lì. |
| |
Utilizza la convoluzione per la levigatura e si basa su una formula dei minimi quadrati lineare. |
| |
Anche il primo e il secondo derivato sono ... sei anche in grado di domare quelli dal segnale regolare. |
| |
E può essere eseguito anche il filtraggio di dati non importanti su entrambe le estremità degli spettri. Se ti trovi in situazioni in cui, sai, hai qualcosa all'inizio, non è importante e ti rovinerà solo mentre vai avanti e la stessa cosa, dall'altra parte. |
| |
Graph Builder ti consente di eseguire anche un livellamento interno o un filtraggio interno che non puoi fare con Savitzky-Golay. |
| |
aggiungere. Quindi è possibile utilizzare il filtro dei dati locali con il generatore di grafici e definire ulteriormente le aree di interesse. |
| |
Così, |
| |
andiamo avanti. Savitzky-Golay |
| |
analisi è che abbiamo ... abbiamo fatto ... se facciamo quell'analisi, questo è un raggruppamento di spettri. Quindi abbiamo il liscio |
| |
la prima derivata, ora un po 'allungata. E mettiamo lì la linea dello zero. E con la prima derivata puoi |
| |
dire dove sono i picchi, in base ai punti zero o all'incrocio dei punti zero, giusto, in modo da avere un'idea di dove sono i picchi per un dato dato |
| |
gruppo di spettri, insieme di spettri. E per la seconda derivata, ora è un po 'diverso. Aiuta ad appiattire la linea di base e poi, se hai picchi che si sovrappongono, ti aiuta |
| |
sviluppare ulteriormente o vedere meglio dove si sovrappongono e si passa da un positivo a un negativo, che è un'indicazione di picchi sovrapposti e dove potrebbero essere. Va bene, ed è così che usi questo strumento. |
| |
La stessa variazione normale standard è di nuovo la standardizzazione dei dati rispetto agli spettri individuali. Può essere usato da solo o come strumento aggiuntivo per levigare e lo stiamo usando come strumento aggiuntivo oggi. |
| |
È usato... |
| |
viene utilizzato per la correzione dello spostamento della linea di base e per la correzione delle variazioni di intensità globale. La cosa bella è che rimuove la variazione della linea di base senza alterare la forma degli spettri, giusto. |
| |
E i dati, il punto è, e lo vedrai quando lo faremo, è che i dati devono essere impilati, okay. |
| |
Va bene, questa è solo una delle formule che |
| |
potrebbe essere utilizzato per impostare la formula normale normale standard e ti mostrerò come farlo. Ci sono un paio di modi diversi, ma diventa un po 'complicato e ti mostrerò come farlo. La parte importante qui è quella |
| |
abbiamo la formula standard qui per la colonna standardizzata, ma dobbiamo assicurarci di usarla come variabile per e questo è lo spettro stesso. Così |
| |
c'è un piccolo trucco per aggiungerlo. |
| |
Giusto, quindi se avesse fatto la variazione normale standard solo sui dati grezzi, questo sarebbe l'aspetto. |
| |
Possiamo vedere i raggruppamenti, possiamo vedere, sai, come scoppiano le cose, ma se abbiamo fatto quella variazione normale standard dopo aver fatto quella derivata prima, è molto più pulito. Hai un'idea molto migliore di dove gli spettri o dove si sovrappongono, dove, sai, |
| |
dove potresti dover fare un po '... dove entrerebbe in gioco quella derivata seconda, dove hai picchi sovrapposti forse qui, giusto, |
| |
e forse di nuovo qui. Così |
| |
è qui che questo aiuta davvero a costruire la migliore visione di ciò che stai vedendo. E quella linea dello zero, di nuovo, sta dicendo, dove, sai, quando la attraversi quella linea dello zero è un'indicazione dei picchi, dove i picchi stanno usando la derivata prima. |
| |
Va bene, quindi entriamo in una demo. |
| |
Va bene, esci da lì. |
| |
Quindi parliamo di visualizzare i dati ... i dati prima. Ricorda, ogni volta che ottieni una nuova serie di dati, la cosa migliore da fare è inserirla e visualizzarla. Sai, traccia quei dati, fatti un'idea migliore di come appare quello che stai affrontando. E scendiamo qui e ci fermiamo |
| |
i nostri dati grezzi sul glutine. Bene, quindi abbiamo importato i dati. Ora dobbiamo fare un po 'di visualizzazione su di esso, e facciamo ... andiamo a Graph Builder. |
| |
Giusto e le prime cose che faremo, |
| |
spostalo un po 'in alto, vai ai dati grezzi. Bene, ora lo inseriremo. |
| |
E questi sono i dati puntuali, quindi questo è ciò che noi ... ciò che abbiamo visto prima di eseguire qualsiasi livellamento, prima di fare qualsiasi altra cosa. Questi erano i dati della linea e, se posso cambiarli in |
| |
una trama parallela, a destra, che mi dà i dati di linea per gli spettri. Ancora una volta, non possiamo vedere molto di quello che sta succedendo lì, ma ci dà un'idea migliore di dove stanno andando le cose. Posso farlo ... |
| |
possiamo fare alcune cose quaggiù, qualcosa chiamato ... se necessario, e vedrai questo con altri dati, questo parallelo fuso. Ma questo non ha cambiato nulla. Non ne ha messi insieme come vedrai alcuni degli altri dati, quindi lo chiuderò. |
| |
Giusto, e alcuni degli altri strumenti che mi piace usare quando visualizzo i dati sono il grafico di controllo multivariato basato su modello, e facciamolo prima. |
| |
Quindi andiamo a Analizza, Qualità e processo e Grafico di controllo multivariato basato su modello. |
| |
Sposta questo in alto. |
| |
Giusto, non ho dati storici, quindi dico Okay. E ciò che questo ci permette di fare è guardare i dati e dire, ok, |
| |
possiamo vedere raggruppamenti di spettri, a destra. E per la maggior parte, questo è ... voglio solo sottolineare questo, |
| |
siamo in grado di spiegare la maggior parte della variazione che stiamo vedendo, almeno fino all'85% della variazione con due componenti principali, ok. E questo sta usando questo ??? T al quadrato |
| |
informazioni che abbiamo qui. E questo ci dice anche dove le cose potrebbero essere fuori controllo per un dato spettro, giusto. Perché è diverso dal resto del gruppo? |
| |
Quindi, se passo il mouse su uno di questi punti, posso estrarlo, giusto. Se passo il mouse su uno dei punti fuori controllo, di nuovo, lo tolgo, |
| |
e ora possiamo vedere, wow, quelli sono davvero diversi, sai. C'è qualcosa di diverso in questi spettri che dobbiamo, sai, forse capire meglio. In questo caso, abbiamo già una migliore comprensione, perché sappiamo che sono miscele, ma vogliamo vederlo. |
| |
E tiriamo fuori anche questo. Va bene, quindi questo è di nuovo un altro. Quindi tra questi tre spettri, abbiamo una bella varietà di, sai, la miscela. Quindi abbiamo tre dei ... tre gruppi e potremmo inserire anche gli altri due, solo per vedere. Ma per ora lasceremo le cose a questo punto. |
| |
Ok, quindi questo è il grafico di controllo multivariato basato sul modello. L'altro strumento che mi piace usare è ... è sotto metodi multivariati e si chiama ridimensionamento multidimensionale. |
| |
E il motivo per cui mi piace usarlo è, specialmente per sistemi come questo, |
| |
è quello che abbiamo |
| |
di nuovo i nostri dati grezzi, giusto, e dobbiamo ... |
| |
fammi impostare questo prima e te lo dirò. |
| |
Abbiamo due dimensioni qui, giusto, e si basa solo su ciò che abbiamo visto prima, ma il motivo per cui mi piace usare è che questo ci consente di raggruppare o visualizzare alcuni raggruppamenti dei dati stessi. Tutto a posto, |
| |
facciamolo. Questo richiede un secondo per venire fuori. |
| |
E possiamo vedere che abbiamo cinque gruppi distinti di spettri, giusto, quindi ognuno di questi ha a che fare con un gruppo della nostra miscela di amido e glutine. Se metto in evidenza questo raggruppamento proprio qui, quello è il primo gruppo, che è tutto, sai, amido al 100%. |
| |
Il gruppo centrale è una miscela 50/50 e questo gruppo qui sotto è al 100% di glutine. Bene, quindi quello che fa è anche evidenziare i dati nella tabella dei dati, proprio come mostrato lì, quindi |
| |
anche l'interattività è piacevole. Ciò che questo ci mostra anche è che stiamo già facendo un buon lavoro di già ... di essere già in grado di scoprire quali sono i diversi gruppi. Se guardiamo il diagramma di Shepard, |
| |
abbiamo R quadrato di 1 e |
| |
linea retta, va bene. Quindi di nuovo, un buon modo per visualizzarlo, e c'è di più che puoi fare con questo, ma lo lasceremo per un'altra volta. |
| |
Va bene finora, |
| |
abbiamo introdotto i dati, li abbiamo visualizzati, giusto, e ora dobbiamo fare un po 'di elaborazione preliminare. |
| |
E quello che faremo, ho questi, più o meno, qui i segnaposto, quindi faremo alcune analisi Savitzky-Golay e faremo un po 'di varite normale standard, almeno sul primo derivato, va bene. |
| |
Va bene, quindi fammi pulire un po '. |
| |
Bene, chiudilo. |
| |
E di nuovo prenderemo quei dati grezzi e useremo quel componente aggiuntivo Savitzky-Golay per fare l'analisi. Quindi questo è sotto i componenti aggiuntivi per me. |
| |
E questo è un componente aggiuntivo gratuito, quindi puoi ottenerlo e lo pubblicheremo per te. Quindi questo è di nuovo, prenderemo i dati grezzi, |
| |
giusto, e se vuoi saperne di più su cosa sia Savitzky-Golay, abbiamo un collegamento a Wikipedia qui in modo che tu possa usarlo. Ma lo useremo per aiutare a lisciare i dati a ogni lunghezza d'onda, giusto, e poi prendere quella prima e seconda derivata. E io dico, va bene. |
| |
Ed eccoci qui, e abbiamo i nostri dati fluidi qui. |
| |
E una cosa, sai, puoi regolarla secondo necessità, ma quello che vogliamo fare è prendere questo, |
| |
allargare un po 'quella finestra. |
| |
Alrigh. |
| |
Fallo. |
| |
E puoi giocare con i polinomi qui, l'ordine di adattamento polinomiale. |
| |
In questo caso, non fa davvero molta differenza andare a, cosa, un polinomio di ottavo ordine. Un secondo ... il secondo ordine va benissimo. Va bene, quindi possiamo prendere quei dati dalla nostra prima derivata. |
| |
Dì salva dati fluidi, giusto, e possiamo salvarli di nuovo nella tabella dei dati. E l'ho già fatto, quindi non devo mostrarti quel processo, ma sappi solo che i dati vengono poi riportati alla tabella dei dati da lì, okay. |
| |
Chiudiamo questo. |
| |
Va bene, e ora siamo a posto, ma ora dobbiamo fare l'ultimo passaggio, giusto. Quindi diamo un'occhiata a ... prima di andarci, torniamo indietro e guardiamo |
| |
i nostri dati Savitzky-Golay. Quindi questo è il primo dato derivato. Vorrei di nuovo guardare questo sotto |
| |
Generatore di grafici, giusto. E vedi che ... non sembra molto promettente lì, ma facciamo una trama parallela, |
| |
lo rende un po 'migliore. E puliscilo e poi facciamo questa unione parallela di scale combinate, e questo porta i dati in molto di più |
| |
visuale ... una visuale migliore di quella che avevamo prima, giusto. Possiamo suonare il ... giocare con quello e di nuovo potremmo aggiungere la nostra linea dello zero qui per avere una migliore comprensione di dove si incrociano i picchi. |
| |
Ma questi sono i primi dati derivati. È ... puoi vedere i gruppi, ma non sono, sai, non sono completamente separati come ti piacerebbe davvero averli per avere un'idea migliore, okay. |
| |
Quindi siamo lì. Quei dati sono tornati nella tabella dei dati. Lo chiuderò, e poi ricorderò che ho detto, devi impilare i dati per ... per fare la variazione normale standard, quindi dobbiamo farlo. Esaminiamo prima alcuni dati qui. |
| |
Va bene, quindi |
| |
sottoinsieme tutti questi fuori. |
| |
Tabelle. Sottoinsieme. |
| |
Tutte le righe. Colonne selezionate e dì okay. Va bene, quindi ora siamo a posto per andare lì. |
| |
Giusto. |
| |
Beh, almeno, noi siamo ... abbiamo i dati separati, giusto. Ora dobbiamo fare ... impilare i dati, giusto. E ancora, questo è per poter mettere il filtro a tutti i dati di cui abbiamo bisogno per la formula. |
| |
Quindi sotto le tabelle. Pila. |
| |
E queste sono le nostre colonne che stiamo impilando. |
| |
A destra, e impila per riga. |
| |
Selezionerò le colonne che vogliamo mantenere. |
| |
In cima a quello. E dopo, |
| |
Mi dispiace ... Sto solo facendo clic in giro solo per ottenere questa configurazione, ma avrai l'idea. Lascio questo per un secondo alla gente per vedere cosa ci vuole per arrivarci. Quindi l'ho salvato. |
| |
Sai, ora vedi il 12 senza titolo. Questi sono i nostri dati impilati, giusto, e ora possiamo eseguire quella variazione normale standard. Un modo rapido per farlo è creare una nuova colonna, |
| |
fare clic con il tasto destro. |
| |
E devo costruire questa formula da qui, dall'editor delle formule. Userò questo strumento statistico chiamato |
| |
colonna standardizzare, a destra. E se passo il mouse su questo, qui, questo ti dà un'idea di cosa stai facendo con quello. Cosa significa standardizzato, giusto. Quindi stiamo andando a ... |
| |
una media di 0 e una deviazione standard di 1, quindi è quello che stiamo cercando di ottenere con i dati e rispetto a tutti gli spettri dati. Quindi dobbiamo prendere i dati |
| |
qui e poi, ricorda che ho detto che dovevamo aggiungere quella bivariabile, che in questo caso saranno gli spettri. Dirò okay. |
| |
Va bene, e questo ci fornisce un set di dati. Ora c'è un modo più semplice per farlo, o quello che penso sia un modo più semplice, ma può anche essere ... |
| |
a volte è un po 'più dispendioso in termini di tempo. Ma se faccio clic con il pulsante destro del mouse sugli spettri proprio qui, e di nuovo, ricorda che lo sto facendo perché abbiamo bisogno di una bivariabile. Quindi vado a nuove informazioni sulla colonna e creo quel gruppo da. |
| |
E prenderò la mia colonna di dati e farò clic con il pulsante destro del mouse su di essa e creerò una nuova colonna formula. |
| |
Passeremo al distributivo e ricorderemo, standardizzato. Siamo ... quindi lo vogliamo |
| |
media di 0; deviazione standard di 1. Seleziona quello e poi quello costruisce quella nuova colonna. La cosa bella di questo è che i dati corrispondono, quindi posso tirare un sospiro di sollievo per aver capito bene. |
| |
Bene, quindi ce l'ho. Ora, questo richiederebbe da qui, farò clic su quella colonna, |
| |
che prendiamo questi dati, li dividiamo e quindi li rimettiamo nella normale tabella dei dati o nella tabella dei dati iniziale. Una cosa che voglio mostrarti con questo è che |
| |
una volta che hai impilato i dati, puoi fare altre visualizzazioni, giusto. Quindi, se vado a ... torna al generatore di grafici a destra, voglio prendere questi dati |
| |
dentro |
| |
Sì, e poi ritirerò l'etichetta, e questo è un bel modo per vedere dove si trovano tutte le variazioni. Quindi questi sono tutti |
| |
sai, box plot per dove ... stai vedendo la variazione nei dati, quindi questo è solo un modo davvero carino per essere in grado di visualizzare cosa sta succedendo. |
| |
Un altro modo potente di utilizzare il generatore di grafici e in questo caso i dati devono essere impilati per farlo. Ora, quello che puoi fare anche tu è |
| |
se inserisci i dati del punto, togliamolo, mettici lì i dati del punto e poi potremmo fare un po 'di smussatura. Questo è un individuo regolare, quindi è una media ... per ogni ... per tutti i dati. Quello che vorremmo fare è farlo |
| |
Savitzky-Golay sta levigando, quindi devo intervenire |
| |
la sovrapposizione, a destra. Quindi sono tutti i dati. Ora sarà difficile da vedere, ma lo farò, spero che tu possa vederlo, se seleziono sotto più liscia, passeremo a Savitzky-Golay. |
| |
Giusto, e penso che tu ... si spera, hai visto che quello ora si adatta a quella linea, quella linea levigante proprio lì. |
| |
Questo è un altro modo per smussare i dati, giusto, usando Savitzky-Golay. E poi puoi cambiarlo in un quadratico, puoi fare un po 'di taglio locale qui, e poi, alla fine, puoi salvarlo di nuovo nella tabella dei dati. |
| |
Per ora lascio le cose a questo. |
| |
Giusto e ricorda, abbiamo dovuto dividere questi dati, salvarli di nuovo nella tabella dei dati. Rinuncerò al passaggio di divisione e poi tornerò ai dati ... la tabella dei dati originale. |
| |
Non ne ho bisogno. |
| |
Giusto e poi quando io |
| |
guarda di nuovo i dati in Graph Builder, |
| |
Potrei prendere questo gruppo di variazione normale standard, |
| |
inseriscilo. Di nuovo, non sembra molto promettente, ma faremo la trama parallela e poi faremo clic con il pulsante destro del mouse. |
| |
Combina quelle scale. |
| |
E questo è fondamentalmente il nostro levigare finito, va bene. Quindi abbiamo tutto pronto. Ancora una volta potremmo aggiungere una linea zero qui, |
| |
se necessario. Andiamo avanti e aggiungiamolo. |
| |
Zero e lo renderemo una sorta di verde, |
| |
c'è quello, aggiungilo. |
| |
Dì Ok, e poi di nuovo, lo useresti per aiutarti a capire dove sono i tuoi picchi. |
| |
Sulla base del picco massimo quando ho attraversato quel punto zero, okay. |
| |
Quindi più o meno, questo è tutto. Torniamo al nostro |
| |
Presa della corrente. |
| |
Quindi, in conclusione, pre-elaborazione ... dovevamo pre-elaborare i dati ... pre-elaborare i dati per renderli più puliti, per ottenerli, sai, molto più facili da lavorare. |
| |
Dove anche con JMP ... |
| |
JMP sta facendo questo ... |
| |
stiamo lavorando per rendere questo processo molto più semplice. La pre-elaborazione in JMP 16 sarà supportata da componenti aggiuntivi e funzionalità integrate. |
| |
Attendiamo con impazienza JMP 17 in cui pre-elaborazione, cosa verrà offerto in Functional Data Explorer con opzioni di livellamento spettrale e della linea di base molto più sofisticate, insieme ad alcuni picchi di rilevamento e selezione. |
| |
Per analizzare i dati spettrali, per favore, lì ... c'è stato un discorso che ho fatto nel 2020 per la Discovery |
| |
Monaco. È stato un discorso virtuale, ma questo ti darà una buona idea di come utilizzare JMP per analizzare i tuoi dati spettrali. |
| |
E con questo, vi ringrazierò e, si spera, l'avete trovato tutti ... lo trovo utile. Per favore mi faccia sapere. |
