Altoparlante
|
Trascrizione
|
| Jeremy Ash, JMP |
Ciao e grazie per essere venuto alla nostra chiacchierata. Sono Jeremy Ash. Sono uno statistico nella ricerca e sviluppo di JMP e Bill Worley è qui. È un ingegnere di sistemi senior. Parleremo dell'analisi dei dati della spettroscopia IR vicino in JMP. |
| |
Quindi questo non è il primo discorso che è stato fatto su questo argomento. Bill ha diversi discorsi correlati che puoi trovare sulla Community. |
| |
Ho dei link ad un paio di questi qui, che sono su materiale gratuito e |
| |
Bill sta tenendo un discorso su FDE e DOE per modellare in modo efficiente modelli di calibrazione multivariata con meno esperimenti, e ha anche trattato in modo più dettagliato la preelaborazione degli spettri |
| |
in Discovery Europe all'inizio di quest'anno. E poi Bill ed io abbiamo scritto una serie di blog su questo argomento, ed è su Communit. Di seguito sono riportati gli argomenti trattati finora e abbiamo creato un componente aggiuntivo JMP, di cui dimostrerò l'utilizzo in seguito. |
| |
Quindi un caso d'uso comune della spettroscopia IR vicina è determinare la composizione chimica di una miscela e sto mostrando un esempio di spettri IR vicino a destra. |
| |
E una certa misura dell'assorbanza viene raccolta su una gamma di lunghezze d'onda, e gli spettri qui rappresentano un campione di cereali in polvere, che è una miscela di diversi componenti chimici sottostanti. |
| |
E gli spettri per i componenti puri sono in basso e gli spettri per la miscela sono sopra. E a causa di fenomeni come |
| |
armonici e bande di combinazione, i picchi per i singoli componenti sono spesso ampi e sovrapposti, e ciò rende difficile la deconvoluzione degli spettri nelle componenti sottostanti. |
| |
Quindi, invece, il percorso che le persone prendono è quello di costruire modelli che prevedono la composizione in funzione dell'assorbanza a molte lunghezze d'onda, e questo rende i dati ad alta dimensionalità e le variabili sono spesso altamente correlate. |
| |
Quindi una delle principali sfide da superare quando si analizzano gli spettri IR vicini è che il rapporto segnale/rumore è spesso basso e ciò è dovuto a variazioni incontrollate |
| |
causati da effetti di diffusione della luce. E questi devono essere ripuliti prima di poter costruire un modello affidabile. Quindi i dati sono spesso soggetti ad alcune importanti trasformazioni di pre-elaborazione e ci sono diverse fonti comuni di rumore, che sono illustrate qui a destra. |
| |
Gli spettri veri sono mostrati in nero e quindi gli spettri in verde hanno uno spostamento costante della linea di base o un effetto additivo. |
| |
E poi gli spettri in blu hanno un effetto additivo e un effetto moltiplicativo. Gli effetti moltiplicativi si verificano quando la distorsione è maggiore a maggiori assorbanze e quindi gli spettri viola hanno un effetto additivo, un effetto moltiplicativo e uno spostamento della pendenza verso la linea di base. |
| |
Quindi ora mostrerò alcuni dei metodi di pre-elaborazione per ripulire queste fonti di rumore. Tutti questi sono discussi in modo più dettagliato nei post del nostro blog, ma ne mostrerò diversi nella demo e il primo derivato Savitzky-Golay ripulirà gli effetti additivi. |
| |
E poi un secondo filtro derivato ripulirà anche gli spostamenti inclinati della linea di base. E questi sono metodi comunemente usati ed efficaci, ma il problema è che la trasformazione è molto più difficile da interpretare rispetto allo spettro originale. |
| |
Quindi gli altri metodi di pre-elaborazione che citerò fanno un lavoro migliore nel mantenere questa interpretabilità. Il |
| |
centri e scale di variazione normale standard, in modo che ci sia una media zero nella varianza unitaria lungo ogni spettro, e questa è una semplice normalizzazione ma è efficace nel ripulire gli effetti sia additivi che moltiplicativi. |
| |
E poi la correzione moltiplicativa della dispersione, che utilizza un modello lineare per far sembrare ogni spettro come uno spettro di riferimento e spesso non è disponibile alcun riferimento, quindi vengono utilizzati gli spettri medi. |
| |
E poi la correzione della dispersione moltiplicativa estesa è l'unico metodo che ripulirà tutte e tre le fonti di rumore e questo è un metodo più avanzato che richiede spettri di riferimento per ogni componente in una miscela. |
| |
E vedremo come funziona in seguito. |
| |
E poi poiché i dati sono ad alta dimensionalità e le variabili sono altamente correlate, sono applicabili molti metodi multivariati. Tutte le analisi elencate possono essere condotte in JMP. |
| |
I metodi di riduzione della dimensionalità sono essenziali per visualizzare i dati. I metodi comuni sono l'analisi dei componenti principali o il ridimensionamento multidimensionale. |
| |
E poi i componenti principali funzionali nell'esploratore di dati funzionali sono un metodo particolarmente utile qui. |
| |
E JMP è unico tra i software disponibili per l'analisi spettrale e dispone di una piattaforma di analisi dei dati funzionale di facile utilizzo. E poiché gli spettri hanno una forma funzionale, FDE ha molti potenziali usi per gli spettri. |
| |
E stiamo appena iniziando a esplorare queste capacità. E poi il clustering è comune. Il clustering gerarchico in JMP è particolarmente utile. |
| |
E poi di solito viene condotta un'analisi anomala, |
| |
e per fare ciò, prima costruisci un modello PCA o PLS e poi i valori anomali vengono identificati nei grafici T al quadrato e DModX. |
| |
E tutto questo può essere fatto nella piattaforma della carta di controllo multivariata basata su modello. E poi modelli predittivi che prevedono la composizione chimica in funzione degli spettri, questi sono chiamati modelli di calibrazione multivariata, e questi modelli gestiscono casi in cui ci sono più variabili che osservazioni. |
| |
E questo può essere fatto bene con PLS o regressione penalizzata in GenReg o anche nell'esploratore di dati funzionali. |
| |
Ok, allora passerò a JMP e inizierò la mia demo. |
| |
Per prima cosa mostrerò come leggere i dati spettrali utilizzando il componente aggiuntivo degli strumenti spettrali. |
| |
Per i file delimitati da testo, il componente aggiuntivo che forniamo è solo un wrapper per l'importatore di file multipli, che è qui. |
| |
Ma il componente aggiuntivo presenta alcune delle funzionalità più utili. E poi abbiamo anche un importatore JCAMP-DX, che è qualcosa di nuovo per JMP. E in generale, |
| |
la maggior parte di questo può già essere fatto in JMP, ma il mio obiettivo era scrivere alcuni wrapper che semplificassero un po' il flusso di lavoro per gli spettri. E devo anche notare che questo sarà migliorato in JMP 17, quindi si spera che questo add-in sarà presto obsoleto, ma |
| |
questo potrebbe essere utile nel momento in cui stai costruendo modelli spettrali. |
| |
Quindi ho un |
| |
cartella con file CSV, un file per spettro, e in questi file la prima colonna è la variabile X e la seconda colonna è la variabile Y. Quindi importerò questa directory in JMP. |
| |
Seleziona quella cartella. |
| |
E voglio leggere in formato impilato perché questo è il formato utilizzato dal componente aggiuntivo. |
| |
E poi ho un'intestazione in quei file; Selezionerò quell'opzione. E posso anche usarlo per selezionare solo i file CSV. |
| |
Quindi questo legge gli spettri in un formato impilato. |
| |
E ho anche alcuni metadati in una tabella JMP qui |
| |
che voglio aggiungere a questa tabella di dati. E il modo in cui lo farò è con un join sulla colonna degli spettri. |
| |
Ma ho letto i nomi dei file con estensione file, quindi usa il testo in colonne qui per |
| |
togli quelle estensioni. |
| |
Sto dando a questo un nome di file più informativo. |
| |
E userò un aggiornamento della tabella e abbinerò le colonne degli spettri. |
| |
E poi l'ultima cosa che mostrerò è... |
| |
oppure sposterò questa colonna dello spettro qui. |
| |
Ok, è così che ho impostato questa tabella di dati |
| |
e lo ha aggiunto ai dati di esempio nel componente aggiuntivo. |
| |
Quindi darò una prima occhiata ai dati e per farlo, userò il comando di avvio di Graph Builder nel componente aggiuntivo. |
| |
Ho intenzione di colorare con il glutine. |
| |
E qui a sinistra, lo strumento spettrale imposta alcuni filtri di dati locali che hanno alcuni controlli utili, in modo da poter filtrare in base alla lunghezza d'onda per concentrarsi solo sulle regioni di interesse. Quindi, se volessi concentrarmi solo su questo picco qui e |
| |
se ho tutte le colonne selezionate nella tabella dati, posso usare il comando show subset e questo creerà solo un sottoinsieme con quella regione di interesse. |
| |
Posso anche tracciare i singoli spettri qui con questo filtro e |
| |
è utile cercare gli spettri per tracciare solo i sottoinsiemi. |
| |
E l'ultima cosa che mostrerò sono i controlli di animazione, |
| |
ma per farlo bloccherò gli assi, altrimenti si adatteranno ai singoli spettri. |
| |
Ecco... lo accelererò un po', così possiamo scansionarli molto velocemente. |
| |
E questa funzione è particolarmente utile se hai spettri raccolti in momenti diversi, come nel monitoraggio delle reazioni. |
| |
E puoi anche utilizzare i nostri grafici a dispersione 3D nel grafico per visualizzare quei dati. |
| |
Ok, quindi vado a |
| |
chiarire questo |
| |
filtro. |
| |
Una cosa da ricordare quando hai |
| |
la trama è impostata nel modo desiderato, puoi salvarla |
| |
script torna alla tabella dei dati, in modo da poter ricreare il grafico in un secondo momento se si desidera scambiare nuovi dati, ad esempio dopo aver eseguito la preelaborazione. |
| |
Quindi l'altra cosa che volevo mostrare è visualizzare la variabilità e alcuni grafici diagnostici. Per farlo, rimuoverò le variabili di raggruppamento |
| |
e questo mi darà un riassunto degli spettri complessivi. E posso usare i box plot. Questi sono |
| |
utile per avere un'idea se la variazione è costante attraverso le lunghezze d'onda, sono specifici per determinate lunghezze d'onda. Se è costante, ciò indica la necessità di ulteriori pretrattamenti, ma se è specifico per le lunghezze d'onda, questi sono spesso effetti chimici reali, quindi sono utili. |
| |
E poi un altro modo per visualizzare la variabilità è con |
| |
grafici a barre. Mi piace usare grafici a barre mobili e quindi puoi anche aggiungere variabili di raggruppamento se vuoi esaminare la variabilità in diversi sottogruppi. |
| |
E quindi questo è tutto ciò che mostrerò con la visualizzazione. E l'altra cosa che volevo menzionare è come leggere nei file JCAMP-DX. |
| |
Quindi ho una directory |
| |
Quello |
| |
contiene due file JCAMP-DX che provengono dal sito Web standard JCAMP-DX. non mi sentivo a mio agio |
| |
condivisione di file che usiamo per testare il componente aggiuntivo, perché provengono dai clienti. Quindi ho appena preso un file di prova da quel sito Web e l'ho duplicato due volte per mostrare come possiamo leggere dentro |
| |
più file. E supportiamo solo il formato più comune e cioè i file con un elenco di variabili X/Y senza compressione e supportiamo solo uno spettro per file. E credo che questo sia il formato più comune, ma se hai bisogno di qualcos'altro, faccelo sapere. |
| |
Quindi lo leggerò con... |
| |
qui, con le opzioni predefinite. |
| |
E solo per mostrarti che |
| |
questo è stato letto correttamente, |
| |
traccialo in Graph Builder. |
| |
Questo mostra gli stessi spettri, questi sono in realtà spettri NMR, ma questo è anche un formato comune per lo spettro NIR. |
| |
Quindi questo è tutto quello che mostrerò |
| |
con importazione dati. |
| |
E poi mostrerò alcuni dei semplici metodi di pre-elaborazione che si trovano negli strumenti spettrali. L'intento era quello di fornire alcune pre-elaborazione di base che consentissero agli utenti di iniziare su alcuni semplici modelli di calibrazione con qualcosa come PLS |
| |
in modo da poter ottenere feedback sul flusso di lavoro, ma abbiamo in programma una suite più completa di metodi di pre-elaborazione in FDE in JMP 17, che sarà solo Pro ma, stiamo incoraggiando gli utenti a utilizzare FDE poiché quella piattaforma è davvero specializzata nella modellazione di dati funzionali come spettri. |
| |
Quindi prima vado a mostrare |
| |
Levigatura Savitzky-Golay. |
| |
E puoi cambiare il grado del polinomio che viene usato qui. È possibile modificare le dimensioni della finestra scorrevole; le dimensioni maggiori sono levigate in modo più aggressivo. E poi il trim qui taglierà i finestrini scorrevoli squilibrati. |
| |
E Savitzky-Golay è in realtà un caso speciale di regressione del kernel locale, quindi potresti provare le altre opzioni per questo |
| |
in Graph Builder, come diversi modi di definire la finestra scorrevole e diverse funzioni di ponderazione. E una volta scelti i parametri desiderati, puoi salvare gli spettri nella tabella. |
| |
E quindi ora mostrerò la variazione normale standard applicata a |
| |
gli spettri lisci. |
| |
e |
| |
questo si centra e si ridimensiona individualmente lungo ogni spettro, e puoi farlo anche con una formula di colonna. Bill lo mostrerà nel suo discorso di pre-elaborazione. |
| |
Quindi ora visualizzerò il prima e il dopo |
| |
usando questo. Avvia Generatore di grafici. |
| |
Colore da glutine. |
| |
Puoi vedere con questi semplici metodi di pre-elaborazione, abbiamo fatto molto per ripulire il rumore negli spettri. C'è ancora un po' di rumore nei sottogruppi. |
| |
E poi Bill ha mostrato nel suo discorso in precedenza come è possibile ripulire ulteriormente i dati se si utilizza un filtro derivato primo Savitzky-Golay. E questo è in un altro componente aggiuntivo che abbiamo provato nel post del blog, ma non ne parlerò qui. |
| |
La cosa principale da sapere, Bill lo mostrerà, è che prima fai un primo filtro derivato e poi una variazione normale standard ripulirà tutti gli effetti moltiplicativi rimanenti. |
| |
Quindi si scopre che puoi fare ancora meglio |
| |
pre-elaborare questi spettri usando qualcosa chiamato correzione di dispersione moltiplicativa estesa. |
| |
Quindi ho quella configurazione qui. |
| |
Quindi questi dati sono stati effettivamente presi da un articolo che introduceva la correzione della dispersione moltiplicativa estesa (da qui in poi chiamalo EMSC) e |
| |
per mostrare i vantaggi di questo metodo di pre-elaborazione, utilizzerò un grafico degli effetti di dispersione. Ma per fare questo, ho bisogno di calcolare l'assorbanza media a ciascuna lunghezza d'onda. |
| |
E posso farlo con una formula di colonna qui. |
| |
E poi lo traccerò in Graph Builder. |
| |
Quindi il grafico degli effetti di dispersione traccia l'assorbanza media a ciascuna lunghezza d'onda per le singole assorbanze e le pendenze sull'asse Y indicano un effetto additivo, mentre |
| |
cambia in |
| |
la pendenza dei singoli spettri si presenta come un ventaglio in questi grafici e ciò indica un effetto moltiplicativo. E poi gli effetti chimici, curiosamente, si presentano come loop in questi grafici. |
| |
E quindi c'è chiaramente un grande effetto additivo qui, quindi per ripulirlo, posso usare un primo filtro Savitzky-Golay derivato. Ho quei dati qui. |
| |
Quindi questo ripulisce drasticamente l'effetto additivo, ma c'è ancora un po' di ventaglio rimasto in questa trama. Quindi puoi ripulirlo con la variazione normale standard. |
| |
Ma invece, ciò che fa l'EMSC è rimuovere gli effetti additivi e moltiplicativi in un unico passaggio e non richiede una trasformazione derivata, il che è utile perché renderà gli spettri risultanti più facili da interpretare. |
| |
E in sostanza ciò che fa l'EMSC è separare la variazione negli spettri dovuta agli effetti chimici e la variazione dovuta al rumore. |
| |
E poi sottrae la variazione dovuta al rumore e lo fa con un modello lineare, quindi ho impostato i termini di cui ho bisogno per il modello qui. e |
| |
copriamo i dettagli di ciò nel blog. Tutto quello che sto per dire è che puoi usare il modello fit |
| |
per adattarsi al modello EMSC, e questo è uno strumento didattico molto utile per capire come viene applicato il modello di pre-elaborazione in modo che non sia più una scatola nera. E quindi qui nel modello, abbiamo un modello separato per ogni spettro e i coefficienti stimati |
| |
sono usati nella correzione, e puoi...puoi anche |
| |
rilancia questo |
| |
modello con effetti diversi per vedere come cambia le cose. |
| |
Quindi ho applicato la correzione finale qui e mostrerò solo il prima e il dopo. |
| |
Così |
| |
gli spettri sono ora notevolmente privi di effetti di dispersione e l'effetto sugli spettri è |
| |
dovuto al cambiamento nella composizione della miscela è ora chiaro. Quindi questo è tutto ciò che tratterò, e lo consegnerò a Bill e lui può coprire alcuni dei metodi di modellazione. |
| Bill Worley |
Ehi, grazie, Jeremy. |
| |
Cambiamo le schermate qui. |
| |
E dovresti vedere la mia tabella dati circa ora. Spero appena lo clicco. |
| |
Tutti stanno vedendo la mia tabella di dati? |
| Jeremy Ash, JMP |
Sì. |
| Bill Worley |
Ok, allora ci siamo. Questi sono gli stessi dati che stava usando Jeremy, tranne che in questo caso, ce l'abbiamo... Ce l'ho nel formato largo. Ti sto solo informando che puoi analizzare i dati in entrambi i modi. Alcune persone preferiscono il formato stack, altre preferiscono il formato wide. |
| |
Quindi sappi solo che si può fare. L'unica cosa... la prima cosa che voglio mostrarti è, |
| |
quello di cui Jeremy stava parlando prima, è come possiamo guardare i dati nel formato raw e poi fare quella derivata Savitzky-Golay prima e poi l'eventuale standard...standard normal varia smoothing. E ancora, sappi solo che questo viene fatto nel formato ampio. |
| |
Ok, quindi ti mostro che si può fare lì. |
| |
Successivamente, voglio mostrare è |
| |
analisi del componente principale. Questo è abbastanza standard per la maggior parte delle persone che utilizzano o analizzano i dati spettrali. |
| |
Quello che... è molto fattibile in JMP. È, sai, vai ad analizzare, |
| |
metodi multivariati e componenti principali. Quindi l'ho già fatto. Ho già impostato quello che stiamo mostrando qui è che, per la maggior parte, con due componenti principali, possiamo spiegare tutte le variazioni che stanno succedendo. Se osserviamo questo grafico del punteggio qui, |
| |
si vede che il sottoraggruppamento dei diversi gruppi delle miscele che abbiamo, il glutine e l'amido. |
| |
Abbiamo... |
| |
bene, possiamo solo vedere quel sottogruppo. È ben fatto lì. L'altra cosa che puoi vedere è che Jeremy aveva parlato di dati altamente correlati. |
| |
Lo stiamo mostrando in questa trama di altri componenti qui. Possiamo attivare le variabili ma... le etichette sono attive ma sarebbe un po' incasinato |
| |
guardare. Qui sotto c'è un grafico di analisi anomala, quindi è un grafico a T al quadrato e stiamo usando i due componenti principali dell'analisi. E sta dimostrando che, sì, forse abbiamo alcuni degli spettri che potrebbero essere un po' fuori... |
| |
potrebbero essere valori anomali, ma nella maggior parte dei casi... nella maggior parte dei casi, non avremmo comunque utilizzato tutti i dati; è solo una specie di modo per esaminare i dati, ok. |
| |
Successivamente, voglio mostrare qualcosa chiamato grafico di controllo multivariato guidato dal modello, e questa è praticamente la stessa cosa che ho fatto con i componenti principali solo in un |
| |
un modo differente. Quindi stiamo guardando questi stessi due componenti principali |
| |
qui sopra, e qui abbiamo il raggruppamento dei sottogruppi. E se guardiamo qui, abbiamo qualcosa chiamato DModX normalizzato, che è un altro modo di considerare l'outlier... |
| |
potenziali valori anomali all'interno dei tuoi dati. Sappi solo che c'è. L'altra cosa che offre i grafici di controllo multivariati basati su modello è un modo per confrontare i dati. |
| |
Quello che ho fatto qui è, ho selezionato i campioni 13, 46, 95 e 45 per mostrare quelle differenze tra |
| |
quei quattro spettri, giusto. Quindi ora possiamo vedere che quelli... di quei gruppi, sono abbastanza diversi, giusto, gli spettri sono abbastanza diversi. |
| |
L'altro modo in cui puoi fare questo confronto è qui sotto attraverso il grafico del punteggio. Selezionerò la lettera L, che mi darà il mio strumento lazo. |
| |
E lo circonderò nel miglior modo possibile, senza afferrare nessuno degli altri dati, e lo farò diventare il gruppo A. E poi quaggiù nel gruppo rosso, quest'ultimo gruppo rosso, |
| |
prendi quello e seleziona quello. È il mio gruppo B e poi confronta, giusto. E poi questo ti permette di confrontare di nuovo efficacemente i dati. |
| |
Mentre lo sto facendo, posso vedere come, sai, mentre seleziono gli spettri, cosa viene selezionato nei diversi raggruppamenti, giusto, quindi è solo un modo fantastico per visualizzare i dati. |
| |
Tutto a posto. Passerò al prossimo. Quindi questi sono dati grezzi, ok. Il passaggio successivo è con i dati preelaborati, quindi sono praticamente gli stessi dati che hai visto prima, |
| |
ma ho fatto la pre-elaborazione, quindi sono passato dai dati grezzi alla variazione normale standard. E ancora, usando qui le due componenti principali, |
| |
possiamo vedere che i dati sono raggruppati un po' meglio. C'è un po'... molto meno rumore, molta meno variazione rispetto a quel grafico a T al quadrato. E giuro che non l'ho fatto apposta, ma i dati sembrano essere un po' più felici ora, giusto. È un po' un sorriso. |
| |
Ognuno di questi piccoli raggruppamenti quaggiù è di 20 spettri. Se ci passo sopra, posso effettivamente tracciare quegli spettri, far uscire quegli spettri, |
| |
e guarda un po', se così scelgo, ok. Posso fare lo stesso raggruppamento che ho visto prima, quindi proviamoci. Evidenzia questo |
| |
e questo lo rende un po' più semplice, perché non devo fare... usare quello strumento di disegno, perché i dati sono raggruppati un po' meglio, giusto. Nello stesso caso, posso fare quello che ho fatto prima, evidenziare i dati e poi |
| |
fai i confronti se necessario, ok. Quindi questo è l'utilizzo dei componenti principali. C'è un altro modo per fare lo stesso tipo di analisi, usando |
| |
minimi quadrati parziali. Si salvano i punteggi X minimi quadrati parziali e quindi si utilizzano quei dati per creare il grafico di controllo multivariato basato sul modello da lì. E ancora, questo sembra davvero pulito. Questi sono i dati preelaborati. Il raggruppamento è davvero carino, quindi possiamo vederlo da lì. |
| |
Possiamo guardare il |
| |
DModX. È ancora un po' rumoroso, ma non così rumoroso come i dati quando guardiamo i dati grezzi con i componenti principali, ok. Quindi torniamo a |
| |
guardando un altro metodo di analisi, e questo sta guardando il più alto... clustering gerarchico. Jeremy aveva menzionato questo |
| |
inizialmente, e guardando i dati, |
| |
guardando come avviene il raggruppamento. Se eseguiamo i dati grezzi, possiamo vedere che ci sono molti cluster più piccoli. |
| |
E i dati effettivi sono... sembra essere sparsi in diversi gruppi. Voglio dire, loro... non sono raggruppati nel modo in cui potresti sperare, giusto. Quindi l'abbiamo preso |
| |
dati preelaborati, abbiamo fatto la stessa analisi e abbiamo davvero ottenuto un bel raggruppamento. E ognuno di questi è in cinque gruppi, quindi è lì che vedi qui. |
| |
Quindi l'amido e il glutine sono separati davvero bene qui. Se salvi questi dati nella tua tabella dati tramite la funzionalità di salvataggio dei cluster, |
| |
puoi effettivamente usarlo nella tua modellazione, se lo desideri. Puoi anche salvare la formula per il cluster più vicino e quindi tutti i nuovi dati che otterrai saranno |
| |
mettere nel cluster a cui è più vicino. |
| |
Ok, quindi questi sono solo un paio di modi per inserire i tuoi dati, guardarli, configurarli per la modellazione e quindi il passaggio successivo sarebbe passare alla modellazione. E quello che ti mostrerò dopo sono i minimi quadrati parziali, che in genere è o... mi dispiace, questa è regressione generalizzata. |
| |
Quindi questo è un modello di regressione generalizzato che vogliamo mostrare alla gente, giusto, e |
| |
questo è |
| |
dove potremmo vedere alcune cose che stavano succedendo. E sembra che in me siano cambiate un paio di cose. |
| |
Voglio afferrare... là, là. Sono i miei minimi quadrati parziali, e questo dimostra che ho effettivamente analizzato i dati in un modo che si spera |
| |
dammi un buon modello E quello che ho fatto, ti mostrerò solo come farlo. Vai ad analizzare, e questa è la versione di JMP Pro. Come ho detto, ci sono... molte delle cose che ti sto mostrando che possono essere fatte in JMP normale. Se vado a metodi multivariati, |
| |
minimi quadrati parziali, posso fare la stessa analisi, ma farò la versione JMP Pro, giusto. E selezionerò amido e glutine. |
| |
Selezionerò i miei dati grezzi e li aggiungerò e poi li eseguirò da lì, |
| |
Giusto. E ho inserito la configurazione sbagliata, ma andiamo |
| |
torna a |
| |
l'analisi che abbiamo impostato qui. E posso mostrarti un paio di cose diverse quaggiù. Questo è stato fatto con dati preelaborati. |
| |
Giusto, quindi la vestibilità sembra davvero bella e ti mostrerò un confronto di quelle vestibilità tra un po'. Così |
| |
abbiamo i nostri dati minimi quadrati parziali per i dati grezzi, la parte... e poi i dati preelaborati. E se voglio confrontare quelli, |
| |
Posso vedere come funzionano quei modelli, giusto. Quello che sto mostrando qui ora è un confronto tra i dati grezzi a sinistra e poi i dati preelaborati a destra, e otteniamo una corrispondenza molto migliore con i dati preelaborati, quindi questo risale a ciò che Jeremy stava dicendo prima. |
| |
Dobbiamo ripulire questi dati per ottenere i migliori modelli predittivi che possiamo ottenere, si spera, uscire, ok. |
| |
Un'altra cosa che voglio mostrarti è |
| |
il... |
| |
vediamo dove sono qui. |
| |
Voglio mostrarti è l'esploratore di dati funzionali. |
| |
E questo è |
| |
un modo di...il modo più nuovo di modellare o, almeno per JMP, il modo più nuovo di modellare i dati spettri perché è possibile analizzare i dati in modo continuo. |
| |
Va bene, quindi ti mostrerò come farlo. Ma quello che sta mostrando è che, in questo momento, se guardassi solo i dati grezzi, possiamo analizzarli con due componenti principali funzionali, |
| |
proprio come abbiamo fatto con l'analisi dei componenti principali, e possiamo ottenere un modello abbastanza decente. L'unica cosa che farà... noterai che è, però, che questo è più... questo è un metodo di calibrazione multivariato, ma è un metodo multivariato inverso. |
| |
Passiamo solo attraverso questa analisi. |
| |
Analizzare. |
| |
E poi dobbiamo passare alla modellazione specializzata e andremo all'esploratore dati funzionale. |
| |
Poiché ho i dati in formato ampio, devo usare le righe come funzioni. |
| |
Userò il mio |
| |
amido e glutine come variabili supplementari. Spectra è il mio ID e prenderò i dati grezzi. |
| |
Va bene. |
| |
E ci sono molte cose che puoi fare con i dati ora in Functional Data Explorer, per quanto riguarda la pulizia e la preelaborazione, ma questo, come ha detto Jeremy, migliorerà solo in JMP 17. |
| |
Da qui, abbiamo voluto modellare o costruire un modello da questo. Vogliamo adattare tutti i dati, |
| |
quindi andremo ai modelli, PCA funzionale diretto. |
| |
E se guardiamo qui, significa che potremmo usare cinque componenti funzionali principali, ma è quasi uno spreco di energie, perché abbiamo... |
| |
con due, stiamo effettivamente adattando tutti i dati, il 100% dei dati, della variazione, giusto. Quindi lo farò scorrere indietro, lo pulirò un po', e poi mi sposterò di nuovo verso il basso. |
| |
E diamo un'occhiata alla trama del punteggio qui. |
| |
Questo ci mostra i dati, come i dati grezzi nei sottogruppi, come abbiamo visto prima, e tutti gli altri grafici dei punteggi. E la cosa bella di questo è che se ci passo sopra, posso far uscire questi singoli spettri |
| |
e confrontali solo visivamente, ok. |
| |
Più in basso, abbiamo il profiler del componente principale funzionale ed è carino. Possiamo guardare cosa accadrà al |
| |
curve mentre cambiamo i componenti principali funzionali, ma cercando di dire alla gente, sai, vai a cambiare il componente principale funzionale 2 |
| |
ottenere la curva che vuoi non sta andando...non va bene. Quindi è stata aggiunta una funzionalità chiamata analisi funzionale del DOE, ok. E con questo, puoi |
| |
guarda la capacità di... o come cambiano le curve, in base ai componenti che ho aggiunto, i componenti supplementari, i nostri componenti misti. Permettetemi di aggiungere una cosa qui e modificherò il lineare. Aggiungo un vincolo. |
| |
e |
| |
cambia questo. |
| |
Va bene, e dì OK. E poi quando osserviamo i nostri raggruppamenti qui, mentre... mentre scendo nell'amido, quel glutine salirà, quindi quel vincolo ci permette di guardare |
| |
come si confrontano i diversi raggruppamenti o miscele e cosa accadrà alle curve mentre cambiamo i diversi livelli di amido e glutine, ok. E questo, di nuovo, è un continuum, quello che abbiamo fatto nei dati è, sai, molto definito |
| |
porzioni dei dati, così possiamo avere un'idea di cosa accadrà, anche dopo... anche se le miscele non sono esatte come mostravamo nei dati, ok. |
| |
Bene, questo è con i dati grezzi, e vediamo se questo è... il mio prossimo passo è... questa è praticamente la stessa cosa. |
| |
E voglio essere sicuro di avere quello giusto qui. Questo viene fatto con i dati preelaborati, quindi è lo stesso esploratore di dati funzionale, |
| |
usando i dati preelaborati, scusami, e puoi già vedere le differenze. |
| |
E le curve quando arrivano i dati preelaborati, noi lo facciamo... adattiamo i modelli, otteniamo due componenti principali funzionali. E quello che vogliamo guardare qui è che il |
| |
trama del punteggio. E possiamo vedere ancora una volta come quei raggruppamenti delle variabili siano il fatto che le diverse versioni o le diverse |
| |
i raggruppamenti o le miscele di glutine e amido sono raggruppati in modo molto più bello qui, d'accordo. Così e poi di nuovo, puoi tirarne fuori di diversi, quindi è un po' come guardarlo. |
| |
L'ultima cosa che voglio mostrare o parlare è guardare qualcosa chiamato regressione generalizzata. |
| |
E se questo sarà |
| |
gioca bene con me, questa è la regressione generalizzata dei dati grezzi, giusto. E l'ho fatto usando una rete elastica con una convalida incrociata k-fold. |
| |
Ho impostato l'alfa della rete elastica a 0,56 per ottenere un... quello che chiamo un adattamento più piacevole alla vista. Ciò che fa è consentire diversi... o più gruppi di |
| |
lunghezze d'onda da aggiungere all'adattamento del modello. Non limiterà solo la vestibilità complessiva del modello. |
| |
Se lo facessi, se limitassi quell'elastico, quell'alpha, otterrei una vestibilità più simile a questa. E ora è un modello molto più piccolo, un modello molto più semplice, ma stai anche ricevendo... potresti perderti un po' dell'additivo o |
| |
effetti additivi che potrebbero aiutarti a ottenere una migliore vestibilità generale. Quindi è una tua scelta, il modello più semplice ti aiuterà a lungo termine, |
| |
se hai bisogno di gruppi diversi, questo ti aiuterà a trovare gruppi diversi se hai una miscela di più componenti, ma sappi solo che l'adattamento con il |
| |
una rete alfa elastica inferiore consentirà a più fattori e più variabili, più lunghezze d'onda di far parte del modello, ok. |
| |
E questo è con i dati grezzi. Vediamo se questo mi da... |
| |
vedremo solo se otteniamo... e poi questa è la misura con il |
| |
dati completamente preelaborati, quindi è praticamente la stessa cosa. |
| |
È solo che stai guardando un output complessivo diverso, |
| |
Giusto. Stai guardando un modello diverso, sembra molto diverso. Questo è, ancora una volta, usando la diversa rete elastica alfa e |
| |
che cosa... alla fine quello che vogliamo fare è confrontare queste cose. Se confronto il... |
| |
ancora una volta, guardando i dati grezzi PLS rispetto ai dati preelaborati, si ottiene un adattamento molto migliore. Se guardo la regressione generalizzata rispetto a... quindi questo è un dato parziale dei minimi quadrati per |
| |
preelaborato, preelaborato utilizzando la regressione generalizzata a un alfa netto elastico più piccolo e quindi l'alfa netto elastico più alto. Stiamo ottenendo buoni risultati ovunque, giusto, quindi non fa male o indagare usando il |
| |
regressione generalizzata in JMP Pro rispetto ai minimi quadrati parziali. In realtà ottieni dei modelli davvero buoni e |
| |
è solo un ottimo modo per, sai, analizzare i tuoi dati e costruire modelli predittivi per il confronto futuro o quando ricevi dati futuri. |
| |
Con questo, dico grazie. Jeremy, grazie mille per la tua parte. E speriamo che questo vi piaccia. Si prega di darci un feedback. Stiamo cercando feedback. Vogliamo sapere cosa pensano le persone di queste nuove capacità. |
