Altoparlante
|
Trascrizione
|
| Jeremy Ash, JMP |
Ciao e grazie per essere venuto alla nostra chiacchierata. Sono Jeremy Ash. Sono uno statistico del dipartimento di ricerca e sviluppo di JMP e Bill Worley è qui. È un ingegnere di sistema senior. Parleremo dell'analisi dei dati della spettroscopia IR in JMP. |
| |
Quindi questo non è il primo discorso che viene fatto su questo argomento. Bill ha diversi discorsi correlati che puoi trovare nella Community. |
| |
Ho collegamenti ad un paio di questi qui, che sono su materiale gratuito e |
| |
Bill terrà un discorso su FDE e DOE per modellare in modo efficiente modelli di calibrazione multivariata con meno esperimenti e tratterà anche la preelaborazione degli spettri in modo più dettagliato |
| |
a Discovery Europe all'inizio di quest'anno. E poi Bill e io abbiamo scritto una serie di blog su questo argomento, ed è su Communit. Ecco gli argomenti trattati finora e abbiamo creato un componente aggiuntivo JMP, di cui dimostrerò l'utilizzo in seguito. |
| |
Quindi un caso d'uso comune della spettroscopia IR vicino è determinare la composizione chimica di una miscela e sto mostrando un esempio di spettri IR vicino sulla destra. |
| |
E una certa misura di assorbanza viene raccolta su una gamma di lunghezze d'onda, e gli spettri qui rappresentano un campione di cereali in polvere, che è una miscela di diversi componenti chimici sottostanti. |
| |
E gli spettri per i componenti puri sono in basso, e gli spettri per la miscela sono in alto. E a causa di fenomeni simili |
| |
sovratoni e bande combinate, i picchi dei singoli componenti sono spesso ampi e sovrapposti e ciò rende difficile la deconvoluzione degli spettri nei componenti sottostanti. |
| |
Quindi, invece, la strada che le persone seguono è quella di costruire modelli che prevedano la composizione in funzione dell'assorbanza a molte lunghezze d'onda, e questo rende i dati altamente dimensionali e le variabili sono spesso altamente correlate. |
| |
Quindi una delle principali sfide da superare quando si analizzano gli spettri IR vicino è che il rapporto segnale/rumore è spesso basso e ciò è dovuto a variazioni incontrollate |
| |
causato da effetti di diffusione della luce. E questi devono essere ripuliti prima che si possa costruire un modello affidabile. Pertanto i dati sono spesso soggetti ad alcune importanti trasformazioni di preelaborazione e esistono diverse fonti comuni di rumore, illustrate qui a destra. |
| |
Gli spettri reali sono mostrati in nero e poi gli spettri in verde presentano uno spostamento costante della linea di base o un effetto additivo. |
| |
E poi gli spettri in blu hanno un effetto additivo e moltiplicativo. Gli effetti moltiplicativi si verificano quando la distorsione è maggiore con assorbanze maggiori e quindi gli spettri viola hanno un effetto additivo, un effetto moltiplicativo e uno spostamento della pendenza rispetto alla linea di base. |
| |
Successivamente mostrerò alcuni metodi di preelaborazione per eliminare queste fonti di rumore. Tutti questi sono discussi in modo più dettagliato nei post del nostro blog, ma ne mostrerò diversi nella demo e la derivata prima di Savitzky-Golay eliminerà gli effetti additivi. |
| |
E poi un secondo filtro derivato ripulirà anche gli spostamenti inclinati della linea di base. E questi sono metodi comunemente usati ed efficaci, ma il problema è che la trasformazione è molto più difficile da interpretare rispetto allo spettro originale. |
| |
Quindi gli altri metodi di preelaborazione che menzionerò fanno un lavoro migliore nel mantenere questa interpretabilità. IL |
| |
centri e scale variabili normali standard, in modo che vi sia una media zero nella varianza unitaria lungo ciascuno spettro, e questa è una normalizzazione semplice ma è efficace nel ripulire sia gli effetti additivi che quelli moltiplicativi. |
| |
E poi la correzione della dispersione moltiplicativa, che utilizza un modello lineare per far sembrare ogni spettro come uno spettro di riferimento e spesso non è disponibile alcun riferimento, quindi vengono utilizzati invece gli spettri medi. |
| |
E poi la correzione della dispersione moltiplicativa estesa è l'unico metodo che pulirà tutte e tre le fonti di rumore e questo è un metodo più avanzato che richiede spettri di riferimento per ciascun componente in una miscela. |
| |
E vedremo come funzionerà più avanti. |
| |
E poiché i dati sono altamente dimensionali e le variabili sono altamente correlate, sono applicabili molti metodi multivariati. Tutte le analisi elencate possono essere condotte in JMP. |
| |
I metodi di riduzione della dimensionalità sono essenziali per visualizzare i dati. I metodi comuni sono l'analisi delle componenti principali o il ridimensionamento multidimensionale. |
| |
E quindi i componenti principali funzionali nell'esploratore dati funzionali sono un metodo particolarmente utile in questo caso. |
| |
E JMP è unico tra i software disponibili per l'analisi spettrale e dispone di una piattaforma di analisi dei dati funzionale e facile da usare. E poiché gli spettri hanno una forma funzionale, la FDE ha molti potenziali usi per gli spettri. |
| |
E stiamo appena iniziando a esplorare queste capacità. E poi il clustering è comune. Il clustering gerarchico in JMP è particolarmente utile. |
| |
E poi di solito viene condotta l'analisi dei valori anomali, |
| |
e per fare ciò creare prima un modello PCA o PLS e quindi identificare i valori anomali nei grafici T al quadrato e DModX. |
| |
E tutto questo può essere fatto nella piattaforma di grafici di controllo multivariato basata su modello. E poi i modelli predittivi che prevedono la composizione chimica in funzione degli spettri, questi sono chiamati modelli di calibrazione multivariata, e questi modelli gestiscono casi in cui ci sono più variabili che osservazioni. |
| |
E questo può essere fatto bene con PLS o la regressione penalizzata in GenReg o anche con l'esploratore di dati funzionali. |
| |
Ok, passerò a JMP e avvierò la mia demo. |
| |
Per prima cosa mostrerò come leggere i dati spettrali utilizzando il componente aggiuntivo degli strumenti spettrali. |
| |
Per i file delimitati da testo, il componente aggiuntivo che forniamo è solo un wrapper per l'importatore di file multipli, che è qui. |
| |
Ma il componente aggiuntivo presenta alcune delle funzionalità più utili. E poi abbiamo anche un importatore JCAMP-DX, che è una novità per JMP. E in generale, |
| |
la maggior parte di queste operazioni può già essere eseguita in JMP, ma il mio obiettivo era scrivere alcuni wrapper che semplificassero un po' il flusso di lavoro per gli spettri. E dovrei anche notare che questo sarà migliorato in JMP 17, quindi spero che questo componente aggiuntivo diventi presto obsoleto, ma |
| |
questo potrebbe essere utile in futuro, se stai costruendo modelli spettrali. |
| |
Quindi ho un |
| |
cartella con file CSV, un file per spettri e in questi file la prima colonna è la variabile X e la seconda colonna è la variabile Y. Importerò quindi questa directory in JMP. |
| |
Seleziona quella cartella. |
| |
E voglio leggere in formato in pila perché è il formato utilizzato dal componente aggiuntivo. |
| |
E poi ho un'intestazione in quei file; Selezionerò questa opzione. E posso anche usarlo per selezionare solo file CSV. |
| |
Quindi questo si legge negli spettri in un formato impilato. |
| |
E ho anche alcuni metadati in una tabella JMP qui |
| |
che voglio aggiungere a questa tabella dati. E il modo in cui lo farò è con un join sulla colonna degli spettri. |
| |
Ma ho letto i nomi dei file con l'estensione del file, quindi usa il testo nelle colonne qui |
| |
togli quelle estensioni. |
| |
Sto dando a questo un nome di file più informativo. |
| |
E utilizzerò un aggiornamento della tabella e abbinerò le colonne degli spettri. |
| |
E poi l'ultima cosa che mostrerò è... |
| |
oppure sposterò qui questa colonna dello spettro. |
| |
Ok, ecco come ho impostato questa tabella dati |
| |
e lo ho aggiunto ai dati di esempio nel componente aggiuntivo. |
| |
Quindi darò una prima occhiata ai dati e per farlo utilizzerò il comando Launch Graph Builder nel componente aggiuntivo. |
| |
Colorerò con il glutine. |
| |
E qui a sinistra, lo strumento spettrale imposta alcuni filtri di dati locali che hanno alcuni controlli utili, così puoi filtrare in base alla lunghezza d'onda per concentrarti solo sulle regioni di interesse. Quindi, se volessi concentrarmi solo su questo picco qui e |
| |
se ho tutte le colonne selezionate nella tabella dati, posso utilizzare il comando show subset e creerò semplicemente un sottoinsieme con quella regione di interesse. |
| |
Posso anche tracciare i singoli spettri qui con questo filtro e |
| |
è utile cercare gli spettri per tracciare solo i sottoinsiemi. |
| |
E l'ultima cosa che mostrerò sono i controlli dell'animazione, |
| |
ma per fare questo bloccherò gli assi, altrimenti si adatteranno ai singoli spettri. |
| |
Ecco...accelererò un po' il tutto, così potremo esaminarli molto velocemente. |
| |
E questa funzionalità è particolarmente utile se si hanno spettri raccolti in momenti diversi, come nel monitoraggio delle reazioni. |
| |
E puoi anche utilizzare i nostri grafici a dispersione 3D nel grafico per visualizzare tali dati. |
| |
Ok, quindi lo farò |
| |
chiarisci questo |
| |
filtro. |
| |
Una cosa da ricordare quando hai |
| |
la trama impostata nel modo desiderato, puoi salvarla |
| |
script nella tabella dati, in modo da poter ricreare il grafico in un secondo momento se si desidera scambiare nuovi dati, ad esempio dopo aver eseguito la preelaborazione. |
| |
L'altra cosa che volevo mostrare era la visualizzazione della variabilità e alcuni grafici diagnostici. Per fare ciò, rimuoverò le variabili di raggruppamento |
| |
e questo mi darà un riepilogo degli spettri in generale. E posso usare i box plot. Questi sono |
| |
utili per avere un'idea se la variazione è costante tra le lunghezze d'onda, sono specifici per determinate lunghezze d'onda. Se è costante, indica la necessità di un'ulteriore preelaborazione, ma se è specifico per le lunghezze d'onda, si tratta spesso di effetti chimici reali, quindi sono utili. |
| |
E poi un altro modo per visualizzare la variabilità è con |
| |
trame a barra. Mi piace utilizzare i grafici a barre mobili e quindi puoi anche aggiungere variabili di raggruppamento se desideri esaminare la variabilità in diversi sottogruppi. |
| |
E quindi questo è tutto ciò che mostrerò con la visualizzazione. E l'altra cosa che volevo menzionare è come leggere i file JCAMP-DX. |
| |
Quindi ho una directory |
| |
Quello |
| |
contiene due file JCAMP-DX provenienti dal sito Web standard JCAMP-DX. Non ero a mio agio |
| |
condividere i file che utilizziamo per testare il componente aggiuntivo, perché provengono dai clienti. Quindi ho preso un file di prova da quel sito e l'ho duplicato due volte per mostrare come possiamo leggerlo |
| |
più file. E supportiamo solo il formato più comune, ovvero file con un elenco di variabili X/Y senza compressione e supportiamo solo uno spettro per file. E credo che questo sia il formato più comune, ma se hai bisogno di qualcos'altro, faccelo sapere. |
| |
Quindi lo leggerò con... |
| |
qui, con le opzioni predefinite. |
| |
E solo per dimostrartelo |
| |
questo è stato letto correttamente, |
| |
traccialo nel Costruttore di grafici. |
| |
Questo mostra gli stessi spettri, in realtà sono spettri NMR, ma questo è anche un formato comune per lo spettro NIR. |
| |
Quindi questo è tutto ciò che mostrerò |
| |
con importazione dati. |
| |
Successivamente mostrerò alcuni dei semplici metodi di preelaborazione presenti negli strumenti spettrali. L'intento era quello di fornire alcune pre-elaborazione di base che consentissero agli utenti di iniziare con alcuni semplici modelli di calibrazione con qualcosa come PLS |
| |
in modo da poter ottenere feedback sul flusso di lavoro, ma prevediamo una suite più completa di metodi di preelaborazione in FDE in JMP 17, che sarà solo Pro ma incoraggiamo gli utenti a utilizzare FDE poiché quella piattaforma è davvero specializzata nella modellazione di dati funzionali come gli spettri. |
| |
Quindi per prima cosa lo mostrerò |
| |
Levigatura di Savitzky-Golay. |
| |
E puoi cambiare il grado del polinomio usato qui. È possibile modificare la dimensione della finestra scorrevole; le dimensioni maggiori vengono levigate in modo più aggressivo. E poi il rivestimento qui eliminerà le finestre scorrevoli sbilanciate. |
| |
E Savitzky-Golay è in realtà un caso speciale di regressione del kernel locale, quindi potresti provare le altre opzioni per questo |
| |
nel Costruttore di grafici, come diversi modi di definire la finestra scorrevole e diverse funzioni di ponderazione. E una volta scelti i parametri desiderati, puoi salvare gli spettri nella tabella. |
| |
Quindi ora mostrerò la variazione normale standard a cui è applicata |
| |
gli spettri uniformi. |
| |
E |
| |
questo si limita a centrare e ridimensionare individualmente ciascuno spettro e puoi farlo anche con una formula di colonna. Bill lo mostrerà nel suo discorso sulla pre-elaborazione. |
| |
Quindi ora visualizzerò il prima e il dopo |
| |
usando questo. Avvia il Costruttore di grafici. |
| |
Colore tramite glutine. |
| |
Puoi vedere solo con questi semplici metodi di preelaborazione, abbiamo fatto molto per ripulire il rumore negli spettri. C'è ancora un po' di rumore nei sottogruppi. |
| |
E poi Bill ha mostrato nel suo discorso precedente come è possibile ripulire ulteriormente i dati se si utilizza un filtro della derivata prima di Savitzky-Golay. E questo è in un altro componente aggiuntivo che abbiamo provato nel post del blog, ma non ne parlerò qui. |
| |
La cosa principale da sapere, Bill lo mostrerà, è che prima si esegue un filtro della derivata prima e poi una variabile normale standard ripulirà eventuali effetti moltiplicativi rimanenti. |
| |
Quindi si scopre che puoi fare ancora meglio |
| |
preelaborare questi spettri utilizzando qualcosa chiamato correzione della dispersione moltiplicativa estesa. |
| |
Quindi ho questa configurazione qui. |
| |
Quindi questi dati sono stati in realtà presi da un documento che ha introdotto la correzione estesa della dispersione moltiplicativa (da qui in poi chiameremo semplicemente EMSC) e |
| |
per mostrare i vantaggi di questo metodo di preelaborazione, utilizzerò un grafico degli effetti di dispersione. Ma per fare ciò, devo calcolare l'assorbanza media per ciascuna lunghezza d'onda. |
| |
E posso farlo con una formula di colonna qui. |
| |
E poi lo traccerò nel Costruttore di grafici. |
| |
Quindi il grafico degli effetti di dispersione traccia l'assorbanza media a ciascuna lunghezza d'onda in base alle singole assorbanze e le pendenze sull'asse Y indicano un effetto additivo, mentre |
| |
cambia in |
| |
la pendenza dei singoli spettri appare come un ventaglio in questi grafici e ciò indica un effetto moltiplicativo. E poi gli effetti chimici, cosa interessante, si presentano come cicli in queste trame. |
| |
E quindi c'è chiaramente un grande effetto additivo qui, quindi per ripulirlo, posso usare un primo filtro Savitzky-Golay derivato. Ho quei dati qui. |
| |
Quindi questo ripulisce drasticamente l'effetto additivo, ma c'è ancora qualche ventaglio rimasto in questa trama. Quindi puoi ripulirlo con la variazione normale standard. |
| |
Ma invece, ciò che fa l'EMSC è rimuovere gli effetti additivi e moltiplicativi in un unico passaggio e non richiede una trasformazione derivativa, il che è utile perché renderà gli spettri risultanti più facili da interpretare. |
| |
E essenzialmente ciò che fa l'EMSC è separare la variazione degli spettri dovuta agli effetti chimici e la variazione dovuta al rumore. |
| |
E poi sottrae la variazione dovuta al rumore e lo fa con un modello lineare, quindi ho impostato qui i termini che mi servono per il modello. E |
| |
ne copriamo i dettagli nel blog. Tutto quello che sto per dire è che puoi usare il modello fit |
| |
per adattarsi al modello EMSC, e questo è uno strumento didattico molto utile per capire come viene applicato il modello di preelaborazione in modo che non sia più una scatola nera. E quindi qui nel modello abbiamo un modello separato per ogni spettro e i coefficienti stimati |
| |
vengono utilizzati nella correzione e puoi...puoi anche |
| |
rilanciare questo |
| |
modello con effetti diversi per vedere come questo cambia le cose. |
| |
Quindi ho applicato la correzione finale qui e mostrerò solo il prima e il dopo. |
| |
COSÌ |
| |
gli spettri sono ora notevolmente privi di effetti di dispersione, e l'effetto sugli spettri lo è |
| |
a causa del cambiamento nella composizione della miscela ora è chiaro. Quindi questo è tutto ciò che tratterò, e lo consegnerò a Bill e lui potrà coprire alcuni dei metodi di modellazione. |
| Bill Worley |
Ehi, grazie, Jeremy. |
| |
Cambiamo schermata qui. |
| |
E dovresti vedere la mia tabella dei dati in questo momento. Spero non appena lo clicco. |
| |
Tutti vedono la mia tabella dati? |
| Jeremy Ash, JMP |
SÌ. |
| Bill Worley |
Ok, eccoci qui. Questi sono gli stessi dati che stava usando Jeremy, tranne che in questo caso li abbiamo... li ho nel formato grande. Ti faccio solo sapere che puoi analizzare i dati in entrambi i modi. Alcune persone preferiscono il formato stack, altre preferiscono il formato largo. |
| |
Quindi sappi solo che si può fare. L'unica cosa... la prima cosa che voglio mostrarti è, |
| |
ciò di cui Jeremy parlava prima, è come possiamo guardare i dati nel formato grezzo e poi fare la derivata prima di Savitzky-Golay e poi l'eventuale livellamento standard... standard normale varia. E ancora, sappi solo che questo viene fatto nel grande formato. |
| |
Ok, quindi ti mostro che ciò può essere fatto lì. |
| |
Successivamente, voglio mostrare è |
| |
analisi del componente principale. Questo è abbastanza standard per la maggior parte delle persone che utilizzano o analizzano dati spettrali. |
| |
Quello che... è molto fattibile in JMP. Si tratta, sai, di andare ad analizzare, |
| |
metodi multivariati e componenti principali. Quindi l'ho già fatto. Ho già impostato quello che stiamo mostrando qui è che, per la maggior parte, con due componenti principali, possiamo spiegare tutte le variazioni che stanno accadendo. Se guardiamo questo grafico del punteggio qui, |
| |
puoi vedere che il sottoraggruppamento dei diversi gruppi degli impasti che abbiamo, il glutine e l'amido. |
| |
Abbiamo... |
| |
beh, possiamo semplicemente vedere quel sottogruppo. È ben fatto lì. L'altra cosa che puoi vedere è che Jeremy aveva parlato di dati altamente correlati. |
| |
Lo stiamo mostrando in quest'altra trama dei componenti qui. Possiamo attivare le variabili ma... le etichette ma sarebbe un po' complicato |
| |
guardare. Qui sotto c'è un grafico di analisi dei valori anomali, quindi è un grafico a T quadrato e stiamo utilizzando i due componenti principali dell'analisi. E questo dimostra che, sì, forse abbiamo alcuni spettri che potrebbero essere un po' fuori... |
| |
potrebbero essere valori anomali, ma nella maggior parte dei casi... nella maggior parte dei casi, non avremmo comunque utilizzato tutti i dati; è solo una specie di modo per analizzare i dati, okay. |
| |
Successivamente, voglio mostrare qualcosa chiamato grafico di controllo multivariato basato su modello, e questa è praticamente la stessa cosa che ho fatto con i componenti principali solo in un |
| |
un modo differente. Quindi stiamo esaminando gli stessi due componenti principali |
| |
quassù, e qui abbiamo il raggruppamento dei sottogruppi. E se guardiamo qui in basso abbiamo qualcosa chiamato DModX normalizzato, che è un altro modo di vedere i valori anomali... |
| |
potenziali valori anomali all'interno dei dati. Sappi solo che è lì. L'altra cosa che offrono i grafici di controllo multivariato basati sul modello è un modo per confrontare i dati. |
| |
Quello che ho fatto qui è stato selezionare i campioni 13, 46, 95 e 45 per mostrare quelle differenze tra |
| |
quei quattro spettri, giusto. Quindi ora possiamo vedere che quelli...di questi gruppi sono abbastanza diversi, giusto, gli spettri sono abbastanza diversi. |
| |
L'altro modo in cui puoi fare questo confronto è qui sotto attraverso il grafico del punteggio. Selezionerò la lettera L, che mi darà il mio strumento lazo. |
| |
E lo circonderò meglio che posso, senza prendere nessuno degli altri dati, e lo renderò il gruppo A. E poi quaggiù nel gruppo rosso, quest'ultimo gruppo rosso, |
| |
prendilo e selezionalo. È il mio gruppo B e poi confronta, giusto. E questo ti consente di confrontare nuovamente i dati in modo efficace. |
| |
Mentre lo faccio, posso vedere come, mentre seleziono gli spettri, cosa viene selezionato nei diversi raggruppamenti, giusto, quindi è semplicemente un modo interessante per visualizzare i dati. |
| |
Bene. Vado al successivo. Quindi questi sono dati grezzi, ok. Il passaggio successivo riguarda i dati preelaborati, quindi sono praticamente gli stessi dati che hai visto prima, |
| |
ma ho eseguito la preelaborazione, quindi sono passato dai dati grezzi alla variabile normale standard. E ancora, utilizzando qui i due componenti principali, |
| |
possiamo vedere che i dati sono raggruppati un po'meglio. C'è un po'...molto meno rumore, molte meno variazioni rispetto al grafico a T al quadrato. E giuro che non l'ho fatto apposta, ma dai dati sembra che ora sia un po' più felice, giusto. E' un po' un sorriso. |
| |
Ognuno di questi piccoli raggruppamenti quaggiù è composto da 20 spettri. Se ci passo sopra, posso tracciare gli spettri, estrarli, |
| |
e guardalo, se lo desidero, okay. Posso fare lo stesso raggruppamento che ho visto prima, quindi proviamolo. Evidenzia questo |
| |
e questo rende tutto un po' più semplice, perché non devo fare...usare quello strumento di disegno, perché i dati sono raggruppati un po' meglio, giusto. Nello stesso caso, posso fare quello che facevo prima, evidenziare i dati e poi |
| |
fai i confronti secondo necessità, okay. Quindi questo è l'utilizzo dei componenti principali. C'è un altro modo per eseguire lo stesso tipo di analisi, utilizzando |
| |
minimi quadrati parziali. Si salvano i punteggi X parziali dei minimi quadrati e quindi si utilizzano tali dati per creare da lì il grafico di controllo multivariato basato sul modello. E ancora una volta, sembra davvero pulito. Questi sono i dati preelaborati. Il raggruppamento è davvero carino, quindi possiamo vederlo da lì. |
| |
Possiamo guardare il |
| |
DModX. È ancora un po' rumoroso, ma non così rumoroso come i dati quando guardiamo i dati grezzi con i componenti principali, ok. Quindi torniamo a |
| |
guardando un altro metodo di analisi, e questo sta guardando il clustering gerarchico più alto. Jeremy ne aveva parlato |
| |
inizialmente, e guardando i dati, |
| |
guardando come avviene il clustering. Se analizziamo i dati grezzi, possiamo vedere che ci sono molti cluster più piccoli. |
| |
E i dati effettivi... sembrano essere distribuiti in diversi gruppi. Voglio dire, loro... non sono raggruppati come potresti sperare, giusto. Quindi l'abbiamo preso |
| |
dati preelaborati, abbiamo eseguito la stessa analisi e abbiamo ottenuto davvero un bel raggruppamento. E ognuno di questi è in cinque gruppi, quindi è lì che lo vedete qui. |
| |
Quindi l'amido e il glutine sono separati molto bene qui. Se salvi nuovamente questi dati nella tabella dati tramite la funzionalità di salvataggio dei cluster, |
| |
puoi effettivamente usarlo nella tua modellazione, se lo desideri. Puoi anche salvare la formula per il cluster più vicino e quindi tutti i nuovi dati che riceverai lo saranno |
| |
inserisci il cluster a cui è più vicino. |
| |
Ok, quindi questi sono solo un paio di modi per importare i tuoi dati, guardarli, configurarli per la modellazione e quindi il passo successivo sarebbe passare alla modellazione. E quello che ti mostrerò dopo sono i minimi quadrati parziali, che tipicamente sono o... mi spiace, questa è una regressione generalizzata. |
| |
Quindi questo è un modello di regressione generalizzato che vogliamo mostrare alla gente, giusto e |
| |
questo è |
| |
dove potremmo vedere alcune cose che stavano succedendo. E sembra che un paio di cose siano cambiate in me. |
| |
Voglio afferrare... lì, lì. Sono i miei minimi quadrati parziali, e questo dimostra che ho effettivamente analizzato i dati in un modo che, si spera, |
| |
dammi un buon modello E quello che ho fatto, ti mostrerò semplicemente come farlo. Vai ad analizzare e questa è la versione JMP Pro. Come ho detto, ci sono molte cose che sto mostrando che possono essere fatte in JMP normale. Se utilizzo metodi multivariati, |
| |
minimi quadrati parziali, posso fare la stessa analisi, ma farò la versione JMP Pro, giusto. E selezionerò amido e glutine. |
| |
Selezionerò i miei dati grezzi, li aggiungerò e poi li eseguirò da lì, |
| |
Giusto. E ho inserito la configurazione sbagliata, ma andiamo |
| |
tornare a |
| |
l'analisi che abbiamo impostato qui. E posso mostrarti un paio di cose diverse quaggiù. Ciò è stato fatto con dati preelaborati. |
| |
Giusto, quindi la vestibilità sembra davvero bella e tra poco ti mostrerò un confronto tra quelle vestibilità. COSÌ |
| |
abbiamo i nostri dati dei minimi quadrati parziali per i dati grezzi, la parte... e poi i dati preelaborati. E se voglio confrontarli, |
| |
Posso vedere come funzionano questi modelli, giusto. Quello che vi mostro qui ora è un confronto tra i dati grezzi a sinistra e poi i dati preelaborati a destra, e otteniamo un adattamento molto migliore con i dati preelaborati, quindi questo ci riporta a ciò che Jeremy diceva prima. |
| |
Dobbiamo ripulire questi dati per ottenere i migliori modelli predittivi che possiamo ottenere, si spera, ottenere, ok. |
| |
Un'altra cosa che voglio mostrarti è |
| |
IL... |
| |
vediamo a che punto sono qui. |
| |
Voglio mostrarti l'esploratore di dati funzionali. |
| |
E questo è |
| |
un modo...il modo più nuovo di modellare o, almeno per JMP, il modo più nuovo di modellare i dati degli spettri perché puoi analizzare i dati in modo continuo. |
| |
Va bene, quindi ti mostrerò come farlo. Ma ciò che questo dimostra è che, in questo momento, se guardassi i dati grezzi, possiamo analizzarli con due componenti funzionali principali, |
| |
proprio come abbiamo fatto con l'analisi delle componenti principali, e possiamo ottenere un modello abbastanza decente. L'unica cosa che... noterai, però, è che questo è di più... questo è un metodo di calibrazione multivariato, ma è un metodo multivariato inverso. |
| |
Esaminiamo semplicemente questa analisi. |
| |
Analizzare. |
| |
E poi dobbiamo passare alla modellazione specializzata e andremo all'esplorazione dei dati funzionali. |
| |
Poiché ho i dati in formato ampio, devo utilizzare le righe come funzioni. |
| |
Userò il mio |
| |
amido e glutine come variabili supplementari. Spectra è il mio ID e prenderò i dati grezzi. |
| |
Va bene. |
| |
E ci sono molte cose che puoi fare con i dati ora in Functional Data Explorer, per esempio ripulirli e fare qualche preelaborazione, ma, come ha detto Jeremy, le cose miglioreranno solo in JMP 17. |
| |
Da qui, volevamo creare qualche modello o costruire un modello da questo. Vogliamo inserire tutti i dati, |
| |
quindi andremo ai modelli, PCA funzionali diretti. |
| |
E se guardiamo questo qui, significa che potremmo usare cinque componenti principali funzionali, ma sarebbe quasi uno spreco di sforzi, perché abbiamo... |
| |
con due, stiamo effettivamente adattando tutti i dati, il 100% dei dati, della variazione, giusto. Quindi lo farò scorrere indietro, lo ripulirò un po', e poi mi sposterò di nuovo verso il basso. |
| |
E diamo un'occhiata alla trama del punteggio qui. |
| |
Questo ci mostra i dati, come dati grezzi nei sottogruppi, come abbiamo visto prima, e tutti gli altri grafici dei punteggi. E la cosa bella è che se ci passo sopra, posso far emergere questi singoli spettri |
| |
e confrontali solo visivamente, ok. |
| |
Più in basso qui abbiamo il profiler del componente principale funzionale ed è carino. Possiamo vedere cosa accadrà a |
| |
curve mentre cambiamo le componenti principali funzionali, ma cercando di dire alla gente, sapete, andate a cambiare la componente principale funzionale 2 |
| |
ottenere la curva che desideri non... non andrà bene. Quindi ciò che è stato aggiunto è una funzionalità chiamata analisi DOE funzionale, ok. E con questo puoi |
| |
guarda la capacità di...o come cambiano le curve, in base ai componenti che ho aggiunto, i componenti supplementari, i nostri componenti misti. Lasciami aggiungere una cosa qui e modificherò il lineare. Aggiungo un vincolo. |
| |
E |
| |
cambia questo. |
| |
Va bene, e di' OK. E poi mentre osserviamo i nostri raggruppamenti qui, mentre... mentre scendo nell'amido, il glutine aumenterà, quindi quel vincolo ci permette di guardare |
| |
come si confrontano i diversi raggruppamenti o le miscele e cosa accadrà alle curve quando cambiamo i diversi livelli di amido e glutine, ok. E questo, ancora una volta, è un continuum, quello che abbiamo fatto con i dati è, sai, molto definito |
| |
porzioni di dati, così possiamo avere un'idea di cosa succederà, anche nel corso... anche se le combinazioni non sono esatte come mostravamo nei dati, okay. |
| |
Va bene, questo riguarda i dati grezzi e vediamo se questo è... il mio prossimo passo è... è praticamente la stessa cosa. |
| |
E voglio assicurarmi di avere quello giusto qui. Questo viene fatto con i dati preelaborati, quindi è lo stesso esploratore di dati funzionale, |
| |
usando i dati preelaborati, scusami, e puoi già vedere le differenze. |
| |
E quando arrivano le curve i dati preelaborati, lo facciamo... adattiamo i modelli, otteniamo due componenti principali funzionali. E quello che vogliamo vedere qui è che il |
| |
trama del punteggio. E possiamo vedere ancora come questi raggruppamenti di variabili siano il fatto delle diverse versioni o del diverso |
| |
i raggruppamenti o le miscele di glutine e amido sono raggruppati in modo molto più gradevole qui, va bene. Quindi e poi ancora, puoi tirarne fuori di diversi, quindi è un po 'guardarlo. |
| |
L'ultima cosa di cui voglio mostrare o di cui parlare è guardare qualcosa chiamato regressione generalizzata. |
| |
E se questo accadrà |
| |
gioca bene con me, questo è l'adattamento di regressione generalizzato dei dati grezzi, giusto. E l'ho fatto utilizzando una rete elastica con una convalida incrociata k-fold. |
| |
Ho impostato l'alfa della rete elastica su 0,56 per ottenere... quello che chiamo un adattamento più gradevole alla vista. Ciò che fa è consentire a diversi... o più gruppi di |
| |
lunghezze d'onda da aggiungere all'adattamento del modello. Non limiterà solo l'adattamento generale del modello. |
| |
Se lo facessi, se limitassi quell'elastico, quell'alfa, otterrei un adattamento che assomiglia di più a questo. E ora è un modello molto più piccolo, un modello molto più semplice, ma stai anche ottenendo... potresti perdere alcuni degli additivi o |
| |
effetti additivi che potrebbero aiutarti a ottenere una migliore vestibilità generale. Quindi è una tua scelta, il modello più semplice ti aiuterà a lungo termine, |
| |
se hai bisogno di gruppi diversi, questo ti aiuterà a trovare gruppi diversi se hai una miscela di più componenti, ma sappi solo che si adattano a |
| |
un alfa netto elastico inferiore consentirà a più fattori, più variabili e più lunghezze d'onda di far parte del modello, ok. |
| |
E questo con i dati grezzi. Vediamo se questo mi darà... |
| |
vedremo solo se otteniamo... e poi questo è l'adattamento con il |
| |
dati completamente preelaborati, quindi è praticamente la stessa cosa. |
| |
È solo che stai osservando un risultato complessivo diverso, |
| |
Giusto. Stai guardando un modello diverso, sembra molto diverso. Anche in questo caso si utilizzano le diverse reti elastiche alfa e |
| |
quello che... in definitiva quello che vogliamo fare è semplicemente confrontare queste cose. Se confronto i... |
| |
ancora una volta, confrontando i dati grezzi PLS con i dati preelaborati, si ottiene un adattamento molto migliore. Se guardo la regressione generalizzata rispetto a... quindi questi sono i dati parziali dei minimi quadrati per |
| |
preelaborato, preelaborato utilizzando la regressione generalizzata a un alfa netto elastico più piccolo, quindi all'alfa netto elastico più alto. Stiamo ottenendo buoni risultati ovunque, giusto, quindi non fa male o indagare usando il |
| |
regressione generalizzata in JMP Pro rispetto ai minimi quadrati parziali. In realtà ottieni dei modelli davvero buoni e |
| |
è semplicemente un ottimo modo per analizzare i tuoi dati e costruire modelli predittivi per confronti futuri o quando riceverai dati futuri. |
| |
Con questo ti dirò grazie. Jeremy, grazie mille per la tua parte. E speriamo che questo vi piaccia. Per favore, dacci un feedback. Cerchiamo feedback. Vogliamo sapere cosa pensano le persone di queste nuove funzionalità. |
