Nei nostri due post precedenti sul blog, Jeremy Ash ( @JeremyAshJMP ) e ho mostrato JMP capacità di analisi e visualizzazione spettrale analizzando un popolare set di dati di spettroscopia di Martens et al. 1 Abbiamo mostrato diversi modi per visualizzare i dati spettrali e alcuni passaggi di pre-elaborazione che ci ha permesso di migliorare notevolmente il rapporto segnale/rumore nei dati per ulteriori analisi e modelli.
In questo terzo segmento della serie di blog, mostriamo diversi modi in cui i dati spettrali possono essere modellati in JMP.I minimi quadrati parziali (PLS) sono lo strumento più comune per l'analisi dei dati spettrali e PLS può essere eseguito sia con JMP che JMP Pro . JMP Pro offre anche la regressione penalizzata di Elastic Net, la modellazione della rete neurale e metodi avanzati dell'albero decisionale come Bootstrap Forest.
Le tecniche Bootstrap Forest e Elastic Net consentono di trovare rapidamente e facilmente le lunghezze d'onda più importanti dei singoli composti, nonché le lunghezze d'onda che definiscono i componenti nelle miscele. Queste tecniche di modellazione possono essere utilizzate con dati grezzi o dati elaborati. In questo post, Jeremy e io mostriamo le differenze tra la modellazione dei dati grezzi rispetto ai dati pre-elaborati per mostrare il miglioramento generale della capacità predittiva dopo la pre-elaborazione. A titolo di chiarezza sul confronto complessivo dei metodi, è stata utilizzata la stessa colonna di validazione a due livelli con il 20% dei dati come set di validazione per tutte le analisi.
Metodi di modellazione
Minimi quadrati parziali
I minimi quadrati parziali sono il metodo standard per l'analisi degli spettri. PLS gestisce dati sia ampi che alti ed è particolarmente efficace nella gestione di fattori altamente correlati. Questa capacità fa ben sperare per gli spettri perché i dati spettrali hanno spesso assorbanze altamente correlate, il che fa sì che ogni lunghezza d'onda successiva dipenda dall'unica lunghezza d'onda immediatamente prima di essa. A causa di questa dipendenza, PLS viene spesso utilizzato per analizzare dati spettrali grezzi con risultati molto buoni. Come affermato in precedenza, tuttavia, la pre-elaborazione migliora il modello predittivo risultante abbastanza da giustificare il tempo e gli sforzi necessari per la pre-elaborazione dei dati. Ricorda che i dati del campione sono un gruppo di miscele di glutine e amido e, nel caso di PLS, fa davvero un buon lavoro nello sviluppo di un modello che predice bene i rapporti di glutine e amido con qualsiasi campione futuro.
Il modello PLS è stato costruito con due fattori latenti poiché la precedente analisi delle componenti principali utilizzava due componenti principali. Inoltre, Q 2 non migliora molto al di là di due fattori e l'aggiunta di più fattori rende più difficile l'interpretazione del modello.
Figura 1. Configurazione e output del modello dei minimi quadrati parziali.
Figura 1. Configurazione e output del modello dei minimi quadrati parziali.
Figura 2. Modello dei minimi quadrati parziali con dati grezzi.
Figura 3. Modello dei minimi quadrati parziali con dati preelaborati.
Di seguito è riportato un confronto tra il grafico effettivo per previsione per entrambi i modelli PLS. Quello a sinistra è per i dati grezzi e quello a destra utilizza i dati pre-elaborati. Come puoi vedere, c'è un miglioramento significativo nel modello utilizzando i dati pre-elaborati.
Figura 4. Confronto del modello dei minimi quadrati parziali con dati grezzi e pre-elaborati.
Regressione generalizzata (gen reg)
Le tecniche di regressione generalizzata si trovano in JMP Pro . Gen Reg ti dà almeno due cose che non otterrai dai minimi quadrati ordinari. Uno è che con Gen Reg, i tuoi dati non devono essere distribuiti normalmente. Hai opzioni per molti diversi tipi di distribuzioni. Un'altra differenza è che Gen Reg include la tecnica di regressione penalizzata e gestisce molto bene dati altamente correlati. Gen Reg fornisce Ridge, Lasso e Elastic Net. Elastic Net è un buon compromesso per la modellazione dei dati spettrali perché è possibile regolare la penalità Elastic Net Alpha (ENA) per evitare di sottoadattare un modello rifiutando molti fattori altamente correlati come importanti per il modello. Il valore predefinito di 0,99 ENA è stato utilizzato per creare un modello iniziale. Questo modello sembrava essere piuttosto scarso e potenzialmente inadeguato. Un'opzione avanzata in Gen Reg è stata utilizzata per scansionare l'intervallo di valori alfa per vedere se esisteva un modello migliore. Questa scansione ha fornito un adattamento migliore utilizzando un valore ENA di 0,55. Puoi vedere la differenza nell'adattamento per i due valori ENA nei percorsi della soluzione di seguito.
Figura 5 – Percorsi della soluzione Elastic Net per i dati Raw.
Figura 6 - Statistiche di adattamento per Gen Reg con dati grezzi.
Figura 7 - Percorsi della soluzione Elastic Net per i dati pre-elaborati.
Figura 8 - Statistiche di adattamento per Gen Reg con dati pre-elaborati.
Senza entrare più nel dettaglio, l'adattamento per i dati grezzi ha utilizzato 10 lunghezze d'onda quando l'Elastic Net Alpha (ENA) era 0,99 e 37 lunghezze d'onda quando ENA era 0,55.
I dati pre-elaborati hanno un risultato significativamente diverso. Utilizzando nuovamente Elastic Net, sono state trovate 22 lunghezze d'onda significative utilizzando un ENA di 0,99 e 53 lunghezze d'onda significative utilizzando un ENA di 0,55. Sebbene un numero elevato, 37 e 53 di lunghezze d'onda significative identificate con ENA di 0,55, entrambi i risultati sono inferiori ai modelli PLS con un ampio margine. Il controllo delle statistiche di adattamento per entrambi i set di modelli mostra che i dati pre-elaborati hanno il modello predittivo complessivo migliore. Tuttavia, se utilizzassi solo dati grezzi, saresti comunque in grado di elaborare un modello predittivo ragionevolmente buono.
Figura 9 – Confronto del modello per Gen Reg con dati grezzi e pre-elaborati.
Un confronto tra i modelli PLS ed ELN utilizzando i dati elaborati mostra che i modelli ELN sono solo leggermente migliori sulla base di R 2 . Tuttavia, i modelli ELN sono più semplici e facili da interpretare.
Figura 10 – Confronto tra tecniche di modellazione PLS ed ELN per dati elaborati.
Significa che dovresti usare i modelli Elastic Net per tutte le tue analisi spettrali? Dovresti considerarlo come un candidato valido, ma in realtà dipende dalle piattaforme di modellazione disponibili e se l'interpretabilità del modello è desiderabile oltre alle prestazioni di previsione.
Altre opzioni di modellazione
Modelli di rete neurale
A scopo dimostrativo, puoi anche utilizzare modelli di rete neurale, che in questo caso mostrano accoppiamenti estremamente buoni ma sono modelli molto complessi.
Tuttavia, Prediction Profiler in JMP consente agli utenti di interpretare anche i modelli non lineari più complessi. Il Profiler può essere travolgente quando tutte le lunghezze d'onda vengono utilizzate per la previsione. Per semplificare il modello della rete neurale, è possibile fornire le lunghezze d'onda selezionate con Gen Reg nella finestra di dialogo del modello.
Figura 11 – Confronto degli adattamenti della rete neurale per dati grezzi e preelaborati.
In entrambi i casi, i dati sono stati adattati con uno strato nascosto e tre nodi con una funzione di attivazione della tangente iperbolica utilizzando una colonna di convalida fissa del 20% per la convalida incrociata.
Foresta di Bootstrap
L'utilizzo di un approccio Bootstrap Forest fornisce le lunghezze d'onda più significative per un determinato insieme di spettri. È anche una chiara indicazione del fatto che la pre-elaborazione fornisce un modello molto migliore. La differenza si basa sulla convalida R 2 per ogni set di dati. La convalida R 2 per i dati grezzi è 0,805 e per i dati elaborati la Validazione R 2 è 0,987. I modelli seguenti sono stati adattati utilizzando un 20% fisso dei dati come set di validazione per evitare una selezione casuale del set di validazione.
Figura 12 – Confronto degli adattamenti Bootstrap Forest per dati grezzi e pre-elaborati.
Supporta la regressione vettoriale
La modellazione Support Vector Regression (SVR) è disponibile anche in JMP Pro ed è un'altra valida alternativa per l'analisi dei dati spettrali. SVR è un potente e flessibile algoritmo di apprendimento automatico basato su limiti utilizzato per costruire modelli predittivi per una risposta continua. Nel caso del nostro set di dati, SVR mostra anche un miglioramento significativo durante l'analisi dei dati elaborati.
Figura 13 - Confronto degli adattamenti del modello SVR per i dati grezzi e pre-elaborati.
Ci sono più tecniche di modellazione in JMP e JMP Pro che puoi usare per modellare i dati spettrali, quindi se non ne hai visto uno che vorresti usare o che hai usato, faccelo sapere e ci assicureremo di trattarlo in un futuro post sul blog.
1) " Scattering della luce e assorbimento della luce separati da una correzione moltiplicativa estesa del segnale. Applicazione all'analisi della trasmissione nel vicino infrarosso di miscele di polveri " Chimica analitica 2003 febbraio 1;75(3):394-404
