Creazione di modelli predittivi per dati correlati e ad alta dimensionalità
Il video è stato aggiornato nell'agosto 2024.
La multicollinearità si verifica quando esiste un grado di correlazione così elevato tra variabili apparentemente indipendenti utilizzate per stimare una variabile dipendente, da rendere impossibile determinare il contributo di ciascuna variabile indipendente alla variazione della variabile dipendente. Un'elevata multicollinearità nel set di dati implica che qualsiasi modello costruito sarà quasi certamente sovradattato, a meno che non si utilizzino tecniche per mitigare questo problema. Esistono diverse tecniche di modellazione che possono essere utilizzate per aumentare la probabilità di costruire un buon modello predittivo limitando la multicollinearità. Tra queste, l'analisi delle componenti principali (PCA) e i minimi quadrati parziali (PLS), entrambi disponibili in JMP, e la regressione generalizzata (GDR), disponibile in JMP Pro come opzione di adattamento del modello.
Scopri come:
- Eseguire un'analisi delle componenti principali (PCA) per utilizzare un numero ridotto di componenti per modellare un insieme di dati, limitando la variabilità e mitigando la multicollinearità.
La PCA confronta le variabili tra loro, non con l'output
L'analisi delle componenti principali (PCA) estrae combinazioni lineari delle variabili che aiutano a spiegare la variabilità, quanta più variabili possibile, per ridurre il numero di variabili importanti.
- I migliori set di dati per l'analisi PCA sono alti o larghi e potrebbero essere entrambi
- Non interpreta le variabili come input o output, ma opera in un'unica matrice.
- Estrarre combinazioni lineari di variabili che spieghino la maggior parte possibile della variabilità.
- Tutto inizia con la prima componente principale e l' algoritmo continua finché non viene spiegata il 100% della varianza. Si spera che questo numero sia molto più piccolo del set iniziale di variabili.
- Ogni PC successivo spiega la maggior parte della variazione possibile ed è ortogonale ai vettori di carico precedentemente estratti
- Esaminare e interpretare i grafici riassuntivi e gli autovalori.
- Salva le componenti principali nella tabella dati ed esegui la regressione delle componenti principali utilizzando Grafico > Profiler ( Promemoria: seleziona la casella Espandi valori intermedi)
- Utilizzare il metodo dei minimi quadrati parziali per adattare modelli lineari basati su fattori, ovvero combinazioni lineari delle variabili esplicative (X).
- Questi fattori vengono ottenuti in modo da massimizzare la covarianza tra le variabili X e la risposta o le risposte (Y).
- Il metodo PLS sfrutta le correlazioni tra le variabili X e Y per rivelare le strutture latenti sottostanti.
- Il metodo PLS si dimostra efficace in situazioni in cui l'utilizzo dei minimi quadrati ordinari (OLS) non produce risultati soddisfacenti, ad esempio quando le variabili X sono più numerose delle osservazioni; le variabili X sono altamente correlate; il numero di variabili X è elevato; e sono presenti diverse variabili Y e molte variabili X.
- Il metodo PLS può essere utilizzato quando il numero dei predittori supera il numero delle osservazioni.
- Il metodo PLS è ampiamente utilizzato nella modellazione di dati ad alta dimensionalità in settori quali la spettroscopia, la chemiometria, la genomica, la psicologia, l'istruzione, l'economia, le scienze politiche e le scienze ambientali.
- Scopri come utilizzare JMP PLS: sono disponibili due algoritmi di adattamento del modello: i minimi quadrati parziali iterativi non lineari (NIPALS) e una "modifica statisticamente ispirata del PLS" (SIMPLS).
- Per una singola risposta, entrambi i metodi forniscono lo stesso modello; per risposte multiple, si riscontrano lievi differenze.
- PLS utilizza il test T2 di van der Voet e la convalida incrociata per aiutarti a scegliere il numero ottimale di fattori da estrarre.
- Interpreta il grafico Root Mean PRESS (somma dei quadrati dei residui previsti), che mostra il numero di fattori con il valore PRESS più basso, ovvero il modello peggiore tra quelli che otterrai per i dati.
- Utilizzare il grafico di importanza della varianza (VIP) per individuare i fattori da rimuovere
- Interpretazione dei grafici di variazione percentuale
- I test statistici T2 di van der Voet per determinare se un modello con un numero diverso di fattori differisce significativamente dal modello con il valore PRESS minimo
- Una pratica comune è quella di estrarre il numero minimo di fattori per i quali il livello di significatività di van der Voet supera 0,10
- Utilizzare la tecnica di regressione penalizzata avanzata JMP Pro Generalized Regression, particolarmente adatta per dati altamente correlati e/o con distribuzione non normale, e per la selezione delle variabili.
- Costruisci un modello LASSO, interpreta i risultati e comprendi alcuni dei suoi limiti.
- Costruisci un modello Elastic Net e interpretalo per dati altamente correlati, comprendendo alcuni dei vantaggi rispetto a LASSO.
- Utilizzare la regressione generalizzata di JMP Pro per dati spettrali ad alta dimensionalità.
- Esaminare e interpretare i grafici di controllo multivariato basati sul modello PCA, i grafici riassuntivi delle correlazioni PCA e gli autovalori.
- Esaminare e interpretare i risultati PLS
- Interpretazione della regressione generalizzata Elastic Net, incluso il coefficiente di determinazione R-quadrato generalizzato.
- Utilizzare JMP Pro Generalized Regression per set di dati molto ampi e interpretare i risultati
Nota: il file .jmpprj allegato include gli script per eseguire le analisi della demo.
Domande a cui hanno risposto Bill Worley (@Bill_Worley ) e Scott Allen (@scott_allen ) durante il webinar in diretta:
Cosa intendeva quando ha detto che i dati preferiti per l'analisi delle componenti principali (PCA) sono alti e larghi?
A: Puoi pensare ai dati "alti" come a una tabella di dati con molte righe e poche colonne; i dati "larghi" hanno molte colonne e meno righe (meno osservazioni). Il metodo PLS, d'altra parte, viene spesso utilizzato quando il numero di fattori è maggiore del numero di osservazioni.
Se si hanno variabili altamente correlate e uno degli algoritmi ne suggerisce una rispetto a un'altra, come si sceglie quale variabile mantenere e quale scartare?
A: Il fattore di inflazione della varianza (VIF) è un metodo per individuare i valori altamente correlati. Il VIF fornisce semplicemente un'indicazione di quanto siano effettivamente correlati tra loro. È possibile identificare i fattori altamente correlati e, rimuovendone uno, si influenzerà il VIF. Successivamente, si può utilizzare l'analisi multivariata per comprendere meglio quali variabili sono altamente correlate.
È preferibile utilizzare il BIC rispetto all'AIC nelle regressioni generalizzate?
R: Dipende dall'obiettivo del tuo modello. Il BIC penalizza maggiormente i modelli con più parametri rispetto all'AICc. Pertanto, di solito porta a modelli con un numero inferiore di parametri.
L'utente ha la possibilità di scegliere quale modello utilizzare, anziché quello selezionato da JMP?
A: Puoi eseguire un confronto tra modelli ed esaminare i migliori risultati di convalida o di test. Puoi anche utilizzare strumenti come Remove Elastic Net Alph e JMP, che analizzano tre opzioni per mostrarti il migliore tra i tre modelli. L'esecuzione di questi strumenti potrebbe richiedere del tempo se hai molti dati.
Come utilizzeresti queste tecniche per i dati delle serie temporali?
A: I dati delle serie temporali vengono analizzati al meglio utilizzando gli strumenti Serie temporali o FDE in JMP. Vedi informazioni su Serie temporali e un video sull'analisi dati curvi.
Domande a cui è stata data risposta nei webinar precedenti su questo argomento:
La formula Pred Y1 deriva dalla regressione PCA?
A: Sì, le formule di previsione per Y1 e Y2 sono state generate tramite analisi di regressione delle componenti principali. Quando si crea il profiler con queste formule di previsione, è possibile selezionare una casella che consente di visualizzare i singoli effetti anziché le componenti principali.
Nel metodo PLS, è necessario specificare le interazioni o le relazioni tra le variabili sono già incluse nel modello di base (ad esempio, NIPALS)?
A: Per PLS, è necessario specificare gli effetti del modello che si desidera testare, come interazioni o altri termini. Nella versione standard di JMP è possibile eseguire l'analisi PLS solo con gli effetti principali. In JMP Pro è possibile eseguire PLS con altri effetti del modello, come interazioni o polinomi, utilizzando la funzionalità PLS in Fit Model.
Anche il dataset sul glutine presenta un elevato grado di multicollinearità?
A: Sì. Ogni lunghezza d'onda dipende dalla successiva, quindi c'è molta collinearità tra le diverse lunghezze d'onda.
È possibile affermare se la regressione PLS o la regressione generalizzata siano generalmente superiori con dati altamente autocorrelati, oppure la scelta dipende semplicemente dal set di dati? Pensavo che la PLS fosse migliore, ma a quanto pare non è così.
R: Dipende dalla situazione, che può essere in qualche modo dipendente dai dati. Entrambi i metodi forniscono buoni modelli, molto simili tra loro.
Quale di queste opzioni di modellazione sarebbe la migliore per la previsione inversa?
A: Con dati di grandi dimensioni, potresti avere difficoltà a trovare le impostazioni corrette. Tutte le opzioni andrebbero bene per la previsione inversa.
Potresti spiegarmi come hai salvato le formule PCA nella tabella? Io so solo come salvare le coordinate.
A: Dal triangolo rosso, Salva formula nella tabella dati.
Se utilizzo il modello PLS per l'ottimizzazione con Prediction Profiler, l'ottimizzazione rispetterà la correlazione tra le variabili, oppure, se attivo il controllo dell'estrapolazione, la correlazione tra le variabili verrà gestita automaticamente?
A: In PLS, puoi eseguire la selezione delle variabili e quindi utilizzare i risultati per costruire un modello con le variabili importanti. Successivamente, usa "Crea modello" con VIP e riesegui l'esecuzione. Se salvi questi modelli in una tabella dati, saranno di grandi dimensioni e conterranno tutte le variabili.
Sarebbe utile una selezione dei modelli?
A: Sì, ci vorrà del tempo. Seleziona Metodi aggiuntivi. Tieni presente che selezionando questa opzione, verrà utilizzato Elastic Net. Verrà utilizzata anche la regressione Ridge e ci vorrà del tempo se hai K-fold e convalida incrociata. Inoltre, in Regressione generalizzata e Screening del modello PLS, puoi aggiungere interazioni a due vie e il modello verrà adattato sia con che senza interazioni a due vie.
gail_massari_1-1731005860636.jpeg
Risorse
