Il video è stato aggiornato nell'agosto 2024.
La multicollinearità è l'esistenza di un grado di correlazione così elevato tra variabili presumibilmente indipendenti utilizzate per stimare una variabile dipendente che il contributo di ciascuna variabile indipendente alla variazione nella variabile dipendente non può essere determinato. Un'elevata multicollinearità nel tuo set di dati significa che qualsiasi modello che costruisci sarà quasi certamente sovraadattato a meno che tu non utilizzi tecniche per mitigare questo problema. Esistono diverse tecniche di modellazione che possono essere utilizzate per migliorare la probabilità di costruire un buon modello predittivo limitando la multicollinearità. Queste includono l'analisi delle componenti principali e i minimi quadrati parziali, entrambi disponibili in JMP, e la regressione generalizzata, disponibile in JMP Pro come opzione Fit Model.
Scopri come:
- Eseguire l'analisi delle componenti principali (PCA) per utilizzare un numero ridotto di componenti per modellare un set di dati limitando la variabilità e mitigando la multicollinearità
PCA confronta le variabili tra loro, non con l'output
PCA estrae combinazioni lineari delle variabili che aiutano a spiegare la variabilità, la più variabilità possibile per ridurre il numero di variabili importanti
- I migliori set di dati per l'analisi PCA sono alti o larghi e potrebbero essere entrambi
- Non interpreta le variabili come input o output: si occupa di una singola matrice
- Estrarre combinazioni lineari di variabili che spieghino quanta più variabilità possibile
- Tutto inizia con il 1° componente principale e l' algoritmo continua fino a quando non viene spiegato il 100% della variazione. Speriamo che questo sia un numero molto più piccolo del tuo set originale di variabili
- Ogni PC successivo spiega quanta più variazione possibile ed è ortogonale ai vettori di caricamento del precedente estratto
- Esaminare e interpretare i grafici riassuntivi e i valori propri
- Salvare i componenti principali nella tabella dati ed eseguire la regressione dei componenti principali utilizzando Grafico>Profiler ( Promemoria: selezionare la casella Espandi valori intermedi)
- Utilizzare i minimi quadrati parziali per adattare modelli lineari basati su fattori, vale a dire combinazioni lineari delle variabili esplicative (X)
- Questi fattori vengono ottenuti in un modo che tenta di massimizzare la covarianza tra le X e la risposta o le risposte (Y).
- PLS sfrutta le correlazioni tra le X e le Y per rivelare strutture latenti sottostanti
- Il PLS funziona bene in situazioni in cui l'uso dei minimi quadrati ordinari (OLS) non produce risultati soddisfacenti, ad esempio quando ci sono più variabili X rispetto alle osservazioni; variabili X altamente correlate; un gran numero di variabili X; e diverse variabili Y e molte variabili X.
- PLS può essere utilizzato quando i predittori superano in numero le osservazioni
- La PLS è ampiamente utilizzata nella modellazione di dati ad alta dimensionalità in settori quali spettroscopia, chemiometria, genomica, psicologia, istruzione, economia, scienze politiche e scienze ambientali.
- Scopri come utilizzare JMP PLS per due algoritmi di adattamento del modello disponibili: minimi quadrati parziali iterativi non lineari (NIPALS) e una "modifica di PLS ispirata statisticamente" (SIMPLS)
- Per una singola risposta, entrambi i metodi forniscono lo stesso modello; per più risposte, ci sono lievi differenze
- PLS utilizza il test T2 di van der Voet e la convalida incrociata per aiutarti a scegliere il numero ottimale di fattori da estrarre.
- Interpretare il grafico della media delle radici PRESS (somma dei quadrati dei residui previsti), che mostra il numero di fattori con il valore PRESS più basso, essendo quel modello il più piccolo dei migliori modelli che otterrai per i dati
- Utilizzare il grafico dell'importanza della varianza (VIP) per individuare i fattori da rimuovere
- Interpretare i grafici di variazione percentuale
- I test statistici T2 di van der Voet per determinare se un modello con un numero diverso di fattori differisce significativamente dal modello con il valore PRESS minimo
- Una pratica comune è quella di estrarre il numero più piccolo di fattori per i quali il livello di significatività di van der Voet supera 0,10
- Utilizzare le tecniche avanzate di regressione penalizzata di JMP Pro Generalized Regression, particolarmente adatte per dati altamente correlati e/o distribuiti in modo non normale e per la selezione delle variabili
- Costruisci il modello LASSO, interpreta i risultati e comprendi alcuni dei suoi limiti.
- Costruisci un modello Elastic Net e interpretalo per dati altamente correlati e comprendi alcuni dei vantaggi rispetto a LASSO
- Utilizzare JMP Pro Generalized Regression per dati spettrali ad alta dimensionalità
- Esaminare e interpretare i grafici di controllo multivariati basati sul modello PCA, i grafici riassuntivi PCA sulle correlazioni e i valori propri
- Esaminare e interpretare i risultati PLS
- Interpretare la regressione elastica netta generalizzata, incluso R-quadrato generalizzato
- Utilizzare JMP Pro Generalized Regression per dati molto ampi e interpretare i risultati
Nota: il file .jmpprj allegato include gli script per eseguire le analisi dalla demo.
Domande a cui hanno risposto Bill Worley @Bill_Worley e Scott Allen @scott_allen durante il webinar in diretta:
Cosa intendeva quando ha detto che i dati preferiti per PCA sono alti e larghi?
R: Puoi pensare ai dati "alti" come a una tabella dati con molte righe e poche colonne; i dati "ampi" hanno molte colonne e meno righe (meno osservazioni). PLS, d'altro canto, è spesso utilizzato quando il numero di fattori è maggiore del numero di osservazioni.
Se hai variabili altamente correlate e uno degli algoritmi ne suggerisce una piuttosto che un'altra, come fai a scegliere quale variabile mantenere e quale non usare?
A: Il Variance Inflation Factor (VIF) è un modo per trovare quali valori sono altamente correlati. Il VIF fornisce solo un'indicazione di quanto siano realmente correlati con altre variabili. Puoi trovare fattori altamente correlati e quando ne rimuovi uno, avrai un impatto sul VIF. Quindi usa l'analisi multivariata per comprendere ulteriormente quali variabili sono altamente correlate. Guarda il video:
È meglio usare BIC invece di AIC nelle regressioni generalizzate?
R: Dipende dall'obiettivo del tuo modello. BIC penalizza i modelli con più parametri più di AICc. Quindi, di solito porta a modelli con meno parametri.
L'utente può scegliere quale modello utilizzare anziché il modello selezionato da JMP?
R: Puoi eseguire il confronto dei modelli ed esaminare i migliori risultati di convalida o test. Puoi anche usare strumenti: Remove Elastic Net Alph e JMP esaminano tre opzioni per mostrarti il migliore dei tre modelli. Potrebbe volerci un po' di tempo per eseguirli se hai molti dati.
Come utilizzeresti queste tecniche per i dati delle serie temporali?
R: I dati delle serie temporali sono analizzati al meglio utilizzando gli strumenti Time Series o FDE in JMP. Consulta le informazioni sulle serie temporali e un video sull'analisi dei dati curvi.
Domande a cui è stata data risposta nei webinar precedenti su questo argomento:
La formula Pred Y1 è una regressione PCA?
R: Sì, le formule di previsione per Y1 e Y2 sono state generate dall'analisi di regressione delle componenti principali. Quando si crea il profiler con queste formule di previsione, è possibile selezionare una casella che consente di vedere gli effetti individuali anziché le componenti principali.
Quali sarebbero i criteri principali per eliminare le variabili nell'esempio PCA?
A: Per un approccio specifico, vedere il video qui sotto.
In PLS, è necessario specificare le interazioni oppure le relazioni tra le variabili sono gestite nel modello sottostante (ad esempio, NIPALS)?
R: Per PLS, devi specificare gli effetti del modello che vuoi testare interazioni o altri termini. In JMP standard puoi eseguire l'analisi PLS solo con effetti principali. In JMP Pro puoi eseguire PLS con altri effetti del modello, come interazioni o polinomi, utilizzando la personalità PLS in Fit Model.
Anche il set di dati sul glutine è associato a molta multicollinearità?
R: Sì. Ogni lunghezza d'onda dipende dalla successiva, quindi c'è molta collinearità da una lunghezza d'onda all'altra.
È possibile dire se PLS o Generalized Regression sono generalmente superiori con dati altamente autocorrelati o sono semplicemente dipendenti dal set di dati? Pensavo che PLS fosse migliore, ma sembra che non sia necessariamente così.
R: Dipende dalla situazione, che può dipendere in qualche modo dai dati. Entrambi forniscono buoni modelli molto vicini tra loro.
Quale di queste opzioni di modellazione sarebbe la migliore per la previsione inversa?
A: Con dati estesi, potresti avere difficoltà a ottenere le impostazioni giuste. Tutte le opzioni andrebbero bene per la previsione inversa.
Potresti spiegarmi come hai salvato le formule PCA nella tabella? Io so solo come salvare le coordinate stesse.
A: Dal triangolo rosso, Salva formula nella tabella dati.
Se utilizzo il modello PLS per l'ottimizzazione con Prediction Profiler, l'ottimizzazione rispetterà la correlazione tra le variabili oppure, se è attivato il controllo dell'estrapolazione, verrà presa in considerazione la correlazione tra le variabili?
R: In PLS, puoi fare Variable Selection e poi usare i risultati per costruire un modello con le variabili importanti. Poi, usa Make Model con VIP e riesegui. Se salvi questi modelli nella tabella dati, sono grandi e contengono tutte le variabili.
Lo screening dei modelli potrebbe essere utile?
R: Sì,. Ci vorrà del tempo. Seleziona Metodi aggiuntivi. Tieni presente che selezionandolo, passerà attraverso Elastic Net. Passerà anche attraverso Ridge Regression e ci vorrà del tempo se hai K-fold e convalida incrociata. E, in Generalized Regression e PLS Model Screening, puoi aggiungere interazioni bidirezionali e si adatterà con e senza le interazioni bidirezionali.
Risorse
