La multicollinearità è l'esistenza di un grado così elevato di correlazione tra variabili apparentemente indipendenti utilizzate per stimare una variabile dipendente che il contributo di ciascuna variabile indipendente alla variazione della variabile dipendente non può essere determinato.Un'elevata multicollinearità nel tuo set di dati significa che qualsiasi modello che crei sarà quasi certamente sovradimensionato a meno che tu non utilizzi tecniche per mitigare questo problema.Esistono diverse tecniche di modellazione che possono essere utilizzate per migliorare la probabilità di costruire un buon modello predittivo limitando la multicollinearità.Questi includono l'analisi delle componenti principali e i minimi quadrati parziali, entrambi disponibili in JMP e la regressione generalizzata, disponibile in JMP Pro come opzione Stima modello.
Scopri come:
- Eseguire l'analisi dei componenti principali (PCA) per utilizzare un numero ridotto di componenti per modellare un set di dati limitando la variabilità e attenuando la multicollinearità
- I migliori set di dati per l'analisi PCA sono alti o larghi. Potrebbero essere entrambi
- Non interpreta le variabili come input o output: si occupa di un'unica matrice
- Estrai combinazioni lineari di variabili che spieghino quanta più variabilità possibile
- Tutto inizia con il 1° Componente Principale e il l'algoritmo continua finché non viene spiegato il 100% della variazione. Si spera che questo sia un numero molto piccolo rispetto al set di variabili originale
- Ogni PC successivo spiega quanta più variazione possibile ed è ortogonale ai vettori di caricamento del precedentemente estratto
- Esaminare e interpretare i grafici di riepilogo e i valori propri
- Salva i componenti principali nella tabella dei dati ed esegui la regressione dei componenti principali utilizzando Graph> Profiler ( Promemoria: selezionare la casella Espandi valori intermedi)
- Utilizzare i minimi quadrati parziali per adattare modelli lineari basati su fattori, ovvero combinazioni lineari delle variabili esplicative (X)
- Questi fattori sono ottenuti in un modo che tenta di massimizzare la covarianza tra le X e la risposta o le risposte (Y).
- PLS sfrutta le correlazioni tra le X e le Y per rivelare le strutture latenti sottostanti
- PLS funziona bene in situazioni in cui l'uso dei minimi quadrati ordinari (OLS) non produce risultati soddisfacenti, anche quando ci sono più variabili X che osservazioni; variabili X altamente correlate; un gran numero di variabili X; e diverse variabili Y e molte variabili X.
- PLS può essere utilizzato quando i predittori sono più numerosi delle osservazioni
- PLS è ampiamente utilizzato nella modellazione di dati ad alta dimensione in aree quali spettroscopia, chemiometria, genomica, psicologia, istruzione, economia, scienze politiche e scienze ambientali.
- Scopri come utilizzare JMP PLS per due algoritmi di adattamento del modello disponibili: minimi quadrati parziali iterativi non lineari (NIPALS) e una "modifica statisticamente ispirata di PLS" (SIMPLS)
- Per una singola risposta, entrambi i metodi forniscono lo stesso modello; per le risposte multiple, ci sono lievi differenze
- PLS utilizza il test van der Voet T2 e la convalida incrociata per aiutarti a scegliere il numero ottimale di fattori da estrarre.
- Interpretare il grafico Root Mean PRESS (somma residua prevista dei quadrati), che mostra il numero di fattori con il valore PRESS più basso, in cui tale modello è il minimo tra i modelli migliori che otterrai per i dati
- Utilizzare il grafico dell'importanza della varianza (VIP) per individuare i fattori da rimuovere
- Interpretare i grafici di variazione percentuale
- I test statistici van der Voet T2 per determinare se un modello con un numero diverso di fattori differisce in modo significativo dal modello con il valore PRESS minimo
- Una pratica comune consiste nell'estrarre il numero minimo di fattori per i quali il livello di significatività di van der Voet supera 0,10
- Utilizzare le tecniche avanzate di regressione penalizzata di regressione generalizzata di JMP Pro particolarmente adatte per dati altamente correlati e/o non distribuiti normalmente e per la selezione delle variabili
- Costruisci il modello LASSO, interpreta i risultati e comprendi alcuni dei suoi limiti.
- Crea un modello Elastic Net e interpreta dati altamente correlati e comprendi alcuni dei vantaggi rispetto a LASSO
- Utilizza la regressione generalizzata di JMP Pro per i dati spettrali ad alta densità
- Esaminare e interpretare i grafici di controllo multivariato basati su modello PCA, i grafici di riepilogo delle correlazioni PCA e i valori autoi
- Esaminare e interpretare i risultati PLS
- Interpretare la regressione generalizzata della rete elastica, incluso l'R quadrato generalizzato
- Utilizza la regressione generalizzata di JMP Pro per dati molto ampi e interpreta i risultati
Nota: il file .jmpprj allegato include script per eseguire le analisi dalla demo.
Domande a cui ha risposto Bill Worley @Bill_Worley e Scott Allen @scott_allen al webinar in diretta:
Pred Formula Y1 deriva dalla regressione PCA?
R: Sì, le formule di previsione per Y1 e Y2 sono state generate dall'analisi di regressione dei componenti principali. Quando costruisci il profiler con queste formule di previsione, puoi selezionare una casella che ti consente di vedere i singoli effetti invece dei componenti principali.
Quali sarebbero i tuoi criteri principali per eliminare le variabili nell'esempio PCA?
A: Guarda il video qui sotto per un approccio.
In PLS, è necessario specificare le interazioni o le relazioni tra le variabili sono sistemate nel modello sottostante (ad esempio, NIPALS)?
R: Per PLS, devi specificare gli effetti del modello che desideri testare le interazioni o altri termini. In JMP standard è possibile eseguire l'analisi PLS solo con gli effetti principali. In JMP Pro è possibile eseguire PLS con altri effetti del modello, come interazioni o polinomi utilizzando la personalità PLS in Stima modello.
Il set di dati sul glutine è anche associato a molta multi-collinearità?
R: Sì. Ogni lunghezza d'onda dipende dalla successiva, quindi c'è molta collinearità da lunghezza d'onda a lunghezza d'onda.
È possibile dire se PLS o regressione generalizzata è generalmente superiore con dati altamente correlati automaticamente o è semplicemente dipendente dal set di dati? Ero gentile pensando che PLS fosse migliore, ma sembra non necessariamente.
R: Dipende dalla situazione, che può dipendere in qualche modo dai dati. Entrambi danno buoni modelli molto vicini l'uno all'altro.
Quale di queste opzioni di modellazione sarebbe la migliore per la previsione inversa?
R: Con dati estesi, potresti avere difficoltà a ottenere le impostazioni corrette. Tutte le opzioni andrebbero bene per la previsione inversa.
Potresti ripassare come hai salvato le formule PCA nella tabella. So solo come salvare le coordinate stesse.
A: Dal triangolo rosso, Salva formula nella tabella dati.
Se utilizzo il modello PLS per l'ottimizzazione con Prediction Profiler, l'ottimizzazione rispetterà la correlazione tra le variabili o se il controllo dell'estrapolazione è attivato, allora la correlazione tra le variabili verrà gestita?
A: In PLS, puoi eseguire la selezione delle variabili e quindi utilizzare i risultati per creare un modello con le variabili importanti. Quindi, usa Crea modello con VIP ed esegui di nuovo. Se salvi questi modelli nella tabella dei dati, sono grandi e contengono tutte le variabili.
Il Model Screening sarebbe utile?
R: Sì,. Ci vorrà del tempo. Seleziona Metodi aggiuntivi.Tieni presente che selezionandolo passerà attraverso Elastic Net. Passerà anche attraverso Ridge Regression e ci vorrà del tempo se hai K-fold e convalida incrociata. E, in Regressione generalizzata e Screening del modello PLS, puoi aggiungere interazioni a 2 vie e si adatterà con e senza le interazioni a 2 vie.
Risorse
