Regressione multipla con variabili correlateCiao a tutti,
Ho bisogno di aiuto per quanto riguarda la regressione multipla e apprezzerei davvero qualsiasi aiuto! Grazie in anticipo 
Ecco un problema in poche parole:
- Ho Y continue e 16 X
- Quando eseguo l'analisi multivariata, vedo che alcuni termini sono correlati. Supponiamo che X1 e X2 siano correlati, posso usarne solo uno
- Allo stesso modo, ho molte di queste coppie
- Tuttavia, voglio scegliere arbitrariamente X1 su X2. Quindi, quello che sto facendo adesso è eseguire la regressione prima con X1 e poi con X2. Quindi, confronto i modelli con questi termini. Ma il numero di combinazioni che avrei bisogno di eseguire è semplicemente troppo, richiede molto tempo mentre lo faccio manualmente e soggetto a errori.
- Volevo verificare se esiste un modo più intelligente per risolvere questo problema.
- So che questo può essere risolto scrivendo uno script per eseguirlo in una sorta di ciclo ed evidenziare i migliori modelli su cui basare -
- Tuttavia, non hanno le conoscenze per scrivere script.
- Anche altri suggerimenti, trucchi sarebbero fantastici! (Non ho JMP Pro)
Non vedo l'ora di sentirti.
Distinti saluti,
Vipul
DAIAltroScriptingRe: Regressione multipla con variabili correlateGrazie mille @David_Burnham ! Molto grato per il tuo feedback, è stato molto utile. Molto apprezzato.
Distinti saluti,
Vipul
Re: Regressione multipla con variabili correlateGrazie @statman per aver condiviso i tuoi pensieri Questo è stato molto utile. Molto apprezzato
Distinti saluti,
Vipul
Re: Regressione multipla con variabili correlateGrazie ancora, Vittorio. Questo è stato un feedback molto utile. Ho provato l'approccio Stepwise Regression e PCA e questo ci ha già aiutato molto.
Grazie ancora.
Distinti saluti,
Vipul
Re: Regressione multipla con variabili correlateCIAO @vipul ,
Diversi modelli porteranno ad approcci e modi diversi di affrontare la multicollinearità.
Considerando X1 e X2 una coppia di predittori altamente correlati tra altri predittori, i modelli reagiranno in modo diverso:
- Con un approccio di regressione graduale (o albero decisionale), il modello rimuoverà i predittori altamente correlati dal modello e manterrà solo quelli più informativi. Nel tuo caso, finirai con solo X1 o X2 (a seconda di quale ti darà la migliore modellazione/prestazioni).
- Con un approccio Random Forest (o Predictor Screening per JMP), verranno costruiti diversi alberi decisionali, con un sottoinsieme dei predittori per ciascun albero. Ciò significa che X1 e X2 saranno testati in un numero uguale di sottoinsiemi di predittori, quindi avranno la stessa possibilità di essere rilevati nel modello. A seconda di quale porta più informazioni, uno dei due predittori avrà un'importanza della caratteristica maggiore (contributo del modello) rispetto all'altro, ma i due possono essere considerati nel modello.
- Con un approccio PLS/PCA, riduci il numero di predittori a un sottoinsieme più piccolo di predittori non correlati, in modo da conservare la maggior parte delle informazioni sui predittori (a seconda del numero di componenti principali che mantieni). I tuoi input vengono trasformati/combinati e non correlati (è possibile creare una nuova X' come combinazione di X1 e X2).
Il metodo che sceglierai dipende dalle prestazioni che puoi ottenere con i modelli, ma, cosa più importante, dipende dalla conoscenza del dominio che hai sull'argomento. Modellazione diversa può portare a spiegazioni diverse e ipotesi diverse sul significato o l'importanza di diversi predittori, quindi la conoscenza del dominio dovrebbe guidarti a selezionare il modello più appropriato/ragionevole.
Spero ti sia d'aiuto,
Re: Regressione multipla con variabili correlateDavid ha dato alcune piattaforme da provare. L'abbinamento non è un procedimento statistico, ma un procedimento ingegneristico/scientifico.
Ti faccio un esempio ipotetico:
Immagina di provare a determinare quali fattori hanno un effetto sulla distanza che un proiettile può essere lanciato usando un elastico (Y=distanza). Due delle molte variabili di interesse (massa del proiettile, geometria del proiettile, angolo di lancio, correnti d'aria ambiente, tecnica di rilascio, ecc.) sono:
1. X1 = Lunghezza l'elastico è teso e
2. X2 = "Spring Constant" che varia cambiando la larghezza dell'elastico
Queste due variabili appaiono correlate in un insieme di dati ed entrambe hanno un effetto diretto sulla quantità di energia fornita al sistema (ipotesi) Consideriamole collineari. Invece di trattarle come variabili indipendenti in un esperimento, si potrebbero combinarle in un unico fattore i cui livelli consistono in:
- = tratto corto e fascia stretta
+ = lunga lunghezza del tratto e banda larga e spessa
E poi questo "fattore combinato" confrontato con molti altri in un esperimento. Se questo fattore appare significativo, è possibile eseguire ulteriori esperimenti per comprendere ulteriormente come gestire nel modo più efficace il energia nel sistema (questo diventa una nuova variabile di risposta).
Re: Regressione multipla con variabili correlateCordiali saluti, la procedura che descrivi per il montaggio uno alla volta su tutte le X viene eseguita automaticamente da Screening della risposta piattaforma che si trova in Analizza> Screening.
Re: Regressione multipla con variabili correlateTi potrebbe piacere anche guardare il Variabili di cluster utilità in Analizza>Clustering.Le X correlate verranno inserite nello stesso cluster.Quindi, per ogni cluster, puoi selezionare una "variabile rappresentativa" da includere in una regressione.C'è anche un'opzione "lancio modello adatto" dal triangolo rosso.
Re: Regressione multipla con variabili correlateCIAO @statman ,
Grazie per aver dedicato del tempo per condividere la tua prospettiva. Potresti per favore spiegare come combini più X correlate?
Grazie ancora in anticipo.
Distinti saluti,
Vipul
Re: Regressione multipla con variabili correlateCIAO @Victor_G
Grazie per aver dedicato del tempo a rispondere. Mi assicurerò di utilizzare subito il modulo di screening dei predittori. Sperando che dia qualche indizio.
Tuttavia, pensi che questo risolverà il problema della multicollinearità poiché (diciamo) X1 e X2 si presenteranno di nuovo come predittori più probabili, giusto?
Re: Regressione multipla con variabili correlateEcco i miei pensieri: non ci sono procedure statistiche prendere quali fattori includere nel tuo studio quando è presente la multicollinearità. La decisione deve essere presa dalla PMI (esperto in materia). Le cose che possono influenzare questo includono:
1. Facilità o costo di gestione delle X
2. Basi scientifiche (ipotesi) per l'inclusione o meno (suggerisco che queste siano previste piuttosto che sviluppate dopo che i dati sono stati ottenuti)
3. Impatto sugli altri Y
Ora, ci sono altre cose che puoi fare:
1. Combina le x correlate in una X
2. Sviluppare variabili di risposta alternative
3. Prova diverse trasformazioni (ad esempio, PCA) sebbene ciò possa offuscare le relazioni scientifiche
4. Eseguire esperimenti sui fattori
Re: Regressione multipla con variabili correlateCiao @vipul ,
Forse l'utilizzo della personalità "Stepwise" nella piattaforma "Fit Model" corrisponde alle tue esigenze, poiché JMP cercherà di utilizzare variabili che tendono a creare un modello con BIC/AICc minimo o con una soglia di p-value. Facendo clic sul triangolo rosso della piattaforma, c'è anche l'opzione per testare "Tutti i modelli possibili", dove devi specificare il numero più alto di termini (fattori) nei tuoi modelli e il numero di modelli migliori da vedere. Quindi JMP fornirà una tabella con tutti i modelli testati, con il numero di termini in ciascun modello, R², RMSE, AICc e BIC, e potrai eseguire uno qualsiasi dei modelli testati se ne trovi alcuni abbastanza interessanti.
Tuttavia, non penso che questa possa essere una buona idea con il problema della multicollinearità nel tuo set di dati. Se disponi di JMP e di un set di dati con variabili altamente correlate, puoi provare queste opzioni, a seconda che tu sia interessato alla spiegabilità e/o alla prevedibilità:
- Usa "Screening predittore" (in Analizza -> Screening) per trovare le variabili più importanti per la tua risposta. Seleziona le n più importanti (puoi variare la soglia n, il numero di variabili importanti che desideri mantenere in base all'esperienza del dominio o alla soglia arbitraria come "Voglio i 5 migliori predittori"), fai clic su "Copia selezionati", quindi esegui il tuo modello di regressione (Fit Model) con le variabili che hai copiato.
- Utilizzare l'analisi delle componenti principali per ridurre le 16 X iniziali a un insieme inferiore di variabili indipendenti, contenente la maggior parte delle informazioni iniziali. Quindi prova un modello di regressione con i tuoi componenti principali invece delle X originali.
- Utilizzare i minimi quadrati parziali (Analizza -> Multivariata -> minimi quadrati parziali) per creare un modello con variabili correlate.
Penso che queste opzioni possano essere più robuste/affidabili rispetto al tentativo di adattarsi a tutti i modelli possibili e alla scelta del/i migliore/i a seconda di R² o di altre metriche, poiché l'approccio originale che hai menzionato eliminerà alcune delle X correlate che potrebbero ancora contenere preziose informazione.
Ci sono molte altre opzioni possibili, ma disponibili in JMP Pro (ad esempio con tecniche del modello di regressione penalizzato).
Penso che queste prime tre opzioni potrebbero già esserti utili
