526288_it-IT

liliconcom

Regressione multipla con variabili correlate

Ciao a tutti,

 

Ho bisogno di aiuto per quanto riguarda la regressione multipla e apprezzerei davvero qualsiasi aiuto! Grazie in anticipo

 

Ecco un problema in poche parole:

• Ho una Y continua e 16 X
• Quando eseguo l'analisi multivariata, posso vedere che alcuni termini sono correlati. Supponiamo che X1 e X2 siano correlati, posso usarne solo uno
• Allo stesso modo, ho molte di queste coppie
• Tuttavia, voglio scegliere arbitrariamente X1 su X2. Quindi, quello che sto facendo adesso è eseguire la regressione prima con X1 e poi con X2. Quindi, confronto i modelli con questi termini. Ma il numero di combinazioni che avrei bisogno di eseguire è semplicemente eccessivo, richiede molto tempo se eseguito manualmente ed è soggetto a errori.
• Volevo verificare se esiste un modo più intelligente per risolvere questo problema.
• So che questo può essere risolto scrivendo uno script per eseguirlo in una sorta di loop ed evidenziare i modelli migliori sulla base di -
  • R2, regolare il valore R2 e
  • VIF
• Tuttavia, non ho le conoscenze per scrivere script.
• Eventuali altri suggerimenti e trucchi sarebbero fantastici! (Non ho JMP Pro)

Non vedo l'ora di sentirti.

 

Distinti saluti,

 

Vipul

Automazione e scriptingProgettazione di esperimentiRe: Regressione multipla con variabili correlate

Grazie mille @David_Burnham ! Molto grato per il tuo feedback, è stato molto utile. Molto apprezzato.

 

Distinti saluti,

 

Vipul

Re: Regressione multipla con variabili correlate

Grazie @statman per aver condiviso i tuoi pensieri. Questo è stato molto utile. Molto apprezzato

 

Distinti saluti,

 

Vipul

Re: Regressione multipla con variabili correlate

Grazie ancora, Vittorio. Questo è stato un feedback molto utile. Ho provato l'approccio Stepwise Regression e PCA e questo ci ha già aiutato molto.

 

Grazie ancora.

 

Distinti saluti,

 

Vipul

Re: Regressione multipla con variabili correlate

CIAO @vipul ,

Modelli diversi porteranno a approcci e modi diversi di gestire la multicollinearità.
Considerando X1 e X2 una coppia di predittori altamente correlati tra gli altri predittori, i modelli reagiranno diversamente:

• Con un approccio di regressione graduale (o albero decisionale), il modello rimuoverà i predittori altamente correlati dal modello e manterrà solo quelli più informativi. Nel tuo caso, ti ritroverai solo con X1 o X2 (a seconda di quale ti fornirà la migliore modellazione/prestazioni).
• Con un approccio Random Forest (o Predictor Screening per JMP), verranno costruiti diversi alberi decisionali, con un sottoinsieme di predittori per ciascun albero. Ciò significa che X1 e X2 verranno testati in un numero uguale di sottoinsiemi di predittori, quindi avranno la stessa possibilità di essere inseriti nel modello. A seconda di quale apporta più informazioni, uno dei due predittori avrà un'importanza della caratteristica maggiore (contributo al modello) rispetto all'altro, ma i due potrebbero essere considerati nel modello.
• Con un approccio PLS/PCA, si riduce il numero di predittori a un sottoinsieme più piccolo di predittori non correlati, in modo da conservare la maggior parte delle informazioni sui predittori (a seconda del numero di componenti principali conservati). I tuoi input vengono trasformati/combinati e non correlati (un nuovo X' può essere creato come combinazione di X1 e X2).

 

Il metodo che sceglierai dipende dalle prestazioni che puoi ottenere con i modelli, ma, cosa più importante, dipende dalla conoscenza del dominio che hai sull'argomento. Modelli diversi possono portare a spiegazioni diverse e ipotesi diverse sul significato o sull'importanza dei diversi predittori, quindi la conoscenza del dominio dovrebbe guidare l'utente nella selezione del modello più appropriato/ragionevole.

 

Spero che ti aiuti,

Re: Regressione multipla con variabili correlate

David ha fornito alcune piattaforme da provare. La combinazione non è una procedura statistica, ma una procedura ingegneristica/scientifica.

Ti faccio un esempio ipotetico:

Immagina di provare a determinare quali fattori hanno un effetto sulla distanza che un proiettile può essere lanciato utilizzando un elastico (Y=distanza). Due delle tante variabili di interesse (massa del proiettile, geometria del proiettile, angolo di lancio, correnti d'aria ambiente, tecnica di rilascio, ecc.) sono:

1. X1 = Lunghezza dell'elastico è teso e

2. X2 = "Costante molla" che viene variata modificando la larghezza dell'elastico

 

Queste due variabili appaiono correlate in un set di dati ed entrambe hanno un effetto diretto sulla quantità di energia fornita al sistema (ipotesi). Consideriamole collineari. Invece di trattarli come variabili indipendenti in un esperimento, si potrebbero combinarli in un unico fattore i cui livelli consistono in:

- = breve tratto di elastico e fascia di larghezza ridotta

+ = lunga lunghezza di elastico e fascia larga e spessa

E poi questo "fattore combinato" confrontato con tanti altri in un esperimento. Se questo fattore dovesse apparire significativo, è possibile eseguire esperimenti successivi per comprendere meglio come gestirlo nel modo più efficace energia nel sistema (questa diventa una nuova variabile di risposta).

Re: Regressione multipla con variabili correlate

Per tua informazione, la procedura che descrivi per adattare una alla volta tutte le X viene eseguita automaticamente da Screening della risposta piattaforma trovata in Analizza> Screening.

Re: Regressione multipla con variabili correlate

Potrebbe interessarti anche dare un'occhiata a Variabili del cluster utilità in Analizza>Clustering.Le X correlate verranno posizionate nello stesso cluster.Quindi, per ciascun cluster, puoi selezionare una "variabile rappresentativa" da includere in una regressione.C'è anche un'opzione di "modello di adattamento al lancio" dal triangolo rosso.

Re: Regressione multipla con variabili correlate

CIAO @statman ,

Grazie per aver dedicato del tempo per condividere la tua prospettiva. Potresti magari spiegare come combinare più X correlate?

 

Grazie ancora in anticipo.

 

Distinti saluti,

 

Vipul

Re: Regressione multipla con variabili correlate

CIAO @Victor_G

 

Grazie per aver dedicato del tempo alla risposta. Mi assicurerò di utilizzare subito il modulo di screening dei predittori. Sperando che dia qualche indizio.

 

Tuttavia, pensi che questo risolverà il problema della multicollinearità poiché (diciamo) X1 e X2 torneranno ad essere i predittori più probabili, giusto?

Re: Regressione multipla con variabili correlate

Ecco il mio pensiero: non esistono procedure statistiche prendere quali fattori includere nel tuo studio quando è presente la multicollinearità. La decisione deve essere presa dalla PMI (esperto in materia). Le cose che possono influenzare questo includono:

1. Facilità o costo di gestione delle X

2. Basi scientifiche (ipotesi) per l'inclusione o meno (suggerisco che queste siano previste piuttosto che sviluppate dopo aver ottenuto i dati)

3. Impatto sugli altri Y

Ora ci sono altre cose che puoi fare:

1. Combina le x correlate in una X

2. Sviluppare variabili di risposta alternative

3. Provare diverse trasformazioni (ad esempio PCA), anche se ciò potrebbe offuscare le relazioni scientifiche

4. Esegui esperimenti sui fattori

Re: Regressione multipla con variabili correlate

Ciao @vipul ,

 

Forse utilizzare la personalità "Stepwise" nella piattaforma "Fit Model" corrisponde alle tue esigenze, poiché JMP proverà a utilizzare variabili che tendono a creare un modello con BIC/AICc minimo o con una soglia di valore p. Cliccando sul triangolo rosso della piattaforma, c'è anche la possibilità di testare "Tutti i modelli possibili", dove devi specificare il maggior numero di termini (fattori) nei tuoi modelli e il numero di modelli migliori da vedere. Quindi JMP fornirà una tabella con tutti i modelli testati, con il numero di termini in ciascun modello, R², RMSE, AICc e BIC, ed è possibile eseguire qualsiasi modello testato se ne trovi alcuni sufficientemente interessanti.

 

Tuttavia, non penso che questa possa essere una buona idea con il problema della multicollinearità nel tuo set di dati. Se disponi di JMP e di un set di dati con variabili altamente correlate, puoi provare queste opzioni, a seconda se sei interessato alla spiegabilità e/o alla prevedibilità:

• Utilizza "Screening predittore" (in Analizza -> Screening) per trovare le variabili più importanti per la tua risposta. Seleziona le n più importanti (puoi variare la soglia n, il numero di variabili importanti che desideri mantenere in base all'esperienza del dominio o alla soglia arbitraria come "Voglio i 5 predittori principali"), fai clic su "Copia selezionato", quindi esegui il tuo modello di regressione (Fit Model) con le variabili che hai copiato.
• Utilizza l'analisi delle componenti principali per ridurre le 16 X iniziali a un insieme inferiore di variabili indipendenti, contenente la maggior parte delle informazioni iniziali. Quindi prova un modello di regressione con i tuoi componenti principali invece delle X originali.
• Utilizzare i minimi quadrati parziali (Analizza -> Multivariata -> Minimi quadrati parziali) per creare un modello con variabili correlate.

 

Penso che queste opzioni possano essere più robuste/affidabili rispetto al tentativo di adattarsi a tutti i modelli possibili e alla scelta dei migliori in base a R² o ad altri parametri, poiché l'approccio originale che hai citato lascerà cadere alcune delle X correlate che potrebbero ancora contenere preziose informazione.
Esistono molte altre opzioni possibili, ma disponibili in JMP Pro (ad esempio con tecniche di modello di regressione penalizzata).

 

Penso che queste prime tre opzioni potrebbero già esserti utili