Come gestire la multicollinearità quando si esegue la regressione del modello a miscele multipleSto eseguendo un modello di regressione senza intercettazione poiché tutti i miei predittori fanno parte di una miscela chimica e la somma di tutti i predittori è uguale a uno. Ho una buona convalida R2 e R2 ma il mio VIF per i termini principali e i termini incrociati è molto superiore a 5.
Qual è il modo migliore per affrontare questo?
Sto usando questo modello per prevedere le proprietà della miscela. Devo fornire vincoli aggiuntivi per i miei predittori come i rapporti (ad es. x1/x2 nell'intervallo)?
Re: Come gestire la multicollinearità quando si esegue la regressione del modello a miscele multipleRaccomando anche il nuovo libro di Snee e Hoerl sugli esperimenti di miscela per formulazioni che utilizzano JMP. Questo è un buon momento per ottenere una copia con a promozione da SAS Press anche per gli eBook!
Re: Come gestire la multicollinearità quando si esegue la regressione del modello a miscele multipleHo già il libro, grazie!Re: Come gestire la multicollinearità quando si esegue la regressione del modello a miscele multipleForse non sto comunicando molto bene. Se stai realizzando progetti di miscele, sei, infatti, nel mondo dell'ottimizzazione. Ciò significa che hai già determinato fattori significativi da modellare (disponi almeno di un modello del primo ordine) e comprendi il rumore. Il tuo ultimo post suggerisce che stai guardando un set di dati storici da uno studio mal progettato. Quindi la mia analogia con l'utilizzo di disegni di miscele in questa applicazione: "stai mappando la base della montagna". Non sono sicuro della tua conoscenza di base dei design delle miscele, ma ti suggerisco di prendere il libro di Cornell "Experiments with Mixtures".
Ovviamente puoi guardare i dati storici per ottenere indizi, ma di solito questa è una sorta di procedura di regressione. Quindi continuerai a ripetere fino ad arrivare a un punto in cui desideri sperimentare i componenti di una miscela per ottimizzare.
Re: Come gestire la multicollinearità quando si esegue la regressione del modello a miscele multipleStatman, grazie! Non sono interessato all'ottimizzazione, ancora ho pensato che potesse arrivare più tardi. Per ora, devo solo prevedere la proprietà certa del vetro conoscendone la composizione. Uso dati storici molto "costosi" per la modellazione e non sono progettati bene (o per niente) e alcuni dei miei componenti hanno correlazioni superiori a 0,7.
Quindi sto pensando a come selezionare termini incrociati significativi anche per il mio modello per definire la rabbia del costituente del vetro adeguata per la previsione. Controllerò con le mappe di contorno come hai suggerito perché sembra molto promettente!
Re: Come gestire la multicollinearità quando si esegue la regressione del modello a miscele multipleCostantino,
Il mio $.02, prendilo o lascialo.
Sei nel mondo dell'ottimizzazione. Ciò richiede un uso e un'interpretazione diversi delle analisi statistiche. Ad esempio, non sei così interessato alla significatività statistica, questo è già stato determinato. Sebbene i quadrati R (e i quadrati R regolati) possano essere piuttosto utili in alcune fasi della costruzione del modello, non sono così utili durante l'ottimizzazione. (A proposito, i quadrati R hanno poco a che fare con l'estrapolazione dei risultati, riguardano solo i dati in mano). Il mio consiglio sarebbe di utilizzare le mappe di contorno fornite da JMP ed effettivamente eseguire quelle miscele e confrontare i risultati effettivi con i risultati previsti (delle mappe di contorno). Eseguire l'analisi dei residui e modificare le mappe in modo appropriato utilizzando dati empirici. Eviterei di complicare eccessivamente i valori con rapporti o altre trasformazioni. Un'ulteriore parola di cautela, se stai eseguendo progetti di ottimizzazione senza comprendere veramente il rumore e l'effetto del rumore nel tempo (ad es. errori di misurazione, variazione da lotto a lotto delle sostanze chimiche in ingresso, condizioni ambientali, ecc.), le mappe di contorno non saranno molto buoni predittori di risultati effettivi.
Re: Come gestire la multicollinearità quando si esegue la regressione del modello a miscele multipleSpunterei le caselle per la codifica dello pseudocomponente L. Puoi controllare entrambi, ma corri il rischio che diversi tipi di codifica vengano utilizzati per fattori diversi. Trovo più facile attenersi a un solo tipo e la codifica a pseudocomponente L è solitamente la migliore.
Si noti che questa standardizzazione è diversa dalla progettazione tradizionale degli esperimenti per fattori indipendenti.
Per quanto riguarda la tua ultima domanda, puoi decidere cosa ha più senso per le persone che utilizzeranno questo modello. Personalmente, vorrei solo le gamme dei componenti. Troverei i rapporti imbarazzanti poiché il modello non è in termini di rapporti. Infine, se stai utilizzando JMP e hai i componenti impostati correttamente (un vantaggio dell'utilizzo di JMP per creare il tuo progetto), il profiler imposterà automaticamente gli intervalli per i componenti per evitare l'estrapolazione. Inoltre, hai il profiler della miscela che mostrerà gli intervalli validi per i tuoi componenti.
Re: Come gestire la multicollinearità quando si esegue la regressione del modello a miscele multipleDan, grazie per la risposta! Per quanto il mio progetto non sia stato creato in JMP, non esiste una codifica pseudocomponente, ma ho contrassegnato tutti i miei predittori come casella a discesa delle proprietà della miscela tramite la colonna.
Vedo anche le caselle di controllo per Pseudo Component Coding L e Pseudo Component Coding, dovrei selezionarle? Ho provato a eseguire manualmente la standardizzazione per tutti i miei predittori, ma non sarebbero più una miscela (la somma non è uguale a 1) e JMP non segnala R2.
Inoltre, dopo aver creato il modello della miscela con un VIF elevato, pensi che abbia senso riportare gli intervalli per i miei rapporti predittori insieme al modello? Di solito, ho dimostrato solo il min-max per evitare l'estrapolazione.
Re: Come gestire la multicollinearità quando si esegue la regressione del modello a miscele multipleInnanzitutto una precisazione. Per i modelli di miscele Scheffe esiste un'intercettazione. Non viene visualizzato perché è combinato con le stime dei parametri dell'effetto principale. Questo NON è un modello senza intercettazione. Puoi confermare che stai adattando un modello Scheffe guardando la tabella Analisi della varianza. Dovrebbe dire "Test contro il modello ridotto: Y = medio". In caso contrario, non stai adattando un modello di miscela Scheffe come pensi.
Ora per gli alti VIF. Questo è MOLTO comune per un modello misto. C'è poco da fare per questo. Innanzitutto, stai usando valori codificati con pseudocomponenti? Se il disegno è stato creato in JMP, questo dovrebbe essere utilizzato automaticamente. Puoi vedere se la codifica dello pseudocomponente viene utilizzata osservando le stime dei parametri. Dovresti vedere qualcosa come (X1-c)/d dove c e d sono costanti. Se non lo vedi, puoi attivare la proprietà della colonna di codifica pseudocomponente, quindi adattare il tuo modello.
Anche con la codifica pseudocomponente, le VIF potrebbero essere molto elevate. Più sono vincolati i componenti della tua miscela, maggiori saranno le VIF. Sebbene non siano desiderabili VIF elevati, l'obiettivo di un modello misto è la previsione. È comunque possibile ottenere buone previsioni dal modello. Ricorda che questo è l'obiettivo finale. Gli alti VIF causeranno errori standard più elevati per le stime dei parametri che influiscono sul test. Ridurre il modello sarebbe più difficile, ma è possibile utilizzare il modello per la previsione.
