Le persone usano mai il PLS sui dati storici per la selezione delle variabili allo scopo di trovare variabili importanti come input per il DOE?Ho visto diversi webinar JMP in cui viene utilizzata la foresta Bootstrap per trovare le variabili VIP, in genere seguita da una rete Elastic o da una regressione Stepwise per restringere ulteriormente il campo dei termini che potrebbero essere importanti per i futuri DOE.
Sono curioso di sapere se qualcuno utilizza la regressione PLS nel processo, magari dopo Bootstrap Forest, per identificare ulteriormente variabili importanti o correlate prima di eseguire Elastic Net, ecc., oppure il fatto che Elastic Net mantenga/rimuova set di variabili correlate ne annulla la necessità?
Mi chiedevo se qualcuno lo usa nei propri processi. Ho visto alcuni webinar in cui il PLS viene utilizzato per estrarre dati sui processi biologici.
Modellazione predittiva e apprendimento automaticoR: Le persone usano mai il PLS sui dati storici per la selezione delle variabili per trovare variabili importanti come input per il DOE?Ciao @mjz5448 ,
Come per tutti gli approcci statistici, la risposta più semplice è "dipende". Hai ragione sul fatto che Elastic Net esegua già la selezione delle variabili in modo efficiente, quindi potresti non aver bisogno/voler applicare PLS in aggiunta - l'altro vantaggio è che i coefficienti del modello negli EN sono direttamente interpretabili, quindi puoi correlare direttamente i tuoi predittori alla tua variabile di risposta. Devi anche considerare lo scopo di PLS, che è principalmente quello di produrre un modello predittivo, non uno esplicativo (anche se potresti farlo, seppur con un ulteriore livello di complessità dovuto al caricamento e alle combinazioni lineari di tutti i fattori), che nel caso della selezione dei fattori DOE vuoi provare a utilizzare un approccio più adatto alla modellazione esplicativa rispetto a quella predittiva.
Spero che questo sia utile. Sono sicuro che altri abbiano qualche discussione preziosa da aggiungere.
Grazie,
Ben
R: Le persone usano mai il PLS sui dati storici per la selezione delle variabili per trovare variabili importanti come input per il DOE?Anni fa, quando lavoravo in una grande azienda chimica molto abile nel rivestire materiali su un substrato (si pensi a pellicole e carta fotografica), utilizzavamo costantemente il PLS per contribuire a informare gli esperimenti progettati per i seguenti motivi:
1. Numero molto ridotto di cicli di produzione con molti fattori di input. Pensare a set di dati ampi e brevi. Progettato su misura per PLS.
2. Elevata multicollinearità tra i fattori.
3. La vera comprensione del processo è andata perduta nel corso degli anni...alcuni di questi prodotti li realizziamo da decenni e il solito mantra nella produzione è "fai come l'ultima volta"...perché non sappiamo davvero come funziona il tutto.
4. I metodi di selezione delle variabili basati sulla regressione penalizzata/sull'albero non erano ancora ampiamente utilizzati nel software.
5. E la cosa che motiva l'intera impresa è: "La magia della fisica, della chimica o della biologia non si è concretizzata ieri sera quando abbiamo provato a realizzare (completa la frase). E non abbiamo idea delle cause profonde".
Abbiamo quindi utilizzato il PLS per cercare di identificare i fattori chiave, per poi recarci in impianti pilota/su piccola scala per condurre esperimenti progettati al fine di acquisire una comprensione del processo e identificare le cause profonde delle modalità di guasto sistemiche. Due degli ingegneri con cui ho lavorato avevano delle frasi che mi sono piaciute (come statistico in molti di questi team di problem solving): "A volte sapere e 'non è' è prezioso quanto sapere e 'è'". E l'altro era: "Finché non riesci ad attivare e disattivare una modalità di guasto... non ne conosci la causa principale".
In breve, è stata la combinazione di PLS e DOE a darci ciò che cercavamo. Spero che questo sia d'aiuto?
R: Le persone usano mai il PLS sui dati storici per la selezione delle variabili per trovare variabili importanti come input per il DOE?Ciao @mjz5448 ,
Sono pienamente d'accordo con @P_Bartell sull'uso del metodo PLS, soprattutto in situazioni che comportano collinearità/correlazione tra input e output, dove il numero di variabili di input è superiore al numero di esperimenti. Il metodo dei minimi quadrati parziali viene utilizzato per sviluppare modelli che utilizzano correlazioni tra Y e X.
Il PLS è in genere un modello spesso utilizzato in chemiometria per l'analisi dei dati spettrali, poiché si dispone di un numero molto elevato di X correlate (intensità per ciascuna lunghezza d'onda, ad esempio) e di poche osservazioni/esperimenti per prevedere alcune risposte. In questo caso, si sfruttano le correlazioni tra le X per ottenere un buon modello predittivo attraverso l'uso del PLS (con un'adeguata metodologia di validazione e test). Con questo tipo di modello è possibile ottenere un'interpretazione esplicativa e, nel contesto della chemiometria, è possibile utilizzare il grafico dell'importanza delle variabili e altri grafici per identificare bande/aree di lunghezze d'onda importanti relative a specifiche funzioni/gruppi/molecole chimiche. L'uso del Profiler disponibile in questa piattaforma aiuta anche a visualizzare interattivamente l'importanza delle variabili, ed è anche possibile calcolare gli indici di sensibilità Sobol nel Profiler tramite l'opzione " Valuta l'importanza delle variabili ".
L'uso di qualsiasi metodo di modellazione dovrebbe essere collegato al livello di conoscenza pregressa, ai propri obiettivi e al contesto sperimentale.
Nelle fasi di screening molto precoci, con scarse conoscenze pregresse e poche esecuzioni sperimentali, l'obiettivo è spesso quello di identificare effetti importanti, indipendentemente dalla precisione delle stime degli effetti (gli effetti potrebbero poi essere confermati e precisati raccogliendo dati informativi tramite DoE). In tale situazione, la regressione penalizzata (Lasso, Ridge, Elastic Net, selettore di Dantzig) è spesso utile per identificare effetti importanti, al prezzo di aumentare la distorsione nelle stime degli effetti. Si noti che l'uso di diversi metodi di penalizzazione varia a seconda delle ipotesi sulla scarsità degli effetti: Lasso effettuerà la selezione delle variabili imponendo stime a 0 per le variabili correlate, il che può essere utile se si prevede un numero limitato di predittori importanti tra un gran numero di candidati. Un approccio meno "aggressivo" sarebbe Ridge, che riduce l'entità degli effetti correlati senza effettuare alcuna stima a 0 (nel caso di più predittori correlati di importanza simile), oppure la stima Elastic Net, che combina le penalizzazioni di Lasso e Ridge.
Se si dispone di più osservazioni/esperimenti, si possono provare altri metodi di selezione delle feature che non si basano su bias/penalizzazioni, come Foresta casuale , o utilizzarlo come opzione di Predictor Screening , utilizzando l'Importanza delle Feature (contributo delle Colonne) per identificare le feature più importanti/attive. Si può anche provare a utilizzare il componente aggiuntivo Predictor Selection Assistant , che facilita la selezione delle variabili in base a una versione aggiornata di Predictor Screening che utilizza il metodo di selezione delle Feature di Boruta e Random Forest.
Puoi anche controllare le conversazioni correlate in questi argomenti:
Regressione multipla con variabili correlate
Qual è la migliore piattaforma JMP per la selezione delle feature?
Esiste un equivalente della multicollinearità per le variabili categoriali in JMP?
Il mio consiglio è di testare, confrontare e (eventualmente) combinare i diversi approcci di modellazione sopra descritti (e altri ancora), e confrontare i modelli ottenuti per vedere quali termini sono inclusi e quanto simili/diversi siano i modelli. Questo potrebbe aiutarvi notevolmente a capire cosa conta di più.
Spero che questa risposta ti sia d'aiuto,
R: Le persone usano mai il PLS sui dati storici per la selezione delle variabili per trovare variabili importanti come input per il DOE?Non esiste uno strumento corretto o una sequenza corretta di strumenti che possa fornire informazioni a tutti. Senza dubbio, ognuno di noi ha i propri pregiudizi su quale strumento sia più efficace o efficiente in una determinata situazione. In ogni caso, la risposta non sta nello strumento. La chiave è il pensiero critico, che richiede iterazione.
Si potrebbe iniziare con ipotesi scientifiche o ingegneristiche (ad esempio, termodinamica, entropia). Se non si hanno ipotesi, forse il "data mining" può essere utile. Io uso il data mining con una certa libertà. In pratica, si esaminano i dati per individuare schemi (o la loro assenza). Questo, ovviamente, è meglio farlo graficamente.
Esistono molte forme di regressione che tentano di quantificare le relazioni (ad esempio, OLS, stepwise, PCR, ridge, PCA, PLS, ecc.). Se chiedono al ricercatore di spiegare i risultati, questo può essere molto utile (ad esempio, perché questo fattore sembra significativo o perché questo non lo è). Questo è lo sviluppo di ipotesi (forse da valutare in esperimenti progettati).
Solo alcune parole di cautela utilizzando dati storici o osservazionali.
1. Se esiste un fattore che è stato ritenuto critico in un dato momento del passato (con qualsiasi mezzo), potrebbero esserci controlli su questo fattore che non ne consentono variazioni significative. L'analisi di tale fattore potrebbe mostrarne l'insignificanza in qualsiasi analisi di regressione (non ha subito variazioni significative).
2. Potrebbero essere presenti fattori confondenti nascosti (x che non sono stati identificati o etichettati nel set di dati).
3. La capacità di modellare ciò che è accaduto non significa che possiamo prevedere cosa accadrà .
4. L'estrapolazione del modello al di fuori dell'intervallo delle x raccolte, senza comprensione, potrebbe esserepericoloso.
5. La regressione utilizzata con dati storici non considera il contesto in cui i dati sono stati acquisiti (ad esempio, si conosce l'incertezza di misura?)
6. Può essere facilmente influenzato da punti dati "non validi".
