Screener predittivo rispetto a DOE?Sono solo curioso di sapere se lo screening dei predittori può essere utilizzato per identificare variabili importanti come fa un DOE di screening, quindi in pratica ti consente di passare direttamente all'ottimizzazione? Sono solo curioso di sapere se/come le persone combinano lo screening dei predittori e il DOE, se non lo fanno, o quali raccomandazioni/migliori pratiche hanno le persone.
Progettazione di esperimentiRi: Screener predittivo vs. DOE?Non sono sicuro di aver compreso completamente la tua domanda, ma ecco i miei pensieri:
Le domande a cui puoi rispondere, le informazioni rivelate dai dati, le conclusioni che trai, gli strumenti che utilizzi per l'analisi, la fiducia nell'estrapolazione dei risultati, la reazione appropriata ai dati dipendono interamente da come i dati sono stati acquisiti, da quanto rappresentativi e quanto completi sono i dati. il set di dati è.
Detto questo, non hai indicato dove stai ottenendo i dati per eseguire lo screening dei predittori. Se si tratta di dati storici, potresti non avere il contesto corretto per i dati. Potresti chiamare tutto questo data mining. Niente di male, ma questo viene fatto per sviluppare ipotesi che poi verranno verificate in un esperimento (metodo scientifico: è un ciclo continuo di induzione/deduzione). Ad esempio, i dati storici potrebbero contenere variabili influenti che non sono state registrate ma che sono cambiate durante la raccolta dei dati. Potresti aver avuto errori di misurazione che non sono stati stimati. Troppe incognite.
Speriamo che il DOE sia ben pianificato. Dovresti aver identificato i fattori da manipolare (e il motivo per cui vuoi manipolarli) così come i fattori che non manipolerai (rumore). Probabilmente hai in mente qualche modello da valutare con il tuo esperimento. Hai studiato il sistema di misurazione o prevedi di inserirlo nel trattamento.
Ri: Screener predittivo vs. DOE?Ciao @mjz5448 ,
Come affermato da @statman , lo screening Predictor è un utile strumento di data mining per esplorare possibili fattori importanti basati su dati storici, ma non sostituirà uno studio adeguato effettuato con DoE e obiettivi chiari.
Lo screening predittivo è un metodo basato sull'algoritmo Random Forest che ti aiuta a identificare variabili importanti (identificate dal calcolo dell'importanza delle caratteristiche) per le tue risposte nei tuoi dati storici. A seconda della rappresentatività dei dati, della copertura dello spazio sperimentale, dei valori mancanti, della presenza di valori anomali, delle interazioni, delle correlazioni o della multicollinearità tra i fattori, questa piattaforma potrebbe avere alcune scorciatoie, molte incognite e non dovrebbe essere fidata ciecamente.
- Ad esempio, la piattaforma di screening Predictor non fornisce un modello (a differenza della foresta Bootstrap disponibile in JMP Pro), ma solo l'importanza di caratteristiche/fattori, quindi non si ha accesso a singoli alberi e rami, che potrebbero aiutare a identificare le interazioni tra fattori.
- Inoltre, poiché non conosci la qualità del modello sottostante (tramite R², RMSE o altri parametri rilevanti in base ai tuoi obiettivi), non sai quanta variabilità viene spiegata attraverso di esso (o quanto sia accurato il modello) e se i calcoli dell'importanza delle caratteristiche sono pertinenti/adeguati per il tuo argomento.
- Poiché tutti i fattori sono classificati, la soglia/limite tra fattori importanti e non importanti non è banale. Per aiutarti, puoi aggiungere un fattore casuale (con valori casuali). Un esempio di questa tecnica è mostrato qui con il set di dati dei diamanti di JMP con il prezzo come risposta, aggiungendo un fattore casuale e omettendo il peso in carati come possibile input (poiché è un predittore molto importante, quindi volevo mostrarti un esempio in cui è difficile per ordinare gli altri predittori):
- Questa piattaforma non fornisce indicazioni su possibili correlazioni o multicollinearità tra fattori. È possibile utilizzare la piattaforma multivariata per esplorare le correlazioni tra input, output e input-output. Puoi anche creare modelli di regressione fittizi per calcolare i punteggi VIF tra i tuoi fattori, al fine di individuare la multicollinearità.
- Anche i fattori categorici ad alta cardinalità possono influenzare i calcoli dell'importanza delle caratteristiche. Maggiore è la cardinalità (numero di classi), maggiore sarà la distorsione, poiché i dati formeranno un numero elevato di piccoli gruppi/classi che il modello tenterà di apprendere. Quindi non riuscirà a generalizzare o a "comprendere la logica" e di conseguenza ciò aumenterà la possibilità di overfitting, dando a questa caratteristica un'elevata importanza. Ecco un esempio con lo stesso set di dati, stesse condizioni ma aggiungendo fattori categorici casuali con 11 livelli (da A a K). Questa caratteristica casuale categoriale con elevata cardinalità si trova prima della variabile numerica casuale vista prima:
DoE è molto più ampio di un'analisi esplorativa dei dati/una tecnica di data mining, ed è più un approccio/metodologia end-to-end: dalla definizione degli obiettivi, delle risposte e dei fattori per creare il set di dati più informativo (ma anche adattato alle vostre esigenze) budget sperimentale), all’analisi dei risultati e all’affinamento del modello per sapere meglio come procedere o raggiungere i propri obiettivi. Utilizza sempre le competenze del settore (con altri strumenti e visualizzazioni se disponi di dati storici) per guidare la selezione dei fattori per il tuo DoE.
Ti incoraggio a utilizzare la piattaforma Augment Design se disponi di dati storici rilevanti per il tuo studio (in termini di fattori), poiché puoi sempre espandere/ridurre gli intervalli dei fattori se necessario e hai molta flessibilità su come aumentare il set di dati storici iniziale in un progetto più grande. Come buona pratica (e particolarmente rilevante quando si aumentano i dati storici in un DoE), assicurati di selezionare l'opzione "Raggruppa nuove esecuzioni in blocchi separati" in questa piattaforma. Questa opzione può aiutarti a risparmiare un po' di budget sperimentale nella parte di screening iniziale per allocare le esecuzioni salvate nella parte di ottimizzazione (aumentando la DoE una seconda volta con il metodo Space-Filling in uno spazio sperimentale più ristretto o definendo un modello più preciso con ordine superiore termini solo sui fattori rilevanti).
Spero che questa risposta complementare ti aiuti a capire le differenze,
Ri: Screener predittivo vs. DOE?Ciao @mjz5448 ,
Non esiste un'opzione preferita per quanto riguarda la gestione del tempo negli esperimenti, si basa su come si valuta che il tempo sia un fattore di rumore critico nell'esperimento e sulla "portata"/sensibilità; ad esempio, se si prevede una variabilità temporale giorno per giorno e si possono eseguire diversi esperimenti al giorno, un fattore di blocco potrebbe essere sufficiente. Se durante il giorno può esserci una tendenza temporale (a causa della variazione della temperatura, delle condizioni di umidità, della luminosità, ecc...), allora l'uso del tempo come covariata può essere utile per creare un progetto robusto.
La situazione dell'utilizzo del tempo come covariata per creare un robusto progetto di tendenza temporale è spiegata nel libro "Optimal Designs of Experiments: A Case Study Approach" di Peter GOOS e Bradley JONES (Capitolo 9: Experimental Design in the Presence of Covariates).
C'era già un argomento che trattava della covariata temporale qui: https://community.jmp.com/t5/Discussions/Covariates-in-fine-order-in-custom-design/mp/596777/highlight/true#M80044
Bradley Jones scrive anche un post sul blog sull'uso del tempo/ordine come covariata: " Come creare un progetto di esperimento che sia robusto rispetto a un andamento temporale lineare nella risposta "
E nella Guida di JMP: https://www.jmp.com/support/help/en/17.2/index.shtml#page/jmp/design-with-a-linear-time-trend.shtml
Spero che questa risposta ti possa aiutare,
PS: Nessuna delle discussioni che hai avviato ha ricevuto una "Soluzione accettata". Se alcune risposte nei tuoi post hanno risolto la tua domanda/problema, contrassegnale come "Accetta come soluzione". Questo è un buon segno di riconoscimento per le persone che dedicano del tempo a risponderti e aiutano altri utenti JMP a trovare più facilmente soluzioni a problemi simili.
Ri: Screener predittivo vs. DOE?Grazie ad entrambi per aver commentato.
statman: hai ragione sul fatto che sto esaminando i dati storici e cercando di vedere se qualche variabile influisce sulla mia variabile di risposta 1.
Victor_G - grazie per il consiglio sulla variabile casuale, in realtà ho incluso una variabile casuale per determinare un punto limite, per così dire, per fattori importanti e non importanti.
Un'altra domanda su cui non sono riuscito a trovare documentazione è se è corretto includere "Data" come variabile nello screening del predittore? Oppure dovrei invece esaminare un'analisi delle serie temporali con "Data" separatamente dallo screening dei predittori oppure è utile includere la data nello screening dei predittori?
Grazie ancora!
Ri: Screener predittivo vs. DOE?Tecnicamente, è possibile includere una variabile temporale come Data nella piattaforma di screening Predictor e le foreste casuali possono essere utilizzate per l'analisi delle serie temporali.
Tuttavia, in base al contenuto fornito, prenderei in considerazione la possibilità di confrontare i risultati di questa piattaforma con e senza l'uso della variabile temporale.
Temo che le tue variabili sperimentali possano essere sensibili al tempo e che includere il tempo come possibile predittore possa nascondere altri predittori interessanti.
A seconda anche del formato e del tipo di dati utilizzati per la data (continui, discreti?) potresti anche influenzare i risultati della piattaforma introducendo un predittore di cardinalità elevata.
Infine, nel contesto sperimentale, il tempo non è un fattore che puoi variare in modo completo e indipendente nella tua DoE (a differenza di altri fattori). Potresti essere in grado di creare una progettazione robusta nel tempo aggiungendo il tempo come covariata (e nel modello tramite l'effetto principale e l'effetto quadratico) o come fattore di blocco, ma non modificarlo come desideri come altri fattori.
Quindi preferirei analizzare le relazioni tra la risposta e i fattori attraverso la piattaforma Predictor Screening, e poi analizzare le dipendenze dei fattori legate al tempo (attraverso visualizzazioni, analisi di serie temporali e/o esploratore di dati funzionali), ma probabilmente non includerò direttamente il tempo nello stesso modo come altri fattori nell’analisi esplorativa.
Ri: Screener predittivo vs. DOE?Grazie Victor_G.
Esistono preferenze su come includere le serie temporali nel DOE, quindi la preferenza è includere una covariata rispetto al blocco delle esecuzioni in base al tempo? Sembra che la data e l'ora abbiano sempre un ruolo nei miei esperimenti come ingegnere di impianti, ma ho trovato gravoso cercare di bloccare un fattore temporale poiché non controllo il nostro programma di produzione, l'ho già fatto prima, ma la mia preferenza sarebbe usarla come covariata, ma non ho mai usato una covariata nel mio DOE prima. Sei curioso di sapere se hai qualche esperienza? Grazie ancora.
Ri: Screener predittivo vs. DOE?A causa della possibilità di serie temporali nei tuoi dati, potresti anche considerare di trattare i tuoi dati come funzioni. Dalle descrizioni e dalle risposte non posso dire se questo approccio possa essere d'aiuto, ma puoi saperne di più qui . Si noti che le funzioni (ridotte a PCA funzionali) possono essere utilizzate come qualsiasi altra variabile di ruolo dell'analisi X o Y.
