Come eseguire metodi DoE iterativi con la piattaforma DoE personalizzataCIAO,
Ho letto alcuni post in passato riguardanti i metodi su come affrontare DoE e il perfezionamento del modello. Un metodo che ho visto è stato quello di basarsi su modelli utilizzando l'opzione di progettazione aumentata ed è stato descritto come un processo iterativo.
In questo modo, eseguiresti più di un DoE personalizzato di tipo screening nelle fasi iniziali, valuteresti il modello, ridurresti il modello, quindi aumenteresti la progettazione per un'ulteriore ottimizzazione e riduzione della varianza.
1. Questo processo sembra valido come metodo per avvicinarsi al perfezionamento del modello?
2. Quali passaggi intraprenderesti per perfezionare il tuo modello utilizzando questo metodo?
- Lo screening dovrebbe valutare simultaneamente sia gli effetti principali che gli effetti di interazione o si dovrebbe iniziare con gli effetti principali e poi proseguire con le interazioni di 2° ordine?
- Se un effetto principale viene ritenuto "insignificante", significa che non esiste anche il potenziale per effetti di interazione?
- Dovresti aggiungere punti centrali per rilevare la curvatura nella fase di screening?
- Dovresti aggiungere repliche in questa fase? (Ho sentito che questo potrebbe non essere necessario quando si valutano impatti di grandi dimensioni piuttosto che una varianza bassa)
- Quando dovrebbero essere aggiunte le repliche/concentrarsi sulla riduzione della varianza?
Grazie in anticipo!
Progettazione di esperimentiModellazione predittiva e machine learningfinestreRi: Come eseguire metodi DoE iterativi con la piattaforma DoE personalizzataCi proverò. Per favore, scusate la mia "lezione".
Non esiste un "modo unico" per costruire modelli. Alcuni metodi possono essere più efficaci o efficienti a seconda della situazione, ma tutto dipende dalla situazione. Lasciatemi anche suggerire che il modello deve essere utile.
Un buon modello è un'approssimazione, preferibilmente facile da usare, che cattura le caratteristiche essenziali del fenomeno studiato e produce procedure robuste rispetto alle probabili deviazioni dalle ipotesi
Casella GEP
Utilizzo il metodo scientifico (ovvero un processo iterativo di induzione-deduzione, esempi includono il PDSA di Deming o il processo di apprendimento iterativo di Box) come base per tutte le indagini.
L'impulso o la motivazione (ad esempio, ridurre i costi, migliorare le prestazioni, rispondere al reclamo del cliente, aggiungere funzionalità, ecc.) dovrebbe essere dichiarato, ma è necessario prestare attenzione poiché ciò potrebbe essere semplicemente un sintomo. Si dovrebbe decidere se si tratta di uno studio per spiegare ciò che sta già accadendo o lo studio è destinato a comprendere la struttura causale (sono di parte nel comprendere la causalità). Inoltre, occorre comprendere quali sono i vincoli (ad esempio, risorse, senso di urgenza). Iniziare con la diagnostica della situazione (ad esempio, porre domande, osservare, data mining (questo può includere diverse procedure di regressione), collaborazione, potenziali soluzioni, sistemi di misurazione, ecc.). Quali sono le risposte adeguate? C'è interesse a comprendere la tendenza centrale, la variazione o entrambe. Le variabili di risposta quantificano adeguatamente i fenomeni? Ho visto innumerevoli volte in cui il problema era la variazione, ma la risposta era meschina. Non funzionerà mai.
Sviluppare ipotesi. Una volta che hai una serie di ipotesi, ottieni dati per fornire informazioni su tali ipotesi. La strategia di raccolta dati appropriata dipende dalla situazione. Se ci sono molte ipotesi o fattori (ad esempio, >15), l'approccio più efficiente potrebbe essere quello di utilizzare studi di campionamento diretto (ad esempio, componenti di variazione, MSE). I dati dovrebbero aiutare a individuare quali componenti hanno il maggiore effetto leva. Man mano che l'elenco dei "sospetti" si riduce, forse la sperimentazione può accelerare l'apprendimento. Ciò probabilmente seguirà una sequenza di iterazioni, ma è probabile che non si sappia quale sia la sequenza "migliore" effettiva da avviare. Errore nell'iniziare con uno spazio di progettazione ampio (ad esempio, molti fattori e livelli in grassetto). Si tratterà probabilmente di una sorta di esperimento frazionario su quello spazio di progettazione. Renditi conto che gli effetti di ordine superiore (ad esempio, interazioni e non lineari) sono ancora presenti, potrebbero semplicemente essere confusi. Lascia che i dati e la tua interpretazione delle informazioni che i dati ti forniscono siano la guida.
Per quanto riguarda il rumore (ad es. materiali in entrata, condizioni ambientali, errore di misurazione, tecniche dell'operatore, utilizzo da parte del cliente, ecc.), penso che questa sia l'occasione persa più spesso. Intuitivamente, penso che il nostro pregiudizio sia quello di mantenere costanti quei fattori non testati mentre sperimentiamo. Questo è completamente sbagliato. Ciò crea uno spazio di inferenza ristretto e riduce la probabilità che i risultati si mantengano validi in futuro. Comprendere il rumore è molto vicino alla comprensione di un modello del primo ordine. Pensa al più grande esperimento che tu abbia mai progettato. Pensa a quanti fattori erano presenti nello studio. Qual è la proporzione di TUTTI i fattori dell'esperimento? Sfortunatamente, il software non è realmente in grado di fornire indicazioni su come studiare adeguatamente il rumore.
"Blocca ciò che puoi, randomizza ciò che non puoi", GEP Box
Si spende molto per studiare il modo più efficiente di studiare i fattori di progettazione (ad esempio, personalizzazione, ottimalità, DSD), ma si spende poco per incorporare il rumore nello studio. Non sono sicuro di cosa faccia per te un modello complesso se ti trovi nel posto sbagliato. Non sei sicuro che possa essere "automatizzato" in un programma software? richiede pensiero critico.
Per quanto riguarda le tue domande specifiche:
- Lo screening dovrebbe valutare simultaneamente sia gli effetti principali che gli effetti di interazione o si dovrebbe iniziare con gli effetti principali e poi proseguire con le interazioni di 2° ordine?
Il consiglio è di sviluppare i modelli in modo gerarchico. La tua domanda potrebbe non essere "valutare" ma stimare o separare? Tutto dipende da cosa sai e cosa no. Errore sul presupposto: non sai molto!
- Se un effetto principale viene ritenuto "insignificante", significa che non esiste anche il potenziale per effetti di interazione?
Assolutamente no. Ti do F=ma (nessuno degli effetti principali, m o a, è significativo)
- Dovresti aggiungere punti centrali per rilevare la curvatura nella fase di screening?
Dipendente dalla situazione. Sospetti un effetto non lineare? Perché? Ti trovi in uno spazio di progettazione in cui l'effetto non lineare è utile?
- Dovresti aggiungere repliche in questa fase? (Ho sentito che questo potrebbe non essere necessario quando si valutano impatti di grandi dimensioni piuttosto che una varianza bassa)
- Quando dovrebbero essere aggiunte le repliche/concentrarsi sulla riduzione della varianza?
Hai bisogno di una strategia rumorosa. La replica è una delle tante. Ancora una volta la domanda sarà: il rumore nello spazio di progettazione è simile al rumore vicino a dove vuoi essere? Se è così, studialo adesso.
L'esatta standardizzazione delle condizioni sperimentali, spesso proposta sconsideratamente come una panacea, porta sempre con sé il vero svantaggio che un esperimento altamente standardizzato fornisce informazioni dirette solo rispetto alla ristretta gamma di condizioni raggiunte dalla standardizzazione. La standardizzazione, quindi, indebolisce piuttosto che rafforzare la nostra base per dedurre un risultato simile, quando, come invariabilmente accade nella pratica, queste condizioni sono alquanto diverse.
- RA Fisher (1935), Progettazione di esperimenti (p.99-100)
Re: Come eseguire metodi DoE iterativi con Custom DoE PlatformGrazie per una risposta così ponderata. Mi dà molto su cui riflettere per andare avanti nel mio approccio ai design.
Ho alcune domande di follow-up. Vorrei trovare un modo efficiente per ridurre al minimo il numero di esecuzioni necessarie per perfezionare un modello di 9 fattori continui. Abbiamo un processo che è stato creato utilizzando metodi non statistici, quindi ora stiamo valutando con JMP per garantire che non ci siano sorprese... L'obiettivo è valutare e rimuovere componenti insignificanti, quindi creare un modello efficace e predittivo all'interno del nostro spazio di progettazione. Lavoro nella purificazione e ci sono risposte finite (recupero/purezza). Per questo motivo, ha senso per me che ogni fattore debba avere un ottimo (un elemento quadratico) su un ampio intervallo di test.
Penso che il processo di pensiero generale sia quello di eseguire una selezione, rimuovere i fattori insignificanti (effetti principali e interazioni), quindi concentrarsi sulle equazioni quadratiche e sulla riduzione della varianza ampliando il design.
- Come fai a sapere quali interazioni sono importanti?
- Sto lavorando sul perfezionamento del buffer e ci sono molti componenti di cui non siamo sicuri delle interazioni
- Con l'applicazione personalizzata, se si presume che tutte le interazioni debbano essere valutate, lo "schermo" diventa molto grande (48 esecuzioni)
- Come fai a sapere quali interazioni vengono valutate quando utilizzi opzioni di screening non personalizzate?
- Se si fa affidamento su applicazioni come lo schermo definitivo o gli schermi classici, si avvicina di più a 30 esecuzioni
- Mi sento più a disagio con questa opzione perché non sono sicuro di quali interazioni vengono valutate e quali no
In realtà, sembra che ordinare gli effetti delle interazioni sia la parte più impegnativa delle esecuzioni. Voglio assicurarmi di farlo in modo efficiente.
Grazie!
Re: Come eseguire metodi DoE iterativi con Custom DoE PlatformEcco i miei pensieri. Sfortunatamente, non ho una conoscenza approfondita del tuo processo, quindi tienilo a mente.
"Vorrei trovare un modo efficiente per ridurre al minimo il numero di esecuzioni necessarie per perfezionare un modello di 9 fattori continui."
Minimizzare in 1 esperimento? Hai intenzione di iterare? Qual è il budget complessivo dell'esperimento (ad esempio, tempo e risorse)? Minore è il numero di esecuzioni, minore è il grado di libertà disponibile per separare e assegnare gli effetti.
"Abbiamo un processo creato utilizzando metodi non statistici, quindi ora lo stiamo valutando con JMP per assicurarci che non ci siano sorprese ".
In definitiva, vuoi un modello predittivo che sia utile e robusto. Il modo in cui arrivi al modello può avere un impatto sulle risorse, ma non c'è magia con le statistiche. "Nessuna sorpresa" per me significa un processo stabile e coerente , robusto al rumore. L'unico modo per valutare la robustezza è far variare il rumore nel tuo studio. Ciò implica anche una serie temporale. Questa non è l'enfasi nella sperimentazione in cui la serie temporale è volutamente compromessa per accelerare la comprensione del modello.
"L'obiettivo è valutare ed eliminare i componenti insignificanti, per poi creare un modello predittivo efficace all'interno del nostro spazio di progettazione."
Un po' di forgiatura di parole... L'obiettivo è costruire un modello efficace (funzionante), efficiente (economico), utile (gestibile), predittivo (coerente e stabile) che sia robusto (al rumore). Naturalmente, potresti voler considerare il concetto di miglioramento continuo. Cosa succede con l'evoluzione della tecnologia? Con lo sviluppo o l'adattamento di nuovi materiali? Con il miglioramento delle misurazioni e dei sistemi di misurazione? Con il cambiamento delle esigenze dei clienti?
"per me ha senso che ogni fattore abbia un valore ottimale (un elemento quadratico) su un ampio intervallo di test".
Perché un quadratico? Ti interessano solo le deviazioni dal lineare quando sono significative. È molto più facile gestire un modello lineare. L'obiettivo non è ottenere un modello che predice esattamente. Questi modelli sono spesso eccessivamente complessi e funzionano solo su uno spazio ristretto.
"Come fai a sapere quali interazioni sono importanti?"
Inizierei con lo SME. Quali interazioni hanno senso? Quali interazioni sono previste? Perché? (ipotesi). Classificherei gli effetti del modello fino al 2° ordine. Man mano che gli effetti del 2° ordine salgono nell'elenco, aumenta la necessità di aumentare la risoluzione. I design ortogonali classici sono piuttosto utili nel lavoro sequenziale poiché la struttura di aliasing è nota e non è parziale. Mentre potresti spendere risorse su più esecuzioni per iniziare, sarà più facile eliminare l'alias negli esperimenti successivi. In ogni caso, progetta più opzioni per 9 fattori (facilmente realizzabile in JMP). Valuta cosa farà ogni opzione di design in termini di quali conoscenze possono essere potenzialmente acquisite (ad esempio, quali effetti saranno separati, quali saranno confusi, quali non saranno nello studio). Confronta queste opzioni con le risorse necessarie per il completamento. Prevedi TUTTI i possibili risultati da ogni design. Prevedi quali azioni comporterà ogni possibile risultato. Seleziona il design che prevedi sarà il miglior compromesso tra conoscenze e risorse. Eseguilo. Preparatevi a ripetere l'operazione (le iterazioni devono essere previste).
" Come fai a sapere quali interazioni vengono valutate quando utilizzi opzioni di screening non personalizzate? "
JMP fornirà la struttura di aliasing per ogni progettazione proposta.
Concordo, in generale, che più il tuo design è "personalizzato", più complicato è l'aliasing. Questo è il rischio con l'aliasing parziale. La ricompensa è un minor numero di esecuzioni nel design attuale. Sono minori nel corso della sperimentazione sequenziale? Chi lo sa.
