Cos'è OFAT? Cosa c'è che non va?
La sperimentazione di un fattore alla volta (OFAT) generalmente comporta il mantenimento di tutti i fattori tranne uno costanti, la variazione del fattore rimanente e l'osservazione di come ciò modifica una risposta. Senza un esame approfondito, OFAT sembra essere un modo intuitivo e "scientifico" per risolvere i problemi. Personalmente, prima di apprendere l'approccio alla sperimentazione Design of Experiments (DOE), non ho mai messo in dubbio OFAT come approccio predefinito, arrivando persino a pensare che non potevo variare più di un fattore alla volta ogni volta che cercavo di risolvere un problema. Ricordo di aver trascorso una volta circa tre giorni con un ingegnere di processo cercando di ottimizzare un processo utilizzando metodi OFAT. Pensavo di essere metodico e scientifico e di risolvere il problema nel modo giusto richiedendo il minor numero di risorse. Mi sbagliavo. Dopo un esame approfondito, OFAT non è né a) bravo a trovare le migliori impostazioni di processo , ovvero il punto debole, né b) un uso efficiente delle risorse.
Aspetta, OFAT non trova il punto ottimale?
No, OFAT non trova sempre le migliori impostazioni di processo. Per vederlo, scarica e installa il componente aggiuntivo OFAT vs. DOE , che genera una risposta curva per due fattori di processo (chiamati "x" e "y") e visualizza un grafico di questa risposta insieme ad alcuni pulsanti lungo il lato destro del grafico. Il pulsante "Scatterplot 3D" genera un modo interattivo per visualizzare la forma della risposta. Il pulsante "Toggle Visibility" attiva o disattiva la visualizzazione dell'intera superficie di risposta.
In questo esempio, immagina di provare a trovare il più alto output di processo possibile, che si trova nel quadrato x=2, y=8. Il pulsante 'OFAT Once' imita un approccio OFAT standard:
- Scegli un posto a caso.
- Mantenendo costanti tutti gli altri fattori ('y' in questo caso), varia il fattore rimanente ('x') nello spazio consentito, cercando di trovare il massimo.
- Dal massimo trovato, scegli un altro fattore da variare ('y' è l'unico rimasto in questo esperimento), mantieni tutti gli altri costanti e cerca il massimo.
- Ripetere il passaggio 3 fino a quando tutti i fattori non saranno stati testati (non necessario in questo caso, poiché i fattori totali erano solo 2).
- Festeggia perché hai trovato il punto debole usando la scienza! Ma aspetta, sei sicuro?
Prova tu stesso. Fai clic sul pulsante "Toggle Visibility" per cancellare il grafico (per fingere di non sapere già come sono le cose). Utilizzando il pulsante "OFAT Once", osserva come si svolge il processo sperimentale. Se sei fortunato (circa il 20% delle volte), troverai il punto massimo/sweet del processo. Il resto delle volte, finirai per non trovare il massimo. A volte, finirai persino nel quadrante in basso a destra, pensando che l'output massimo del processo sia di circa 1,5 unità. Di seguito è riportato un esempio di un esperimento OFAT fortunato (a sinistra) e uno sfortunato (a destra).
Utilizza il pulsante "OFAT 10x" per simulare rapidamente l'esecuzione di un esperimento OFAT 10 volte e noterai che il punto ottimale viene trovato solo nel 30% circa dei casi (il numero potrebbe variare a causa del campionamento casuale).
Il pulsante 'OFAT 1000x' esegue rapidamente 1.000 esperimenti e restituisce la frequenza con cui OFAT trova il punto ottimale. Trovare il punto ottimale solo circa il 25% delle volte dimostra che non ci si può fidare degli esperimenti OFAT.
Ma sicuramente OFAT è efficiente. Quel fantasioso approccio DOE richiederà più prove sperimentali, giusto?
Sbagliato. DOE significa meno esecuzioni. Ogni esperimento OFAT nello script interattivo richiede 19 esecuzioni (10 per il fattore 'x' e 9 per il fattore 'y'). Il pulsante DOE sul lato destro della finestra apre una tabella dati che include i risultati di un DOE creato in Custom Designer di JMP che include tutti gli effetti principali, tutte le interazioni bidirezionali, tutti i termini al quadrato e tutti i termini al cubo. JMP ha reso questo un DOE da 14 esecuzioni e non solo trova il punto ottimale, ma genera anche un modello che prevede l'intero intervallo di entrambi i fattori, come mostrato nel profiler di seguito (per interagire con questo profiler, esegui lo script 'Modello' nella tabella dati DOE).
I risultati migliorano solo con l'aumentare della complessità. Un processo con 5 fattori continui che utilizza lo stesso metodo OFAT richiederebbe 46 esecuzioni (10 per il 1° fattore, 9 per ciascuno dei fattori rimanenti) e potrebbe anche non trovare il punto ottimale . Il Custom Designer di JMP genera un design per gli stessi cinque fattori che richiede solo 12 esecuzioni (solo effetti principali) o 27 esecuzioni (effetti principali, tutte le interazioni a 2 vie, tutti i termini al quadrato). Questi design includono anche esecuzioni ripetute, quindi è possibile calcolare una stima della variazione della risposta. Chiaramente, un approccio DOE alla sperimentazione è migliore della sperimentazione OFAT: il DOE utilizza meno esperimenti e trova il punto ottimale più regolarmente.
Questo è un argomento convincente a favore del DOE. C'è qualcos'altro?
Sì. Oltre a trovare soluzioni più spesso richiedendo meno risorse, l'approccio DOE genera anche un modello che può essere utilizzato per rispondere ad altre domande sui fattori studiati. Con OFAT, se le circostanze cambiano, la fortuna determina se le nuove circostanze possono essere affrontate senza ulteriori sperimentazioni. Ad esempio, cosa succede se il cliente del processo campione di cui sopra ha bisogno solo di un output di processo di circa 1,5 unità e l'ingrediente "y" diventa estremamente costoso? Un approccio OFAT potrebbe non avere una risposta a questo. Un approccio DOE ha un modello che può generare un nuovo punto ottimale di x=0 e y= 1.
E la tua esperienza? Hai visto esempi di questi due tipi di approcci sperimentali nel tuo lavoro? Vuoi aggiungere qualcosa che mi è sfuggito? Commenta qui sotto.
