Impara dal feedback del nostro workshop JMP Pro con Chris G. a HeidelbergQui descrivo ciò che ho imparato dal workshop di Heidelberg con Chris Gotwalt sull'ottimizzazione bayesiana:
Alcuni brevi fatti:
- 48 iscritti - circa 40 nella sala
- Argomento Ottimizzazione Bayesiana
- molto interesse
- circa il 60% aveva JMP Pro
- La maggior parte ha familiarità con DoE e mira a ottimizzare i processi più velocemente e con costi minimi
Ipotesi e conferme su situazioni esotiche:
- Risposte multiple, 𝑦_𝑖 (𝑥)
- Tutti si sono alzati chiedendo conferma che ciò è importante per loro e di cui hanno bisogno
- Aumento “batch” di più di una esecuzione
- Quasi tutti hanno situazioni in cui è necessario effettuare esperimenti in batch, non solo il successivo, ma ad esempio i successivi 4, 6 o qualsiasi altro numero. Il motivo è il più delle volte
- l'esperimento dura troppo a lungo per aspettare il suggerimento successivo,
- ma anche la mancanza di materiale (non sempre disponibile) è un altro motivo.
- Aspettative menzionate:
- come ridurre i tempi di sviluppo
- Obiettivo del reparto analitico (utente Design Expert)
- per convincere i colleghi a usare più facilmente il DOE, dato che dicono che non è possibile effettuare così tante prove.
- Offrire agli utenti opzioni per qualcosa di diverso da DOE, perché dovrei fare esperimenti che non mi portano nulla? Voglio solo un buon risultato.
- Costo -> meno corse
- Cosa speri di ottenere?
Domande dal pubblico:
- E se i fattori non fossero importanti?
- Risposta: Ignorerà i fattori che non hanno impatto. L'opzione "importanza variabile" aiuterà a mostrare i fattori ordinati per potenza.
Le risposte possono essere ponderate? (un altro caso "esotico")
- Risposta: Sì, verrà applicato alla desiderabilità Bayesiana nel profiler. È possibile gestire obiettivi concorrenti o situazioni di sparsità complesse, così come obiettivi di corrispondenza con il limite di specifiche/target.
Come verranno gestiti i problemi locali di min/max?
- Risposta: Confrontalo un po' con Newton, potrebbe succedere, ma se non sei soddisfatto, puoi facilmente esplorare altre regioni, ad esempio con un'elevata varianza.
Posso usare risposte/fattori categoriali? (un altro caso "esotico")
- Risposta: Sì, ma la correlazione non sarà basata sulla distanza come per le risposte continue
E se so che la risposta sarà molto rumorosa? Come posso gestirla? (un altro caso "esotico")
- Risposta: È necessario sviluppare delle strategie: eseguire prima un'MSA per valutare la varianza e utilizzare le repliche per calcolare la media della variabilità
Posso aggiungere nuovi fattori? (un altro caso "esotico")
- Rispondi sì, anche a metà del progetto
Casi d'uso:
- Chris G.: Formulazioni e miscele sono il caso d'uso principale, poiché tutti i fattori di confondimento e i vincoli non sono più un problema. Perché dipendono dalla distanza e non dallo spazio di progettazione! I fattori di inflazione non contano affatto.
- I clienti hanno menzionato:
- Regolazione del controller PID: un'esecuzione richiede 15-30 minuti, ma è macchinoso entrare e uscire ogni volta, quindi le esecuzioni batch sono molto importanti per loro (rispetto alle soluzioni bayesian opt di base con solo l'esecuzione successiva)
- Addestramento e modellazione iperparametrica
- Ambiente GMP in cui non è possibile variare troppo e si è limitati, ad esempio, a 2 lotti da eseguire in totale
- Può avere un effetto enorme nella ricerca (farmaceutica), ma può avere un effetto minore, ad esempio, nella caratterizzazione dei processi
- Convinci i colleghi a usare DOE, perché è più semplice e ti permette di superare il problema, come si dice, che non è possibile effettuare così tante prove.
Suggerimenti: @chris_gotwalt1 @DanielValente
- P&G/BASF: Sarebbe fantastico avere la possibilità di aggiungere informazioni precedenti (ad esempio da reazioni/formule chimiche note o che si sappia con certezza che si tratta di un modello lineare) per influenzare la curva di desiderabilità
Riepilogo generale:
- Grande interesse
- La nostra piattaforma sembra adattarsi bene al panorama tra Bofire (per programmatori Python) e soluzioni auto-sviluppate (rese molto facili per gli uomini d'affari)
- È molto più di quanto la maggior parte degli strumenti di ottimizzazione bayesiana possano fare: parliamo delle situazioni "esotiche" di Bayes Opt
Ulteriori commenti:
- Come gestire le domande sulla selezione e sulla matematica di base?
- Le persone lo desiderano e vedono che aiuta molti utenti JMP e vogliono averlo in JMP. Questo è un motivo importante per parlare del valore che potrebbero ottenere se tutti quegli utenti lo utilizzassero ed effettuassero un calcolo del ROI per vedere come si confronta un ELA/un certo numero di licenze Pro. Ad esempio, lasciamo che il promotore mostri la differenza tra gli esperimenti passati e cosa sarebbe successo se avessimo fatto BO dopo la prima sperimentazione. Ha portato a qualche altra strada/ha trovato la risposta prima/quando è stato il punto in cui abbiamo imboccato la direzione sbagliata? Si tratta di convincere gli altri (gli stessi ingegneri che ripetono la sperimentazione più e più volte) con le loro ipotesi.
Re: Impara dal feedback del nostro workshop JMP Pro con Chris G. a HeidelbergUn altro commento: le organizzazioni probabilmente avranno già qualche tipo di soluzione in uso, ad esempio BoFire (pacchetto Python) o qualcosa di più semplice. La maggior parte di loro non include tutte le situazioni esotiche nei propri strumenti o sono pensati per i programmatori.
Siamo lì per conquistare una buona fetta del mercato con quello che abbiamo ora.
Re: Impara dal feedback del nostro workshop JMP Pro con Chris G. a HeidelbergOttimo riassunto del feedback. Ho solo annotato altre domande e risposte.
E se il tavolo provenisse da qualche altra parte?
- Risposta: Nessun problema, puoi aggiungere tutti i vincoli nel profiler
Un esempio per mostrare come il profiler si evolve attraverso le esecuzioni?
- Risposta: Sì, sarebbe bello! Chris ha detto che forse lo aggiungeranno in futuro. Nella sua presentazione è riuscito a mostrare manualmente questa evoluzione del profiler utilizzando più diapositive, ma è stato un lavoro impegnativo.
Quando ottimizzi, dai anche dei pesi?
- Risposta: Sì, proprio come facciamo nel profiler, puoi modificarli al volo e se modifichi la desiderabilità (ad esempio massimizzando nel caso dell'abrasione), le desiderabilità per l'opzione bayesiana si adatteranno automaticamente.
Cosa succede se gli intervalli non sono sufficientemente buoni o ristretti?
- Risposta: puoi semplicemente modificare gli intervalli nel profiler e poi ne terrà conto
Possiamo salvare il profiler di formule/previsioni?
- Risposta: Non esiste un modo diretto per farlo. Bisogna tornare alla tabella dati e aprire la piattaforma Gaussian Process, dove sarà possibile salvare il modello (tenendo presente che si tratterà di una formula/modello diverso da quello creato dalla piattaforma di ottimizzazione bayesiana).
Re: Impara dal feedback del nostro workshop JMP Pro con Chris G. a HeidelbergGrazie per la condivisione, Martin. Hai qualche idea sullo svolgimento del workshop? Hai mostrato un esempio e poi hai chiesto al pubblico di lavorarci insieme? Pensi che dovremmo aggiungere o modificare uno degli esempi per fare un batch di 4 sessioni contemporaneamente invece di una singola sessione?
Re: Impara dal feedback del nostro workshop JMP Pro con Chris G. a HeidelbergGrazie a tutti per aver condiviso le vostre riflessioni emerse dalle discussioni su BayesOpt. Condivido una preoccupazione espressa da alcuni partecipanti al workshop di Londra: molti scienziati desiderano provare l'ottimizzazione bayesiana, ma temo che possano sbagliare qualcosa nell'applicazione del metodo. Questo mi ha portato a chiedermi se alcuni dei nostri utenti avanzati non siano dei "gatekeeper" statistici e possano scoraggiarne l'uso da parte degli utenti tradizionali.
La perfezione è un obiettivo nobile e difficile da raggiungere. Aiutare scienziati e ingegneri ad abbandonare la sperimentazione per tentativi ed errori è il risultato degno che potremmo desiderare. Aiutare scienziati e ingegneri a svolgere un lavoro più appagante e a ottenere risultati aziendali più prevedibili e spesso migliori (rispetto agli approcci per tentativi ed errori). Sarebbe possibile incoraggiare i nostri responsabili statistici a concentrarsi meno sulla perfezione nell'applicazione dei metodi di sperimentazione statistica e più sul supporto a scienziati e ingegneri nella loro evoluzione del cambiamento, in un modo che funzioni per la maggior parte delle persone. Come parte di questa evoluzione, scienziati e ingegneri potrebbero scoprire di aver bisogno sia di DoE che di BayesOpt, ma il punto di partenza dovrebbe essere affidato a loro e al loro manager.
Fate attenzione al "guardiano statistico". Cercate di aiutarlo a riflettere sulla sfida di aiutare scienziati e ingegneri a evolvere i loro approcci sperimentali nel modo che più li attrae. Se il "guardiano statistico" non desidera evolversi, forse dovremmo trovare altri "influencer" che abbiano urgente bisogno di abbandonare gli approcci per tentativi ed errori. Trovate un modo per guadagnare slancio, mentre nella comunità scientifica si parla tanto di ottimizzazione bayesiana.
Re: Impara dal feedback del nostro workshop JMP Pro con Chris G. a Heidelberg@malcolm_moore1 - È interessante che tu lo menzioni. Un paio dei miei account includono persone di questo tipo. Alcuni di noi sulla costa orientale hanno presentato BayesOpt come uno strumento da utilizzare al meglio dalle PMI che gestiscono gli esperimenti, insieme alle PMI stesse, piuttosto che come una tecnica per i team di statistica. L'idea è che suggerisca possibili nuovi esperimenti per aiutare le PMI a orientarsi nella natura multidimensionale dei dati di produzione. Sembra anche funzionare molto bene con qualcosa come un DSD come seed set, suggerendo una strategia DOE ibrida che potrebbe adattarsi bene ai team di produzione. Dal momento che utilizza (per lo più) tecniche automatizzate in JMP.
Re: Impara dal feedback del nostro workshop JMP Pro con Chris G. a Heidelberg@MikeD_Anderson , mi sembra molto sensato concentrarsi sulle PMI quando incontriamo resistenza da parte dei gatekeeper statistici, che hanno maggiori probabilità di appartenere alle grandi imprese. Per favore, fateci sapere come va la proposta di BayesOpt alle PMI.
Forse non conviene rinunciare alle grandi aziende prima di cercare di trovare gli influencer degli acquisti che hanno bisogno di BayesOpt e sono soddisfatti di un miglioramento incrementale rispetto alla loro vita prima di BayesOpt.
Re: Impara dal feedback del nostro workshop JMP Pro con Chris G. a HeidelbergCiao Pete,
Il flusso del flusso di lavoro era Chris su Bayes Opt in generale, primo esempio, pranzo, Chris più dettagliato, secondo esempio pratico, terzo esempio breve, riepilogo.
Penso che il primo esempio (quello semplice) sia un buon punto di partenza per la maggior parte di loro. Il secondo caso su cui lavorano è più pratico e, a giudicare dal feedback ricevuto, è stato positivo per la maggior parte. Non credo sia necessario adattare il caso d'uso, purché si menzioni l'opzione. Chris ha mostrato anche questa parte in alcune slide, quindi è trattata.
Tuttavia, per le nostre demo/ispirazioni SE sarebbe utile avere il caso d'uso batch come esempio completo pronto da mostrare.
Detto questo, credo ancora che dovremmo mostrare solo un breve pitch sulla piattaforma e discutere di più sui potenziali casi d'uso dei clienti per applicarli. Principalmente nella direzione già indicata da Malcolm e Mike.
Re: Impara dal feedback del nostro workshop JMP Pro con Chris G. a Heidelberg@malcolm_moore1 - Anche io l'ho trovato interessante. Sospetto che questi gatekeeper siano anche preoccupati che la loro competenza nel DOE possa essere resa superflua. Ho sentito dire che si sta già sperimentando l'ottimizzazione bayesiana, ma lo si fa utilizzando una varietà di software open source, il che è molto preoccupante per il gatekeeper. Supponendo che abbiamo costruito fiducia e credibilità con il gatekeeper, abilitare gli sperimentatori con BayesOpt in JMP Pro dovrebbe essere una soluzione più allettante.
Cosa preferiresti:
- guidare i tuoi colleghi nell'esplorazione delle possibilità di questo nuovo ed entusiasmante approccio in JMP Pro?
- lasciare che i tuoi colleghi si divertano da soli con l'ottimizzazione bayesiana in Python?
Sono d'accordo che in altri casi trovare il modo di aggirare il controllore sarà la cosa giusta da fare.
Re: Impara dal feedback del nostro workshop JMP Pro con Chris G. a HeidelbergÈ fantastico vedere BayesOpt decollare! Se qualcuno è interessato a un modo semplice per dimostrarlo per l'ottimizzazione degli iperparametri:
1. Eseguire XGBoost con Autotune selezionato.
2. Nella parte inferiore dell'output è presente una tabella contenente le statistiche di ogni esecuzione. Fare clic con il pulsante destro del mouse > Trasforma in tabella dati.
3. Eseguire BayesOpt su questa tabella per determinare i successivi migliori iperparametri candidati.
4. Ricaricarli manualmente in XGBoost oppure utilizzare l'opzione Tabella di progettazione in Avanzate.
Re: Impara dal feedback del nostro workshop JMP Pro con Chris G. a HeidelbergGrazie @malcolm_moore1 . È una cosa che mi è capitata più volte nelle ultime settimane. Ho trovato due motivi (entrambi con lo stesso risultato di "gatekeeping"):
1. Paura di perdere il controllo/potere (perché al momento è una loro competenza, ecc.)
2. Temono che le persone facciano esperimenti casuali invece del DOE (hanno predicato che le persone facciano DOE invece di OFAT, ecc.)
Si trattava di due personalità diverse, ma entrambe erano più o meno contrarie all'uso più ampio di BO.
In entrambi i casi gli utenti dicevano "Oh, in realtà (piccoli lotti di esperimenti iterativi) è esattamente così che operiamo e conduciamo i nostri esperimenti: dovremmo usare BO".
Per il secondo gruppo di "guardiani", possiamo rassicurarli facendo loro sapere che BO è in realtà un metodo con basse barriere d'ingresso per avvicinare le persone al processo decisionale basato sui dati. Perché se non sanno molto, usando BO sostanzialmente fanno DOE (senza sapere). Dimostrate BO con una tabella dei fattori come punto di partenza (2-3 tentativi). Quindi, questo li aiuta nella loro missione: far sì che più persone utilizzino DOE o quelli che forse definirei metodi di sperimentazione intelligente.
Per il primo gruppo, sì, probabilmente è meglio trovare qualcun altro con cui parlare;)
Re: Impara dal feedback del nostro workshop JMP Pro con Chris G. a HeidelbergOttima intuizione, Florian. Per il quarto trimestre, suggerisco di concentrarci sui potenziali utenti di BayesOpt che sono motivati e hanno urgenza di cambiare. Cogliere queste opportunità e poi supportarli nel dimostrare il successo.
Quando avremo più tempo (l'anno prossimo), forse potremmo valutare i vantaggi personali dei "guardiani". Ho sentito parlare di una riduzione del personale in alcuni team di statistica nei nostri clienti più grandi. Con questo background, un'idea da esplorare con i "guardiani" è come BayesOpt aiuti il team di statistica a consentire a scienziati e ingegneri di generare un maggiore valore organizzativo e a far comprendere alla propria azienda il valore apportato dal team di statistica. Fare qualcosa che migliori i risultati ora è meglio che puntare alla perfezione (cosa che accade raramente).
Re: Impara dal feedback del nostro workshop JMP Pro con Chris G. a HeidelbergCIAO,
Dopo aver discusso con i dirigenti (responsabile MSAT, direttore del sito e simili), un caso d'uso importante che si è rivelato molto efficace è quando il cliente deve lavorare con clienti che non sono disposti a condurre un esperimento completo quando si sviluppa/esegue un processo per loro. In tutti i miei incontri, mi ponevano molte domande e annuivano quando chiedevo se questo li avrebbe aiutati rispetto a quello che stavano facendo attualmente.
Ho pensato che potesse interessarvi tutti;)
