Come pensi di presentare l'ottimizzazione bayesiana?Ciao a tutti,
Sono curioso di vedere come le persone intendono proporre e posizionare l'ottimizzazione bayesiana nel loro flusso di lavoro SE: la includerai nelle sessioni DoE? La collegherai al miglioramento della produzione? La mostrerai ovunque/ovunque? Dove ti vedi parlarne?
Sarà interessante vedere come le persone pensano che si "adatterà" al loro attuale modo di lavorare/parlare con i clienti e i potenziali clienti, o se verrà introdotto un nuovo modo!
Grazie!
Ben
Re: Come pensi di presentare l'ottimizzazione bayesiana?Ottima domanda, @Ben_BarrIngh .
Sarebbe interessante sapere cosa abbiamo imparato finora parlandone con i clienti.
Ho parlato con alcuni clienti già interessati al metodo. Ho parlato anche con alcuni dei nostri clienti più importanti, ai quali BayesOpt può offrire un valore aggiunto e/o essere un motivo per diventare più professionali. Posizionare BayesOpt in entrambe queste situazioni è relativamente semplice. E queste dovrebbero essere le nostre priorità.
Non ho parlato di BayesOpt con nessuno dei nostri numerosissimi piccoli clienti (ricordate che il numero medio di utenti JMP per account è compreso tra 2 e 3) né con potenziali clienti. Come possiamo parlare di BayesOpt in queste situazioni? Dovremmo parlarne con i nuovi potenziali clienti?
@Ben_BarrIngh - puoi fare un esempio tipico del tipo di account a cui stai pensando?
Re: Come pensi di presentare l'ottimizzazione bayesiana?Ciao @Phil_Kay ,
Grazie per la risposta. Gli aspetti che mi interessano particolarmente su come avviare le conversazioni BayesOpt sono:
A) Nuovi clienti che desiderano semplicemente migliorare i propri esperimenti: offriamo il nostro BayesOpt allo stesso livello del DoE? Ci concentriamo sull'obiettivo finale (comprensione vs. raggiungimento di un valore ottimale) e poi distinguiamo? Quali affermazioni di valore possiamo fare (basate su metriche, tempo risparmiato, % di risorse ridotte) che contribuiscano a creare un'argomentazione convincente?
(A questo proposito, @malcolm_moore1 ha trovato questa infografica (https://www.active-learning.uk/2024).
Clienti attuali che conoscono DoE - Per i clienti che conoscono DoE, ma non sono clienti Pro, quali problematiche cerchiamo di affrontare per introdurre l'ottimizzazione bayesiana nella conversazione? Se stiamo conducendo un'iniziativa DoE, parliamo degli strumenti DoE e poi passiamo all'ottimizzazione bayesiana? Oppure questo crea confusione? Rinominiamo le nostre iniziative DoE in "Sperimentazione moderna" o qualcosa di simile per ottenere la giusta inquadratura?
Grazie,
Ben
Re: Come pensi di presentare l'ottimizzazione bayesiana?Ciao ragazzi,
Da quanto ho sentito finora dai clienti, non tutti ritengono fattibile la sperimentazione sequenziale. Alcuni hanno vincoli di tempo e preferiscono testare in parallelo, anche a scapito di un paio di esecuzioni in più.
Parlerei di Bayes Opt con i clienti se sapessi che le loro analisi sono molto costose/eseguite con materie prime di cui non hanno a disposizione una quantità sufficiente, o se il modello sottostante è molto complesso. Se il tempo è un problema e non possono eseguire le analisi in parallelo (ad esempio per mancanza di attrezzature), allora parlerei loro di Bayes Opt.
Molti si rivolgono a noi pensando al DoE. Se i criteri sopra indicati sono soddisfatti, includerei Bayes Opt in una demo del DoE. Come discusso ad Amsterdam, non vogliamo farlo apparire come una "alternativa migliore" al DoE, ma piuttosto come un metodo più adatto in alcuni casi, mentre in altri il DoE sarebbe il metodo di scelta.
Re: Come pensi di presentare l'ottimizzazione bayesiana?CIAO,
Vorrei aggiungere alla conversazione questi riassunti di situazioni che Florian, Stéphane e Owen hanno sviluppato per BayesOpt. Hanno anche aggiunto un elevator pitch dopo i riassunti, che elenca alcune delle sfide che i clienti potrebbero incontrare e per le quali BayesOpt potrebbe rappresentare una soluzione:
-
Limite elevato dei costi sperimentali numero di possibili sperimentazioni
-
Materie prime costose o poco disponibili non consentono sperimentazioni infinite
-
La pressione del tempo non consente studi approfonditi
-
L'ottimizzazione nella gestione della produzione non ammette guasti
-
La complessità e l'elevata dimensionalità richiedono un approccio sistematico
Re: Come pensi di presentare l'ottimizzazione bayesiana?Grazie per aver avviato questa discussione @Ben_BarrIngh ed è bello vedere cosa abbiamo imparato in così poco tempo. C'è una grande somiglianza tra ciò che @Lisa_Daroque e @HadleyMyers hanno condiviso riguardo ai problemi target in cui BayesOpt potrebbe essere appropriato. A livello aziendale entrambi gli strumenti (DoE e BayesOpt) sono necessari: incoraggiamo l'uso dello strumento appropriato per il problema specifico.
Vi prego di continuare a condividere le vostre esperienze di apprendimento con BayesOpt e JMP 19 in generale.
Re: Come pensi di presentare l'ottimizzazione bayesiana?Ciao @Lisa_Daroque ,
Ottima grafica, aiuta davvero a comprendere meglio il concetto. Per chi ha problemi di scarsità/risorse, pensi che dovremmo "sospendere" la fede con BayesOpt? Mi chiedo se la gente lo considererebbe "magico" quando affermiamo che raggiungerà risultati ottimali con un numero di esperimenti ridotto/ridotto.
Saluti,
Ben
Re: Come pensi di presentare l'ottimizzazione bayesiana?Ottimo argomento. Mi piacerebbe saperne di più, dato che JMP 19 uscirà la prossima settimana. Mi piace l'idea di @Ben_BarrIngh di mostrare l'ottimizzazione bayesiana in combinazione con DOE. @bradleybowen condividerà materiali per il workshop, che includono tre casi di studio di diversa complessità. Dovrà assicurarsi che tutto funzioni come previsto nella versione di produzione, ma dovresti averne accesso poco dopo il rilascio.
Re: Come pensi di presentare l'ottimizzazione bayesiana?Grazie @Ben_BarrIngh a tutti gli altri per il vostro feedback e contributo.
Ho guardato tutti e 6 i video nella pagina che hai pubblicato e ho provato una sensazione agrodolce;
Cinque su sei provengono dai nostri clienti (se non sbaglio):
- Tutti hanno un forte interesse per BO (questo è positivo)
- Tutti loro stanno già utilizzando ampiamente l'open source per BO (il che è un male)
Ho notato, come hai già detto, che confrontano BO con DOE (vedi screenshot qui sotto), quindi vorrei aggiungere altre due domande a quelle di Ben:
- Riteniamo che sia rischioso indirizzare le persone verso BO con una soluzione già disponibile in open source, già utilizzata nella loro azienda?
- Cosa possiamo fare per evitarlo e giustificare una spesa extra per JMP Pro per utilizzare BO?
Grazie
Marco
Re: Come pensi di presentare l'ottimizzazione bayesiana?Grazie per aver approfondito la questione, @MarcoSalfi . Ecco cosa penso delle tue due domande:
- Riteniamo che sia rischioso indirizzare le persone verso BO con una soluzione già disponibile in open source, già utilizzata nella loro azienda?
- Cosa possiamo fare per evitarlo e giustificare una spesa extra per JMP Pro per utilizzare BO?
Non vedo nulla di diverso dalla solita situazione di vendita, in cui spesso c'è una soluzione preesistente di qualche tipo, anche se si tratta di Excel o di carta e penna. Se possibile, cerca di comprendere i loro problemi e cosa non riescono a risolvere/realizzare/evitare con le soluzioni attuali. Se non hanno un problema o sono resistenti al cambiamento, allora passa oltre. Se hanno un problema che possiamo risolvere con BayesOpt (o altre funzionalità), prova a compilare un riepilogo della situazione specifico per le loro circostanze. Nel caso di BayesOpt, le conseguenze del mancato cambiamento dovranno essere sufficientemente gravi da motivare il cliente a pagare la licenza Pro e un riepilogo della situazione sarà molto utile per promuovere tali opportunità.
Sarà interessante avere punti di vista diversi/aggiuntivi in merito alle tue domande.
Re: Come pensi di presentare l'ottimizzazione bayesiana?Il mio parere sulle soluzioni open source per BayesOpt (o l'analisi dei dati in generale) è che la manutenzione del codice che si basa su librerie open source è un incubo.
Soprattutto se si utilizzano librerie sviluppate in ambienti accademici e all'improvviso non si investe più nella libreria.
Inoltre, è necessario un mix di numerose librerie, perché molte di esse offrono solo una parte della soluzione.
Da quello che ho visto in Python e R per l'ottimizzazione bayesiana, BayesOpt di JMP è una soluzione di gran lunga superiore.
Re: Come pensi di presentare l'ottimizzazione bayesiana?@LuizaFabreti Volevo aggiungere che esistono altre opzioni software, in particolare Citrene, che offre un approccio di ottimizzazione basato sull'ottimizzazione bayesiana. Abbiamo un cliente che utilizzava questo software ma non ha mai ottenuto risultati significativi. Ci ha detto di aver speso oltre 100.000 dollari, e probabilmente molto di più in realtà, per poi ritrovarsi a mani vuote. Da allora sono diventati utenti beta della nuova piattaforma Bayes Opt e hanno contribuito a guidare alcune delle innovazioni che Chris e il suo team hanno implementato.
Quindi, la morale della storia è che probabilmente ci sono più persone là fuori che provano l'ottimizzazione sequenziale di quanto pensiamo, e non fa mai male far loro sapere che JMP ora ha una piattaforma Bayes Opt integrata in JMP Pro.
Re: Come pensi di presentare l'ottimizzazione bayesiana?Mi piacerebbe vedere questa discussione in corso. Ovviamente devo aggiungere qualche commento.
Concorrenti: Esistono alcuni strumenti commerciali e anche parecchie soluzioni open source. È importante notare che non tutti hanno lo stesso ambito di applicazione e che per lo più l'ambito di applicazione è piuttosto limitato o specifico. BoTorch è lo strumento su cui si basano molte soluzioni open source.
I vantaggi che ho sentito finora dai clienti riguardo alle implementazioni open source:
- è gratis (ahah)
- è più flessibile, su misura per le loro esigenze
- è più facile essere vincolati a "attività di ottimizzazione a ciclo chiuso", in cui un esperimento viene suggerito, eseguito, analizzato e ne viene suggerito un altro finché non viene raggiunto un obiettivo
Una delle soluzioni sviluppate da diversi nostri clienti (un ringraziamento a @JessicaHorsch per averla trovata) è BoFire ( https://arxiv.org/pdf/2408.05040 ). L'autore principale è anche mio cliente ed è ovviamente convinto che questa soluzione sarà l'unica in cui le aziende chimiche potranno sperimentare in futuro, ma è anche consapevole che l'ottimizzazione "scatola nera" non soddisfa tutte le esigenze di scienziati e ingegneri. E il mio referente in Evonik ha confermato di aver visto questo approccio portare al successo, ma anche al fallimento assoluto (perché si tratta di una scatola nera).
Un'altra situazione è stata quella di un cliente che chiedeva un modo per implementare dati storici, o le sue conoscenze attuali e persino informazioni meccanicistiche derivanti da reazioni ecc. per suggerire nuovi esperimenti.
Per me, ormai sembra quasi che BO sia una via di mezzo tra il "oh, questo sì che lo facciamo anche noi" e la funzionalità assoluta che dobbiamo mostrare in giro ogni volta che possiamo.
Credo che prima di tutto sia necessario qualificare attentamente il prodotto e farsi un'idea del tipo di persone a cui ci rivolgiamo. Allo stesso tempo, possiamo pubblicizzarlo con sicurezza, perché è un'implementazione unica e potente e, come sempre, combinata con tutto ciò che JMP (Pro) può fare, è ben integrata in un potente set di strumenti.
