베이지안 최적화를 어떻게 선보일 계획인가요?안녕하세요 여러분,
사람들이 베이지안 최적화를 SE 워크플로에 어떻게 적용하고 포지셔닝할지 궁금합니다. DoE 세션에 포함시킬 예정인가요? 프로덕션 개선에 연결할 예정인가요? 어디에서든 보여줄 예정인가요? 어디에서 베이지안 최적화에 대해 이야기할 계획인가요?
사람들이 이것이 현재 고객 및 잠재 고객과 일하고 대화하는 방식에 '적합할 것'이라고 생각하는지, 아니면 새로운 방식이 나올지 지켜보는 것도 흥미로울 듯합니다!
감사해요!
벤
Re: 베이지안 최적화를 어떻게 선보일 계획인가요?아주 좋은 질문이네요, @벤_바잉흐 .
지금까지 고객과 대화하면서 우리가 무엇을 배웠는지 들어보는 것도 흥미로울 것 같습니다.
이미 이 방법에 관심을 보이는 고객들과 이야기를 나눠봤습니다. 또한, BayesOpt가 추가적인 가치를 제공하거나 Pro를 더 많이 도입해야 하는 이유가 될 수 있는 더 큰 규모의 고객들과도 이야기를 나눠봤습니다. 이 두 가지 상황에서 BayesOpt를 포지셔닝하는 것은 비교적 간단합니다. 그리고 이것이 바로 우리의 최우선 과제가 되어야 합니다.
저는 저희의 수많은 소규모 고객사(계정당 JMP 사용자 평균 수가 2~3명 정도라는 점을 기억하세요)나 잠재 고객사들과 BayesOpt에 대해 이야기해 본 적이 없습니다. 그런 상황에서 BayesOpt에 대해 어떻게 이야기해야 할까요? 신규 잠재 고객에게 BayesOpt에 대해 이야기해야 할까요?
@벤_바잉흐 - 당신이 생각하고 있는 계정의 전형적인 예를 들어줄 수 있나요?
Re: 베이지안 최적화를 어떻게 선보일 계획인가요?안녕하세요 @필_케이 ,
답변 감사합니다. BayesOpt 대화를 시작하는 방법에 대해 제가 특히 관심을 갖고 있는 분야는 다음과 같습니다.
A) 단순히 실험 개선만을 원하는 신규 고객 - DoE와 같은 맥락에서 BayesOpt를 제공해야 할까요? 최종 목표(이해 vs. 최적값 달성)에 집중한 후 차별화해야 할까요? 설득력 있는 주장을 펼치는 데 도움이 되는 어떤 가치 설명(지표 기반, 시간 절약, 자원 절감률)을 할 수 있을까요?
(그와 관련하여 @malcolm_moore1이 이 인포그래픽 https://www.active-learning.uk/2024을 찾았습니다).
DoE를 아는 기존 고객 - DoE를 알고 있지만 Pro 고객이 아닌 고객의 경우, BayesOptimisation을 대화에 끌어들이기 위해 어떤 노력을 기울이고 있나요? DoE 인스파이어를 진행하는 경우, DoE 도구에 대해 이야기한 후 바로 베이지안 최적화로 넘어가는 건가요? 아니면 혼란을 주는 건가요? 인스파이어의 이름을 'Modern Experimentation' 등으로 바꿔서 전체적인 틀을 잡는 게 좋을까요?
감사해요,
벤
Re: 베이지안 최적화를 어떻게 선보일 계획인가요?안녕하세요 여러분,
지금까지 고객들로부터 들은 바에 따르면, 모든 고객이 순차적인 실험이 가능하다고 생각하는 것은 아닙니다. 일부 고객은 시간적 제약이 있어 몇 번 더 실험하는 것을 희생하더라도 병렬 테스트를 선호합니다.
고객의 분석 비용이 매우 높거나 원자재가 부족하거나, 기반 모델이 매우 복잡하다면 베이즈 옵트에 대해 이야기해 볼 것입니다. 시간이 부족하고 (예: 장비 부족) 병렬 분석을 수행할 수 없는 경우에도 베이즈 옵트에 대해 이야기해 볼 것입니다.
많은 분들이 DoE를 염두에 두고 저희에게 문의하십니다. 위의 기준이 충족된다면, 저는 DoE 데모에 Bayes Opt를 포함시킬 것입니다. 암스테르담에서 논의했듯이, 저희는 Bayes Opt를 DoE의 "더 나은 대안"처럼 보이게 하려는 것이 아니라, 경우에 따라 DoE가 더 적합한 방법인 것처럼 보이게 하려는 것입니다.
Re: 베이지안 최적화를 어떻게 선보일 계획인가요?안녕,
Florian, Stéphane, Owen이 BayesOpt를 위해 개발한 상황 요약을 대화에 추가하고 싶습니다. 또한 요약 뒤에는 BayesOpt가 해결책이 될 수 있는 고객이 직면할 수 있는 몇 가지 과제를 나열한 엘리베이터 피치도 추가했습니다.
-
높은 실험 비용은 가능한 실험 수를 제한합니다.
-
비싸거나 구하기 힘든 원자재는 끝없는 실험을 허용하지 않습니다.
-
시간적 압박으로 인해 광범위한 연구가 불가능합니다.
-
생산 실행 시 최적화는 실패를 허용하지 않습니다.
-
복잡성과 높은 차원성은 체계적인 접근을 요구합니다.
Re: 베이지안 최적화를 어떻게 선보일 계획인가요?@벤_바잉흐 이 토론을 시작해주셔서 감사합니다. 짧은 시간 안에 많은 것을 배웠습니다. @리사_다로크 와 @HadleyMyers가 BayesOpt가 적합한 목표 문제에 대해 공유한 내용 사이에는 큰 유사점이 있습니다. 회사 차원에서는 DoE와 BayesOpt 두 도구 모두 필요합니다. 특정 문제에 적합한 도구를 사용하도록 장려합시다.
BayesOpt와 JMP 19에 대한 학습 경험을 계속해서 공유해 주시기 바랍니다.
Re: 베이지안 최적화를 어떻게 선보일 계획인가요?안녕하세요 @리사_다로크 ,
훌륭한 그래픽이네요. 정말 잘 설명되어 있네요. 희소성이나 자원 제약이 있는 사람들을 위해 BayesOpt를 사용해서 믿음을 '중단'해야 한다고 생각하시나요? 적은 수의 실험으로 최적값에 도달할 수 있다고 주장하는데, 사람들이 이걸 '마법'처럼 여길지 궁금하네요.
건배,
벤
Re: 베이지안 최적화를 어떻게 선보일 계획인가요?좋은 주제네요. 다음 주에 JMP 19가 출시되니 이 주제에 대해 더 자세히 듣고 싶습니다. @Ben_BarrIngh 님 이 DOE와 함께 베이지안 최적화를 보여주는 아이디어가 마음에 듭니다. @브래들리보웬 님이 다양한 복잡성을 가진 세 가지 사례 연구를 담은 워크숍 자료를 공유해 주실 예정입니다. 프로덕션 릴리스에서 모든 것이 예상대로 작동하는지 확인해야 하지만, 릴리스 직후에 바로 이용하실 수 있을 겁니다.
Re: 베이지안 최적화를 어떻게 선보일 계획인가요?@벤_바잉흐 님, 피드백과 기여에 감사드립니다.
당신이 게시한 페이지에 있는 6개의 영상을 모두 보았는데, 달콤하면서도 씁쓸한 기분이 들었습니다.
여섯 가지 중 다섯 가지는 우리 고객에게서 나왔습니다(제가 맞다면):
- 다들 BO에 관심이 많으시네요 (좋네요)
- 그들 모두는 이미 BO에 대해 오픈 소스를 많이 사용하고 있습니다(나쁘죠)
이미 말씀하신 대로, 그들이 BO와 DOE를 비교하는 것을 알았습니다(아래 스크린샷 참조). 그래서 Ben의 질문에 두 가지 질문을 더 추가하고 싶습니다.
- 오픈 소스로 이미 제공되고 있는 솔루션, 즉 회사에서 이미 사용 중인 솔루션을 BO에 사용하는 데 위험이 있다고 생각하시나요?
- 이런 상황을 피하고 JMP Pro에서 BO를 사용하기 위해 추가 비용을 지출하는 것을 정당화하려면 어떻게 해야 할까요?
고맙습니다
마르코
Re: 베이지안 최적화를 어떻게 선보일 계획인가요?@MarcoSalfi 님, 이 질문에 대해 깊이 있게 생각해 주셔서 감사합니다. 두 질문에 대한 제 생각은 다음과 같습니다.
- 오픈 소스로 이미 제공되고 있는 솔루션, 즉 회사에서 이미 사용 중인 솔루션을 BO에 사용하는 데 위험이 있다고 생각하시나요?
- 이를 피하고 JMP Pro에서 BO를 사용하기 위해 추가 비용을 지출하는 것을 정당화하려면 어떻게 해야 할까요?
일반적인 영업 상황과 크게 다르지 않다고 생각합니다. 엑셀이든 종이든, 어떤 형태로든 이미 기존 솔루션이 존재하는 경우가 많기 때문입니다. 가능하다면 고객의 어려움을 파악하고 현재 솔루션으로는 해결/완료/피할 수 없는 부분이 무엇인지 파악해 보세요. 고객이 어려움을 느끼지 않거나 변화에 저항한다면 넘어가세요. 만약 고객이 BayesOpt(또는 다른 기능)를 통해 해결할 수 있는 어려움이 있다면, 고객의 상황에 맞는 구체적인 상황 요약을 작성해 보세요. BayesOpt의 경우, 변경하지 않을 경우 발생하는 결과가 Pro 라이선스 비용을 지불할 만큼 충분히 커야 하며, 상황 요약은 이러한 기회를 확대하는 데 가장 도움이 될 것입니다.
여러분의 질문에 대해 다양하고 추가적인 의견을 듣는 것은 흥미로울 것입니다.
Re: 베이지안 최적화를 어떻게 선보일 계획인가요?BayesOpt(또는 일반적인 데이터 분석)를 위한 오픈 소스 솔루션에 대한 제 생각은 오픈 소스 라이브러리에 의존하는 코드를 유지 관리하는 것은 악몽이라는 것입니다.
특히 학술 환경에서 개발된 라이브러리를 사용하다가 갑자기 라이브러리에 대한 투자가 전혀 없는 경우 더욱 그렇습니다.
게다가, 많은 라이브러리가 솔루션의 한 부분만을 제공하기 때문에 다양한 라이브러리를 혼합해서 사용해야 합니다.
제가 Python과 R에서 베이지안 최적화를 위해 살펴본 바에 따르면, JMP의 BayesOpt가 훨씬 더 뛰어난 솔루션입니다.
Re: 베이지안 최적화를 어떻게 선보일 계획인가요?@루이자파브레티 베이지안 최적화에 기반한 최적화 접근법을 제공하는 Citrene과 같은 다른 소프트웨어 옵션도 있다는 점을 덧붙이고 싶습니다. 저희 고객 중 한 분은 이 소프트웨어를 사용했지만 의미 있는 결과를 얻지 못했다고 하셨습니다. 10만 달러가 넘는 비용을 지출했고, 실제로는 훨씬 더 많은 비용을 지출했음에도 아무런 성과도 얻지 못했다고 하셨습니다. 그 후로 새로운 Bayes Opt 플랫폼의 베타 사용자가 되었고, Chris와 팀이 구현한 여러 혁신을 주도하는 데 기여했습니다.
따라서 이 이야기의 교훈은 순차적 최적화를 시도하는 사람이 생각보다 많을 가능성이 있다는 것입니다. JMP Pro에는 이제 베이즈 옵션 플랫폼이 내장되어 있다는 사실을 알려주는 것이 좋습니다.
Re: 베이지안 최적화를 어떻게 선보일 계획인가요?이런 토론이 진행되는 걸 보고 싶네요. 물론 몇 가지 코멘트도 남겨야겠네요.
경쟁사: 상용 도구도 몇 가지 있고 오픈 소스 솔루션도 꽤 많습니다. 중요한 점은 모든 도구의 범위가 동일하지 않으며, 대부분 범위가 매우 좁거나 구체적이라는 것입니다. 많은 오픈 소스 솔루션은 BoTorch를 기반으로 구축됩니다.
지금까지 고객들로부터 오픈 소스 구현에 대해 들은 장점은 다음과 같습니다.
- 무료예요(하하)
- 더 유연하고, 그들의 필요에 맞게 조정 가능합니다.
- 실험이 제안되고 실행되고 분석되고 목표가 달성될 때까지 다른 실험이 제안되는 "폐쇄 루프 최적화 작업"에 묶이는 것이 더 쉽습니다.
여러 고객사에서 개발한 솔루션 중 하나(발견해 주신 @제시카호르쉬 님께 감사드립니다)는 BoFire( https://arxiv.org/pdf/2408.05040 )입니다. 마침 주요 개발자는 제 고객사인데, 이 솔루션이 앞으로 화학 회사들이 실험할 수 있는 유일한 방법이 될 것이라고 확신하고 있습니다. 하지만 블랙박스 최적화가 과학자와 엔지니어의 모든 요구를 충족하지는 못한다는 점도 인정했습니다. 에보닉(Evonik)의 제 담당 컨설턴트는 이 솔루션이 성공으로 이어지기도 했지만, (블랙박스이기 때문에) 완전한 실패로 이어지기도 했다고 확인해 주었습니다.
또 다른 상황은 고객이 과거 데이터나 현재 지식, 심지어 반응 등에서 얻은 기전적 정보를 구현하여 새로운 실험을 제안하는 방법을 묻는 것이었습니다.
저는 지금 BO가 "아, 이거, 우리도 하죠"와 우리가 가능할 때마다 보여줘야 할 최고의 킬러 기능 사이 어딘가에 있는 것 같다고 생각합니다.
먼저 신중하게 자격을 갖추고 어떤 유형의 사람들에게 말을 걸지 파악해야 한다고 생각합니다. 동시에, JMP(Pro)가 제공하는 모든 기능과 결합되어 강력한 툴셋에 잘 내장되어 있기 때문에 자신 있게 홍보할 수 있습니다.
