하이델베르그에서 Chris G.와 함께한 JMP Pro 워크숍의 피드백을 통해 배우세요여기서 저는 크리스 고트월트와 함께 베이지안 최적화에 관해 하이델베르크 워크숍에서 배운 내용을 설명하겠습니다.
몇 가지 간단한 사실:
- 등록자 48명 - 방 안에는 약 40명
- 주제 베이지안 최적화
- 많은 관심
- 약 60%가 JMP Pro를 사용했습니다.
- 대부분은 DoE에 익숙하며 더 빠르고 적은 비용으로 프로세스를 최적화하는 것을 목표로 합니다.
이국적인 상황에 대한 가정과 확인:
- 다중 응답, 𝑦_𝑖 (𝑥)
- 모두가 손을 들어 그것이 그들에게 중요하고 그것이 필요하다는 것을 확인하려고 했습니다.
- 두 개 이상의 실행에 대한 "일괄" 증강
- 거의 모든 사람들이 일괄 실험이 필요한 상황을 겪습니다. 즉, 다음 실험뿐만 아니라 4, 6, 또는 그 이상의 실험이 필요합니다. 그 이유는 대부분 다음과 같습니다.
- 실험이 너무 길어서 다음 제안을 기다릴 수 없습니다.
- 하지만 자료가 부족하다는 것(항상 구할 수 있는 것은 아님)도 또 다른 이유입니다.
- 언급된 기대 사항:
- 개발 시간을 단축하는 방법
- 분석 부서(Design Expert 사용자) 목표
- DOE를 사용하면 많은 작업을 더 쉽게 수행할 수 있다고 동료들을 설득하기 위해서입니다.
- DOE가 아닌 다른 것에 대한 옵션을 사용자에게 제공해야 합니까? 저는 단지 좋은 결과만 원할 뿐인데 왜 아무것도 가져다주지 않는 실험을 해야 합니까?
- 비용 -> 실행 횟수 감소
- 당신은 무엇을 얻기를 바랍니까?
청중의 질문:
- 만약 요인들이 중요하지 않다면?
- 답변: 영향을 미치지 않는 요소는 무시합니다. 변수 중요도 옵션을 사용하면 요인의 거듭제곱을 표시하는 데 도움이 됩니다.
응답에 가중치를 부여할 수 있나요? (또 다른 "이국적인" 사례)
- 답변: 네, 프로파일러의 베이즈 옵트 바람직성(Bayes Opt Desirability)에 적용됩니다. 경쟁 목표나 복잡한 희소성, 그리고 일치 목표/사양 한계 목표도 처리할 수 있습니다.
로컬 최소/최대 문제는 어떻게 처리되나요?
- 답변: 뉴턴과 조금 비교해 보세요. 이런 일이 일어날 수도 있지만, 만족스럽지 않다면 분산이 높은 다른 영역을 쉽게 탐색할 수 있습니다.
범주형 응답/요인을 사용할 수 있나요? (또 다른 "이국적인" 사례)
- 답변: 예, 하지만 상관관계는 연속 응답의 경우와 같이 거리에 따라 결정되지 않습니다.
응답이 매우 시끄러울 거라는 걸 알고 있다면 어떻게 해야 할까요? (또 다른 "이례적인" 사례)
- 답변: 분산을 평가하기 위해 먼저 MSA를 수행하고 반복을 사용하여 변동성의 평균을 구하는 전략을 개발해야 합니다.
새로운 요소를 추가할 수 있나요? (또 다른 "이국적인" 사례)
사용 사례:
- Chris G.: 제형 및 혼합물은 모든 교란 요소와 제약 조건이 더 이상 문제가 되지 않기 때문에 가장 많이 사용되는 사례입니다. 거리에 따라 달라지고 설계 공간에 따라 달라지지 않기 때문입니다! 팽창 계수는 전혀 중요하지 않습니다.
- 고객들은 다음과 같이 언급했습니다.
- PID 컨트롤러 튜닝: 한 번 실행하는 데 15~30분이 걸리지만 매번 들어가고 나오는 것이 번거로워서 배치 실행이 매우 중요합니다(다음 실행만 수행하는 기본 베이즈 옵트 솔루션과 비교).
- 하이퍼 매개변수 학습 및 모델링
- 너무 많이 변경할 수 없고 실행 가능한 배치가 2개로 제한되는 GMP 환경
- 연구(제약)에는 큰 영향을 미칠 수 있지만 프로세스 특성화에는 덜 영향을 미칠 수 있습니다.
- 동료들에게 DOE를 사용하도록 설득하세요. DOE가 더 쉽고, 많은 실행이 불가능하다고 말하는 것을 극복할 수 있습니다.
제안: @chris_gotwalt1 @다니엘발렌테
- P&G/BASF: 바람직성 곡선에 영향을 미치기 위해 사전 정보(예: 알려진 화학 반응/공식 또는 선형 모델임을 확실히 알고 있는 정보)를 추가하는 옵션이 있으면 좋을 것 같습니다.
일반 요약:
- 큰 관심
- 저희 플랫폼은 Bofire(Python 프로그래머용)와 자체 개발 솔루션(비즈니스맨을 위해 매우 쉽게 만들어짐) 사이의 환경에 잘 맞는 것 같습니다.
- 대부분의 베이지안 최적화 도구가 할 수 있는 것보다 훨씬 더 많은 작업이 가능합니다. "이국적인" 베이즈 옵션 상황에 대해 설명합니다.
추가 의견:
- 기본 선택과 수학에 대한 질문은 어떻게 처리하나요?
- 사람들은 이 기능을 원하고, 많은 JMP 사용자에게 도움이 된다는 것을 알고 있으며, JMP에 이 기능이 추가되기를 원합니다. 모든 사용자가 이 기능을 사용하고 ROI를 계산하여 ELA/특정 수의 Pro 라이선스를 비교한다면 얻을 수 있는 가치에 대해 이야기해야 하는 중요한 이유입니다. 예를 들어, 옹호자가 첫 번째 실험 후 BO를 수행했다면 어땠을지 과거 실험과 어떻게 달랐는지 보여달라고 요청합니다. 그로 인해 다른 경로로 이어졌거나, 더 일찍 답을 찾았거나, 언제 잘못된 방향으로 갔는지 질문합니다. 중요한 것은 다른 사람들(자신의 가정을 가지고 실험을 반복하는 엔지니어들)을 설득하는 것입니다.
제목: 하이델베르크에서 Chris G.와 함께한 JMP Pro 워크숍 피드백을 통해 배우기한 가지 더 덧붙이자면, 기업들은 아마도 이미 BoFire(파이썬 패키지)나 그보다 더 간단한 솔루션 같은 어떤 종류의 솔루션을 사용하고 있을 것입니다. 하지만 대부분의 기업들은 도구에 모든 특수한 상황을 포함하지 않거나 프로그래머를 위한 것이 아닙니다.
우리는 지금 우리가 가지고 있는 것을 활용해 시장의 상당 부분을 차지하려고 합니다.
제목: 하이델베르크에서 Chris G.와 함께한 JMP Pro 워크숍 피드백을 통해 배우기피드백을 잘 요약해 주셨네요. 제가 알고 있는 질문과 답변 몇 가지를 더 말씀드리겠습니다.
만약 그 테이블이 다른 곳에서 온 것이라면?
- 답변: 걱정하지 마세요. 프로파일러에 모든 제약 조건을 추가할 수 있습니다.
프로파일러가 실행을 통해 어떻게 진화하는지 보여주는 예는 무엇입니까?
- 답변: 네, 좋습니다! Chris는 나중에 이 기능을 추가할 수도 있다고 했습니다. 발표에서 그는 여러 슬라이드를 사용하여 프로파일러의 진화 과정을 직접 보여주었지만, 작업량이 많았습니다.
최적화할 때 가중치도 부여하시나요?
- 답변: 네, 프로파일러에서 하는 것과 마찬가지로 즉시 변경할 수 있으며, 바람직성을 변경하면(예: 마모 사례에서 최대화) 베이즈 옵션의 바람직성도 자동으로 조정됩니다.
범위가 충분하지 않거나 좁다면 어떻게 해야 하나요?
- 답변: 프로파일러에서 범위를 변경하면 해당 범위가 고려됩니다.
수식/예측 프로파일러를 저장할 수 있나요?
- 답변: 직접적인 방법은 없습니다. 데이터 테이블로 돌아가서 가우시안 프로세스 플랫폼을 열어야 합니다. 그러면 모델을 저장할 수 있습니다(베이지안 최적화 플랫폼에서 생성된 수식/모델과는 다른 수식/모델이라는 점을 명심하세요).
제목: 하이델베르크에서 Chris G.와 함께한 JMP Pro 워크숍 피드백을 통해 배우기Martin 님, 공유해 주셔서 감사합니다. 워크숍 자체의 흐름에 대해 어떻게 생각하시나요? 예시를 보여주시고 청중에게 함께 연습해보라고 하셨나요? 예시 중 하나를 추가하거나 변경해서 한 번에 4회씩 진행하는 게 어떨지 궁금합니다.
제목: 하이델베르크에서 Chris G.와 함께한 JMP Pro 워크숍 피드백을 통해 배우기BayesOpt에 대한 토론에서 얻은 통찰력을 공유해 주셔서 감사합니다. 런던 워크숍 참석자 중 일부가 제기한 우려 사항에 저도 공감합니다. 많은 과학자들이 베이지안 최적화를 시도해 보고 싶어 하지만, 이 방법을 적용하는 과정에서 뭔가 잘못된 결과를 낳을까 봐 걱정됩니다. 이 때문에 저희의 고급 사용자 중 일부가 통계적 문지기 역할을 해서 일반 사용자들의 사용을 막는 것은 아닌지 걱정이 되었습니다.
완벽함은 고귀하지만 달성하기 어려운 목표입니다. 과학자와 엔지니어들이 시행착오적인 실험을 하지 않도록 돕는 것이 우리가 추구할 만한 가치 있는 결과일 수 있습니다. 과학자와 엔지니어들이 (시행착오적인 접근 방식보다) 더욱 만족스러운 업무를 수행하고 예측 가능하며 종종 더 나은 사업 성과를 달성할 수 있도록 돕는 것입니다. 통계적 게이트키퍼들이 통계적 실험 방법 적용 시 완벽함보다는 과학자와 엔지니어들이 변화의 진화를 통해 다수에게 효과적인 방식으로 발전하도록 지원하는 데 더 집중하도록 장려할 수 있지 않을까요? 진화의 일환으로 과학자와 엔지니어들은 DoE와 BayesOpt가 모두 필요하다는 것을 깨닫게 될 수도 있지만, 그 시작점은 그들과 그들의 관리자에게 달려 있어야 합니다.
통계적 게이트키퍼를 주의 깊게 살펴보세요. 과학자와 엔지니어가 실험 접근 방식을 자신에게 가장 매력적인 방식으로 발전시키도록 돕는 과제에 대해 생각해 볼 수 있도록 도와주세요. 만약 통계적 게이트키퍼가 발전하기를 원하지 않는다면, 시행착오적 접근 방식에서 벗어나야 할 시급한 필요성을 가진 다른 구매 인플루언서를 찾아야 할 수도 있습니다. 과학계에서 베이지안 최적화에 대한 관심이 높아지는 지금, 그 흐름에 발맞출 방법을 찾으세요.
제목: 하이델베르크에서 Chris G.와 함께한 JMP Pro 워크숍 피드백을 통해 배우기@malcolm_moore1 - 그 이야기를 꺼내시다니 흥미롭네요. 제 계정에도 그런 분들이 몇 명 있습니다. 동부 해안 지역에 있는 저희 팀원 몇 명은 BayesOpt를 통계팀을 위한 기법으로 홍보하기보다는 중소기업(SME)이 직접 실험을 진행하는 데 가장 적합한 도구로 포지셔닝해 왔습니다. 중소기업이 제조 데이터의 다차원적 특성을 파악하는 데 도움이 되는 새로운 실험 가능성을 제시하는 것이 목적입니다. 또한 DSD와 같은 것을 시드 세트로 활용했을 때에도 매우 효과적인 것으로 보입니다. 제조팀에 적합할 만한 하이브리드 DOE 전략을 제시하는 것이죠. JMP에서 (대부분) 자동화된 기법을 사용하고 있기 때문입니다.
제목: 하이델베르크에서 Chris G.와 함께한 JMP Pro 워크숍 피드백을 통해 배우기@마이크D_앤더슨 님, 통계 담당자들의 저항이 있을 때 중소기업에 집중하는 것이 매우 타당하다고 생각합니다. 중소기업은 대기업에 속할 가능성이 더 높습니다. BayesOpt를 중소기업에 적용하는 과정이 어떻게 진행되는지 알려주세요.
BayesOpt가 필요하고 BayesOpt를 사용하기 전의 일상과 비교했을 때 점진적인 개선에 만족하는 구매 인플루언서를 찾기 전에 대기업을 포기하지 않는 것이 좋습니다.
제목: 하이델베르크에서 Chris G.와 함께한 JMP Pro 워크숍 피드백을 통해 배우기안녕 피트,
워크플로의 흐름은 베이즈 옵트에 대한 일반적인 내용인 크리스, 첫 번째 예, 점심 식사, 크리스가 더 자세히 설명, 두 번째 예, 실습, 세 번째 예 간략하게 설명, 마무리 순이었습니다.
첫 번째 예시(간단한 예시)가 대부분에게 좋은 시작점이라고 생각합니다. 두 번째 사례는 좀 더 실무적인 측면이 강하고, 피드백을 통해 대다수에게 좋은 결과를 얻었습니다. 사용 사례를 수정할 필요는 없다고 생각합니다. 다만, 옵션만 언급하면 됩니다. Chris가 슬라이드에서 그 부분도 보여줬으니, 충분히 설명이 되어 있습니다.
하지만 SE 데모/영감을 위해 포괄적인 예시로 배치 사용 사례를 보여주는 것이 좋을 것 같습니다.
그럼에도 불구하고, 저는 여전히 플랫폼에 아주 간략한 소개만 하고, 이를 적용할 수 있는 고객의 잠재적 사용 사례에 대해 더 자세히 논의해야 한다고 생각합니다. Malcolm과 Mike가 이미 언급한 방향대로 진행하는 것이 좋습니다.
제목: 하이델베르크에서 Chris G.와 함께한 JMP Pro 워크숍 피드백을 통해 배우기@malcolm_moore1 - 저도 흥미롭게 읽었습니다. 이 게이트키퍼들도 자신들의 DOE 전문성이 쓸모없어질까 봐 걱정하는 것 같습니다. 제가 들은 바로는 사람들이 이미 베이지안 최적화를 시도하고 있지만, 다양한 오픈 소스를 사용하고 있다는 것이 게이트키퍼 입장에서는 매우 우려스러운 부분입니다. 게이트키퍼와의 신뢰와 믿음이 구축되었다고 가정할 때, JMP Pro에서 실험자들에게 BayesOpt를 제공하는 것이 더 매력적인 해결책이 될 것입니다.
당신은 무엇을 선호하십니까:
- 동료들과 함께 JMP Pro의 이 흥미로운 새로운 접근 방식의 가능성을 탐색해 보세요.
- 동료들이 Python으로 베이지안 최적화를 직접 시도하게 하시겠습니까?
저는 다른 경우에는 게이트키퍼를 우회할 방법을 찾는 것이 옳은 일이라는 데 동의합니다.
제목: 하이델베르크에서 Chris G.와 함께한 JMP Pro 워크숍 피드백을 통해 배우기BayesOpt가 성공적으로 출시되어 정말 기쁩니다! 하이퍼파라미터 최적화를 위한 BayesOpt 데모를 쉽게 제작하는 방법에 관심 있는 분은 아래 링크를 클릭하세요.
1. Autotune을 체크한 후 XGBoost를 실행합니다.
2. 출력 하단에는 각 실행에 대한 통계가 포함된 표가 있습니다. 마우스 오른쪽 버튼 > '데이터 표로 만들기'를 클릭하세요.
3. 이 테이블에서 BayesOpt를 실행하여 다음으로 가장 적합한 후보 하이퍼매개변수를 결정합니다.
4. 이를 XGBoost에 수동으로 다시 로드하거나 고급의 디자인 테이블 옵션을 사용합니다.
제목: 하이델베르크에서 Chris G.와 함께한 JMP Pro 워크숍 피드백을 통해 배우기@malcolm_moore1 님 , 감사합니다. 지난 몇 주 동안 이런 문제를 몇 번 겪었습니다. 두 가지 이유를 찾았는데, 둘 다 "게이트키핑" 결과는 똑같았습니다.
1. 통제력/권한을 잃을까봐 두려워함(현재는 그것이 자신의 전문 분야이기 때문 등)
2. 사람들이 DOE 대신 무작위 실험을 할까봐 두려워합니다(그들은 사람들에게 OFAT 대신 DOE를 하라고 설교해 왔습니다.)
이들은 서로 다른 페르소나였지만, 두 유형 모두 BO의 광범위한 사용에 반대했습니다.
두 경우 모두 사용자들이 "아, 사실 그(반복적, 소규모 실험)가 바로 우리가 운영하고 실험을 하는 방식이에요. BO를 사용해야 해요"라고 말했습니다.
두 번째 "게이트키퍼" 그룹의 경우, BO가 사람들을 데이터 기반 의사 결정으로 이끄는 진입 장벽이 낮은 방법이라는 점을 알려줌으로써 그들이 더 편안하게 느낄 수 있도록 할 수 있습니다. 왜냐하면 BO에 대한 지식이 부족한 사람들은 BO를 사용하면 사실상 DOE(실험실 운영 계획)를 (모르는 채로) 수행하게 되기 때문입니다. 요인표를 시작점으로 BO를 시연해 보세요(2~3회 실행). 따라서 더 많은 사람들이 DOE를 사용하도록 유도하는 그들의 목표, 즉 제가 스마트 실험 방법이라고 부르는 것을 달성하는 데 실제로 도움이 됩니다.
첫 번째 그룹의 경우, 아마도 다른 사람과 대화하는 것이 가장 좋을 것입니다.;)
제목: 하이델베르크에서 Chris G.와 함께한 JMP Pro 워크숍 피드백을 통해 배우기Florian, 좋은 통찰력입니다. 4분기에는 변화에 대한 의욕과 절실함을 가진 BayesOpt 잠재 사용자에 집중하는 것이 좋습니다. 이러한 기회를 성공적으로 마무리한 후, 성공을 입증할 수 있도록 지원하세요.
내년에 시간이 더 생기면 "게이트키퍼"들의 개인적인 성과를 살펴볼 수 있을지도 모릅니다. 저희 대규모 계정의 일부 통계팀에서 인원 감축이 있었다는 이야기를 들었습니다. 이러한 배경을 바탕으로 "게이트키퍼"들과 함께 살펴볼 만한 아이디어 중 하나는 BayesOpt가 어떻게 과학자와 엔지니어들이 더 큰 조직적 가치를 창출하고, 통계팀이 기여하는 가치를 비즈니스에 이해시키는 데 도움을 줄 수 있는지입니다. 지금 성과를 개선하는 것이 (드물게 일어나는 일이지만) 완벽을 추구하는 것보다 낫습니다.
제목: 하이델베르크에서 Chris G.와 함께한 JMP Pro 워크숍 피드백을 통해 배우기안녕,
고위 경영진(MSAT 책임자, 현장 책임자 등)과 논의를 거쳐, 매우 공감을 얻은 중요한 활용 사례 중 하나는 고객이 프로세스를 개발/실행할 때 전체 실험을 하는 것을 꺼리는 경우입니다. 제가 진행한 모든 회의에서 고객들은 많은 질문을 했고, 현재 진행 중인 작업과 비교했을 때 전체 실험을 하는 것이 도움이 될지 물었을 때 고개를 끄덕였습니다.
여러분 모두에게 흥미로울 것 같아서요;)
