베이지안 최적화 문제이전 연구 개발 연구에서 저는 4가지 요인으로 구성된 혼합 실험 설계(3가지 혼합 요인과 3단계 범주형 "이성질체" 효과 1개)를 성공적으로 사용하여 Y1, Y2, Y3의 세 가지 품질 속성을 가진 화학 제형에 대한 최적 설정을 찾았습니다.
저는 실험설계(DOE) 수업에서 이 사례를 사용했고 시뮬레이션 공식을 이용하여 반응 Y123을 계산했습니다. 좋은 모델을 얻었고 최적화 과정도 간단하고 괜찮았습니다. 첨부 파일 "분석 혼합물 DOE 화학 조성"을 참조하십시오.
12회 실행으로 구성된 코왈스키 모델 실험계획법(DOE)을 시작으로 베이지안 최적화(부록 "베이지안 최적화" 참조)에 어려움을 겪고 있습니다. Y2 모델의 신뢰도가 너무 낮아 계속 실패합니다. 왜 베이지안 최적화는 이렇게 신뢰도가 낮은 Y2 모델에도 "최대 선호도(Max Desirability)"를 권장하는 걸까요? 다른 스크리닝 및 공간 채움 실험계획법(DOE)을 시도해 봐도 똑같이 신뢰도가 낮은 Y2 모델이 나옵니다.
문제는 무엇이며, 어떻게 해결해야 할까요?
실험 설계제목: 베이지안 최적화 문제안녕하세요 @frankderuyck 님 ,
귀하의 특정 사용 사례와는 관련이 없지만, 베이지안 최적화 플랫폼을 사용하여 데이터에 기반한 가우시안 프로세스 모델을 적합시키는 데 어려움이 있다면 다음 두 가지 옵션을 추천합니다.
- MaxPro 기준을 사용하여 후보점을 생성함으로써 설계 공간 탐색을 강제하세요. 이 모델 독립적인 기준은 기존 점과 새로운 후보점 사이의 최대 거리를 보장하여 실험 공간을 효율적으로 탐색할 수 있도록 합니다.
- 모델 기반 증강 RSquare 임계값 에 대한 기본 설정을 변경할 수도 있습니다(예를 들어 이 임계값을 기본값인 0.25에서 0.7로 높이면 탐색 부분이 증가합니다). 또한 BO 루프 시작 부분에서 상관 관계 유형(가우시안, 매터른 3/2 및 5/2 또는 지수)을 조정하여 사용 사례에 더 적합한 유형을 선택할 수 있습니다. 매터른 5/2는 좋은 기본값이지만, 가우시안이 Y2에 대해 약간 더 나은 결과를 제공할 수 있습니다.
어떤 경우든 실무자는 플랫폼과 그 결과에 대한 통제권을 유지하고 상황에 가장 적합한 옵션(탐색/활용)을 선택해야 합니다. 저는 프랑스에서 열린 비즈니스 인텔리전스(BO) 관련 디스커버리 세미나에서 "자동" 모드(기본 설정으로 플랫폼의 권장 사항을 맹목적으로 따르는 것)가 최적의 결과를 가져오지 못한다는 사용 사례를 발표했습니다. 모델 적합도가 부적절하고 신뢰할 수 없기 때문에 탐색 포인트를 추가하여 탐색을 강제하면 모델은 입력과 출력 간의 관계를 파악하게 되고, 활용이 훨씬 더 흥미로워질 수 있습니다.
제출하신 답변 공식을 살펴보면 두 공식이 상당히 다르다는 것을 알 수 있습니다.
- Y1은 주효과와 상호작용효과를 포함하는 모델을 가지고 있으며, 그 크기는 대략 비슷합니다(주효과가 약간 더 큽니다).
- Y2는 주효과와 일부 큰 상호작용 효과(X1*X3 및 X2*X3)를 포함하는 모델을 가지고 있습니다.
- Y3 모델은 큰 주효과와 일부 작은 상호작용 효과를 가지고 있습니다.
Y1과 Y3의 수식 형식은 "정규" 형식이며 가우시안 프로세스에 쉽게 적용할 수 있습니다.
Y2의 경우, 매우 큰 상호작용 효과로 인해 GP 모델 적합이 훨씬 더 복잡해집니다. 커널 방정식에는 점들 사이의 거리( 가우시안 커널 예시 참조)와 대역폭(또는 길이 스케일) 매개변수가 포함됩니다. 이 매개변수는 각 요인/차원에 대해 GP 모델이 학습하며, 각 요인의 상대적 변화가 반응에 어떻게 영향을 미치는지에 대한 정보를 제공합니다. 그러나 거리 계산(유클리드 거리)과 이 매개변수 학습에서 차원이 분리되어 있기 때문에, GP 모델은 강한 상호작용에 관련된 각 요인에 대해 적절한 대역폭/길이 스케일 매개변수를 찾는 데 어려움을 겪습니다. 각 요인이 독립적으로 반응에 어떻게 영향을 미치는지 제대로 평가할 수 없기 때문입니다.
실제로, 매우 큰 상호작용 효과가 발생할 수 있는 유사한 상황에 직면했을 때는 가산 커널이나 다항식 커널이 더 적합합니다. 가산 커널은 1차, 2차, 3차 등의 효과를 분리하는 반면, 다항식 커널은 특정 차수(이 경우 2 또는 3)로 명시적으로 설정되기 때문입니다.
JMP 베이지안 최적화 플랫폼의 옵션을 고려할 때, MaxPro 기준을 사용하여 더 많은 탐색 지점을 생성하도록 플랫폼을 강제하는 것을 권장합니다. 첨부된 테스트 결과는 '예상 개선 최대화' 옵션을 선택하기 전에 MaxPro 기준을 적용하여 4번의 추가 탐색을 실행한 것입니다. 이렇게 얻은 최적값이 현재 얻은 최적값보다 목표에 더 가까운 것으로 보입니다.
이 답변이 도움이 되길 바랍니다.
제목: 베이지안 최적화 문제빅터, 자세한 설명 감사드립니다. 하지만 여전히 몇 가지 문제가 남아 있습니다.
(1) Y2 프로파일러는 Y2 모델이 여전히 매우 신뢰할 수 없음을 보여줍니다. (2) 중요(!): 여기서 Isomer = Isomer 2에 대한 최적 설정은 Isomer 1이어야 하는 DOE - 및 올바른 - 솔루션과 일치하지 않습니다.
Bayesion이 여기서 어려움을 겪는 이유를 이해하기 어렵네요.
제목: 베이지안 최적화 문제Y2의 R2 값이 0.7에 가깝거나 그 이상으로 나왔기 때문에 모델이 그다지 신뢰할 수 없다고는 말할 수 없을 것 같습니다.
베이지안 최적화는 항상 전역 최적해(존재하는 경우)를 제공하지는 않지만, 최적의 해를 제공합니다.
혼합 설계는 최적화 설계이며, 범주형 이성질체 인자가 혼합 인자에 비해 상대적으로 큰 영향을 미치지 않으므로, 다른 이성질체(및 다른 혼합 비율)를 사용하는 다른 솔루션이 존재할 수 있습니다. 이러한 차이를 설명하는 데에는 여러 가지 이유가 있을 수 있습니다. 예를 들어, 유사한 성능을 보이는 여러 최적해가 존재하거나, Y2에 추가된 노이즈가 GP 모델에서 최적해를 "가려" 놓았을 수 있습니다. Y2 공식에서 노이즈를 제거하고 최적해가 동일한지 확인해 볼 수 있으며, 실험 설계(DoE)에서 얻은 모델을 사용하여 최적해(BO) 솔루션이 DoE 맥락에서 얻은 최적해와 얼마나 가까운지 확인해 볼 수도 있습니다.
이 답변이 도움이 되길 바랍니다.
제목: 베이지안 최적화 문제프로파일러 Y2는 좋지 않아 보입니다. DOE 모델은 훌륭했습니다.
frankderuyck_0-1786094852833.pngfrankderuyck_0-1786094852833.pngfrankderuyck_0-1786094852833.pngfrankderuyck_0-1786094852833.png
제목: 베이지안 최적화 문제추가 실행을 몇 번 더 해본 결과, 베이지안 방식은 일관되게 최적의 이성질체 1 솔루션을 도출했지만, Y2 프로파일러는 여전히 매우 회색으로 나타났습니다.
해결책은 제가 얻은 결과와 거의 동일합니다. 제 Y2 R² 값은 더 낮았습니다(0.52).
제목: 베이지안 최적화 문제Y2 프로파일러에서 -0.48 < Y2 < 1을 예상할 수 있다고 나오는데, 맞나요? 이 결과를 무시하고 R² 값만 봐야 할까요?
제목: 베이지안 최적화 문제BO 파일을 살펴보니 JMP BO 플랫폼에서 열었을 때 R² 값이 0.7999이고 Y2에 대한 프로파일러 결과도 나쁘지 않네요.
Victor_G_0-1786175430051.pngVictor_G_0-1786175430051.pngVictor_G_0-1786175430051.pngVictor_G_0-1786175430051.png
BO 파일 테스트 결과도 동일합니다. R² = 0.7321이고 프로파일러도 정상인 것 같습니다.
Victor_G_1-1786175585108.pngVictor_G_1-1786175585108.pngVictor_G_1-1786175585108.pngVictor_G_1-1786175585108.png
그렇다면 어떤 프로파일러 또는 어떤 단계에서 "나쁜" 예측 프로파일러를 보여주고 계신 건가요?
예측 불확실성을 줄이기 위해 '다변량 모델 표준 편차 최대화'(배치 크기가 1보다 큰 경우 '베이지안 선호도 표준 편차 최대화') 옵션을 사용하여 몇 번의 실행을 추가할 수 있습니다. 이는 도움이 될 수 있지만, 상호작용 효과가 매우 큰 극단적인 시나리오에서는 가우시안 프로세스가 상호작용 효과를 포함한 실험 설계(DoE)의 다변량 회귀 모델과 경쟁하기 어려울 것입니다. '상호작용 중첩' 옵션을 통해 각 모델이 상호작용을 어떻게 처리하는지 확인할 수 있습니다. 첫 번째 게시물에서 설명한 한계 때문에 (DoE) 회귀 모델의 상호작용 추적이 가우시안 프로세스보다 훨씬 더 '다양'한 것을 알 수 있을 것입니다.
- 회귀 모델:
Victor_G_2-1786175872322.pngVictor_G_2-1786175872322.pngVictor_G_2-1786175872322.pngVictor_G_2-1786175872322.png
- 가우시안 프로세스:
Victor_G_3-1786175927453.pngVictor_G_3-1786175927453.pngVictor_G_3-1786175927453.pngVictor_G_3-1786175927453.png
가우시안 프로세스는 점들의 근접성을 기반으로 반응의 거동을 보간하는 반면, 회귀 분석은 특정 효과(주효과, 상호작용 효과 등)를 사용하여 현상을 설명합니다. 모델 적합 방식과 "철학"이 다릅니다. 회귀 분석에서는 검증할 모델을 가정하는 반면, 가우시안 프로세스에서는 "실험하면서 모델을 구축"합니다.
베이지안 최적화 플랫폼을 사용하더라도 탐색 포인트를 추가해도 GP 모델 적합에 어려움이 있는 경우, K-겹 교차 검증을 사용한 플랫폼의 모델 스크리닝 기능을 통해 더 많은 모델 옵션을 탐색할 수 있습니다. 이 기능을 사용하면 회귀 분석 방법이 최적의 모델 적합 옵션 상단에 나타나는 것을 확인할 수 있습니다(아래는 데이터 테이블의 첫 번째 구성 포인트만 사용한 결과입니다).
Victor_G_4-1786176393503.pngVictor_G_4-1786176393503.pngVictor_G_4-1786176393503.pngVictor_G_4-1786176393503.png
이 답변이 여전히 도움이 되기를 바랍니다.
제목: 베이지안 최적화 문제이상하네요. 마지막 BO 테스트를 클릭했을 때 예측 프로파일러 결과가 다르게 나오는데, 그래프는 똑같습니다.
저는 JMP 18 Pro를 사용하고 있는데, 혹시 최신 버전인 19와 다른 점이 있을까요?
frankderuyck_0-1786349462076.pngfrankderuyck_0-1786349462076.pngfrankderuyck_0-1786349462076.pngfrankderuyck_0-1786349462076.png
제목: 베이지안 최적화 문제이상하네요. 실제값 대비 예측값 그래프를 보면 GP 모델이 데이터의 패턴을 학습한 것 같은데, 프로파일러는 동일해야 할 텐데요.
JMP BO 플랫폼에서 Y2 응답에 대한 모델 패널을 볼 때도 동일한 프로파일러 결과가 나오나요?
일반적인 가우시안 프로세스 플랫폼을 사용하여 모델링을 시도해 보셨나요? 그러면 동일한 문제가 발생하는지 확인할 수 있을 것입니다.
메뉴에서 직접 플랫폼을 다시 실행해 보셨나요(저장된 스크립트를 사용하지 않고) 그리고 스크립트를 통해 다시 실행해 보셨나요? 차이점이 있나요?
마지막으로, JMP 19로 업데이트할 수 있습니까?
이 아이디어들 중 일부를 통해 문제를 해결할 수 있기를 바랍니다.
제목: 베이지안 최적화 문제안녕하세요, 빅터님. JMP 18에서 제안해주신 방법을 시도해봤지만 성공하지 못했습니다. 첨부 파일에서 24회 실행된 DOE 전체 결과에 대한 Scheffé 모델링과 가우시안 모델링 비교 자료를 확인하실 수 있습니다. 가우시안 모델링은 Y1의 경우 적합도가 부족하고 Y2의 경우 매우 저조한 결과를 보였으며, Y3는 그럭저럭 괜찮은 결과를 나타냈습니다. 이러한 가우시안 모델로는 프로파일러를 사용하여 최적의 혼합 설정을 찾을 수 없었고, 선호도(Desirability)는 0이었습니다. JMP 19에서는 더 나은 결과를 얻으셨나요? 해결책을 찾을 수 있기를 바랍니다. 베이지안 최적화를 사용하고 싶지만, 팀원들이 회의적인 반응을 보이고 있습니다.
제목: 베이지안 최적화 문제가우시안 예측 공식 결과가 매우 나쁘고 잭나이프 예측 결과와 차이가 납니다.
frankderuyck_0-1786435375218.pngfrankderuyck_0-1786435375218.pngfrankderuyck_0-1786435375218.pngfrankderuyck_0-1786435375218.png
베이지안 최적화가 제대로 작동하지 않는 것도 당연하네요. 결과가 너무 일관성이 없고 불안정해요.
제목: 베이지안 최적화 문제JMP 19에서 결과가 정상이라면 무엇이 달라진 것일까요?
제목: 베이지안 최적화 문제저는 JMP 19에서 기본 설정으로 BO 플랫폼을 사용해 보았는데, 다양한 응답에 대한 모델이 괜찮아 보입니다.
Victor_G_0-1786477092346.pngVictor_G_0-1786477092346.pngVictor_G_0-1786477092346.pngVictor_G_0-1786477092346.png
JMP19의 베이지안 최적화 플랫폼(가우시안 프로세스 모델)에서 생성된 예측 공식과 스크립트를 귀하의 표에 저장했습니다.
"기본" 가우시안 프로세스 모델과 관련하여 Y1에 대해 유사한 결과를 얻었지만, 플랫폼을 실행할 때 " 너겟 매개변수 추정 " 옵션을 선택하면 모델링을 개선할 수 있습니다.
Victor_G_1-1786477388650.pngVictor_G_1-1786477388650.pngVictor_G_1-1786477388650.pngVictor_G_1-1786477388650.png
응답 변수 Y1이 다른 변수들에 비해 다소 잡음이 심한 것으로 나타나므로, 이 옵션을 사용하면 가우시안 프로세스를 통해 데이터를 완벽하게 보간하는 것을 방지하여 모델링 성능을 향상시킬 수 있습니다. 모델 결과는 회귀 모델과 유사하고 해석하기 쉬우며, 모델의 예측값이 측정값과 크게 차이가 나더라도 더 나은 결과를 보여줍니다.
Victor_G_2-1786477805428.pngVictor_G_2-1786477805428.pngVictor_G_2-1786477805428.pngVictor_G_2-1786477805428.png
분석을 다시 실행하는 스크립트와 표에 있는 예측 공식도 저장해 두었습니다.
마지막으로, 가우시안 프로세스 예측 공식과 잭나이프 예측 공식은 서로 다릅니다. JMP 도움말 의 '실제값 대 예측값 플롯' 부분을 참조하십시오. 잭나이프 예측값은 특정 X 행을 제외한 Y 행의 예측값인 반면, 가우시안 프로세스 모델의 예측값은 Leave-One-Out 검증(잭나이프 방식)으로 학습된 각 모델의 평균값입니다.
이 답변이 도움이 되길 바랍니다.
제목: 베이지안 최적화 문제알겠습니다, 빅터. 감사합니다. JMP 19로 바꿔야 한다는 게 분명하네요. JMP 18이 작동하지 않는 이유와 무엇이 변경되었는지 궁금합니다. 그런데 BO 배치를 추가하면 18 버전에서 오류가 발생하고, 이 오류를 무시하면 Y2 예측값이 이전처럼 완전히 흐릿한 회색으로 표시됩니다.
frankderuyck_0-1786523679953.pngfrankderuyck_0-1786523679953.pngfrankderuyck_0-1786523679953.pngfrankderuyck_0-1786523679953.png
frankderuyck_1-1786523771369.pngfrankderuyck_1-1786523771369.pngfrankderuyck_1-1786523771369.pngfrankderuyck_1-1786523771369.png
첨부된 초기 실험계획법(DOE)을 기반으로 12회 실행 코왈스키 모델을 사용하여 베이지안 최적화를 수행해 주시겠습니까?
제목: 베이지안 최적화 문제안녕하세요 @frankderuyck 님 ,
궁금해서 여쭤보는 건데, JMP 18에서 베이지안 최적화 기능을 어디에서 사용할 수 있나요? 이 기능은 JMP 19에서 처음 도입된 걸로 알고 있는데요. (https://www.jmp.com/en/software/new-release/new-in-jmp )
최상의
플로리안
제목: 베이지안 최적화 문제죄송합니다, 제가 틀렸네요. 저는 19.0.1 버전을 사용하고 있습니다.
frankderuyck_0-1786550520590.pngfrankderuyck_0-1786550520590.pngfrankderuyck_0-1786550520590.pngfrankderuyck_0-1786550520590.png
제목: 베이지안 최적화 문제그렇다면 왜 제 결과가 빅터와 다를까요?
제목: 베이지안 최적화 문제안녕하세요 , @frankderuyck 님 과 @Victor_G 님 !
최신 릴리스에 포함된 개선 사항 중 일부가 해당 문제를 해결하는 것을 확인할 수 있습니다.
JMP 19.1.4 이전 버전:
Florian_Vogt_0-1786605432509.pngFlorian_Vogt_0-1786605432509.pngFlorian_Vogt_0-1786605432509.pngFlorian_Vogt_0-1786605432509.png
JMP 19.1.4(현재 최신 릴리스) 사용 시:
Florian_Vogt_1-1786605459011.pngFlorian_Vogt_1-1786605459011.pngFlorian_Vogt_1-1786605459011.pngFlorian_Vogt_1-1786605459011.png
최신 버전으로 업데이트하면 플랫폼이 개선되어 (빅터가 보여준 것처럼) 더 나은 결과를 얻을 수 있습니다.
최상의
플로리안
제목: 베이지안 최적화 문제플로리안, 고마워요. 최신 버전으로 업그레이드하는 방법은 어떻게 되나요?
제목: 베이지안 최적화 문제공유해주신 화면에서 왼쪽의 파란색 글씨로 된 "업데이트 확인"을 클릭하세요. 새 창이 열리고 업데이트된 버전을 다운로드할 수 있는 링크가 표시됩니다.
@Florian_Vogt 님 , 정보 감사합니다. 19.1.x 릴리스 노트가 BO 플랫폼의 알고리즘/계산 방식에 변경 사항이 있는지 확인하기에는 충분히 자세하지 않습니다. (https://community.jmp.com/t5/JMP-Knowledge-Base/JMP-New-Features-and-Release-Notes/ta-p/575202 )
제목: 베이지안 최적화 문제
Florian_Vogt_0-1786610753240.pngFlorian_Vogt_0-1786610753240.pngFlorian_Vogt_0-1786610753240.pngFlorian_Vogt_0-1786610753240.png
제목: 베이지안 최적화 문제빅터와 플로리안, 조언해 주셔서 정말 감사합니다. 최신 JMP 버전으로 업그레이드했더니 첨부 파일에서 보시는 것처럼 좋은 결과를 얻었습니다. 다만 몇 번의 배치 처리 후 "최대 기대 개선(Maximum Expected Improvement)" 단계에서 멈추는 현상이 발생하는데, 복제 단계로 넘어가지 않고 최적값을 찾지 못하는 것 같습니다. 맞나요? 마지막 배치를 최적화하면 최적의 결과가 나오는데, 첫 번째 최대 기대 개선 이후에는 그렇지 않습니다. 회귀 모델이 제대로 최적화되는 시점은 최대 기대 개선을 몇 번이나 거쳐야 하는지 궁금합니다. 가우시안 분포에서 가장 중요한 지표는 무엇인가요?
frankderuyck_0-1786694503916.pngfrankderuyck_0-1786694503916.pngfrankderuyck_0-1786694503916.pngfrankderuyck_0-1786694503916.png
제목: 베이지안 최적화 문제안녕하세요 @frankderuyck 님 ,
실제로 멈춘 건 아닙니다. 3가지 결과를 도출할 수 있는 최적화 작업이 있는데, 3가지 목표를 달성하려고 시도하는 것입니다. 개선 가능성이 여전히 남아있기 때문에 계속해서 개선을 시도합니다. 이는 바람직성 실행 차트에서 달성된 바람직성이 계속해서 향상되고 있는 것으로 나타납니다. 실행을 계속 요청하면 결국 현재 최적값을 재현하려고 시도합니다.
Florian_Vogt_0-1787142341723.pngFlorian_Vogt_0-1787142341723.pngFlorian_Vogt_0-1787142341723.png플로리안_보그트_0-1787142341723.png
학습을 언제 중단해야 할지는 일반화하기 어렵습니다. 솔직히 말해서, 원하는 시점, 즉 목표가 달성되었다고 생각될 때 언제든 중단할 수 있습니다. BayesOpt는 데이터에 따라 결과를 최적화하고 검증하려고 시도합니다("최적 학습 실행 재현").
도움이 되었으면 좋겠습니다!
플로리안
제목: 베이지안 최적화 문제마지막 행들이 최적 설정이 아닌 것 같으니, 모델 요약에서 최대 적합도(Max Desirability)를 확인해야 하는 건가요? 프로파일러에 시뮬레이터가 없는 것 같은데, 예측 공식을 저장하고 그래프 > 프로파일러로 들어가도 빈 프로파일러 시트만 나타납니다. 최적화된 설정에서 무작위 노이즈를 적용하여 시뮬레이션을 수행하고 성능을 확인하는 방법은 무엇인가요?
제목: 베이지안 최적화 문제첨부파일에 있는 10회 실행 Fast Flexible Space Filling DOE를 시작점으로 사용했을 때, 12회 실행 Kowalski 시작점과 24회 실행 Sheffé 모델(첫 번째 게시물 참조)에서 다른 결과가 나왔습니다. X1, X2, X3의 최적 설정은 거의 동일하지만, Space Filling은 이성질체 1 대신 이성질체 2를 결과로 보여줍니다. 이성질체 2의 경우, Scheffé 모델과 12회 실행 Kowalski 시작점 모두 바람직성 값이 낮게 나옵니다. 10회 실행 Space Filling 시작점이 적절하지 않은 것 같습니다. 실행 횟수가 너무 적은 걸까요? 베이지안 최적화를 위한 적절한 시작 DOE 기준이 있을까요?
제목: 베이지안 최적화 문제문제는 공간 채움 실험 설계(Space Filling DOE)가 세 가지 이성질체에 걸쳐 균형 잡힌 분포를 제공하지 못하는 것 같습니다. 또한, 이성질체별 산점도를 보면 분포가 그다지 좋지 않아 보입니다. 범주형 효과가 있는 경우 공간 채움 방식을 선택할 때 이 점을 유의해야 하는 것 같은데, 맞나요?
