베이지안 최적화를 이용하여 혼합 모델의 최적 설정을 찾는 문제24회 실험으로 구성된 혼합 실험 설계(DOE)를 통해 3성분 혼합물과 하나의 범주형 효과에 대해 매우 우수한 모델과 최적 설정을 찾을 수 있었습니다. 이는 앞서 논의에서 제시되었으며, 첨부 파일에서 분석 결과를, 아래 스크린샷에서 적합성 분석 결과를 확인하실 수 있습니다.
frankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.png
이성질체 2를 사용하면 바람직한 결과가 더 나빠집니다. 이성질체 2를 고정할 때 설정값보다 낮은 결과가 나타납니다.
frankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.png
9회 실행으로 구성된 후보 공간 채우기 세트(첨부 파일 "성공적인 9회 실행" 참조) 또는 12회 실행으로 구성된 코왈스키 세트를 사용하여 이성질체 1에 대한 최적 설정을 찾을 수 있습니다.
하지만 6회 실행으로 얻은 공간 채움 후보 세트에서 시작하면, 추가 공간 채움 실행을 여러 번 해도 항상 이성질체 2를 사용한 최적 설정이 더 안 좋게 나옵니다! 제가 무엇을 잘못한 걸까요? 그리고 이 6회 실행 후보 세트에서 이성질체 1의 최적 설정을 얻으려면 어떻게 해야 할까요?
제목: 베이지안 최적화를 이용한 혼합 모델의 최적 설정값 찾기 문제안녕하세요 @frankderuyck 님 ,
이전 논의에서 말씀드린 대로 JMP 버전을 업그레이드하셨나요?
마지막으로 보내주신 파일을 보니, 초기 6번의 공간 채움 실행만 사용하여 BayesOpt 플랫폼을 처음부터 실행했을 때 모델이 이미 상당히 좋아 보입니다.
Victor_G_0-1788772508694.pngVictor_G_0-1788772508694.pngVictor_G_0-1788772508694.pngVictor_G_0-1788772508694.pngVictor_G_0-1788772508694.pngVictor_G_0-1788772508694.pngVictor_G_0-1788772508694.pngVictor_G_0-1788772508694.pngVictor_G_0-1788772508694.pngVictor_G_0-1788772508694.pngVictor_G_0-1788772508694.pngVictor_G_0-1788772508694.pngVictor_G_0-1788772508694.pngVictor_G_0-1788772508694.pngVictor_G_0-1788772508694.pngVictor_G_0-1788772508694.pngVictor_G_0-1788772508694.pngVictor_G_0-1788772508694.pngVictor_G_0-1788772508694.pngVictor_G_0-1788772508694.pngVictor_G_0-1788772508694.pngVictor_G_0-1788772508694.pngVictor_G_0-1788772508694.pngVictor_G_0-1788772508694.pngVictor_G_0-1788772508694.pngVictor_G_0-1788772508694.pngVictor_G_0-1788772508694.pngVictor_G_0-1788772508694.png
따라서 자동 추천 기능인 "최적 학습 실행 복제"(이 실행은 배치에서 삭제했습니다)를 사용하는 대신, " 최대 다중 모델 표준 편차 " 획득 기능을 수동으로 강제 적용하고 현재 배치에 실행 1개를 추가했습니다. 이는 모델 예측의 불확실성 때문에 이성질체 1과 2를 구분하기 어렵기 때문입니다(프로파일러에서 이성질체 유형 간의 신뢰 구간을 확인할 수 있습니다).
새로 추가된 실행 결과를 바탕으로 플랫폼을 재시작하니 프로파일러가 더욱 안정적으로 작동하는 것 같고, 기본 실행 권장 사항은 " 최대 예상 개선 " 획득 기능을 사용하여 최적 설정에 가까운 값으로 자동으로 생성됩니다.
Victor_G_1-1788773154124.pngVictor_G_1-1788773154124.pngVictor_G_1-1788773154124.pngVictor_G_1-1788773154124.pngVictor_G_1-1788773154124.pngVictor_G_1-1788773154124.pngVictor_G_1-1788773154124.pngVictor_G_1-1788773154124.pngVictor_G_1-1788773154124.pngVictor_G_1-1788773154124.pngVictor_G_1-1788773154124.pngVictor_G_1-1788773154124.pngVictor_G_1-1788773154124.pngVictor_G_1-1788773154124.pngVictor_G_1-1788773154124.pngVictor_G_1-1788773154124.pngVictor_G_1-1788773154124.pngVictor_G_1-1788773154124.pngVictor_G_1-1788773154124.pngVictor_G_1-1788773154124.pngVictor_G_1-1788773154124.pngVictor_G_1-1788773154124.pngVictor_G_1-1788773154124.pngVictor_G_1-1788773154124.pngVictor_G_1-1788773154124.pngVictor_G_1-1788773154124.pngVictor_G_1-1788773154124.pngVictor_G_1-1788773154124.png
이 자동 추천 실행이 추가되면 플랫폼에서 다음으로 추천하는 옵션은 이 최적의 훈련 실행을 복제하는 것입니다.
Victor_G_2-1788773243902.pngVictor_G_2-1788773243902.pngVictor_G_2-1788773243902.pngVictor_G_2-1788773243902.pngVictor_G_2-1788773243902.pngVictor_G_2-1788773243902.pngVictor_G_2-1788773243902.pngVictor_G_2-1788773243902.pngVictor_G_2-1788773243902.pngVictor_G_2-1788773243902.pngVictor_G_2-1788773243902.pngVictor_G_2-1788773243902.pngVictor_G_2-1788773243902.pngVictor_G_2-1788773243902.pngVictor_G_2-1788773243902.pngVictor_G_2-1788773243902.pngVictor_G_2-1788773243902.pngVictor_G_2-1788773243902.pngVictor_G_2-1788773243902.pngVictor_G_2-1788773243902.pngVictor_G_2-1788773243902.pngVictor_G_2-1788773243902.pngVictor_G_2-1788773243902.pngVictor_G_2-1788773243902.pngVictor_G_2-1788773243902.pngVictor_G_2-1788773243902.pngVictor_G_2-1788773243902.pngVictor_G_2-1788773243902.png
두 응답의 복잡성이 비교적 낮다는 점을 고려할 때, 6회 실행으로 구성된 공간 채움 설계에서 시작하여 3회 실행을 추가하면 적절한 최적 권장값을 얻을 수 있습니다. 단, 모델의 학습 및 동작에 가장 적합한 데이터 수집 기능을 고려하고 이를 수동으로 "강화"해야 합니다.
첨부 파일에서 제가 실행한 6회 실행 예시 결과를 확인해 주세요. JMP Pro 19.1.3 버전을 사용했습니다.
수정: 최적화 과정에서 Y열을 놓쳤습니다. 하지만 Y열이 6번째 열 2와 음의 상관관계를 보이는 것으로 보아, Y열을 고려하지 않아도 좋은 결과를 얻을 수 있습니다.
Y와 나머지 두 개의 6번 열 응답을 고려할 때, 프로파일러가 서로 다른 이성질체 유형의 순서와 동작을 제대로 보여주기 전에 최대 다중 모델 표준 편차를 한 번 더 실행해야 할 수 있습니다(총 두 번, 순차적으로).
Victor_G_0-1788778413164.pngVictor_G_0-1788778413164.pngVictor_G_0-1788778413164.pngVictor_G_0-1788778413164.pngVictor_G_0-1788778413164.pngVictor_G_0-1788778413164.pngVictor_G_0-1788778413164.pngVictor_G_0-1788778413164.pngVictor_G_0-1788778413164.pngVictor_G_0-1788778413164.pngVictor_G_0-1788778413164.pngVictor_G_0-1788778413164.pngVictor_G_0-1788778413164.pngVictor_G_0-1788778413164.pngVictor_G_0-1788778413164.pngVictor_G_0-1788778413164.pngVictor_G_0-1788778413164.pngVictor_G_0-1788778413164.pngVictor_G_0-1788778413164.pngVictor_G_0-1788778413164.pngVictor_G_0-1788778413164.pngVictor_G_0-1788778413164.pngVictor_G_0-1788778413164.pngVictor_G_0-1788778413164.pngVictor_G_0-1788778413164.pngVictor_G_0-1788778413164.pngVictor_G_0-1788778413164.png Victor_G_0-1788778413164.png
2회 실행 Max Multimodel Std Dev를 추가한 후에는 최대 기대 개선 기준을 적용하여 최적화를 시작할 수 있습니다. 그러면 이전 성공적인 시도에서 얻은 결과와 유사한 솔루션을 얻을 수 있을 것입니다(파일 Successful 6 Run Fast Flexible Filling Design starter 2 참조).
이 답변이 도움이 되길 바랍니다.
제목: 베이지안 최적화를 이용한 혼합 모델의 최적 설정값 찾기 문제안녕하세요 Victor님, 네, 최신 JMP 버전으로 업그레이드했습니다. 하지만 아쉽게도 Victor님의 결과를 재현할 수 없었습니다. BO는 항상 공간 채우기로 시작하고, 이성질체 2에서 복제가 시작될 때 원하는 결과가 나오지 않으면 Max Multimodel St dev로 전환해 보지만 성공하지 못했습니다. 이전 BO 관련 웹캐스트에서 Max Pro 기준에 따라 전환하는 것을 권장했지만, 이 방법도 효과가 없었습니다. 첨부 파일에 제 결과(Y123 출력 3개)를 첨부했습니다.
제목: 베이지안 최적화를 이용한 혼합 모델의 최적 설정값 찾기 문제첫 번째 BO 실행에서 공간 채우기 대신 Max Multimodel St dev가 필요하다는 것을 어떻게 알 수 있나요?
제목: 베이지안 최적화를 이용한 혼합 모델의 최적 설정값 찾기 문제안녕하세요 @frankderuyck 님 ,
시나리오를 처음부터 다시 작성하여 처음 6개의 공간을 채우는 실행 파일만 남기고 나머지 실행 파일은 모두 삭제하는 것을 권장합니다.
BayesOpt 플랫폼을 기본 설정으로 처음부터 다시 시작하고, 최대 다중 모델 표준 편차 기준을 사용하여 1회 실행을 두 번 수행하도록 강제하십시오. 그러면 두 실행에서 동일한 결과가 나올 것이며, 이후 최대 기대 개선 기준을 사용하여 최적화를 강제로 수행하면 DoE(실험 설계)에서 얻은 최적값과 유사한 최적값을 추천해 줄 것입니다(두 번째 최대 다중 모델 표준 편차 실행과 동일한 입력값을 사용).
제목: 베이지안 최적화를 이용한 혼합 모델의 최적 설정값 찾기 문제Max Multimodel St Dev로 시작했을 때 저는 당신의 결과를 재현할 수 없습니다.
제목: 베이지안 최적화를 이용한 혼합 모델의 최적 설정값 찾기 문제이 기준 부분에 대한 답변을 깜빡했습니다.
- MaxPro 기준을 극대화하세요 은 모델에 구애받지 않는/모델에 의존하지 않는 설계 공간 탐색 방법입니다. 가우시안 프로세스 모델의 결과나 학습 효과를 고려하지 않고, 오직 점들 사이의 거리를 최대화하는 데 기반한 옵션을 제시합니다. 목표는 설계 공간에서 "비어 있는" 영역(기존 점과 새로 추천되는 점 사이의 거리를 최대화하는 영역)에 점/실험을 추가하는 것입니다.
- 다중 모델 표준 편차 최대화는 설계 공간을 모델 기반으로 탐색하는 기능입니다. 가우시안 프로세스 모델의 결과와 학습을 고려하여 예측 불확실성이 가장 높은 영역의 지점을 추천합니다.
제시하신 6회 실행 시나리오에서 모델의 초기 성능은 나쁘지 않습니다. Y의 R² 값이 가장 낮지만 0.3566으로, 모델이 어느 정도 예측에는 성공했음을 보여줍니다. Y2와 Y3의 R² 값은 매우 높으므로, 모델 기반 탐색을 중단하는 것보다는 모델의 학습 효과를 활용하여 예측의 불확실성을 줄이는 데 집중하는 것이 더 효과적일 수 있습니다.
이 답변이 도움이 되길 바랍니다.
제목: 베이지안 최적화를 이용한 혼합 모델의 최적 설정값 찾기 문제정확히 어떤 작업을 하셨는지는 모르겠지만, 최대 다중 모델 표준 편차 기준으로 한 번, 최대 기대 개선 기준으로 한 번만 실행해서 최적값을 얻으신 것 같네요? 임무 성공인가요?
제 경우에는 최적값에 근접하기 위해 최대 다중 모델 표준 편차로 2회 실행하고 최대 기대 개선으로 1회 실행해야 했습니다(두 번째 최대 다중 모델 표준 편차 실행과 동일한 입력값 사용).
제목: 베이지안 최적화를 이용한 혼합 모델의 최적 설정값 찾기 문제기본값 R²은 0.25인가요? 처음에는 0.7로 증가하지 않나요?
제목: 베이지안 최적화를 이용한 혼합 모델의 최적 설정값 찾기 문제이에 대한 엄격한 규칙은 없습니다. JMP BayesOpt 개발팀은 모델을 탐색 단계(R² < 0.25) 또는 활용 단계(R² > 0.25)로 분류하기 위한 기준으로 0.25라는 임계값을 선택했지만, 이는 개발팀의 연구 및 시뮬레이션을 바탕으로 한 경험적 규칙일 뿐이며 유일한 기준으로 삼아서는 안 됩니다. 특정 시나리오에서는 이 임계값이 적절하지 않을 수 있습니다.
대신 모델, 프로파일러 및 그래프를 살펴보고 수집된 정보를 개선할 수 있는 최적의 조치를 찾으십시오. 다음 방법 중 하나를 사용할 수 있습니다.
- 설계 공간이 충분히 탐색되도록 모델에 구애받지 않는 탐색을 시행합니다(Max Pro 기준).
- 초기 모델을 활용하고 예측 불확실성을 줄이기 위해 모델 기반 탐색을 시행합니다(다중 모델 표준 편차 또는 베이지안 선호도 표준 편차 기준).
- 탐색과 활용의 균형 유지(상한 신뢰구간 기준) 또는
- 모델 예측 결과를 활용하여 최적화를 시작하세요(최대 기대 개선 또는 최대 베이지안 적합성 기준).
제목: 베이지안 최적화를 이용한 혼합 모델의 최적 설정값 찾기 문제최대 다중 모델 표준 편차를 두 배로 늘린 후에도 성공하지 못했으며, 이성질체 1에서의 선호도가 낮아 BO가 이성질체 2로 되돌아갔습니다.
제목: 베이지안 최적화를 이용한 혼합 모델의 최적 설정값 찾기 문제프랭크, 먼저 테이블에 BO 스크립트를 포함하지 않고 초기 공간 채우기 실행 6회만 진행해 주세요 (스크립트를 제거하고 다른 행도 모두 삭제하세요).
다음으로, 기본 설정으로 BayesOpt 플랫폼을 실행하고 자동 배치 권장 사항을 모두 제거한 후, 최대 다중 모델 표준 편차를 1회씩 2회 반복하여 추가하면 이성질체 1을 사용하여 최적값에 가까운 결과를 얻을 수 있을 것입니다(제 테스트 결과와도 일치합니다). 최대 다중 모델 표준 편차를 적용한 두 번의 연속 실행이 완료되면 이성질체 유형의 순서가 올바르게 표시되는 것을 확인할 수 있습니다.
Victor_G_0-1788783078290.pngVictor_G_0-1788783078290.pngVictor_G_0-1788783078290.pngVictor_G_0-1788783078290.pngVictor_G_0-1788783078290.pngVictor_G_0-1788783078290.pngVictor_G_0-1788783078290.pngVictor_G_0-1788783078290.pngVictor_G_0-1788783078290.pngVictor_G_0-1788783078290.pngVictor_G_0-1788783078290.pngVictor_G_0-1788783078290.pngVictor_G_0-1788783078290.pngVictor_G_0-1788783078290.pngVictor_G_0-1788783078290.pngVictor_G_0-1788783078290.png
제목: 베이지안 최적화를 이용한 혼합 모델의 최적 설정값 찾기 문제안녕하세요 빅터, 첨부 파일의 지침을 따랐는데도 결과가 재현되지 않습니다. 6개의 초기 공간 채움 rus로 구축한 모델이 제대로 작동하지 않는데, 왜 Max Multimodel st deviation부터 시작해야 하는지 이해가 안 됩니다. 결과가 제대로 작동하지 않는 가우시안 프로세스 모델에서 학습되는 것이 아니기 때문입니다.
제목: 베이지안 최적화를 이용한 혼합 모델의 최적 설정값 찾기 문제결과에 출력값이 2개밖에 없습니다. 3개가 나와야 합니다.
제목: 베이지안 최적화를 이용한 혼합 모델의 최적 설정값 찾기 문제초기 공간 채우기 실행을 6회만 수행한 후에도 가우시안 Y1의 성능이 매우 저조하여 만족스러운 모델 성능을 얻기 위해서는 추가적인 공간 채우기 실행이 필요합니다. 하지만 안타깝게도 매번 BO는 이성질체 2를 최적값으로 감지합니다(?).
제목: 베이지안 최적화를 이용한 혼합 모델의 최적 설정값 찾기 문제첨부파일에 나와 있는 초기 10회 실행 공간 채움 실험 설계(DOE)부터 동일한 문제가 발생합니다. 무엇이 잘못된 걸까요? 실험실에서 확인해 본 결과, 최적의 용액은 이성질체 1을 사용했을 때였습니다. 이성질체 2는 결과가 더 나빴고, 이성질체 3은 전혀 사용할 수 없었습니다. 중요한 점은 초기 9회 실행 공간 채움 실험 설계(DOE)부터는 최적 용액이 이성질체 1 설정으로 빠르게 전환된다는 것입니다!
제목: 베이지안 최적화를 이용한 혼합 모델의 최적 설정값 찾기 문제9회 실행으로 공간 채우기 실험계획법(DOE)이 성공적으로 완료되었습니다. 실행 횟수가 적을수록 결과가 괜찮다는 점이 이상하네요.
제목: 베이지안 최적화를 이용한 혼합 모델의 최적 설정값 찾기 문제여러분께서 남겨주신 많은 질문에 대한 몇 가지 답변입니다.
- 결과를 재현할 수 있으며, 두 번째 최대 다중 모델 표준 편차 실행에 대한 입력 및 응답 값을 파일과 제 파일에서 확인할 수 있습니다. 두 번째 실행 후 BayesOpt 플랫폼에서 최대 기대 개선(MaxExpected Improvement)을 사용하여 실행을 추가하도록 강제하면(자동으로 권장되는 MaxPro 공간 채우기 실행 기준 대신), 추가된 두 번째 실행이 반복되며, 이는 이성질체 1을 사용했을 때 예상하는 최적값에 가깝습니다.
- 제가 보낸 파일에는 Y, 6번째 열 1, 6번째 열 2 이렇게 세 가지 출력값이 있었습니다.
- MaxPro 공간 채움 기준 실행은 기존 설계점과 새로운 설계점 사이의 거리를 최대화하여 설계 공간 탐색을 강제함으로써 간접적으로 모델을 개선합니다. 하지만 이 기능이 모델에 미치는 영향은 반응의 복잡성에 따라 불확실합니다. 이것이 바로 JMP 도움말과 제 답변에서 이 옵션을 "모델 기반이 아닌" 탐색 옵션으로 언급한 이유입니다. 반면, 다중 모델 표준 편차와 베이지안 선호도 표준 편차는 모델 기반 설계 공간 탐색입니다. 이러한 기능은 모델과 예측 불확실성을 활용하여 불확실성이 가장 높은 영역에서 실험을 권장합니다.
따라서 만족스러운 모델 성능을 얻으려면 이 두 가지 모두 필요합니다.- 공간 채우기 실행은 설계 공간을 잘 커버하고 모델이 학습된 동작을 일반화할 수 있는지, 그리고 이 동작이 설계 공간의 실제 현상을 대표하는지 확인하기 위한 것입니다.
- 베이지안/다중 모델 표준 편차 분석을 통해 예측 불확실성을 줄여 허용 가능한 수준의 정확도를 확보합니다.
제 이전 설명을 여기에서 확인해 주세요.
모든 시나리오를 검토하는 데 시간이 많이 걸립니다. 명심해야 할 것은 다음과 같습니다.
- 베이지안 최적화는 목표 달성을 목적으로 합니다. 즉, 주어진 조건에 따라 허용 가능한 결과가 나오면 최적값이 전역적이든 지역적이든 관계없이 해당 결과로 수렴합니다. 따라서 목표 조건이 얼마나 엄격한지(그리고 반응 표면이 얼마나 복잡한지)에 따라 조기 수렴이 발생할 수도 있고 그렇지 않을 수도 있습니다.
- BayesOpt 플랫폼에서는 기본적으로 R² 임계값(기본값 = 0.25)에 따라 탐색/활용 부분이 자동으로 설정됩니다. 모델의 R² 값이 임계값보다 낮으면 MaxPro 공간 채움 실행이 권장되고, 임계값보다 높으면 최대 기대 개선(Max Expected Improvement) 기준 실행을 통해 활용 단계가 시작됩니다. 다른 옵션은 수동으로 설정해야 합니다.
- 모델을 자세히 살펴보고 분석하는 데 시간을 투자해 보시길 강력히 추천합니다. BayesOpt는 기본 실험 추천 기능이 잘 갖춰진 자동 실험 루프처럼 보일 수 있지만, 모델에 필요한 특정 실행 조건을 지정하면 훨씬 더 나은 결과를 얻을 수 있습니다.
- 공간 채움 실행 횟수가 다른 여러 시나리오는 각기 다른 양과 정확도의 정보를 제공합니다. 초기 실행 횟수가 적을수록 작업이 어려워지므로, 적절한 정보를 바탕으로 충분한 실행 횟수를 확보하여 모델에 더 많은 정보와 주의를 기울여야 합니다. 이를 위해 MaxPro 공간 채움 실행을 통해 설계 공간을 탐색하거나 베이지안/다중 모델 표준 편차 실행을 통해 모델 불확실성을 개선할 수 있습니다. 데이터 수집 함수, 병렬 또는 순차 실행 횟수 등의 전략과 선택은 보유한 정보, 모델의 정확도 및 학습 정도를 고려하여 결정해야 합니다.
이 답변이 서로 다른 결과를 이해하는 데 도움이 되기를 바랍니다. 이전에 보내드린 파일을 주의 깊게 읽어보시기 바랍니다. 제 결과를 재현하실 수 있었는데, 프로파일러와 전용 데이터 수집 기능을 사용하여 동일한 실행 조건을 적용하기만 하면 됩니다 (마지막 실행에서 MaxPro 공간 채우기 기능을 사용하는 자동 선택 작업은 제외하십시오).
제목: 베이지안 최적화를 이용한 혼합 모델의 최적 설정값 찾기 문제안녕하세요, 빅터님. 위에서 보여주신 성공적인 6회 실행 결과에서 저는 6.1열과 6.2열, 이렇게 두 개의 출력만 보입니다. 아래를 참조해 주세요. 세 번째 출력인 Y가 있는데, 저는 보이지 않습니다.
frankderuyck_0-1788860113377.pngfrankderuyck_0-1788860113377.pngfrankderuyck_0-1788860113377.pngfrankderuyck_0-1788860113377.pngfrankderuyck_0-1788860113377.png
YI가 최적의 설정을 제대로 감지하지 못하는 문제가 발생했으며, 10번 실행해도 마찬가지였습니다. 첨부 파일을 참조하십시오 (3개의 출력값을 Y1, Y2, Y3으로 재코딩했습니다).
내가 무엇을 잘못했는가? 이를 파악하는 것이 우리에게 중요합니다.
처음 9번 실행했을 때는 항상 완벽하게 작동했는데, 그 이유는 무엇일까요?
제목: 베이지안 최적화를 이용한 혼합 모델의 최적 설정값 찾기 문제"설계 공간을 잘 커버하기 위한 공간 채우기 실행 --> 저는 빠르고 유연한 공간 채우기를 사용했는데, 괜찮을까요? 초기 실험 설계(DOE)에 대한 평가가 필요한가요? 몇몇 웨비나에서 초기 실행 횟수를 매우 제한적으로, 심지어 OFAT(객체 평가 도구)부터 시작하는 것을 봤는데, 이는 모델이 단순하고 데이터에 노이즈가 많지 않을 때만 가능한 것 같죠? 하지만 항상 그런 것은 아니고, 미리 알 수도 없잖아요."
"모델이 학습된 행동을 일반화할 수 있는지, 그리고 이 행동이 설계 공간에서 실제 현상을 대표하는지 확인해야 합니다." - > 제 예시 모델들은 R² 값이 0.8보다 큰데, 다른 기준이 있나요?
제목: 베이지안 최적화를 이용한 혼합 모델의 최적 설정값 찾기 문제안녕하세요 @frankderuyck 님 ,
@frankderuyck 님 이 썼습니다:
안녕하세요, 빅터님. 위에서 보여주신 성공적인 6회 실행 결과에서 저는 6.1열과 6.2열, 이렇게 두 개의 출력만 보입니다. 아래를 참조해 주세요. 세 번째 출력인 Y가 있는데, 저는 보이지 않습니다.
첫 번째 게시글에서 Y 열을 빼먹었다고 언급했지만, BayesOpt 플랫폼은 Y가 6번째 열의 2번째 값과 음의 상관관계를 보이는 것으로 판단하여 세 가지 반응 변수 모두를 최적화할 수 있었습니다. 결과적으로 세 가지 반응 변수 대신 두 가지만 사용하여 최적화했음에도 불구하고, 모든 반응 변수에 대해 귀하의 결과와 유사한 최적값을 찾을 수 있었습니다. 제가 진행한 다른 테스트들은 모두 세 가지 반응 변수를 사용하여 수행했습니다.
@frankderuyck 님 이 썼습니다:
YI가 최적의 설정을 제대로 감지하지 못하는 문제가 발생했으며, 10번 실행해도 마찬가지였습니다. 첨부 파일을 참조하십시오 (3개의 출력값을 Y1, Y2, Y3으로 재코딩했습니다).
내가 무엇을 잘못했는가? 이를 이해하는 것이 우리에게 중요합니다.
처음 9번 실행했을 때는 항상 완벽하게 작동했는데, 그 이유는 무엇일까요?
죄송하지만 이전 게시글 내용을 전부 반복하지는 않겠습니다. 6회 또는 9회 공간 채움 실행으로 최적화를 성공적으로 수행하는 방법, 모델 진단, 데이터 수집 함수 선택 등에 대한 모든 정보는 이전 답변에서 확인하실 수 있습니다. 제가 모든 시나리오를 다 평가해 드릴 수는 없으니까요.
@frankderuyck 님 이 썼습니다:
"설계 공간을 잘 커버하기 위한 공간 채우기 실행 --> 저는 빠르고 유연한 공간 채우기를 사용했는데, 괜찮을까요? 초기 실험 설계(DOE)에 대한 평가가 필요한가요? 몇몇 웨비나에서 초기 실행 횟수를 매우 제한적으로, 심지어 OFAT(객체 평가 도구)부터 시작하는 것을 봤는데, 이는 모델이 단순하고 데이터에 노이즈가 많지 않을 때만 가능한 것 같죠? 하지만 항상 그런 것은 아니고, 미리 알 수도 없잖아요."
네, 공간을 채우는 빠르고 유연한 설계로 시작하는 것이 종종 좋은 방법입니다. 이러한 공간 채움 설계 유형은 다양한 제약 조건과 요인 유형을 처리할 수 있으므로 좋은 선택입니다. 실행 횟수는 반응 표면의 복잡성에 따라 달라지며, 이에 대한 제 이전 댓글을 참고해 주세요.
@frankderuyck 님 이 썼습니다: "모델이 학습된 행동을 일반화할 수 있는지, 그리고 이 행동이 설계 공간에서 실제 현상을 대표하는지 확인해야 합니다." - > 제 예시 모델들은 R² 값이 0.8보다 큰데, 다른 기준이 있나요?
R²는 모델 성능을 평가하는 여러 지표 중 하나일 뿐, 다른 지표들도 많습니다. 먼저 실제값과 예측값을 비교하는 그래프 분석을 해보시는 것을 추천합니다. 이러한 그래프는 훨씬 더 많은 정보를 제공하며, 모델이 전반적인 경향을 학습했는지, 모델의 오차가 국소적인지(높거나 낮은 응답값 영역) 아니면 전반적인지 등을 확인할 수 있습니다.
제목: 베이지안 최적화를 이용한 혼합 모델의 최적 설정값 찾기 문제BO 결과와 세 가지 응답을 보내주시겠습니까? 감사합니다.
제목: 베이지안 최적화를 이용한 혼합 모델의 최적 설정값 찾기 문제제 첫 번째 답변을 확인해 주세요! 두 개의 파일을 첨부했습니다. 하나는 두 개의 응답에 대한 최적화 파일(세 개의 응답 모두에 적용 가능)이고, 다른 하나는 세 개의 응답에 대한 최적화 파일입니다. 링크는 다음과 같습니다: https://community.jmp.com/t5/Discussions/Problem-to-find-optimal-settings-for-a-mixture-with-Bayesian/mp/969382/highlight/true#M110464
