베이지안 최적화 - 기본 모델 내보내기안녕하세요,
새로운 베이지안 최적화 플랫폼을 사용해 보는 것은 즐거웠습니다. 하지만 결과를 다른 머신러닝 모델과 비교해 보고 싶습니다. 출력 결과에서 "leave-on-out" R² 값이 나오는데, 실제로 단일 무작위 행을 기반으로 한 것인가요? 아니면 데이터셋을 훈련 및 검증 부분으로 나누는 "비밀스러운" 작업이 진행 중인 건가요? 어떤 행이 홀드백으로 선택되었는지 알 수 있을까요?
실제 모델을 볼 수 있을까요? "모든 모델 적합 저장"과 "다음 반복을 위해 스크립트 저장" 기능을 사용해 봤는데, 이게 완전한 모델인지는 잘 모르겠습니다. 모델이 새 데이터를 얼마나 잘 예측하는지 보고 싶은데, 이 플랫폼이 원래 의도한 대로 작동하지 않을 수도 있다는 걸 알고 있습니다.
아니면, 최적의 GP 모델을 가우시안 프로세스에 "로드"할 수 있을까요? 특히 세타가 여러 개라서 쉬운 방법은 떠오르지 않지만, GP 플랫폼에서 생성된 최적의 GP를 실행할 수 있다면 이 모든 문제/질문이 실제로 해결될 수도 있을 것 같습니다!
고급 통계 모델링Re: 베이지안 최적화 - 기본 모델 내보내기안녕하세요 @abmayfield 님 ,
현재 베이지안 최적화 에 대한 문서가 매우 제한적이기 때문에 질문에 답변하기 어려울 수 있습니다.
기존 GP와 OB의 GP 간에는 적합/검증 전략이 서로 다른 것으로 보입니다. 베이지안 최적화 GP와 단독 GP입니다 . 두 플랫폼 모두 Leave-One-Out 전략을 사용하지만, 결과 집계 방식이 다를 수 있습니다. 기존 GP의 경우 잭나이프(Jackknife) 방식을 사용하는 반면, GP-OB의 경우 기존 LOO 방식을 사용합니다.
OB 모델에서 예측 공식을 저장할 수 없다는 점도 답답했습니다. OB 플랫폼에서 사용된 모델을 근사하는 방법을 찾았습니다. OB 플랫폼(가우시안 프로세스 모델 보고서)의 매개변수 값에 접근할 수 있으므로, 기존 가우시안 프로세스 플랫폼을 다시 시작하면서 OB 모델에서 찾은 세타 값을 적용했습니다. 두 모델 간의 절편이 같지 않기 때문에 완벽하지는 않지만, 적어도 OB 플랫폼에서 찾은 예측 모델을 근사할 수는 있습니다.
이 첫 번째 답변이 도움이 되기를 바랍니다.
Re: 베이지안 최적화 - 기본 모델 내보내기의견 주셔서 감사합니다. 기본 모델을 가지고 있거나 보는 것이 여전히 좋겠지만, 추가 데이터(검증의 한 형태로)를 추가하고 모델을 다시 실행(또는 새 모델을 생성)했을 때 적합도나 최적 해가 크게 변하지 않았다면 모델이 좋다고 결론 내릴 수 있을 것 같습니다. 만약 새로운 데이터를 추가했는데 새 해가 완전히 다르다면, 기존 모델에 문제가 있다고 판단하고 새 모델(무조건 생성될 것임)을 채택할 것입니다. 하지만 두 개 이상의 샘플을 보유할 수 있다면 좋겠지만, 반복 횟수를 충분히 늘리면 실제 검증 R²(?)에 대한 더 나은 감각을 얻을 수 있을 것입니다.
