베이지안 최적화 GP 대 독립형 GP안녕,
"가우스 프로세스" 대 "베이지안 최적화" 플랫폼(JMP Pro 19.0.1)에서 가우스 프로세스 모델의 동작을 이해하려고 합니다.
다음과 같은 간단한 시뮬레이션(결정론적) 데이터를 적용합니다.
가우시안 프로세스를 사용하면:
베이지안 최적화를 사용하여
GP 모델에서 보는 것처럼 BO 모델의 신뢰 영역이 데이터 포인트에서 0으로 줄어들지 않는 이유는 무엇입니까?
감사해요
매튜
추신.
Y에 대한 공식은 다음과 같습니다.
4.3 + -2 * (:X - 1) ^ 2 + Exp( -3 * (:X + 3) ^ 2 ) + 3 * Sin( :X + 2 )
고급 통계 모델링Re: 베이지안 최적화 GP 대 독립형 GP안녕하세요 @matteo_patelmo ,
현재 베이지안 최적화 에 대한 기술 문서는 매우 제한적이며, 신뢰 구간/오차 구간 계산과 관련된 일부 기술적 세부 정보는 제공되지 않습니다. 두 플랫폼 간에 다음과 같은 차이점이 있을 수 있습니다.
사용자 입력:
- 데이터 세트에 대한 연속 상관관계 유형의 적절한 사용(베이지안 최적화에서는 GP보다 더 많은 상관관계 유형을 사용할 수 있음(가우스 및 큐빅만 해당))
- GP에서 "너겟 매개변수 추정"을 사용하면 예측 모델이 완벽하게 보간하는 대신 노이즈를 부드럽게 처리할 수 있습니다. 이 옵션은 기존 GP에서는 기본적으로 제공되지 않지만, OB에서는 너겟 매개변수가 기본적으로 추정되는 것으로 보이며, 이로 인해 차이가 커질 수 있습니다(완벽하게 알려진 공식을 사용한 예시에서는 그렇지 않습니다).
JMP 플랫폼의 내부 작동 방식:
- 고전적 GP와 OB의 GP의 적합성(및 검증 절차).
- 기존 GP에서 피팅 및 검증 절차는 잭나이프 방법에 의존합니다. 잭나이프 방법은 훈련 샘플(훈련 샘플)에 대한 메트릭을 계산한 다음 각 LOO 샘플에 대한 결과의 평균을 구하는 Leave-One-Out 절차를 사용합니다.
- OB에서 GP로 전환하는 경우, 피팅 및 검증 절차가 약간 다르며, 기존의 LOO 절차(100% 확실하지는 않음)에 의존하는 것으로 보입니다. 이 절차에서는 제외된 샘플(테스트 샘플)을 기반으로 지표를 계산합니다. 이로 인해 프로파일러에 표시되는 불확실성이 증가하고 예측값이 달라질 수 있습니다.
두 플랫폼 간에 피팅이 다르다는 것을 알 수 있습니다. 동일한 상관 관계 유형으로 데이터 세트를 시작하고 두 플랫폼 모두에서 너겟 매개변수를 추정하는 경우 세타, 너겟 매개변수 및 GP 분산 값이 다릅니다.
- 신뢰 구간의 계산 :
기존 가우시안 프로세스 모델에서 신뢰구간은 가우시안 프로세스의 분산 공식과 분위수를 사용하여 표시됩니다. 가우시안 프로세스 모델에서 예측/신뢰구간을 저장하는 방법은 무엇일까요? 분산 공식은 세타 값과 범위 내 각 지점과 측정된 가장 가까운 지점 사이의 거리를 사용합니다. 따라서 이미 측정된 지점의 위치에서는 "불확실성이 0"입니다.
OB의 GP는 "측정 오차"를 제공합니다. "측정 오차는 너겟 매개변수 τ 와 가우시안 프로세스 분산 σ² 의 곱으로 계산됩니다. " 이미 샘플링한 영역에서 "불확실성이 0"인 상황을 피하고 실험 오차를 반영하기 위해 측정 오차도 사용되는 것으로 보입니다.
물론 이러한 해석은 JMP 기술 직원의 확인을 거쳐야 합니다. 이는 단지 두 플랫폼의 작동 방식과 현재 결과를 보고 제가 느낀 인상일 뿐입니다.
JMP 기술 직원으로부터 귀하의 흥미로운 질문에 더 나은 답변을 얻기를 바랍니다!
Re: 베이지안 최적화 GP 대 독립형 GP어쩌면 JMP에서 누군가 여기에 답변해 줄 수 있을까요?
신뢰 구간은 후속 측정을 위한 최적의 위치를 예측하는 데 사용됩니다.
자신감이 다르면 예측도 다르다는 뜻인가요?
Re: 베이지안 최적화 GP 대 독립형 GP두 GP 기반 플랫폼의 신뢰 구간 계산 방식이 다르기 때문에 그렇게 간단한 문제는 아닙니다.
OB 신뢰 구간 계산에는 항상 어느 정도의 오류가 있는 반면, 기존 GP 플랫폼에서는 지점이 측정되는 위치에 대한 오류가 0으로 설정됩니다(따라서 오류/구간 계산 및 표시의 차이에 대한 초기 반응).
사용된 수집 기능과 신뢰 구간 계산에 따라 다음과 같이 다양한 "최적" 다음 샘플링 지점 권장 사항을 얻을 수 있습니다.
베이지안 바람직성 극대화 :
기대 개선 바람직성 극대화(대상에 대한 예상 반응 최적화):
베이지안 표준 편차 바람직성 최대화(불확실성이 가장 높은 곳에 집중):
Re: 베이지안 최적화 GP 대 독립형 GP아, 그렇군요!
측정 위치에 대해서도 0이 아닌 CI로 시작하는 것이 중요합니다.
시뮬레이션 결과에 큰 차이가 있습니다.
까다롭습니다. 모델도 없고, 이 지점에서는 단 하나의 데이터 포인트만 있으니까요.
Re: 베이지안 최적화 GP 대 독립형 GP@Victor_G 님 , 통찰력 있는 답변 감사합니다. JMP 직원의 답변을 기다리겠습니다.
매튜
Re: 베이지안 최적화 GP 대 독립형 GP가우시안 프로세스 + 너겟 매개변수:
가우시안 프로세스 모델에서 예측/신뢰 구간을 저장하는 방법은 무엇입니까?
Re: 베이지안 최적화 GP 대 독립형 GP@호기 , 대화를 읽어보세요. 제가 첫 번째 답변에서 제공한 링크와 정확히 같습니다.
베이지안 최적화를 담당하는 JMP 기술진( @chris_gotwalt1 ?)의 공식 설명을 기다려 보겠습니다.
Re: 베이지안 최적화 GP 대 독립형 GP아, 죄송합니다. 처음에 링크를 따라가지 않았네요. 클래식 GP에 나열되어 있었거든요.
맞습니다. 같은 링크입니다. Nugget 매개변수에 대한 부분도 다루고 있습니다.
제목: 베이지안 최적화 GP vs 독립형 GP이 게시글을 다시 활성화시키려고 합니다. 누군가 도움을 줄 수 있기를 바랍니다.
매튜
