Bayes(베이즈) 최적화의 특징으로서 자주 들 수 있는 것이, 「 적은 실험 횟수로 최적해에 도착할 수 있다 」라고 하는 점입니다.
한 번의 실험에 시간과 비용이 들면 이 특징은 큰 장점이 됩니다.
작년 9월에 발매한 버젼 「JMP Pro 19」에서는, Bayes 최적화의 플랫폼이 추가되었습니다. 실제로, 「실험 횟수를 삭감할 수 있다」라는 점에 매력을 느끼고 도입을 검토되거나, 관심을 가질 수 있는 분이 많이 계십니다.
1. "실험 횟수가 적어도 된다" 이외의 큰 특징
Bayes 최적화에는 또 다른 중요한 특징이 있습니다. 이는 반응과 인자의 관계를 미리 특정한 함수형(2차 다항식과 같은 응답 곡면 모델)을 가정하지 않아도 복잡한 비선형성을 포착할 수 있다는 것이다.
따라서 실험계획법(DOE)에서 필요한 교호작용이나 응답곡면모델 등의 통계모델에 대한 지식이 충분하지 않아도 최적조건을 탐색하기 쉽다는 특징이 있다.
그래서 이 기사에서는 이론식(진정한 응답)이 알려진 시뮬레이션 데이터를 이용하여 Bayes 최적화와 실험계획법에 의한 최적 조건 탐색을 비교하여 이 특징에 대해 설명합니다.
2. 검증 사례
여기에서는 다음 효소 촉매 반응의 수율 최적화를 예로 사용합니다.
목적 : 3종류의 리파아제 효소와 반응 조건(반응물의 농도, 촉매의 양)을 조합하여 에스테르 합성 반응의 수율을 극대화하는 최적 조건을 탐색한다.
응답
요인
요인에는 "0.5 × 반응물의 농도 + 5 × 촉매의 양 ≤ 110"이라는 제약이있다.
이번은, 진정한 최적치(이론식)를 알고 있는 시뮬레이션입니다.
아래 그림은 이론식의 분포와 최적값이며 효소 유형 = "CALB", 반응물 농도 = 109.7, 촉매 양 = 6.98입니다.
등고선 프로파일은 효소 유형을 "CALB"로 했을 때의 응답 분포를 나타냅니다. 적색이 짙을수록 수율이 높음을 보여주며, 이 예에서는 2개의 피크(다봉성)를 가지는 복잡한 비선형 구조로 되어 있는 것을 알 수 있다.
3. Bayes 최적화와 실험 계획법의 비교 방법
동일한 이론식*에 대해 Bayes 최적화와 실험 계획 방법의 두 가지 다른 접근 방식으로 실험 계획을 구현합니다.
Bayes 최적화
Space Filling 계획은 제약 조건을 만족하는 세 번의 초기 실험을 생성하고 실험에 대한 응답을 입력합니다.
[Bayes 최적화] 플랫폼을 이용하여 한 번씩 실험을 순차적으로 추가한다. 이 때 배치 선택에 표시된 실험 후보를 사용하여 실험 점을 추가합니다 (자동 모드 사용).
자동 모드에서 최적치의 탐색 페이즈로 이행한 시점, 또는 응답의 값이 목표치(70% 이상)를 충분히 웃도는 단계에서 순차 실험을 종료하고, 마지막 실험 조건을 최적 조건으로 한다.
실험 계획법
「커스텀 계획」을 이용해, 다음과 같은 설정으로 응답 곡면 모델(2차 다항식)을 적용한다.
양자의 차이를 정리하면 다음과 같습니다.
Bayes 최적화 : 지금까지의 실험 결과를 보면서 「다음에 어디를 시험하면 좋을 것인가」를 순차적으로 결정해 가는 수법이며, 특정의 함수를 미리 과정하지 않고, 유연한 모델(가우스 과정 모델)을 이용해 탐색한다
실험계획법 : 미리 인자의 조합을 결정하고, 응답곡면 모델(2차)을 가정하여 모델을 작성
*실제는 이론식에 약간의 오차(노이즈)를 더하고 있습니다.
4. 실험 결과의 비교와 고찰
다음과 같은 결과를 얻었습니다. 실험 횟수는 Bayes 최적화가 적지만 결과는 압도적으로 좋은 것을 알 수 있습니다.
| 기술 |
실험 횟수 |
발견된 최적 수율 |
| Bayes 최적화 |
14회 |
90% 이상(사양을 대폭 웃도는) |
| 실험 계획법 |
18회 |
15% 정도 |
Bayes 최적화를 통해 3회 초기 실험 후 11회 추가 실험에서 수율 90% 이상의 조건을 찾을 수 있었습니다.
한편, 실험 영역 전체에 대한 응답 곡면 모델을 구축하기 위한 실험을 미리 실시하고, 그 결과로부터 최적 조건을 추정하였다.
등고선 프로파일을 사용하여 각 기법에서 얻은 최적 값을 비교해보십시오.
Bayes 최적화는 수율이 높은 적색 영역(산 부분)에 도달하는 반면, 실험 계획 방법에서는 빨간 영역에서 떨어진 위치가 최적 조건으로 추정됩니다.
이러한 결과가 발생한 것은 다음과 같은 이유로 생각됩니다.
- 실험계획법(응답곡면)에서는 2차 다항식(하나의 산)을 전제로 한 모델이기 때문에 이번과 같은 복수의 산이 있는(다봉성)과 같은 복잡한 형상을 파악할 수 없다.
- Bayes 최적화에서는 특정 함수형을 미리 가정하지 않고, 유연한 대리 모델을 이용하여 순차적으로 탐색하기 때문에, 복수의 산이 있어도 높은 수율의 영역을 탐색할 수 있었다고 생각된다.
5. 정리
Bayes 최적화에는 두 가지 주요 특징이 있습니다. 본 기사에서는, 특히 2번째의 「 복잡한 비선형 관계를 포착할 수 있다 」라고 하는 특징에 주목해 소개했습니다.
1. 적은 실험 횟수로 최적해에 도착할 수 있다
- 과거 실험 결과에서 학습하면서 다음 실험점을 현명하게 선택하기 때문에 쓸데없는 실험을 줄여 비용을 절감할 수 있다.
2. 복잡한 비선형 관계를 포착하는
- 미리 특정한 함수형를 가정하지 않기 때문에 복잡한 비선형성이나 변수간의 교호작용도 간과하지 않고 포착된다.
실험의 초기 단계에서는 반응과 요인의 관계를 충분히 알지 못하는 경우가 적습니다. 이러한 상황에서는 응답 곡면법만으로는 이 예와 같이 최적 조건을 찾을 수 없는 경우가 있습니다.
이러한 경우에는 베이즈 최적화를 유력한 옵션으로 고려해 보십시오.
※이번 예도 포함해, JMP Pro의 Bayes 최적화의 특징이나 이용 예를 체계적으로 학습할 수 있는 동영상을 준비하고 있습니다.
베이즈 최적화의 기초와 활용 ~ 적은 실험으로 효율적으로 최적 조건을 탐색 ~ 온디맨드판(일본어)
by 마스카와 나오히로(JMP Japan)
마스카와 나오히로 - JMP 사용자 커뮤니티
