소개
실험 설계(DOE)의 공간 채움 기법을 탐구하는 3부작 블로그 시리즈의 첫 번째 파트에 오신 것을 환영합니다. 머신 러닝, 계산 실험, 시뮬레이션이 연구 개발에서 점점 더 중요한 역할을 하는 시대에, 전통적인 실험 설계 방식은 복잡하고 연속적인 요인 공간을 효율적으로 탐색하는 데 한계가 있습니다. 바로 이 지점에서 공간 채움 기법이 빛을 발합니다.
공간 활용 디자인이란 무엇인가요?
공간 채움 설계는 실험 영역 전체에 설계점을 균일하게 분포시키고, 두 점 사이의 거리를 최대화하며, 제한된 실험 횟수로 설계 공간을 최대한 포괄하는 것을 목표로 하는 모델 비의존적 실험 설계(DOE)의 한 유형입니다. 결과 분석에는 복잡하고 비선형적인 반응을 모델링하고 근사화할 수 있는 간단한 머신러닝 모델(예: 가우시안 프로세스, 서포트 벡터 머신, 랜덤 포레스트)이 자주 사용됩니다.
공간 채움 설계는 원래 실험이 불가능하거나, 복잡하거나, 비용이 많이 들거나, 시간이 오래 걸리는 영역에서 수치 실험에 사용됩니다. 따라서 현상을 연구할 때 수치 시뮬레이션을 자주 사용하지만, 모델의 복잡성과 정밀도가 높아짐에 따라 계산 시간이 매우 길어질 수 있습니다. 무작위 시뮬레이션 실행을 방지하고 시뮬레이션 공간을 효과적으로 커버하기 위해 공간 채움 설계는 컴퓨터 실행을 연구 대상 공간 전체에 고르게 분산시키는 데 사용됩니다. 공간 채움 설계는 일반적으로 반복 실행을 포함하지 않습니다. 수치 시뮬레이션은 결정론적이며 동일한 입력에 대해 동일한 출력을 생성하므로 변동성을 추정하기 위한 반복 실행이 필요 없기 때문입니다. 공간 채움 설계는 석유, 천문학, 광학, 원자력 등 다양한 산업 분야에서 사용됩니다.
공간 채움 설계와 머신 러닝 모델 덕분에 시뮬레이션 모델의 정확한 근사치(‘대리 모델’ 또는 메타모델링이라고 함)를 신속하게 생성할 수 있습니다. 대리 모델은 복잡한 시뮬레이션 모델의 결과를 표현하고 근사화하는 데 사용되며, 이러한 모델에 비해 더 단순하고 간결하며 일반적으로 계산 비용이 적게 듭니다. 대리 모델은 더 복잡한 시스템의 동작을 근사화하므로 복잡한 시스템의 설계 공간을 탐색하고, 시스템에 대한 통찰력을 얻고, 최적화하고, 검증 시뮬레이션을 훨씬 짧은 시간 내에 실행할 수 있도록 해줍니다.
주요 특징
공간 활용 디자인은 점들의 재배치와 사용 목적에 관한 주요 특징들을 제시합니다.
- 설계 공간 전체에 걸쳐 점들이 균일하게 분포되어 있다.
- 기본 모델 형태에 대한 가정은 없습니다.
- 잡음이 적은 실험 및 컴퓨터 실험에서 예측 목적으로 사용하기에 매우 적합합니다.
- 복잡하고 비선형적인 응답에 최적입니다.
고전적인 실험설계법(DOE) 대신 공간 활용형 설계를 선택하는 이유는 무엇일까요?
그림 1: 실험 설계 접근법
기존 DOE의 한계
- 특정 모델 항(주효과, 상호작용, 이차 효과 등)을 가정합니다.
- 디자인 공간의 상당 부분이 미탐색 상태로 남을 수 있습니다.
- 특정 통계적 목표(효과 추정을 통한 선별 및 정량적 분석, 다항식 반응 표면 모델 예측)에 최적화되어 있습니다.
공간 활용의 장점
- 모델에 독립적인 탐색.
- 복잡한 반응 행태에 대한 더 나은 글로벌 이해와 예측.
- 컴퓨터 시뮬레이션, 메타모델링 및 예측 모델링(머신러닝)에 이상적입니다.
하지만 공간 채움 설계는 관련성 있고 예측 가능한 모델을 얻기 위해 모델 기반 실험 설계에 비해 더 많은 데이터 포인트가 필요한 경우가 많습니다.
일반적인 공간 활용 디자인 유형 개요
공간 채움 설계 플랫폼은 다양한 요인 유형을 가진 여러 상황에 맞는 다양한 설계 유형을 제공합니다. 연속적인 요인의 경우, 공간 채움 설계는 두 가지 목표를 가지고 있습니다.
- 임의의 두 설계 지점 사이의 거리를 최대화하십시오.
- 점들을 균일한 간격으로 배치하세요.
공간 채움 설계는 JMP의 DOE>특수 목적>공간 채움 설계 에서 찾을 수 있습니다(그림 2).
그림 2: 공간 채우기 디자인 메뉴
공간 채우기 설계 옵션에는 구형 패킹, 라틴 하이퍼큐브, 균일, 최소 포텐셜, 최대 엔트로피, 가우스 프로세스 IMSE 최적 및 고속 유연 채우기가 포함됩니다.
| 디자인 |
제복 |
구형 패킹(Maximin) |
라틴 하이퍼큐브 |
빠르고 유연한 충전 |
| 강점 |
탁월한 공간 커버리지, 수학적으로 최적의 균일성 |
최적점 분리 |
훌륭한 1차원 투영 이미지, 생성하기 쉽습니다. |
공간 활용도와 투영 특성 간의 균형 |
| 약점 |
계산 시간 |
투영 속성이 좋지 않음 |
제약 조건 처리 없음 |
공간 활용 범위와 투영 특성 간의 절충안 |
| ~에 가장 적합함 |
정밀한 우주 탐사 |
잡음이 있는 응답을 갖는 연속적인 요인 공간 |
초기 선별, 컴퓨터 실험 |
혼합 요인 유형, 균형 잡힌 탐색, 제약 조건 처리 |
| 요인의 유형 |
연속적인 숫자 요소만 해당됩니다. |
연속적인 숫자 요소만 해당됩니다. |
연속적인 숫자 요소만 해당됩니다. |
연속형 및 이산형 수치형, 범주형 및 혼합형 요인 |
설계 지점이 매개변수 공간을 얼마나 균일하게 커버하는지 평가하기 위해, 불일치 지표는 설계 지점의 분포를 이론적인 균일 분포와 비교합니다.
균일 분포란 무엇인가요?
균일 분포란 주어진 범위 내의 모든 가능한 값에 대해 동일한 확률을 갖는 것을 의미합니다.
0과 1 사이의 균일 분포에서는 모든 값이 발생할 확률이 정확히 동일합니다. 특정 영역이나 클러스터가 선호되지 않습니다. 그래프로 나타내면 확률 밀도가 일정하게 유지되는 평평한 직사각형 모양으로 나타납니다(그림 3).
그림 3: 1000개의 점으로 생성된 무작위 균일 분포
데이터 포인트의 수가 많을수록 균일 분포에 근사하기가 더 쉬워집니다.
공간 채움 설계에서 균일 분포는 전체 매개변수 공간에 걸쳐 점들이 동일한 간격으로 배치되도록 합니다. 이는 특정 영역에 집중되는 것을 방지하고 다른 영역은 탐색되지 않은 채로 남겨두지 않음으로써 최소한의 계산 실행으로 최대한의 정보 범위를 확보합니다. 이러한 분포를 사용하면 편향되지 않은 샘플링이 보장됩니다. 설계 공간의 각 위치는 선택될 확률이 동일하므로 문제 영역을 체계적이고 효율적으로 탐색할 수 있습니다.
일반적인 공간 활용 디자인 유형
-
유니폼 디자인
원칙기본 원칙은 각 요소의 분포가 가능한 한 균일 분포를 따르도록 설계하는 것입니다. 즉, 설계점(실제 균일 분포를 따름)과 이론적 균일 분포 간의 차이를 최소화하는 설계를 만드는 것입니다. 이러한 설계 균일 분포와 이론적 균일 분포 간의 차이를 오차(discrepancy)라고 합니다.
- 강점탁월한 공간 커버리지와 수학적으로 최적의 균일성.
- 약점: 계산 시간.
- ~에 가장 적합함정밀한 우주 탐사.
그림 4: 20회 실험을 통해 두 가지 요인에 대한 균일한 설계를 나타낸 그림.
점들의 재분배가 각 요인에 대해 균일한 점 분포를 만들어내는 방식을 주목하십시오.
그림 5: 유니폼 디자인의 설계 진단.
인접한 두 점 사이의 최소 거리는 불균일합니다. 이 설계에서는 편차가 낮고 MaxPro(최대 투영) 지표가 높습니다.
-
구형 패킹 설계(맥시민 설계라고도 함)
원칙이는 설계 영역 내 점들 사이의 최소 거리를 최대화하는 설계를 만드는 것입니다. 이러한 최대화의 효과는 설계 영역 내에서 점들을 최대한 넓게 분산시키는 것입니다. 시각적으로 설명하자면, 이는 주어진 부피 내에 동일한 부피를 가진 구들을 가장 효율적으로 쌓는 문제를 나타냅니다.
- 힘최적의 지점 간격.
- 약점투영 특성이 좋지 않습니다.
- ~에 가장 적합함 : 시끄러운 반응이 있는 연속 요인 공간.
그림 6: 20회 실험을 통해 두 가지 요인에 대한 구형 입자 충전 설계의 표현.
점들의 재분배가 인접한 점들 사이의 일정한 거리를 유지하면서 설계점들을 어떻게 분산시키는지 주목하십시오.
그림 7: 구형 패킹 설계의 설계 진단.
인접한 두 점 사이의 최소 거리가 최대화되고 유사해집니다. 이 설계에서는 한 차원에 대해 동일한 값을 가질 수 있으므로 MaxPro 측정 지표 평가를 사용할 수 없습니다.
-
라틴 하이퍼큐브 디자인(LHD)
원칙기본 원리는 실행 횟수와 동일한 수의 빈을 생성하고 각 설계점이 각 요인에 대해 하나의 빈에만 속하도록 하는 것입니다. 이러한 생성을 위한 조합이 많기 때문에, 점의 재분배가 요인 간의 상관관계를 생성하지 않고 우수한 투영 특성을 보장하도록 또 다른 기준(MaxPro)이 적용됩니다. 이 방법은 설계점 사이의 최소 거리를 최대화하면서 각 요인의 수준이 균등하게 분포되도록 설계합니다. 각 요인은 설계에 포함된 실행 횟수만큼의 수준을 가집니다. 이 방법은 균일 분포를 모방하는 설계를 생성합니다. LHD 방법은 구형 패킹 방법과 균일 설계 방법의 절충안입니다.
- 강점: 1차원 투영 이미지가 우수하고 생성하기 쉽습니다.
- 약점: 없음.
- ~에 가장 적합함초기 선별, 컴퓨터 실험.
그림 8: 20회 실행을 포함하는 두 가지 요인에 대한 라틴 하이퍼큐브 설계의 표현.
점들을 재분배하면 20개의 등간격 구간이 생성되어 각 요인에 대해 점들이 균일하게 분포되는 것과 유사해집니다.
그림 9: 라틴 하이퍼큐브 디자인의 디자인 진단.
인접한 두 점 사이의 최소 거리는 유사합니다. 이 설계에서는 오차가 적고 MaxPro 지표가 높습니다.
-
빠르고 유연한 충전 설계
원리 : 이 프로그램은 고속 유연 채움(FFF) 알고리즘을 사용하여 설계를 생성합니다. 알고리즘은 지정된 설계 영역 내에 다수의 무작위 점을 생성하는 것으로 시작합니다. 그런 다음 이러한 점들을 고속 워드 알고리즘을 사용하여 사용자가 지정한 실행 횟수만큼의 클러스터로 그룹화합니다. 최종 설계점은 기본 MaxPro 최적성 기준을 사용하거나 중심점 기준을 선택하여 얻을 수 있습니다.
- 힘공간 활용도와 투영 특성 간의 균형.
- : 공간 활용도와 투영 특성 간의 절충안 .
- ~에 가장 적합함혼합된 요인 유형, 균형 잡힌 탐색, 제약 조건 처리.
복잡하게 들리나요? 걱정 마세요. FFF 알고리즘에 대한 단계별 설명이 나중에 나옵니다!
그림 10: 20회 실험을 통해 두 가지 요인에 대한 신속하고 유연한 충전 설계의 표현.
그림 11: 신속 유연 충전 설계의 설계 진단.
인접한 두 지점 사이의 최소 거리는 일정하지 않습니다. 이 설계에서 MaxPro 지표 평가는 상당히 높습니다.
보너스: 빠르고 유연한 데이터 입력 알고리즘 사용법 안내
이 섹션에서는 고속 유연 채우기 알고리즘의 단계를 재현하여 그 작동 방식을 더 잘 이해하고자 합니다.
- 요인에 대한 열 생성: 이 예에서는 두 개의 연속형 요인에 대해 각각 100,000개의 행과 무작위 균일 분포 공식을 사용하는 두 개의 열을 생성합니다(그림 12).
그림 12: 요인 열의 생성.
설계 공간은 공식으로 생성된 무작위 균일점들로 완전히 덮여 있어야 합니다(그림 13).
그림 13: 10만 개의 무작위 균일 분포 점으로 덮인 설계 공간.
- 클러스터링: 분석 > 클러스터링에서 계층적 클러스터링 플랫폼을 선택 하고 Y의 두 요인 엑스1 과 X2를 지정한 다음 방법으로 Fast Ward를 선택합니다(그림 14).
그림 14: 계층적 클러스터 시작 창
계층적 클러스터링 옆의 빨간색 삼각형에서 클러스터 개수를 클릭하고 20을 지정합니다 (20은 JMP에서 두 개의 연속적인 수치 변수를 사용하는 모든 공간 채움 설계에 권장하는 점의 개수입니다). 그런 다음 같은 빨간색 삼각형에서 클러스터 평균 저장 (그림 15) 을 선택하면 20개 클러스터의 평균이 포함된 새 표가 나타납니다.
그림 15: 클러스터 평균을 저장하기 위한 계층적 클러스터링 옵션.
또한 클러스터를 원래 표에 저장하고 클러스터 평균 표에서 클러스터 평균 행을 추가할 수 있습니다. 그런 다음 클러스터별로 구분된 설계 공간을 시각화할 수 있습니다(그림 16).
그림 16: 20개의 클러스터로 나뉜 디자인 공간.
- 필터링:다음으로, 무작위 점들을 제거하고 클러스터 평균 점들만 남깁니다. 중심점 기준을 사용한 빠르고 유연한 채우기 설계가 완료되었습니다!
그런 다음 이러한 단계를 따른 설계 생성 결과를 중심 기준이 있는 20회 실행 고속 유연 충전 설계를 직접 생성하여 얻은 결과와 비교할 수 있습니다(그림 17).
그림 17: 워크플로우를 사용하여 수동으로 생성된 Fast flexible filling 디자인(왼쪽)과 중심점 기준을 사용하여 JMP로 생성된 디자인(오른쪽)의 비교.
두 디자인이 매우 비슷해 보이네요!
기본 MaxPro 기준을 사용하는 빠르고 유연한 채우기 디자인은 동일한 워크플로를 사용하여 생성할 수 있지만, 대표 클러스터 포인트 선택은 클러스터의 평균이 아니라 각 클러스터에 속하면서 MaxPro 기준을 최대화하는 포인트가 됩니다.빠르고 유연한 충전 설계 세부 사항
설계 선택 기준
공간을 최대한 활용하는 디자인을 선택할 때는 다음 사항을 고려하십시오.
- 목적:목적(선별, 탐색, 정밀 예측 모델링 등) 및 기하학적/분포적 생성 강조점에 따라 특정 설계가 선호될 수 있습니다.
- 디자인 공간 차원성:균일한 디자인과 같은 일부 공간 채움 디자인을 생성하는 데는 고차원의 경우 상당한 계산 시간이 필요할 수 있습니다.
- 요인 유형:연속형 변수만 있는 경우에는 목적과 차원에 따라 적절한 설계를 선택할 수 있습니다. 그러나 이산형, 범주형, 혼합형 등 다른 유형의 변수를 사용하는 경우에는 신속하고 유연한 채움 설계(Fast Flexible Filling Design)를 사용하는 것이 유일한 선택입니다.
- 응답 특성모델링 접근 방식과의 통합 : 응답에서 예상되는 잡음과 사용되는 모델링 접근 방식(가우시안 프로세스, SVM, 트리 기반 모델 등)에 따라 다양한 설계 구성을 적용할 수 있습니다.
- 실행 가능 횟수:목표, 분석할 반응 변수, 그리고 가용한 실험 예산에 따라 제약 조건에 맞는 실험 설계를 선택할 수 있습니다. 예를 들어, 연속형 변수만을 사용하고 잡음이 섞인 반응을 고려하여 고차원의 실험 공간을 균일하게 탐색하고자 한다면, 구형 패킹(맥시민) 설계가 좋은 선택이 될 수 있습니다.
- 디자인 생성의 계산 복잡성:실행 횟수와 차원에 따라 생성 복잡성이 낮은 설계를 선택할 수 있습니다. 균일 및 구형 패킹 설계는 일반적으로 빠른 유연 채우기 및 라틴 하이퍼큐브 설계보다 생성 복잡성이 더 높습니다.
- 증강 전략순차적 실험의 경우: 어떤 것이든디자인 증강공간 채우기 접근 방식은 빠르고 유연한 채우기 방법론을 사용하여 수행됩니다.
다음 편
다음 글에서는 이러한 공간 채움 설계들을 비교하기 위한 프레임워크를 구축합니다. 다양한 시나리오에서 서로 다른 공간 채움 접근 방식의 성능을 체계적으로 평가하기 위해 구체적인 반응, 요인 및 평가 지표를 정의합니다.
이 글은 공간 활용 실험 설계에 관한 3부작 시리즈의 첫 번째 편입니다.
- 공간 활용 디자인의 일반적인 유형 소개(이 게시물)
- 비교 프레임워크 및 평가 지표
- 결과, 분석 및 설계 선택 지침
@빅터_G 훌륭한 요약 감사합니다. 사용자들이 많이 묻는 질문에 대한 해답이 될 것 같아서, 이 글과 링크를 널리 알리겠습니다!
특히 시각적인 부분과 알고리즘 설명이 훌륭해요!
감사해요.
매우 유용한 블로그입니다.
우주 채우기 시리즈의 다음 부분을 기다리고 있어요.
