소개
공간 채움 설계에 대한 실험계획법(DOE) 시리즈의 마지막 편에 오신 것을 환영합니다! 이전 글에서 프레임워크와 평가 방법론을 설명한 후, 이번 글에서는 비교 연구의 종합적인 결과를 제시합니다. 이 연구 결과는 특정 용도에 가장 적합한 공간 채움 설계를 언제, 어떻게 선택해야 하는지에 대한 명확한 지침을 제공합니다.
주요 결과 요약
네 가지 설계 유형, 세 가지 차원 설정, 그리고 요인당 세 가지 표본 크기 조건을 아우르는 분석을 통해 설계 성능 및 계산 시간 측면에서 몇 가지 흥미로운 통찰을 얻을 수 있었습니다.
앞서 언급했듯이이 시리즈의 이전 게시물에서결과 분석은 두 가지 다른 방법론을 통해 수행됩니다. 하나는 다양한 차원 및 표본 크기 설정에 걸쳐 설계 유형을 순위화하는 방법이고(그림 1), 다른 하나는 요인에 따라 응답 불일치, MaxPro 및 시간 응답을 모델링하는 모델링 접근 방식입니다(그림 2).
그림 1: 모든 응답에 대한 순위 결과.
그림 2: 모든 응답에 대한 예측 프로파일러 및 변수 중요도.
예상대로, 테스트된 다양한 구성에서 모든 경우에 적합한 최적의 공간 채움 설계는 없었습니다. 최적의 선택은 상황에 따라 결정되며, 특히 차원과 요소당 점의 개수는 설계 성능과 필요한 계산 시간에 상당한 영향을 미칩니다.
Fast Flexible Filling은 투영 특성(MaxPro 기준)에 가장 적합한 설계입니다.
균일한 디자인은 공간 범위/균일성 속성(불일치 기준) 측면에서 가장 우수하지만, 계산에 필요한 생성 시간이 가장 길어 금방 감당하기 어려워질 수 있습니다.
흥미롭게도, 설계 성능은 표본 크기와 차원 간 상호작용에 크게 의존하는데, 특정 요인 수에 대한 총 실행 횟수에 따라 상대적 성능이 달라질 수 있기 때문입니다.
디자인 유형별 순위 결과
이 시리즈의 두 번째 게시물에서 제시된 스크립트를 사용하면 연속적인 응답을 순위로 변환할 수 있으며, 각 차원 및 표본 크기 시나리오에 대해 네 가지 설계의 성능을 1(최고의 설계)부터 4(최악의 설계)까지 평가할 수 있습니다.
- 공간 범위(차이) 속성 비교:
- 균일한 디자인은 모든 차원 및 샘플 크기 설정에서 가장 우수한 공간 커버리지 성능을 보여줍니다. 균일한 디자인은 점들을 가능한 한 균일한 분포를 따르도록 배치하는 경향이 있다는 점을 고려하면 이는 놀라운 일이 아닙니다.이 시리즈의 첫 번째 게시물에서 볼 수 있듯이따라서 불일치 지표와 관련하여 그들의 성과는 좋을 것으로 예상됩니다.
- 균일 분포를 모방하여 점을 배치하는 라틴 하이퍼큐브 디자인은 우수한 공간 활용 성능으로 2위를 차지했습니다.
- 마지막으로, 공간 활용도와 투영 특성 간의 균형을 맞춘 빠르고 유연한 설계와 설계 영역 내에서 점을 최대한 넓게 퍼뜨리는 구형 패킹 설계가 각각 3위와 마지막 순위를 차지했습니다(그림 3).
그림 3: 차원 및 표본 크기의 모든 테스트 구성에 대한 설계의 불일치 순위(값이 낮을수록 좋음).
- 투영(MaxPro) 속성 비교:
- 빠르고 유연한 충전 디자인은 모든 상황에서 최상의 투사 성능을 보여줍니다.
- 중간(요인당 20회 실행) 및 큰(요인당 100회 실행) 표본 크기의 경우, 균일 설계가 라틴 하이퍼큐브 설계보다 더 나은 성능을 보입니다.
- 구형 패킹 디자인은 한 차원에 대해 동일한 값을 가질 수 있기 때문에 MaxPro 통계가 정의되지 않아 순위에 나타나지 않습니다(그림 4).
그림 4: 차원 및 표본 크기의 모든 테스트 구성에 대한 MaxPro 설계 순위(낮을수록 좋음).
- 설계 시간 생성 비교:
- 라틴 하이퍼큐브 디자인은 거의 모든 차원 및 샘플 크기 설정에서 가장 빠른 디자인 생성 시간을 보여줍니다.
- 중간 규모(요인당 20회 실행)에서 대규모(요인당 수백 회 실행) 표본 크기의 경우, 빠르고 유연한 설계는 설계 생성 속도 측면에서 매우 경쟁력 있는 선택입니다.
- 구형 패킹 디자인은 일반적으로 계산 속도가 느리며, 균일한 디자인은 계산 속도가 가장 느린 디자인입니다(그림 5).
그림 5: 차원 및 표본 크기의 모든 테스트 구성에 대한 설계 생성 시간 순위(낮을수록 좋음).
모델링 결과
본 시리즈의 두 번째 게시물에서 제시된 수정된 모델 스크립트를 사용하여 불일치, MaxPro 및 시간이라는 세 가지 반응 변수에 대해 모델을 실행했습니다. 각 반응 변수에 대해 모델의 적합도가 적절하지 않은 것으로 나타났습니다(그림 6).
그림 6: 초기 반응 불일치 모델에 대한 실제값 대 예측값 그래프.
더욱이 잔차에서 비정규적이고 비무작위적인 패턴이 관찰된다(그림 7).
그림 7: 비무작위적이고 비정규적인 패턴을 보여주는 잔차 시각화.
잔차 값은 0을 중심으로 무작위로 분포되어 있어야 하며, 그래야만 반응 변수의 변동이 모델에 포함된 효과들에 의해 완전히 설명될 수 있습니다. 만약 무작위적이지 않은 패턴이 나타난다면, 그 패턴의 특성은 모델의 잠재적인 문제점을 시사할 수 있습니다. 이 경우, 곡률 효과, 잔차의 비정규성, 그리고 이분산성(비균질 분산)은 이러한 문제들을 해결하기 위해 데이터 변환이 필요함을 나타낼 수 있습니다. 데이터가 매우 다양한 척도 범위를 포함하고 있으므로(그림 8), 로그 변환(또는 λ=0인 Box-Cox 변환)이 적절해 보입니다.
그림 8: 불일치 반응에 대한 로그정규분포 적합 결과.
이 평가는 JMP에서 제공하는 Box-Cox 변환 평가를 통해 확인되었으며, λ에 대한 권장 값이 0에 매우 가깝다는 것을 보여줍니다(그림 9).
그림 9: 불일치 반응에 대한 Box-Cox 변환 패널 결과.
Box-Cox 변환 ( 요인 프로파일링 > Box-Cox Y 변환 에서 응답 옆의 빨간색 삼각형에 표시됨) 아래에서 '변환으로 대체'를 선택하고 람다 값을 0으로 설정하면 모델 적합이 로그 변환이 적용된 모델로 자동으로 대체됩니다. 이제 모델은 실험 데이터를 분석하는 데 적합한 것으로 보입니다.
- 불일치 반응 모델링 결과:불일치 반응의 변동 대부분은 요인 비율(exp/factors)과 설계 유형에 의해 설명됩니다. 차원(요인 개수) 또한 중요한 요인이지만, 앞서 언급한 두 요인에 비해 상대적으로 중요도가 낮습니다(그림 2). 상호작용 효과가 감지되었지만, 불일치 변동에 미치는 영향은 주효과에 비해 상대적으로 미미합니다. 요인 비율(exp/factors)에 대해서는 매우 중요한 이차 효과가 감지되었습니다(그림 10).
그림 10: 불일치 반응에 대한 효과 크기 그래프.
설계 유형 선택이 차이 값에 미치는 영향은 DOE에서 분석된 각 요인 수 시나리오에 대해 exp/factors 비율로 측정된 차이 값을 표시함으로써 간단하게 시각화할 수 있습니다(그림 14).
- MaxPro 응답 모델링 결과:MaxPro 반응의 변동 대부분은 요인 비율(exp/factors)과 설계 유형에 의해 설명됩니다. 차원(요인 개수) 또한 중요한 요인이지만, 앞서 언급한 두 요인에 비해 상대적으로 중요도가 낮습니다(그림 2). 모델에서는 세 가지 요인 모두와 관련된 중간 정도의 상호작용 효과가 감지되었습니다. 특히 요인 비율(exp/factors)에서 매우 중요한 이차 효과가 나타났습니다(그림 11).
그림 11: MaxPro 반응에 대한 효과 크기 그래프.
설계 유형 선택이 MaxPro 지표에 미치는 영향은 DOE에서 분석된 각 요인 수 시나리오에 대해 exp/factors 비율로 측정된 MaxPro 값을 표시함으로써 간단하게 시각화할 수 있습니다(그림 14).
- 설계 생성 시간 모델링 결과:세 가지 요인 설계 유형, 요인 개수, 그리고 경험치/요인 비율은 설계 생성 시간 반응에 유사하고 높은 중요도를 나타냅니다(그림 2). 세 가지 요인 간에는 중요한 상호작용이 감지되었으며, 이는 점 생성 방법 유형의 차이가 설계 생성 시간에 어떻게 영향을 미칠 수 있는지를 보여줍니다(그림 12). 라틴 하이퍼큐브 설계 유형은 특히 높은 차원과 많은 표본 크기(요인당 점 개수) 시나리오에 적합한 반면, 균일 설계는 낮은 차원과 적은 표본 크기 시나리오에 더 적합할 수 있습니다.
그림 12: 시간 반응에 대한 효과 크기 그래프.
설계 유형 선택이 설계 생성 시간에 미치는 영향은 DOE에서 분석된 각 요인 수 시나리오에 대해 exp/factors 비율로 측정된 설계 생성 시간을 표시함으로써 간단하게 시각화할 수 있습니다(그림 13).
그림 13: 설계 유형, 요인 수 및 지수/인자 비율과 같은 요인에 따른 설계 생성 시간의 변화.
핵심 통찰
표본 크기가 커질수록 설계별 강점이 더욱 두드러지게 나타납니다. 표본 크기가 증가함에 따라 각 요인의 분포에서 간격이 줄어들어 불일치가 감소합니다. 그러나 데이터 포인트 수가 증가하면 포인트 간 거리가 줄어들어 MaxPro 기준값이 증가합니다. 흥미롭게도, 요인별 실행 횟수에 따라 불일치와 MaxPro 기준값 사이에는 절충점이 존재합니다. 이러한 절충점은 불일치와 MaxPro 지표 사이에서 설계 성능 기준의 우선순위를 정해야 하는 60~80 사이의 영역에서 명확하게 확인할 수 있습니다(그림 14).
MaxPro 모델링의 경우, 차원(요인 수)에 따라 라틴 하이퍼큐브 및 고속 유연 충전 설계의 성능 변화를 확인할 수 있습니다. 요인당 실험 횟수 비율이 약 70일 때, 두 설계 모두 요인 수가 증가함에 따라 MaxPro 값이 증가합니다.
그림 14: 설계 요인에 따른 오차 및 MaxPro 값의 변화.
차원이 높거나 표본 크기가 큰 경우, 균일한 설계 방식은 계산적으로 매우 부담스러워집니다. 성능과 속도 간의 절충점을 고려할 때, 시나리오별로 적합한 설계 방식이 다릅니다. 각 설계 방식의 장단점을 요약한 결과는 표 1에 제시되어 있습니다.
실질적인 선정 지침/의사결정 프레임워크
1단계: 실험 환경을 평가합니다.
- 요인 공간의 차원성(요인의 수 및 유형)
- 예상 응답 특성(잡음 수준)
- 표본 크기 제한
- 사용 가능한 컴퓨팅 자원
2단계: 선택 규칙 적용
- 고차원성:균일한 디자인을 피하세요
- 다양한 요인 유형 및/또는 제약 조건의 존재:빠르고 유연한 충전 설계를 활용하세요
- 잡음이 심한 응답:구형 패킹 설계 방식을 선호하거나, 먼저 스크리닝/모델 기반 실험계획법을 사용하십시오.
- 표본 크기가 작음: 생성균일 또는 라틴 하이퍼큐브 디자인
- 빠른 디자인 생성 시간이 필요하신가요? 생성하세요.라틴 하이퍼큐브 또는 빠르고 유연한 채우기 디자인
요약: 공간 활용 디자인 비교
표 1: 공간 채움 설계 유형별 결과 요약.
참고로, 완전 요인 설계(9개 요인과 요인당 100회 실행으로 구성된 균일 설계)의 한 처리는 계산 시간이 너무 오래 걸려 수행할 수 없었습니다(그림 15).
그림 15: 9개의 요인과 요인당 100회의 실험으로 구성된 조합 균일 설계에 대해 표시된 JMP 메시지.
이 구성에 대한 설계 계산은 완료 전에 중단되었습니다. 완전 요인 설계에서 이 실험이 누락되었더라도 분석은 문제없이 수행될 수 있습니다.
한계점 및 향후 방향
연구의 한계점
- 계산상의 제약으로 인해 최고 차원 테스트가 제한되었습니다.
- 제약 조건 없이 연속적인 요소에 집중하여 다양한 설계 유형을 테스트할 수 있도록 합니다.
향후 연구
- 능동적 학습 전략(베이지안 최적화)과의 통합
- 다양한 머신러닝 모델의 성능 비교
- 응답의 견고성/잡음에 대한 민감도
결론 및 권고사항
본 연구의 종합적인 평가는 공간 채움 설계 선택이 기본 설정값보다는 특정 실험적 특성에 따라 이루어져야 한다는 명확한 증거를 제시합니다.
핵심 요약
- 만능 해결책은 없으며, 상황에 따라 최적의 선택이 결정됩니다.
- 차원성은 매우 중요합니다.
- 빠르고 유연한 충전 설계는 돌출 특성에 가장 적합한 설계입니다(MaxPro 기준).
- 반응 유형은 중요합니다. 매끄러운 표면과 복잡한 표면에는 서로 다른 접근 방식이 필요합니다.
- 표본 크기 상호작용; 실행 횟수에 따른 상대적 성능 변화.
최종 권고사항:저희가 제시한 의사결정 프레임워크를 출발점으로 삼되, 가능하면 항상 파일럿 연구를 통해 설계 선택의 타당성을 검증하십시오.
이것으로 실험 공간 활용 설계에 대한 3부작 시리즈를 마무리합니다.
- 공간 활용 디자인의 일반적인 유형 소개
- 비교 프레임워크 및 평가 지표
- 결과, 분석 및 설계 선택 지침(이 게시물)
이 시리즈를 시청해 주셔서 감사합니다! 이 글에서 얻은 통찰력이 여러분의 작업에서 공간 활용 디자인에 대한 더 나은 결정을 내리는 데 도움이 되기를 바랍니다.
참고 자료 및 추가 읽을거리
- 연구에 사용된 구성:
- 프로세서: 11세대 Intel(R) Core(TM) i9-11900H @ 2.50GHz (2.50 GHz)
- 설치된 RAM: 64.0GB (사용 가능 용량: 63.7GB)
- 시스템 종류: 64비트 운영체제, x64 프로세서
- 설계 생성 및 평가를 위한 JMP 스크립트
- 확장된 결과 표 및 시각화
- 참고 자료:
- “ 제품 혁신을 위한 실험 설계 및 기계 학습: 체계적인 문헌 검토 ”, 저자: Rosa Arboretti, Riccardo Ceccato, Luca Pegoraro, Luigi Salmasohttps://doi.org/10.1002/qre.3025
- “ 디자인 선택 및 기계 학습 모델 성능 ”, 작성자: Rosa Arboretti, Riccardo Ceccato, Luca Pegoraro, Luigi Salmaso,https://doi.org/10.1002/qre.3123
- “ 컴퓨터 실험을 위한 공간 채움 설계: 검토 ”, Joseph VR, Qual Eng. 2016; 28: 28-35.https://doi.org/10.1080/08982112.2015.1100447
- 통계 지식 포털:회귀 모형 가정 | 통계학 개론 | JMP
안녕하세요 @빅터_G ,
귀하의 글에 감사드립니다. 정말 도움이 되었습니다.
컴퓨터 시뮬레이션을 위해 Latin Hypercube Design과 Fast Flexible Design 중 선택하는 것과 관련된 질문이 있습니다.
아래의 요소를 고려해 보세요.
A: 범위 : 0 -1 (연속 값)
B: 범위: 1-100(범위 내의 모든 정수 값)
C: 범위: 1-5(범위 내의 모든 정수 값)
질문: JMP는 이산 요인에 대해 FFF 설계를 권장합니다. 하지만 요인 B와 요인 C는 기술적으로 이산적이지만, 해당 범위(1, 2, 3, 4,..., 100) 내에 모든 정수 점이 있어야 합니다. 다만 시뮬레이션에서 소수점 이하 자릿수를 사용하지 않도록 하고 싶습니다. 어떤 설계를 사용해야 할까요?
JMP에는 요인 값의 너비를 설정하는 옵션이 있는데, 이를 통해 라틴 하이퍼큐브에서 소수점을 제거할 수 있습니다. 이것이 분석에 어떤 영향을 미치는지는 잘 모르겠습니다.
LHD에서 요인을 연속으로 처리하고 너비를 조정하거나 일종의 반올림을 사용하여 정수 값을 얻을 수 있습니까?
라틴 하이퍼큐브에 대한 JMP 설명서는 연속 입력을 고려하지만 최종 설계 테이블에는 정수 값이 있습니다.
https://www.jmp.com/support/help/ko/19.0/index.shtml#page/jmp/라틴 하이퍼큐브 디자인 만들기 예제.shtml#
안녕하세요 @디비야123라마 ,
친절한 댓글 감사합니다.
귀하의 질문에 대해 제 생각은 다음과 같습니다.
이미 이 블로그 시리즈 공간 채우기 설계 1부: 일반적인 공간 채우기 유형 소개의 1부에서 읽었을 수 있듯이... - JMP 사용자 커뮤니티 , 라틴 하이퍼큐브 설계는 최종 설계에서 원하는 런 수와 같은 수의 빈을 만듭니다. 최종 설계에서 원하는 런 수에 따라 요인의 빈 수가 달라지고, 값을 "반올림"하는 것이 설계에 얼마나 영향을 미칠 수 있는지도 달라집니다. JMP 도움말에서 보여드리는 예에서 설계에는 1~8의 요인 범위에 대한 8개의 런이 포함되어 있으므로 라틴 하이퍼큐브는 너비가 1인 빈을 만들어 각 8개의 빈이 설계에 사용됩니다. 런 수와 같은 요인 범위가 있는 경우 빈은 이산 정수 값이 됩니다.
귀하의 경우에는 두 가지 매우 다른 요인 범위가 있습니다. 일반적으로 작은 불연속 범위(1~5)를 가진 요인의 경우, 구간의 개수가 해당 범위에서 선택할 수 있는 값의 개수(5)보다 항상 많을 수 있습니다. 따라서 이 경우 불연속 숫자 요인을 사용하는 것이 좋습니다. 설계에서 값을 반올림하면 중복되는 값이 많아질 수 있으며, 이는 설계의 적용 범위와 투영 특성에 영향을 미칠 수 있습니다.
30개의 런과 연속적 요인만 있는 라틴 하이퍼큐브 디자인의 예(B와 C는 디자인 생성 후 반올림 되어 정수 값만 가짐):
30회 실행을 포함하는 Fast Flexible Filling 설계의 예, A와 B는 연속적 요인(B는 설계 생성 후 반올림)이고 C는 불연속적 숫자입니다.
30회 실행을 포함하는 빠르고 유연한 충전 설계의 예, A는 연속, B와 C는 불연속 숫자:
두 번째 상황과 세 번째 상황 사이의 실행 재분배는 매우 유사하며, 둘 다 최소 하나의 불연속 숫자 요인이 존재하기 때문에 고속 유연 충진(Fast Flexible Filling) 설계를 사용하는 것으로 보입니다. 첫 번째 상황은 연속 요인만 사용하여 LHD를 강제로 생성한 후 반올림하여 얻습니다. 이 상황은 점들의 분포가 군집화되어 보이고 실험 공간의 경계에 틈이 생기기 때문에 최적이 아닌 것으로 보입니다.
이 경우에는 옵션 2 또는 3과 함께 Fast Flexible Filling 디자인을 사용하는 것이 좋습니다.
이 답변이 도움이 되기를 바랍니다.
빅터, 공간 활용 디자인에 대한 당신의 3부작 시리즈는 명확하고 유익했습니다.
많은 응용 분야에서, 자기 검증 앙상블 모델과 같은 머신러닝 기법을 사용하여 응답 데이터를 추가 분석하는 FFF 설계는 응답 표면이 복잡하거나 복잡할 것으로 예상되는 프로세스에 매우 적합한 선택으로 보입니다.
또한, 공간 채움 설계의 중요한 장점 중 하나는 설계 공간의 빈 공간이 상대적으로 작기 때문에 예측 모델을 검증할 필요성이 줄어든다는 것입니다. 일반적인 CCD 또는 최적 설계의 빈 공간은 루브 알 칼리 사막처럼 거대한 반면, 공간 채움 설계의 빈 공간은 훨씬 작습니다. 이러한 장점은 실험 설계(DOE) 워크플로를 간소화하고 DOE 경제성을 향상시킵니다.
감사합니다!
Stephen Czupryna, Pyzdek Institute, Prescott Valley, AZ, 미국
안녕하세요 @SteveCz 님 ,
친절한 댓글과 피드백에 진심으로 감사드립니다!
네, 동의합니다. Fast Flexible Filling 디자인은 우수한 예측 및 오차 성능, 다양한 요소 유형 및 제약 조건을 처리할 수 있어 적용 범위가 넓고 계산 생성 시간이 짧아 훌륭한 선택입니다.
네, 공간 채움 설계와 머신 러닝 모델링을 통해 설계 지점 사이를 (선택한 알고리즘과 응답 거동 가정에 따라) 부드럽게 보간할 수 있는 모델을 찾는 것이 목표입니다. 적합된 모델의 타당성과 유용성을 검증하기 위해 Leave-One-Out 검증이나 자체 검증 앙상블 모델과 같은 특정 검증 방법을 사용할 수 있습니다. 랜덤 포레스트나 서포트 벡터 머신과 같은 간단한 모델의 경우, 과적합 위험을 방지하고 평가하며 적절한 하이퍼파라미터 값을 선택하기 위해 주요 하이퍼파라미터 값(랜덤 포레스트의 경우 트리 깊이, 서포트 벡터 머신의 경우 페널티 및 곡률)을 확인할 수도 있습니다.
마지막으로, 검증 실행만큼 좋은 것은 없습니다. 흥미로운 위치(최고/최악의 결과가 나오는 지역, 설계 지점에서 더 멀리 떨어진 지역 등)에서 새로운 실험을 실행하여 모델의 유효성을 확인하는 것이 항상 좋은 방법입니다.
최상의,
SF 디자인 분석에 대한 추가적인 통찰력을 제공해 주셔서 감사합니다.
물론 검증 실행은 매우 좋은 아이디어이며 워크플로의 필수적인 부분입니다. 하지만 경험상 제품 개발 과정에서는 시간적 압박과 자원 제약 때문에 검증 실행이 어려운 경우가 많습니다. 이러한 경우, 처음부터 공간을 최대한 활용하는 설계를 선택하는 것이 검증 실행 횟수를 줄이기 위한 사업적 결정으로 인한 전반적인 위험을 줄이는 데 도움이 될 것입니다.
스티브
