DoE에 복제본을 포함하는 이유는 무엇입니까?(설계 비교)안녕,
설계 반복 실험의 개념을 이해합니다(도움이 필요하신가요?). 실행 반복 실험을 통해 일반적인 실험 오차(노이즈?)를 이해할 수 있습니다.
그러나 반복 실험을 통해 생성된 사용자 정의 설계와 반복 실험을 사용하지 않고 생성된 사용자 정의 설계를 비교해보면(전체 실행 횟수는 동일하게 유지한 경우), 대부분(전부는 아니더라도) 반복 실험이 없는 설계가 반복 실험이 있는 설계보다 성능이 더 좋다는 것을 알 수 있습니다.
저는 두 가지 디자인을 만들었습니다.
- 디자인 1(복제)
- #3 요인, 2차 상호작용 및 2차 방정식
- 총 13회 실행
- 2 레피케이트
- Design 2 (No Replicates)
- #3 요인, 2차 상호작용 및 2차 방정식
- 총 13회 실행
- 0 복제
디자인을 비교할 때, 평가 결과는 다음과 같습니다.
- 전력 분석: 설계 2 > 설계 1
- 설계 공간의 일부: 설계 2 > 설계 1
- 설계 공간 전체에서 예측 분산이 더 낮습니다.
- 상관 관계: 디자인 2 > 디자인 1
- 반복 실험이 없는 설계보다 반복 실험이 있는 설계를 선택하는 데에는 정량화할 수 있는 이유가 있습니까(실행 횟수를 제한하는 경우)?
분명히 더 높은 실행 횟수(디자인 2 + 반복 횟수)에서 수행하면 디자인이 개선되겠지만 그렇다면 반복 횟수가 없는 더 높은 실행 횟수로 JMP가 다시 최상의 디자인에 대해 최적화되도록 하지 않는 이유는 무엇일까요?
2. 복제를 포함하는 개념은 기존 디자인의 유물인데, 최신 맞춤형 디자인 플랫폼은 일반적으로 알고리즘적으로 향상된 디자인을 제공할 수 있습니까?
실험 설계윈도우Re: DoE에 복제본을 포함하는 이유는 무엇입니까? (설계 비교)안녕하세요 @메타리자드62080 ,
당신이 보여주는 상황과 비교에 전혀 놀라지 않는군요. 왜 그런지 설명해 볼까요?
먼저, 복제합니다 와 Replicate Runs를 구분하는 것이 중요합니다. JMP에는 두 가지 옵션이 있습니다.
- "클래식 디자인"에서 JMP는 " 반복 횟수 "를 표시합니다. 이는 각 실행을 수행하는 횟수(즉, 원래 실행/디자인 외에 전체 디자인을 수행하는 횟수)를 의미합니다. "증강" 플랫폼에도 이 옵션이 있습니다. " 디자인 복제 "
- "사용자 지정 디자인"에서 JMP는 " 복제 실행 횟수 "를 표시합니다. 이는 반복할 실행 횟수를 의미합니다. 게시물에서 이 옵션을 사용하고 계십니다.
그러면 설정과 관련하여 요인 3개와 가정된 반응 표면 모형(주효과, 상호작용, 이차효과 모두 포함)을 갖는 설계가 있습니다. 요인이 3개라면 절편 1개, 주효과 3개, 2요인 상호작용 3개, 이차효과 3개, 총 10개의 항을 추정해야 합니다. 따라서 최소 실행 횟수 설계에는 최소 10개의 실행 횟수가 포함되어야 합니다.
3번의 추가 실행이 있으므로 실제로는 2가지 옵션이 있습니다.
- 이러한 실행을 반복 실행으로 사용하여 일부 효과의 추정을 개선하고 적합성 부족 테스트를 수행할 가능성을 높입니다.
- 사용자 정의 디자인을 통해 27가지 고유한 조합 중에서 디자인에 추가할 다른 요소를 선택합니다. 전체 RSM 모델을 가정하므로 각 요소를 3가지 수준으로 볼 수 있으며, 3^3 = 27개의 고유한 요소 조합이 제공됩니다.
옵션 1을 사용하면 반복 실험 없이 추정할 때보다 일부 효과를 약간 더 잘 추정할 수 있습니다. 설계에서 실행 2와 5, 그리고 실행 6과 11은 반복 실험입니다. 설계 비교 보고서를 확인하면 이 설계 옵션 1이 상호작용 효과 추정치의 상대 표준편차가 약간 더 낮은 것을 확인할 수 있습니다(즉, 이러한 효과에 대한 상대 추정 효율이 1보다 약간 더 높음). 또한, 반복 실험이 있으므로 적합도 부족 검정을 사용할 수 있으며, 이는 (실제값 대 예측값, 잔차 분석/시각화와 같은 다른 시각화 도구와 함께) 모델의 적합성을 평가하는 데 도움이 될 수 있습니다.
옵션 2를 사용하면 모델 효과 추정에 절대적으로 필요한 10개 이외의 다른 요인 조합을 검정할 수 있습니다. 이를 통해 항 간 상관관계를 줄이고 설계 공간을 더 잘 포괄할 수 있으며, 결과적으로 항 간 상관관계( 상관관계 색상 맵 )를 줄이고 평균 분산 예측을 전반적으로 줄일 수 있습니다.
귀하의 질문에 대한 확실한 답변은 없습니다. 귀하의 필요(및 습관)에 따라 달라지기 때문입니다.
- 모델의 적합성을 평가하기 위해 적합도 부족 검정을 실행하기 위해 반복 실험을 포함하거나, 특정 효과 항을 더욱 정확하게 추정하기 위해 반복 실험을 포함하는 것이 더 확실할 수 있습니다. 마지막으로, A-최적 설계가 A-최적성 매개변수 가중치를 통해 다른 설계보다 더 정확하게 추정하려는 효과를 정의하는 데 더 적합한 옵션일 수 있습니다. 자세한 내용은 DoE에서 이차 요인의 검정력이 낮은 이유를 참조하세요.
- 효과 간의 상관관계를 최대한 줄여 이러한 효과에 대한 비교적 편견 없는 추정을 보장하고 싶을 수 있으므로, 사용자 정의 디자인이 가능한 모든 조합 중에서 가장 관련성이 높은 효과를 선택하도록 하는 것이 합리적입니다.
두 번째 질문에 대한 답변은 활동 도메인에 따라 다를 것 같습니다. 어떤 도메인은 시스템의 변동성이 매우 높기 때문에 (예를 들어 생물학적 시스템처럼) 항상 반복 실험이나 심지어 반복 실험을 사용하기도 합니다. 따라서 응답의 예상 신호 대 잡음비에 따라 달라집니다. 일부 업계에서는 연구에 반복 실험/반복 실험이 강력히 권장되거나 강제됩니다.
하지만 일반적인 관점에서 보면 사용자 정의 디자인은 매개변수와 관련된 최적의 디자인을 제공하므로 복제 실행을 사용할 만한 강력한 인센티브가 없다면 알고리즘이 가장 유익한 실행을 선택하도록 하는 것이 좋습니다.
이 답변이 도움이 되기를 바랍니다.
Re: DoE에 복제본을 포함하는 이유는 무엇입니까? (설계 비교)무시하셨으면 하는 몇 가지 의견이 있습니다. 첫째, 설계 평가 통계에 너무 많은 비중을 두지 않도록 주의하세요. 이는 모두 잠재적으로 알려지지 않은 현실에 대한 선험적(á priori) 분석입니다. 둘째, 반복 실험을 실행하는 방법은 여러 가지가 있습니다. RCBD 또는 BIB를 사용하면 추론 공간을 늘리는 동시에 설계 정확도를 향상시킬 수 있습니다.
Re: DoE에 복제본을 포함하는 이유는 무엇입니까? (설계 비교)@Victor_G 님 , 답변 감사합니다.
저는 제약 산업의 공정 개발 분야에서 일하고 있습니다. 두 가지 설계 방식(모델이 유의미한 결과를 제공하여 공정 개선으로 이어지는 방식)을 모두 성공적으로 사용해 왔습니다. 따라서 어떤 방식이 "최선"인지 확신할 수 없습니다. 제 개인적인 견해로는 JMP 설계 평가를 신뢰할 수 있다면 옵션 2를 선택하는 경향이 있습니다. @statman 님이 (적절하게도) 이는 실제로 가정일 뿐이라고 말씀하셨습니다.
일반적으로 제 동료들 중 다수는 반복 실험 없이도 통계적 결론을 도출할 수 있다는 개념에 전적으로 동의하지 않습니다. 저는 반복 실험이 제공하는 직관적인 특성과 JMP 커스텀 디자이너가 활용하는 추상적인 개념을 이해하기 어렵기 때문이라고 생각합니다. 분명히 말씀드리자면, 저희 중 누구도 통계학자가 아니며, 통계적 접근법에 대한 이해 수준도 다양합니다 (통계에 대한 상당한 관심과 적극적인 활용부터 일반적인 두려움/불신까지 다양합니다).
궁금해서 묻는 건데, 말씀 마지막에 2번 옵션이 더 나은 선택이라고 하셨잖아요. 왜 본능적으로 이런 방향으로 기울어지시는 건가요?
Re: DoE에 복제본을 포함하는 이유는 무엇입니까? (설계 비교)안녕하세요 @메타리자드62080 ,
저는 귀하의 상황을 완전히 이해하고, 사실 저도 비슷한 상황이라고 생각합니다(저는 화학 제형 엔지니어입니다).
실험실 설계를 만들고 추천하는 동료 중에는 반복 실험을 통한 설계를 추천하는 것이 더 자신감이 있다고 생각하는 사람도 있습니다. 이렇게 하면 실험의 순수한 오류/재현성을 평가하는 쉽고 시각적인 방법이 제공됩니다.
그들의 주장은 이해하지만, 이 상황에 100% 확신할 수는 없습니다. 반복 실험의 근거를 설명하더라도, 어떤 사람들은 시간을 절약하기 위해, 그리고 실험 재현이 시간/재료 낭비라고 생각하여 반복 실험 대신 반복 측정을 하기 때문입니다. 결국 우리가 시각화/분석할 수 있는 것은 실험 설정의 순수 오차/전체 재현성(실험 오차 + 측정 오차)이 아니라, 순수 오차에 대한 잘못된 낙관적 평가로 이어지는 측정 오차일 뿐입니다.
반복 실험이 없는 설계의 경우(귀하의 경우 설계 2와 같음), 추가 실행에 다른 조합 실행을 사용하면 설계 공간에서 더 많은 조합을 탐색하고, 검정력을 높이고, 대부분의 설계 공간에서 예측 분산을 줄일 수 있으며, 실험 예산이 주제에 충분하고 모델이 너무 복잡하지 않은 경우 이러한 추가 실행을 통해 오차/분산을 대략적으로 추정할 수 있습니다.모델 평가와 관련하여 반복 실험 실행이나 반복 실험을 사용하지 않으면 적합성 부족 검정을 수행할 수 없지만 설계의 적절성을 평가할 수 있는 도구와 시각화가 충분합니다.또한 일부 설계 사례(확정적 선별 설계와 같음)에서는 반복 실험 실행을 추가할 수 없습니다.항 간 상관 관계(주효과 및 상호작용 등)가 추가될 수 있고 설계 구조가 변경되므로 일부 분석 방법( 적합 확정적 선별과 같음) 을 사용할 수 없습니다.
결국에는 가정과 습관, 그리고 실험 설정 및 측정 시스템에 대한 지식의 문제입니다. 저는 실험 예산의 한계 내에서 주제를 완전히 탐구하는 설계를 추천하기 전에, 설정의 변동성, 곡률, 재현성을 평가하기 위한 범위 설정 설계 (예비 실험)를 통한 순차적 접근 방식을 선호합니다.
이 주제에 대한 "좋은" 답변은 없지만 이 답변이 귀하의 사용 사례에 가장 적합한 것이 무엇인지 결정하는 데 도움이 되기를 바랍니다.
