DSD 디자인에서 "놀라운" 결과가 나왔습니다석사 학위 논문의 일환으로 6개의 연속 변수를 포함하는 확정적 스크리닝 설계를 수행했습니다. JMP를 사용하여 17회 실행(영 수준에서 3회 추가 실행 포함)으로 구성된 표준 설계를 생성했습니다.
결과에서 상당수의 상호작용 효과와 이차 효과가 매우 유의미하게 나타나 놀라웠습니다. 처음에는 과적합을 의심했지만, 이를 뒷받침하는 어떤 징후도 찾을 수 없었습니다. R제곱 값은 예상대로 우수했고, VIF 값도 높지 않았으며, 더빈-왓슨 검정 결과도 특이사항이 없었습니다. 또한 PRESS 값은 0.044로 나타났습니다.
이러한 결과는 DSD 분석에서 엄격한 유전적 요인을 배제하더라도 동일하거나 매우 유사하게 유지됩니다. 이 경우, 2~3개의 추가적인 상호작용 또는 이차 효과가 나타나는데, 이 또한 매우 유의미합니다.
제가 알고 있는 모든 정보를 바탕으로 판단했을 때, 현재로서는 결과의 타당성을 의심할 이유가 없어 보입니다. 혹시 제가 놓치고 있는 부분이 있을까요?
실험 설계제목: DSD 설계에서 나타난 "놀라운" 결과에 관하여6개 요인 설계는 비교적 "대규모" 설계이며, 6개 요인을 가진 반응 표면에서 추정 가능한 효과가 27개뿐이므로 이러한 효과 중 상당수를 추정할 가능성이 높습니다. 중심점 실행 결과를 보면 3.915~4.018 범위에 있으며, 잔차 표준편차는 약 0.02입니다. 따라서 0.2보다 훨씬 큰 효과는 유의미할 가능성이 높습니다. 접힘점(fold over points)을 보면 차이가 약 0.6 정도입니다.
네, 충분히 가능합니다. 실제 데이터 표를 공유해 주시면 더 자세히 살펴볼 수 있을 것 같습니다.
제목: DSD 설계에서 나타난 "놀라운" 결과에 관하여실제 실험에 대한 정보가 너무 부족하여 사실상 답변하기 어렵습니다. 이것은 실제 물리적 실험인가요 (아니면 시뮬레이션인가요)? 측정 오차는 사전에 정량화되었습니까? 평균 제곱 오차(MSE)는 어떻게 추정되었습니까? 반응 변화는 실질적인 가치가 있었습니까? 통계적 유의성은 조건부입니다. MSE 추정치가 현실을 합리적으로 추정한 값일 때 (그리고 그 추정치가 무엇을 의미하는지 이해할 때) 통계적 유의성은 의미가 없습니다.
제목: DSD 설계에서 나타난 "놀라운" 결과에 관하여안녕하세요 @NominalGemsbok3 님 ,
귀하께서 얻으신 결과에 대해 제가 드릴 수 있는 추가적인 제안이나 의견이 있을 수 있습니다.
- 실질적인 측면에서, 과적합 가능성을 평가하는 데 더 나은 지표들이 있습니다. 예를 들어, 조정된 R제곱 값과 최소화해야 할 조정된 R제곱 값 사이의 차이를 사용하는 것이 좋습니다. (R제곱 값은 모델 항의 개수가 증가함에 따라 증가하는 경향이 있는 반면, 조정된 R제곱 값은 모델의 복잡성/항의 개수를 고려하여 지나치게 복잡한 모델에 불이익을 줍니다.) 또한, 정확도와 복잡성 사이의 균형을 잘 맞추는 모델들을 비교하는 데 도움이 되는 정보 기준( AICc, BIC 등)도 유용합니다. 누르다 값(R제곱 및 RMSE) 역시 모델 성능을 보여주는 좋은 지표입니다. 이 값들은 Leave-One-Out 교차 검증을 기반으로 하므로, 모델 학습에 사용되지 않은 데이터 포인트에 대한 모델 성능을 엿볼 수 있습니다. 이러한 모든 지표들은 모델 선택에 도움을 주고, " 통계적 유의성 맹신"의 함정에 빠지지 않도록 해줍니다.
- 또한 통계적 유의성은 실제적인 중요성과는 다릅니다. 신호 대 잡음비가 매우 높으면 실제적인 중요성이 없더라도 통계적으로 유의미한 효과를 더 쉽게 감지할 수 있습니다. 관련성이 높고 중요한 효과를 걸러내고 모델 선택 과정을 안내하기 위해 해당 분야의 전문 지식을 활용하십시오.
- 활성 효과의 수와 관련하여 안심할 만한 점은 다음과 같습니다.
- 설계 및 모델링 접근 방식은 검출된 활성 항의 수에 맞게 올바르게 선택되었습니다. JMP 도움말의 적합성 확정적 스크리닝(Fit Definitive Screening) 항목에 따르면, " 최소 실행 크기 DSD는 활성 효과의 수가 실행 횟수의 절반 미만이고 효과 크기가 표준 편차의 두 배를 초과하는 경우 높은 확률로 활성 항을 정확하게 식별할 수 있습니다 ." 17개의 원래 실행(추가된 중심점 3개 포함)에서 9개의 활성 항이 검출되었고 RMSE가 비교적 낮으므로, 위에서 언급한 바와 같이 좋은 상황인 것으로 보입니다.
- 그들은 효과 계층 원칙을 존중합니다. 효과의 차수가 높을수록 해당 효과가 반응의 변동을 설명할 가능성이 낮아집니다. 귀하의 상황을 살펴보면, 주효과 6개 중 5개(83%), 이원 상호작용 15개 중 3개(20%), 이차 효과 6개 중 1개(16.7%)가 유의미한 것으로 나타났습니다. 활성 효과의 비율이 높아 보일 수 있지만, 이는 Xiang Li, Nandan Sudarsanam, Daniel D. Frey의 논문(2006년 3월) "요인 실험 데이터의 규칙성" (https://doi.org/10.1002/cplx.20123 )에서 제시된 효과 차수 간의 규칙성을 따르는 경향이 있습니다.
귀하의 결과는 잠재적으로 관련성이 높은 예측 변수들을 신중하게 선택하고, 실험 및 반응 측정 과정에서 잡음이 적었으며, 적절한 설계와 모델링 접근 방식을 취한 결과인 것 같습니다. 축하드립니다!
이 답변이 여러분이 이러한 긍정적인 결과를 신뢰하는 데 도움이 되기를 바랍니다.
제목: DSD 설계에서 나타난 "놀라운" 결과에 관하여이는 실제 물리적 실험입니다. 평균 제곱 오차(MSE)는 선형 모델의 잔차로부터 추정되었습니다. 이 추정치의 타당성을 검증하기 위해, 반복 측정된 중심점으로부터 순수 오차를 구했습니다(분산 ≈ 0.002). 적합성 부족 검정 결과, 모델의 적합성에 유의미한 문제가 없는 것으로 나타났으며(p = 0.79), 적합성 부족에 대한 평균 제곱값이 순수 오차의 평균 제곱값보다 작았습니다. 따라서 MSE는 오차 분산의 적절한 추정치로 간주될 수 있습니다.
제목: DSD 설계에서 나타난 "놀라운" 결과에 관하여이렇게 격려해주시고 자세한 답변을 주셔서 진심으로 감사드립니다.
제목: DSD 설계에서 나타난 "놀라운" 결과에 관하여답변 감사합니다. "실제 데이터 테이블"이라는 게 무슨 뜻인가요?
제목: DSD 설계에서 나타난 "놀라운" 결과에 관하여암호화된 JMP 파일을 보내주실 수 있나요? GENREG 모델 몇 가지를 사용해 보고 싶습니다.
제목: DSD 설계에서 나타난 "놀라운" 결과에 관하여안녕하세요,
여기에 코딩된 JMP 파일이 있습니다.
제목: DSD 설계에서 나타난 "놀라운" 결과에 관하여간단한 분석(모델 적합)을 해봤는데 결과가 당신과 완전히 다르네요? 세 가지 주요 효과가 가장 큰 효과를 나타냈습니다. 모델 적합 결과를 당신의 데이터 표(표1)에 추가했습니다.
제목: DSD 설계에서 나타난 "놀라운" 결과에 관하여이것이 확정적 스크리닝 설계(Definitive Screening Design, DSD)이고, 저는 JMP에서 DoE → Definitive Screening → Fit Definitive Screening 기능을 사용하여 분석했지만, 당신은 사용하지 않았기 때문에 차이가 발생하는 것일까요? DSD는 반드시 적절한 분석 방법을 사용하여 분석해야 한다고 생각합니다.
제목: DSD 설계에서 나타난 "놀라운" 결과에 관하여DSD에서는 많은 상호작용 효과가 상관관계가 높아(R > 0.7) 앨리어싱이 심하게 발생한다는 점에 유의하십시오. 아래 분홍색 필드와 첨부된 표의 '설계 평가 - 상관관계 색상 지도'를 참조하십시오. 활성 요인이 5개인 경우, 상호작용 효과의 앨리어싱을 제거하기 위해 DSD를 확장하고 추가 실험을 수행해야 합니다.
제목: DSD 설계에서 나타난 "놀라운" 결과에 관하여Fit Definitive Screening Design을 실행하고 "모델 생성"을 선택하면 어떤 결과가 나오나요? p값의 유의성은 복제된 중심점을 기준으로 한다는 것을 알게 됩니다.
제목: DSD 설계에서 나타난 "놀라운" 결과에 관하여DSD 결과에서 유의미한 순수 효과 5개와 잠재적으로 유의미하지만 상관관계가 있는 상호작용 효과 몇 개를 확인할 수 있는데, 이러한 상호작용 효과는 추가 실행을 통해 디앨리어싱 처리가 필요합니다.
제목: DSD 설계에서 나타난 "놀라운" 결과에 대하여첨부된 표에서 fit DSD 플랫폼을 사용한 DSD 분석 결과 두 가지 유의미한 상관 상호작용 효과가 감지되었습니다. (1) factor1 * factor3은 factor2*factor5와 상관관계가 있고 (2) factor4*factor5는 factor1*factor2와 상관관계가 있습니다.
상관관계 색상 지도의 분홍색 영역에서 볼 수 있듯이, 요인 6의 두 번째 상호작용 효과에서도 에일리어싱 현상이 나타납니다. 하지만 요인 6은 활성 효과가 아니므로 해당 상호작용은 고려하지 않았습니다. 5개의 유의미한 주효과의 상호작용을 포함하면 매우 좋은 모델을 구축할 수 있습니다.
제목: DSD 설계에서 나타난 "놀라운" 결과에 관하여안녕하세요 @frankderuyck님 과 @NominalGemsbok3님 ,
궁극적으로 가장 좋은 모델은 없습니다. 성능 지표 선택, 임계값(예: p값), 추정 방법 등 여러 가지 이유가 있습니다. 또한 DSD(설계-설계)에서는 모든 효과를 추정하기에 충분한 개별 처리 변수(자유도)가 없기 때문에, 서로 다르지만 경쟁하는 여러 모델이 좋은 성능을 보일 수 있습니다. DSD는 반응 표면 모델에 대한 과포화 설계 유형으로 볼 수 있습니다.
@frankderuyck 님 이 언급했듯이, 설계 구조로 인해 상호작용 효과 간, 그리고 이차 효과 간에 부분적인 에일리어싱/상관 관계가 존재하기 때문에, 모델을 개선하기 위해 추가 실험을 수행하지 않는 한 (어떤 모델링 방법을 사용하더라도) 상호작용 효과와 이차 효과가 목표 변수에 미치는 "실제" 영향을 100% 확신할 수는 없습니다. 하지만 주효과에 대해서는 더 높은 확신을 가질 수 있습니다. 설계 구조상 주효과 간, 그리고 주효과와 고차 효과 간의 상관 관계가 없기 때문에 편향 없이 주효과를 추정할 수 있습니다.
" 모든 모델은 틀렸지만, 일부는 유용하다 ."
저는 Stepwise 플랫폼에서 "모든 가능한 모델" 옵션을 선택하여 (강한 유전적 가정 하에 모델 에 최대 10개의 항을 포함) 모델에 포함될 수 있는 항의 조합 폭발로 인해 모델이 다양하게 생성됨을 보여주기 위해 래스터 플롯이라는 특정 시각화 도구를 사용해 보았습니다. (래스터 플롯 또는 DoE를 위한 모델 평가 및 선택을 돕는 다른 시각화 도구에 대한 설명은 해당 링크를 참조하세요.) 다음은 R제곱 값으로 정렬된 모델 결과이며, 각 모델(각 행)에 포함된 항(열)을 보여줍니다.
저는 여러 모델을 비교할 때 AICc와 같은 정보 기준을 사용하는 것을 선호합니다(값이 낮을수록 좋음). AICc는 너무 많은 용어를 사용하는 것에 불이익을 주고, 복잡성이 다른 모델들을 더 잘 비교할 수 있도록 해주기 때문입니다.
보시다시피, 대부분의 모델은 처음 5개 요인의 주효과가 존재한다는 점에서 일치합니다. 요인 6의 경우 결과가 다르며, 이 주효과의 존재에 대한 명확한 패턴은 보이지 않습니다. 상호작용 및 이차 효과의 경우에도 뚜렷한 패턴을 찾기 어렵지만, 일부 고차 효과가 대부분의 경우 모델에 포함되지 않는 것으로 보입니다. 이러한 상호작용에는 요인 1 x 요인 6, 요인 2 x 요인 4, 요인 3 x 요인 5, 요인 3 x 요인 6, 요인 4 x 요인 6, 요인 5 x 요인 6이 포함됩니다. 이차 효과의 경우, 요인 6 x 요인 6은 대부분의 모델에서 나타나지 않습니다. R제곱 값에 따라 가장 적합한 모델을 좀 더 자세히 살펴보면 고차 효과에 대한 몇 가지 흥미로운 관찰 결과를 얻을 수 있습니다.
요인 1 x 요인 3, 요인 4 x 요인 5 상호작용은 모델에서 자주 선택되는 경향이 있습니다. 또한, 요인 2와 요인 4에 대한 이차 효과도 자주 선택됩니다. 이러한 결과는 Fit Definitive Screening 플랫폼에서 얻은 결과와 일치하며, 동일한 주효과 및 고차 효과가 감지되었습니다.
세 가지 추정 방법으로 비교 범위를 좁히면, 서로 다른 모델과 항의 조합이면서도 동등한 경우를 확인할 수 있습니다. 예를 들어, Fit Definitive Screening, GenReg Normal Pruned Forward, GenReg Two Stage Forward 추정 방법을 사용하면 모델의 성능과 포함된 항을 모두 비교할 수 있습니다.
- 성능: R제곱 값과 설명력 조정 R제곱 값(모델이 반응 변수의 변동성을 얼마나 설명하는지)을 함께 제시합니다.
첫 번째와 두 번째 방법이 비슷한 성능을 보이는 것을 알 수 있습니다.
- 모델에 사용된 용어:
처음 두 가지 추정 방법이 유사한 결과를 제공하는 모델을 제시하더라도, 고차 효과에 포함되는 항은 서로 다릅니다. 두 방법은 요인 1과 요인 3의 상호작용 효과를 포함한다는 점에서만 일치합니다.
따라서 합리적인 후속 조치는 해당 분야 전문가와 어떤 모델이 가장 타당한지 논의하고, 증강 디자인 플랫폼을 사용하여 가장 적합한 모델을 확인 및/또는 구체화하는 것입니다. 예를 들어, 모델을 보강하고 예측하고자 하는 항목을 구체적으로 지정할 수 있습니다.
제 답변에 사용된 모든 스크립트가 포함된 표를 첨부했습니다.
이 답변이 도움이 되길 바랍니다.
제목: DSD 설계에서 나타난 "놀라운" 결과에 관하여DSD는 여전히 잠재적 요인 집합에서 강력한 효과, 특히 주효과를 선별하는 데 적합한 스크리닝 설계입니다. 또한 잠재적인 이차 효과와 상호작용을 파악하는 데 도움이 되지만, 후자는 서로 상관관계가 있다는 점에 유의해야 합니다(상관관계에 대한 색상 맵 참조). 활성 효과가 3개 이하인 경우 DSD는 RSM을 생성합니다. 하지만 유의미한 효과가 3개 이상인 경우 순수 상호작용 및 이차 효과를 확인하기 위해 DSD를 확장해야 합니다. 따라서 전문가와 브레인스토밍 후 상호작용 효과가 있을 가능성이 높다고 판단되면, 강력한 효과를 감지하기에 충분하고 확장 및 디앨리어싱에 필요한 실행 횟수가 확보된 최소 또는 낮은 DSD 개수로 시작하는 것이 좋습니다. 또한 중심점 복제에 너무 많은 노력을 기울이지 않는 것이 좋습니다.
제목: DSD 설계에서 나타난 "놀라운" 결과에 관하여비공개로 말씀드리자면, 활성화된 효과 5개가 모두 정상 그래프에 나타나지 않고 3개만 나타나는 게 이상하지 않나요?
제목: DSD 설계에서 나타난 "놀라운" 결과에 관하여정규분포/반정규분포 도표를 평가할 때는 주의해야 합니다(Daniel 참조). Lenth의 PSE를 항상 사용할 수 있는 것은 아닙니다. 데이터를 살펴보면 오차 분포가 하나 이상인 것처럼 보입니다. 하위 6개 값과 그 사이의 변화, 2개 값, 또 다른 변화, 그리고 5개 값을 주목하십시오. 이는 실험 중에 노이즈가 발생했음을 나타냅니다. 이는 실험 중 특수 원인 의 증거로 간주될 수 있습니다. 이 반정규분포 도표와 함께 파레토 차트를 살펴보면 추정치의 "그룹화"를 더 쉽게 확인할 수 있습니다.
덧붙여 말하자면, 중심점을 복제하는 것은 MSE를 추정하는 데 매우 효과적인 방법입니다. 중심점은 구체적이지는 않지만 선형 가정을 상당히 효율적으로 검증하는 데 사용할 수 있습니다. 실험 전반에 걸쳐 충분한 수(약 8개)의 중심점을 무작위로 실행하면 실험 전반에 걸친 안정성도 평가할 수 있습니다. 실행 순서대로 MR을 플롯하십시오. 또한, 예를 들어 전류 조건인 경우 전류 양쪽의 레벨을 더 굵게 설정하여 방향성을 더 잘 파악할 수 있습니다. 단, 변수가 연속형이어야 한다는 제약 조건이 있습니다.
제목: DSD 설계에서 나타난 "놀라운" 결과에 관하여흥미롭네요. 그렇다면 이 그래프를 어떻게 더 효과적으로 활용하여 활성 효과를 감지할 수 있을까요?
제목: DSD 설계에서 나타난 "놀라운" 결과에 관하여이 방법의 발명가인 커스버트 다니엘의 저서를 읽어보세요.
Daniel, Cuthbert (1976) 산업 실험에 대한 통계학의 응용, Wiley (ISBN 0-471-19469-7)
제목: DSD 설계에서 나타난 "놀라운" 결과에 관하여좋습니다. 선 주변의 패턴은 특별한 원인을 나타내는데, 이 경우에는 추가적으로 고려해야 할 다소 강한 영향이 몇 가지 있습니다.
제목: DSD 설계에서 나타난 "놀라운" 결과에 관하여혹시 그의 책을 이미 읽으셨나요? 제가 도와드릴게요... 네, 무작위 오차 분포(평균이 0인 정규 분포를 따라야 함) 밖에 있는 모델 효과는 실제로 할당 가능합니다(오차 분포의 일부일 가능성이 높은 효과와는 다르므로 할당할 수 없습니다). 하지만 그것이 반드시 Lenth의 알고리즘이 그리는 선은 아닙니다. Daniel은 자신의 정규 분포 그림에 Lenth의 알고리즘을 적용하지 않았습니다. 그는 그림을 해석하고 오차 분포가 그림에서 어디에 나타나는지 자신의 해석을 사용했습니다(저는 "굵은 연필" 테스트를 사용합니다). 그는 정규 분포 그림에서 "S"자 곡선을 관찰했는데, 이는 모델 효과 외에 다른 요인이 실험에 영향을 미치고 있음을 시사합니다. 특수 원인은 모델 효과의 결과가 아니라 노이즈에 있습니다. 이는 결과적으로 ANOVA에서 MSE를 증가시킬 수 있습니다.
제목: DSD 설계에서 나타난 "놀라운" 결과에 관하여@statman의 '굵은 연필' 기준과 함께, 수직 방향의 변화는 평균 반응의 변화로, 추정치 그룹을 통과하는 직선의 기울기 변화는 표준 편차의 차이로 생각하면 됩니다.
제목: DSD 설계에서 나타난 "놀라운" 결과에 관하여반정규분포도는 매우 강한 효과를 감지하기 위한 1차 선별 도구로 사용될 수 있다고 결론지을 수 있을까요? 실선 주변에 무작위 분포나 패턴이 관찰되지 않을 때, 중간 정도의 강한 효과가 있다고 볼 수 있을까요?
제목: DSD 설계에서 나타난 "놀라운" 결과에 대하여네, 모델 내 다른 효과들에 대한 상대적인 강도를 말하는 겁니다. 참고로, 이런 그래프는 포화된 모델을 사용해서 그리는 걸 항상 추천합니다.
또한, 요인 설정의 부호가 의미 있는 경우(예: 연속형 요인)에는 정규 분포도를 사용하고 방향 벡터를 활용할 수 있습니다. 그의 훌륭한 책을 구할 수 없다면 다음 논문을 읽어보세요.
Daniel, Cuthbert (1959) "요인 2수준 실험 해석에 있어 반정규분포 도표의 활용", Technometrics, Vol. 1, No. 4, 11월
제목: DSD 설계에서 나타난 "놀라운" 결과에 관하여@statman 님의 마지막 답변에 대해 말씀드리자면, (구형인) 스크리닝 플랫폼에서 그의 권장 사항을 구현했습니다. 여기에서 확인하세요.
Names Default to Here( 1 );
dt = Open( "$SAMPLE_DATA/Design Experiment/2x3x4 Factorial.jmp" );
dt << Screening( Y( :Y ), X( :X1, :X2, :X3 ) );
제목: DSD 설계에서 나타난 "놀라운" 결과에 관하여매우 흥미로운 사례였고 훌륭한 토론이었습니다. 공유해 주셔서 감사합니다!
제목: DSD 설계에서 나타난 "놀라운" 결과에 관하여2단계 선별 플랫폼을 사용하면 위의 최적 AICc = -30 적합 확정 선별 결과를 얻을 수 없을 것으로 보입니다.
작년에 저는 7개 요인 DSD 사례를 게시했습니다 (https://community.jmp.com/t5/Discussions/Setting-Stage-1-P-value-in-Analyis-of-DSD-at-a-high-level-to/mp/837310#M101378 ). 그때는 정반대의 상황이었습니다. 2단계 스크리닝을 통해 5개의 활성 요인을 가진 좋은 모델을 빠르게 얻었고, DSD 적합 기능을 사용했을 때는 5개의 활성 요인을 감지하기 위해 1단계 P값을 0.4로 높여야 했습니다. 흥미로운 결과입니다.
제목: DSD 설계에서 나타난 "놀라운" 결과에 관하여따라서 활성 주효과를 탐지하고 잠재적인 상호작용 및 이차항을 확인하려면 Fit DSD 플랫폼을 사용하는 것이 좋습니다. 단, 1단계 p값은 필터 역할을 하므로 너무 낮게 설정하면 잠재적인 활성 효과가 모델에 포함되지 않을 수 있다는 점에 유의하십시오. Fit DSD는 1단계 p값을 0.2~0.4로 설정하여 시작하는 것이 좋습니다(더 높은 값은 과적합을 초래할 수 있습니다).
