DoE에서 하나의 요인이 다른 요인보다 훨씬 더 중요한 경우 무슨 일이 일어날까요?안녕하세요 여러분,
저는 1차 목표(안정성)와 2차 목표(생산성)를 가진 DoE를 만들었습니다. 저는 이전에 초기 DoE로 생산성을 특성화한 적이 있습니다. 그 데이터에서 훌륭한 모델이 개발되었습니다. 이 새로운 DoE에서 저는 이전에 고려되지 않았던 추가 요인을 추가했습니다. 저는 이 요인이 생산성에 큰 영향을 미칠 것이라는 것을 알고 있었습니다. 왜냐하면 그것은 명백한 1차 기여자이기 때문이지만 안정성에 미치는 영향은 전혀 불확실했습니다.
안정성 모델은 훌륭하게 돌아왔습니다. 생산성 모델은 재앙이었습니다. Adj R^2는 모델 축소가 끝날 무렵 거의 존재하지 않았고, 남은 항은 내가 추가한 새로운 요인이었습니다. (외부적으로 학생화된 잔차에서는 이상치가 감지되지 않았습니다).
그래서 제 질문은, 모델링 능력이 부족한 이유는 주요 요인이 다른 요인에 비해 훨씬 더 큰 영향을 미쳤고, 다른 효과는 본질적으로 감지할 수 없었기 때문일까요?
실험 설계Re: DoE에서 하나의 요인이 다른 요인보다 훨씬 더 중요한 경우 어떻게 되나요?안녕하세요 @MetaLizard62080 ,
이 요소의 중요성(실제 효과 크기, 통계적 유의성, 둘 다?), 귀하가 만든 설계, 그리고 모델을 분석하고 개선한 방식에 대한 더 많은 맥락과 정확함이 없이는 귀하를 도우려는 것은 매우 복잡합니다.
생산성을 위한 초기 성공적인 DoE와 이번 DoE 사이에 무엇이 바뀌었는지 비교할 수 있다면 이미 몇 가지 아이디어가 있을 수 있습니다. 요인? 수준? 설계? 모델 선택? 목표? 조정/개선을 위한 모델 지표? ...
하지만, 제안하신 것 외에도 몇 가지 반성사항, 질문, 그리고 가능한 설명을 제시하겠습니다.
- 디자인 정의 :
- 요인 범위 차이와 특정 요인이 반응에 미치는 영향에 따라, 다른 요인에 비해 이 요인의 중요성/효과 크기를 증폭했을 수 있습니다. 이 요인에 대한 반응의 변동성을 줄이기 위해(또는 다른 요인에 대한 반응의 변동성을 늘리기 위해) 설계를 증강하고 이 요인의 범위를 줄이고(또는 다른 요인의 범위를 확장하고) 시도할 수 있습니다.
- 목표(요인 스크리닝, 실험적 공간 탐사, 예측 등)에 따라 다른 샘플 크기, 반복 실행 등을 사용하여 다른 디자인을 선택할 수 있습니다. 다른 요인에 대해 감지하려는 차이에 대해 샘플 크기가 충분히 높습니까? 선택한 디자인이 목표에 적합합니까?
- 소음 처리: 실험이 "소음"이 있나요? 그렇다면 반복성, 재현성, 소음 요인, 외부 영향 등 다양한 출처에서 발생하는 소음을 식별하고 처리하기 위한 전략을 사용했나요?
- 이 새로운 DoE는 "처음부터" 만든 것인가요, 아니면 과거 데이터의 정보를 활용하기 위해 증강을 사용했나요?
- 모델 구축, 개선 그리고 선택:
- 축소 후 조정된 R²가 매우 낮았다고 언급했습니다. 모델 구축 및 선택과 관련된 목표는 무엇입니까? 어떤 지표를 사용하며 목표와 관련이 있습니까? 축소 전 전체 가정 모델의 지표 성과는 어땠습니까? 어떤 정보/기준/지표에 따라 모델을 축소했습니까?
귀하의 목표(설명 가능성 대 예측 가능성 또는 둘 다)와 관심 있는 관련 지표(예: 설명 가능성에 대한 R²/R² 조정, 예측 가능성에 대한 RMSE, 둘 다에 대한 정보 기준)에 따라 다른 모델로 끝날 수 있습니다. 여러 모델을 구축해 볼 수 있으며, 특히 통계적 유의성과 p-값에만 의존하지 않도록 할 수 있습니다(이 주제인 통계적 유의성 에 대한 논의를 읽어보세요). 또한 도메인 전문성에 따라 모델의 요인/용어의 효과 크기/실질적 유의성이 중요한지 여부를 식별하고 평가할 수 있습니다.
- 요인의 유의성과 효과 크기는 모델에 어떤 요인이 들어가는지에 따라 달라집니다. 따라서 모델을 "축소"하는 방법과 어떤 용어를 제거하는지에 따라 p-값과 효과 크기 추정치가 완전히 달라집니다. 자세한 내용은 여기에서 확인할 수 있습니다. 유의하지 않은 요인을 제거한 후 유의하지 않은 요인이 됨
- DoE에서 나온 모델도 효과 희소성, 효과 유전 및 효과 계층 의 원칙에 의존합니다. 구축하는 모델이 이러한 원칙을 준수하는지 확인/평가해 볼 수 있습니다. 응답 표면 모델에서 중요하지 않은 요인이 하나 있지만 동일한 요인에 대한 2차 항은 중요한 경우가 있습니까?를 참조하세요.
- 잔차를 확인했나요? 회귀 가정 위반을 나타낼 수 있는 패턴이 있나요( 회귀 모델 가정 | 통계학 입문 | JMP )? 사용 가능한 적합성 부족 테스트가 있나요? 응답이 크고 매우 다른 규모의 순서를 포괄하는 예측성과 연결되어 있나요? 이러한 질문에 대한 응답에 따라 회귀 모델 가정이 충족되는지 확인하기 위해(또는 추가/제거된 항이 있는 다른 회귀 모델, 응답 변환, 일반화된 회귀 모델 등이 필요한 경우) 모델 구축을 위해 확인하고 수정해야 할 사항이 있을 수 있습니다. 요인에 대한 RSM 적합성 문제를 참조하세요.
- 결과가 도메인 전문가에게 적합하며 이전 결과와 일치합니까?
결국, 귀하의 모델은 귀하가 선택한 디자인에 따라 결정되므로, 귀하의 주제에 대한 디자인을 선택하고 만든 방법과 이유를 이해하지 못하면 모델과 관련하여 귀하에게 도움을 드리기 어렵습니다.
어떤 문제에 직면해 있는지 보여주는 장난감 데이터 세트는 더 정확한 후속 조치를 취하는 데 도움이 될 수 있습니다.
이 첫 번째 토론 시작이 여러분에게 도움이 되기를 바랍니다.
Re: DoE에서 하나의 요인이 다른 요인보다 훨씬 더 중요한 경우 어떻게 되나요?Victor가 지적했듯이 귀하의 질의에 적절하게 답변할 만큼 맥락이 충분하지 않습니다. 제 생각/질문은 다음과 같습니다. 첫 번째 실험을 재현했습니까? 첫 번째 실험에서 추가한 요인은 무엇을 했습니까? (예: 일정하게 유지하거나 무작위로 변경) 안정성은 어떻게 측정했습니까? 측정 시스템을 연구했습니까? 안정성은 일반적으로 실험을 실행할 때 포기하는 특성 중 하나입니다. 왜냐하면 시계열을 잘라내고 안정성에는 시계열이 필요하기 때문입니다.
회고해보면, 이것이 더 넓은 추론 공간으로 시작하는 이유입니다(예: 연구에 더 많은 설계 요인과 노이즈 포함). 첫 번째 실험의 결과는 조건부였습니다. 실험 중에 변한 추론 공간, 설계 요인 또는 노이즈가 변경되면 결과도 변경될 수 있습니다.
당신의 생각이 반드시 틀린 것은 아닙니다. 분석을 "압도"하고 연구에서 다른 중요한 효과를 발견하기 어렵게 만드는 데 상당한 영향을 미칠 수 있습니다. 우리는 모든 요인을 굵게 표시하여 이를 극복하려고 노력합니다. 한 요인의 수준 설정이 다른 요인보다 훨씬 굵게 표시되면 해당 요인이 실제로 다른 요인보다 훨씬 더 중요한 것처럼 보일 수 있습니다.
