각 DOE의 노력안녕,
저는 여러 차례 실험 계획(DOE)을 수행해 왔지만, 반복되는 어려움은 필요한 시행 횟수가 너무 많다는 것입니다. 예를 들어, 7회 실험으로 구성된 스크리닝 설계를 사용할 경우, 일반적으로 재현성을 평가하기 위해 각 실험마다 4~6회 반복 실험을 수행합니다. 따라서 DOE당 총 28~42회의 시행이 필요합니다.
그러나 이 모든 실험을 수행한 후에도 모델 성능은 종종 만족스럽지 못한 것으로 나타났습니다. R² 값은 약 0.55에서 0.59 사이였습니다. 더욱이, 넓은 신뢰 구간과 일관되지 않은 매개변수 추정치로 인해 신뢰할 수 있거나 반복 가능한 모델을 찾는 데 어려움을 겪었습니다. 많은 경우, Y 데이터를 통제된 조건에서 수집하더라도 모델은 일관성이 부족하고 결정적인 통찰력을 제공하지 못했습니다. 따라서 각 실험에서 많은 프로세스 데이터를 수집해야 합니다.
이 문제는 점점 더 답답해지고 있습니다. 어떻게 하면 이 문제를 효과적으로 해결하고, 불필요한 노력을 줄이는 동시에 모델 신뢰도를 향상시킬 수 있을까요?
실험 설계Re: 각 DOE의 노력여러분을 위한 몇 가지 생각:
1. 스크리닝 모드에서는 모델 성능에 너무 집착하지 마세요. 스크리닝 모드에서는 모델 자체와 예측 효과보다는 실제 효과/요인을 파악하는 것이 주된 목표입니다. "추가 조사가 필요한 요인을 파악했는가?"라는 질문을 스스로에게 던져보세요. 그렇다면 그에 따라 진행하세요. 그렇지 않다면 다음과 같은 다른 질문을 해보세요.
a. 신호가 노이즈를 극복할 만큼 충분히 넓지 않은 레벨을 선택했나요?
b. 우리의 반응에 영향을 미치는 잠재적인 소음 변수가 있습니까? 그렇다면 앞으로 어떻게 처리할 것입니까? 차단?
c. 고려해야 할 다른 요소가 있습니까?
2. 이 모든 반복 실험을 통해 순수 오차를 정확하게 추정할 수 있을 것입니다. 오차가 충분히 크면 신호가 압도되기 시작할 것입니다. 반응에 따른 측정 시스템 변화에 대해 어떻게 생각하십니까? 만약 오차가 너무 크다면 측정 시스템 노이즈를 줄이는 작업을 해야 할 수도 있습니다.
다른 사람들도 참여할 거라고 확신합니다. 그리고 언제나 그렇듯이 여러분도 실험을 공유해 주시면 우리가 더 많은 도움을 드릴 수 있을지도 모릅니다.
Re: 각 DOE의 노력안녕하세요 @Statexploler 님 ,
@P_Bartell 님께 서 유용한 정보와 조언을 많이 주셨습니다. (비교적) 소음이 높은 환경에서 실험을 하시는 것 같아서, 언급하신 내용 중 몇 가지를 더 추가하고 싶습니다.
소음/높은 불확실성의 잠재적 원인을 분석해 보셨습니까? 모델 부적합성(상호작용 항 누락 또는 이차 효과?), 높은 측정 오차, 유해 변수(일상, 작업자, 공정 변동성?) 등이 있습니다. 소음 원인을 평가하면 적절한 완화 전략을 시도하는 데 도움이 될 것입니다.
- 모델이 부적절한 경우, 스크리닝 모드(주효과만)에서 어떤 모델을 자주 사용하시나요? 잔차 및/또는 적합도 부족 검정에서 특정 패턴이 발견되어 문제를 시사하는 경우가 있나요?
강력한 상호작용 효과 및/또는 다항식 또는 비선형 효과를 예상하시나요? 다른 (비선형) 모델링 방법(예: Bootstrap Forest 및 SVM과 같이 데이터셋 크기와 복잡성에 적합한 머신 러닝 알고리즘)을 시도해 보셨나요?
- 측정 오류가 높은 경우, 요인 범위를 확장하여 신호가 잡음보다 상대적으로 높도록 할 수 있습니까? 반복 측정 외에도 반복 측정을 추가할 수 있습니까? 아니면 독립 반복 측정 횟수를 줄이고 반복 측정을 통해 보상하고, 각 반복 측정의 반응 평균과 분산을 모델링할 수 있습니까?
- 알려진 유해 변수가 있는 경우, 설계 생성 시 작업자의 영향, 일일 변동성, 측정 장비 변경 등을 방지하기 위해 차단과 같은 안전 장치를 추가할 수 있습니다. 랜덤 블록 변수를 사용하면 전체 실험 분산에서 해당 유해 변수의 분산을 포착하여 잠재적인 활성 효과를 "숨기는" 것을 방지할 수 있습니다. 유해 변수가 처리/수정 가능하고 알려진 경우(예: 공정 변수), 다구치 설계를 사용하여 강건 설계를 생성하거나 사용자 정의 설계 플랫폼인 " 강건한 공정 및 제품 설계를 위한 실험"을 사용할 수도 있습니다.
이 답변이 토론에 도움이 되기를 바랍니다.
Re: 각 DOE의 노력안타깝게도 맥락이 부족하여 구체적인 조언을 드릴 수 없습니다. 이러한 문제는 전 세계적으로 해결할 수 없습니다. 제 생각은 다음과 같습니다.
1. 7번 런을 사용하는 스크리닝 디자인은 알지 못합니다. 8번(2^7-4 ResIII)을 말씀하시는 건가요?
2. 반복 횟수가 이해가 안 됩니다. 첫째, 반복 횟수(동일한 처리 조합을 독립적으로 실행하는 횟수)이지 반복 횟수가 아니라는 말씀이신가요? 실험 설계에서 "희생"하는 것 중 하나가 안정성입니다. 안정성 문제를 이해하려면 표본 추출과 COV 연구가 좋은 도구가 될 것입니다. 어차피 4~6회 반복해서 실행해서는 안정성을 확보할 수 없습니다.
3. 잡음이 많은 것 같습니다. 잡음을 처리할 더 나은 전략(예: RCBD, BIB, 분할구)이 필요할 수 있습니다.
4. 상황에 대한 지식이 거의 없는 상황에서 DOE보다 COV/샘플링부터 시작하는 것이 좋을 것 같습니다.
4. R^2는 모델을 평가하는 데 사용해야 하는 여러 통계 중 하나일 뿐입니다(그리고 이것이 최고의 통계는 아닙니다).
Re: 각 DOE의 노력@P_바텔 감사합니다
하지만 스크리닝 설계의 일부로 필요한 최소 Rsq는 얼마여야 할까요?
a. 신호가 노이즈를 극복할 만큼 충분히 넓지 않은 레벨을 선택했나요? 이런 레벨은 어떻게 찾을 수 있나요?
b. 우리의 반응에 영향을 미치는 잠재적인 잡음 변수가 있는가? 만약 그렇다면, 앞으로 이를 어떻게 처리할 것인가? 블로킹? - 어떻게 찾을 수 있는가?
c. Are there other factors we need to think about?- 이걸 어떻게 찾을 수 있나요?
2. 이 모든 반복 실험을 통해 순수 오차를 정확하게 추정할 수 있을 것입니다. 오차가 충분히 크면 신호가 압도되기 시작할 것입니다. 반응과 관련된 측정 시스템 변화에 대해 어떻게 알고 계신가요? 만약 너무 크다면 측정 시스템 노이즈를 줄이는 작업이 필요할 수도 있습니다. - MSA의 기본 원리와 반응에 미치는 영향은 알고 있습니다. 그렇다면 DOE 수준에서 이들을 어떻게 활용해야 할까요?
Re: 각 DOE의 노력@스탯맨 감사합니다
죄송합니다. 7번이 아니라 사용자 정의 디자인을 사용하여 10번 실행했고, 7번 실행 중에 두 개의 연속 변수만 변경되었습니다.
3. 노이즈가 많은 것 같습니다. 노이즈를 처리할 더 나은 전략(예: RCBD, BIBD, 분할 플롯)이 필요할 수 있습니다 . JMP DOE에서 이러한 전략을 어떻게 사용할 수 있을까요?
4. 상황에 대한 지식이 거의 없는 상태에서, DOE 전에 COV/표본 추출부터 시작하는 것이 좋습니다. COV 연구를 어떻게 수행하고 DOE 전에 적절한 표본 추출 횟수를 선택해야 할까요? 저는 일반적으로 전체 DOE(즉, 전체 DOE에 대해 수행된 셀)의 표본 크기를 38~52로 유지합니다 .
4. R^2는 모델을 평가하는 데 사용해야 하는 여러 통계량 중 하나일 뿐이며, 최선의 방법은 아닙니다. - 그렇다면 모델을 평가하는 데 가장 좋은 다른 통계량은 무엇인지 알려주시겠습니까? 저는 항상 패턴, CI, 적합도 부족, 매개변수 추정치, 그리고 때로는 정규화된 RMSE를 찾습니다.
Re: 각 DOE의 노력@빅터_G 감사합니다
아니요, 최종 셀을 만들기 전에 너무 많은 공정이 필요하기 때문에 소음 원인을 평가해 본 적이 없습니다.
잔차에는 특별한 패턴이 없습니다.
이 과정에 대한 첫 번째 실험계획법(DOE)이기 때문에 (제 경험상은 아닙니다) 다항식이나 상호작용 효과는 기대하지 않습니다. 머신러닝 기법을 적용하지 않았습니다.
차단은 아직 완료되지 않은 작업이지만, 모든 세포가 같은 날, 같은 도구, 같은 사람, 같은 재료를 사용하여 수행된다면 어떤 이점이 있을까요?
Re: 각 DOE의 노력제 생각에는 어떤 설계의 분석이든 최소 R^2 값이라는 것이 존재합니다. R^2는 특정 모델이 설명하는 변동성을 명확히 나타내는 하나의 숫자일 뿐입니다. 분석의 목표는 '좋은 통계량'을 얻는 것이 아니라, 실험 목표와 목적을 충족하는 것입니다. 따라서 이러한 목표와 목적이 충족되지 않는다면 R^2나 다른 통계량에 대해서는 전혀 신경 쓰지 않습니다. 나머지 세 가지 질문, 즉 '이것들을 어떻게 찾을 수 있을까?'에 대해서는 해당 분야의 지식, 실험 수행, 과거 경험, 그리고 당면한 문제에 적용할 수 있는 기본 원리 지식을 통해 해결할 수 있습니다. 그러니 제가 먼저 시작해서 도와드리겠습니다.
1. 레벨과 관련하여, 레벨을 어디에 설정해야 할지 정말 모르겠다면 DOE는 아마도 시기상조일 것입니다. 추천하기는 싫지만... 만약 레벨이 확실하지 않다면, 한 번에 하나씩 시도해 보면서 원하는 레벨을 찾을 수 있는지 확인해 보는 것이 좋을 것 같습니다.
2. 잠복 요인... 바로 이 부분에서 도메인 지식이 중요한 역할을 합니다. 예를 들어, 두 대의 서로 다른 '기계'에서 실험을 진행해야 할 수도 있습니다. 두 기계가 동일하기를 바라지만, 반응에 미치는 영향이 동일하지 않은 상황을 방지해야 합니다. 바로 이 부분에서 일종의 차단(blocking)이 작용합니다. 또는 요인들이 변경하기 어려운 경우, 예를 들어 용기의 온도처럼 낮은 온도 값을 모두 합친 후 높은 온도 값을 적용하여 온도의 무작위성을 제한하고 싶을 수도 있습니다. 이러한 상황에서는 '분할 플롯(split plot)' 설계(차단의 한 가지 형태)라고 하는 것이 권장됩니다. 실험과 그 주변 환경을 고려하고 도메인 지식을 활용하여 이러한 잠복 요인을 방지하거나 최소한 고려하십시오. 또한 저는 실험이 진행될 때마다 항상 현장에 가서 의심스러운 것이 있는지 '감시'하려고 노력했습니다.
3. 실험을 계획할 때 영향을 미칠 수 있는 모든 요소를 브레인스토밍하는 데 시간을 투자하셨나요? 그렇다면 '네'라고 답하고 목록을 작성해서 보관하셨을 겁니다. 분석 후 그 목록을 다시 검토하고 다른 요소들을 시도해 볼 때가 아닐까요?
4. 측정 시스템 변동에 대해, 우리가 자주 사용하는 경험칙은 측정 시스템 변동이 우리가 구하려는 신호 변동의 1/4이 되어야 한다는 것입니다. 하지만 여러분의 상황은 완전히 다를 수 있습니다.
도움이 되길 바랍니다.
