도움말: DOE 차단, 분할/스트립 도표, 공변량, 방해 요인 및 ANCOVA에 관한 모범 사례안녕하세요 여러분,
위 주제에 관해 전문가와 집단적 사고로부터 피드백을 받기를 바랍니다. 먼저 시나리오를 설명한 다음 당면한 문제를 살펴보겠습니다.
대본: 우리 사업은 종종 R&D 인력이 운영하는 DOE가 외부 방해 요소로 인해 어려움을 겪는 상황에 처해 있으며, DOE를 "저장"하기 위해 이를 관리하는 것은 때때로 어려운 일입니다. R&D 담당자는 일반적으로 한 번에 여러 요소를 테스트하기 위해 DOE를 생성합니다. 이 프로세스에서는 일반적으로 3개의 배치가 여러 개 만들어지며, 결과에 영향을 미치는 요인을 테스트하기 위해 각 배치에는 서로 다른 레시피가 있습니다. 레시피에 들어가는 요소는 모두 연속 요소이며 설계에 따라 일반적으로 2단계(낮음/높음)입니다. 분산을 추정하는 데 도움이 되도록 중앙점이 포함되는 경우가 많습니다. R&D 인력은 일반적으로 3, 6, 9 등의 배치를 만듭니다. 그 이유는 공정의 초기 단계 후에 배치를 오븐에서 건조해야 하고 한 번에 3개의 배치만 건조할 수 있으므로 배치 수량은 3의 배수이기 때문입니다. 배치는 첫 번째 단계 후에 즉시 건조됩니다.건조 직후 재료가 밀링됩니다.하루 동안의 시간이 제한되어 있기 때문에 매일 실행되는 실행 횟수는 고정되어 있을 수 있으며, 이는 3의 배수가 되며 하루에 실행되는 실행 횟수는 9회를 넘지 않습니다.
문제: 오븐 위치의 물리적 제한으로 인해 외부 주변 온도 및 습도(주로 습도)가 성가신 요인입니다. 나는 그것들이 알려져 있지만 통제할 수 없다는 의미에서 귀찮은 일이라고 부릅니다. 주변 온도와 습도는 3개의 배치 세트를 건조용 오븐에 넣을 때 측정할 수 있지만 이러한 요소를 제어하거나 미리 알 수 있는 방법은 없습니다. 건조 단계 중(및/또는 직후) 습도가 재료에 영향을 미칠 수 있는 것으로 알려져 있으며 주변 온도도 영향을 미칠 수 있다고 의심됩니다.
논의: 제가 더 잘 이해하고 싶은 것은 DOE에서 이러한 방해 요소를 관리하는 방법입니다. 확실히 우리는 날짜별로 차단하고 각 블록 내에서 잘 분산된 무작위 실행 세트를 가질 수 있으므로 배치가 만들어지고 건조된 날짜에 도입된 노이즈의 추정치를 얻을 수 있습니다. 또한 이를 고정 효과(실제로는 고정되어 있지 않더라도)로 도입할 수도 있는데, 이는 각 블록의 일일 평균 차이를 추정하는 데 도움이 됩니다. "낮"을 효과를 변경하기가 "매우 어려운" 것으로 간주하여 분할 플롯 설계를 얻을 수도 있습니다. 그러면 해당 요소가 다른 요소와 어떻게 상호 작용하는지 확인하는 데 도움이 됩니다. 하지만 습도와 습도를 제어할 수는 없습니다. 실험이 시작되기 전에는 어떻게 될지 모르겠습니다. 이를 공변량으로 처리할 수 있으며, 이를 위해서는 응답에서 방해 요소의 영향을 제거하기 위해 ANCOVA 분석을 수행해야 합니다. 또는 단순히 방해 요인을 통제되지 않은 요인으로 도입할 수도 있습니다.
몇 가지 논의 사항:
- 방해 요소로 인해 발생하는 잡음을 추정할 필요는 없지만 무작위 차단을 제안하는 것이 좋을 것입니다.
- 귀찮은 요인으로 인한 일일 변동을 추정하는 것도 좋을 것이며, 이는 고정된 차단을 제안할 것입니다.
- 이러한 성가신 요인이 다른 알려진 주요 요인과 상호 작용하는지 또는 어떻게 상호 작용하는지 확인하는 것도 좋을 것입니다. 이를 통해 요인을 변경하기가 "매우 어려운" 것으로 포함하는 것이 좋습니다. 그러나 실제로는 우리가 제어할 수 없기 때문에 요인을 변경하는 것이 불가능합니다. .
- ANCOVA를 수행하면 다른 날에 만들어진 배치를 비교하기 위해 방해 요인을 제거하는 데 도움이 될 수 있습니다. 그러나 JMP에서 이 작업을 수행하려면 올바른 종류의 분석을 얻기 위해 연속 공변량 요인과 결합된 단일 범주형 요인만 사용할 수 있다는 것이 제가 이해한 바입니다. 우리는 확실히 ~할 수 있었다 주요 요소 중 일부를 범주형 데이터 유형으로 변경했지만 문제는 모든 모델에 포함되어야 하는 몇 가지 주요 요소가 있다는 것입니다. 이렇게 하면 JMP는 ANCOVA에서 예상했던 것처럼 더 이상 데이터를 다양한 적합선으로 분할하지 않습니다. 모델에 여러 요인이 있는 상황에서 JMP가 어떻게 ANCOVA를 수행하는지 완전히 이해하지 못할 수도 있습니다. 이 주제에 대한 샘플 데이터와 온라인 도움말은 매우 제한되어 있습니다.
- 마지막으로 이를 제어되지 않는 변수로 모델에 추가하고 수준을 비워 두고 실행이 실행될 때 데이터를 채울 수 있습니다. 나중에 모델을 분석하면 통제되지 않은 변수가 반응에 영향을 미치는지 여부가 표시되어야 합니다.
몇 가지 질문:
- 일반적으로 한 번에 고정된 수의 배치가 건조되고 모든 배치가 성가신 요인의 영향을 받을 수 있는 이러한 종류의 시나리오에서 어떤 효과가 있는지 이해하기 위해 성가신 요인을 모델에 통합하는 최선의 접근 방식이 있습니까? , 있다면 응답에 있습니까?
- 단일 접근 방식을 사용할 것인가 아니면 혼합 접근 방식을 사용할 것인가? 예를 들어 무작위(또는 고정) 차단만 사용하는 것이 가장 좋은가요, 아니면 무작위 차단을 사용하면서 방해 요인도 제어되지 않는 변수로 포함하는 것이 가장 좋은가요? 마찬가지로, 습도와 기온을 제어할 수 없는 요소로 포함시키면서 Day를 변경하기 매우 어려운 요소로 사용하는 것이 가장 좋습니까?
- ANCOVA가 정말 올바른 접근 방식인가요? 아니면 잘못된 결론으로 이어질 수 있나요?
- 귀하의 직장에서도 유사한 상황을 처리해야 했던 적이 있습니까? 그렇다면 불편요인을 관리하기 위해 어떤 방법론을 사용하셨습니까?
도움을 주셔서 감사드리며 답변을 기다리겠습니다.
감사해요!,
DS
실험 설계Re: 도움말: DOE 차단, 분할/스트립 도표, 공변량, 방해 요인 및 ANCOVA에 관한 모범 사례안녕 @statman ,
이 토론에 대한 귀하의 생각과 피드백에 진심으로 감사드립니다. 솔직히 JMP나 해당 분야 전문가 중 어느 누구도 이 토론에 참여하지 않았다는 사실에 조금 놀랐습니다. 비슷한 상황에 처한 다른 사람들도 있을 것이라고 생각하고 통제할 수 없는 성가신/소음 요인을 관리할 방법을 찾고 있습니다.
글쎄요, 토론과 우리 그룹이 실제로 노이즈 요인을 조작할 수 있는 것에 기초하면 위의 옵션 3이 최선의 선택이 될 것 같습니다. 이는 무작위 블록이 생성되고 노이즈가 다음과 같이 추가되는 혼합 접근 방식이 될 것입니다. 모델의 공변량. 이것이 #4처럼 최선의 접근 방식은 아닐 수도 있지만, 적어도 우리가 직면하고 있는 일부 문제를 해결하는 데 사용할 수 있는 실용적인 접근 방식이라고 생각합니다.
귀하의 도움과 좋은 토론에 다시 한번 감사드립니다!
DS
Re: 도움말: DOE 차단, 분할/스트립 도표, 공변량, 방해 요인 및 ANCOVA에 관한 모범 사례안타깝게도 이는 일대일 토론에 가깝고 이 포럼을 통해 수행하기가 어렵다고 생각합니다. 실험을 계획하는 데 도움이 되는 몇 가지 순서도와 템플릿이 있지만 일반적으로 사용하기 위한 것이 아니며 상황에 따라 다릅니다. 물론 토론할 수 있는 몇 가지 일반적인 지침을 제공하겠습니다. 소음 처리에는 네 가지 "철학"이 있습니다.
1. 내가 엔지니어와 과학자들 사이에서 가장 흔히 발견하는 것은 실험 중에 소음을 일정하게 유지하려는 욕구입니다. 그렇게 하면 오류가 크게 줄어들고 요인을 쉽게 식별할 수 있을 것으로 생각됩니다. 불행하게도 이는 추론 공간을 감소시키므로 분석 작업에 좋지 않은 전략입니다(그러므로 이 작업을 수행하지 마십시오).
2. 일반적인 접근 방식은 일종의 무작위 복제를 사용하는 것입니다. 이는 추론 공간을 늘리고 무작위 오류에 대한 더 나은 추정을 제공하여 "더 나은" 통계 테스트를 제공할 수 있습니다(그리고 분석 가정을 충족할 가능성을 어떻게든 향상시킵니다). 이는 설계의 정밀도에 부정적인 영향을 미칠 수 있습니다.
3. 또 다른 통계적 접근 방식은 노이즈(또는 노이즈 요인 세트)를 할당하여 그 효과를 오류 추정(MSE)에서 제거하여 통계 테스트의 정밀도를 높이는 것입니다. 공변량의 사용뿐만 아니라 무작위 블록의 사용도 이를 달성할 수 있습니다. 이는 추론 공간을 늘리는 추가적인 이점도 있습니다. 유의미한 통계적 테스트에 중점을 둡니다.
4. 아마도 보다 분석적인 접근 방식은 먼저 소음을 식별하고 잠재적인 소음 효과에 대한 가설을 개발한 다음 의도적으로 해당 소음 요인을 조작하는 것입니다. 이는 블록을 고정 효과로 사용하여 수행할 수 있습니다(실제로 여러 잡음 요인을 결합하고 실험에서 모든 요인을 극단적인 수준으로 설정하기 때문입니다). 이 접근 방식은 정확도에 부정적인 영향을 주지 않으면서 추론 공간을 늘리고 견고성을 추정할 수도 있습니다.
"할 수 있는 것은 차단하고, 할 수 없는 것은 무작위로 지정하세요." GEP 상자
분할구 실험 아이디어는 실험에서 조작되고 계승화될 수 있는 특정 잡음 변수가 있을 때 사용됩니다. 이는 추론 공간 증가, 정밀도 증가, 잡음 상호 작용에 의한 설계 요소의 탁월한 분해능을 제공합니다.
나는 이 논문을 적극 추천합니다:
박스, GEP, 스티븐 존스(1992), “ 강력한 제품 실험을 위한 분할 플롯 설계 ", 응용통계학회지 , Vol. 19, 1호
Re: 도움말: DOE 차단, 분할/스트립 도표, 공변량, 방해 요인 및 ANCOVA에 관한 모범 사례안녕 @statman ,
답변과 생각/의견을 보내주셔서 감사합니다. 다음은 귀하의 질문에 대한 답변입니다.
- 안타깝게도 세부 사항에 관해 너무 많이 공유할 수는 없지만 제가 할 수 있는 것은(일반적인 용어로) 공유하겠습니다. 일반적으로 R&D에서는 궁극적으로 연속 공정으로 생산될 제품의 레시피를 개발합니다. 그래서 어떤 면에서는 레시피이자 과정이기도 합니다. 실험실 규모의 재료는 배치로 만들어지는 반면 공정은 연속 공정입니다. 모든 성분의 합이 특정 값과 같아야 한다는 고정된 규칙이 없기 때문에 혼합물을 고려할 필요가 없습니다. 더 중요한 것은 전체에 대한 하나의 구성 요소의 비율입니다. 예를 들어 X1은 전체의 0.05%이고 X2는 전체의 0.1%일 수 있지만 X1+X2+X3+...Xn은 1과 같아야 한다는 제한은 없습니다. 우리는 실험실 배치 공정에서 연속 공정으로 전환하는 것이 직접적인 1:1 또는 성분의 고정 비율 변경이 아니라는 것을 알고 있습니다. 그러나 일단 견고한 실험실 제품이 있으면 이를 연속 생산으로 전환하는 것이 매우 간단합니다. 프로세스.
- 레시피의 다양한 구성요소가 측정된 결과에 어떤 영향을 미치는지 잘 이해됩니다. 우리는 다른 X를 변경하면 특정 Y도 이에 상응하는 변경을 가져온다는 것을 알고 있습니다. 그러나 고객이 특정 특성을 지닌 재료를 요청할 경우 고객이 원하는 원하는 Y를 얻기 위해 X를 변경할 수 있습니다. 위의 예에 따르면 한 고객은 X1을 0.025%, X2를 0.075%로 설정하고 다른 고객은 X1을 0.1%, X2를 0.1%로 설정할 수 있습니다. 그것은 모두 그들의 필요에 달려 있습니다. R&D는 이 단계에서 DOE를 수행합니다. 왜냐하면 건조 및 분쇄 단계 후에 실제로 매우 유사한 Y를 초래할 수 있는 X를 변경하는 여러 가지 접근 방식이 있기 때문입니다. 이러한 접근 방식 중 일부는 다른 접근 방식보다 더 강력하고 일부(반드시 동일하지는 않음)는 프로세스의 두 번째 단계 후에 더 나은 재료를 생성합니다. 그러나 이는 다른 문제이며 첫 번째 단계부터 재료를 가져오는 자체 DOE 세트가 있습니다. 두 번째 단계에 대한 다음 DOE 라운드에 적용하기 위해 공변량으로 반올림합니다. 즉, 특정 결과 Y_target을 기반으로 Y_target의 +/-w 단위 내의 배치가 JMP를 사용하여 새로운 세트에 대한 공변량 입력으로 선택됩니다. 두 번째 단계에서는 X입니다. 그러나 앞서 말했듯이 이는 프로세스의 다른 단계이며 실험실 프로세스의 해당 부분이 통제된 환경에서 수행되기 때문에 주변 온도 및 습도의 영향을 받지 않습니다.
- 우리는 원자재 공급업체, 원자재의 수명, 실험실 장비의 청결도 등을 평가한 결과 이러한 요인으로 인해 발생하는 소음이 측정 시스템의 소음보다 훨씬 적다는 사실을 발견했습니다. 즉, 우리는 측정 시스템이 가능한지 여부도 테스트했으며, 실험 실행 간 감지할 표준 편차와 차이를 고려하여 측정하는 응답에 대한 것입니다.
- 실제 제조 공정에 관해서는 그렇습니다. 우리는 이를 지도화하여 소음의 가장 큰 원인이 어디에 있는지 알고 있습니다.
- 일반적으로 R&D는 DOE에서 고객 사양에 맞는 가장 견고한(소음) 소재를 찾고 싶어합니다. 그러나 결과를 바꿀 수 있는 외부 소음 요인(주로 온도 및 상대 습도)이 있습니다. 우리는 습도와 온도가 결과에 어떤 영향을 미치는지 이해하고 DOE 내에서 이러한 변화를 설명하여 서로 다른 날에 만들어진 샘플을 비교할 수 있기를 원합니다. 측정 시스템의 소음은 배치 간 변동, 원자재 공급업체, 입고되는 로트 재료 등으로 인한 소음보다 크다고 언급한 바 있습니다. 그러나 주변 온도와 RH로 인한 소음은 측정 소음보다 클 수 있습니다. 예를 들어, 모두 동일한 레시피를 사용하는 3개의 배치를 개별적으로 만들고 모두 건조하고 함께 밀링하는 경우 시스템의 일반적인 측정 오류 내에서 모두 동일한 Y 응답을 표시합니다. 그러나 RH가 높은 날(실제로 이는 종종 75-80%+ RH 수준에 가까움)에 동일한 레시피를 반복하는 경우 동일한 Y 응답에 대한 측정은 상당히 다른 값을 초래합니다. 첫 번째 게시물에서 언급했듯이 우리는 RH나 주변 온도를 제어할 수 없으며 R&D 담당자에게 RH가 높은 날에는 절대 실험을 하지 말라고 말할 수도 없으므로 이 날을 설명할 수 있는 DOE 프레임워크를 갖습니다. 오늘날의 변화를 살펴보고 노이즈가 Y 결과에 어떤 영향을 미치는지에 대해 조금이라도 설명하면 매우 도움이 될 것입니다.
실험을 설계하는 한 가지 방법은 없다는 것을 알고 있지만 R&D가 이 소음을 관리하고 이 소음의 영향을 받은 DOE를 복구하는 데 시간을 낭비하거나 길을 잃지 않도록 일반화된 프레임워크를 갖는 것이 도움이 될 것입니다. 일종의 흐름도 개념이라도 그들에게 일종의 구조화된 접근 방식을 제공하는 데 도움이 될 것입니다.
제가 어려워하고 이 게시물의 제목에서 암시하는 것은 실험자가 무작위 차단, 고정 차단, 분할/스트립 플롯, 공변량, 통제되지 않은 변수 또는 ANCOVA를 사용하여 우리가 사용하는 것과 같은 외부 노이즈를 관리해야 하는 시기와 이유입니다. 다시 경험하고 있습니다. 목표는 이러한 노이즈(온도/RH)에 대해 강력한 레시피를 개발하기 위해 노이즈가 Y 결과에 어떻게, 왜 영향을 미치는지 이해하는 것입니다. 어려운 점 중 하나는 X1, X2, X3 등의 상대적인 양에 따라 변경된다는 점입니다. X1, X2, X3 등은 각 고객의 다양한 요구 사항에 따라 다릅니다. 결과적으로 한 가지 상황에 대해 이 사실을 파악한 후에는 더 이상 반드시 다른 모든 상황으로 확장할 수 있어야 합니다. 방법이 고정되어서는 안 된다는 것은 알지만, 적어도 논리적인 결정 경로를 갖는 것이 아무것도 없는 것보다는 낫습니다. 지금까지 저는 JMP 도움말이나 온라인 웹 세미나에서 서로 다른 접근 방식을 구별하고 특정 접근 방식을 언제/왜/어디에서 고려해야 하는지를 잘 구별하는 방법을 많이 찾지 못했습니다.
이것이 우리가 다루고 있는 내용을 더 잘 이해하는 데 도움이 되기를 바랍니다. 다시 한 번 귀하의 피드백과 생각/의견에 감사드립니다. 나는 또한 이 문제에 대해 다른 사람들의 의견도 듣고 싶습니다. 우리만이 이와 같은 문제를 처리해야 하는 유일한 사람이 아니라고 확신하기 때문입니다.
감사해요!,
DS
Re: 도움말: DOE 차단, 분할/스트립 도표, 공변량, 방해 요인 및 ANCOVA에 관한 모범 사례DS, 먼저 귀하의 게시물이 꽤 잘 작성되고 상세하게 작성되었지만 몇 가지 중요한 누락 사항이 있다는 점을 말씀드리고 싶습니다. R&D 디자인이란 무엇인가? 레시피 일괄 생산되는 제품의 경우? 아니면 그것은 프로세스 배치를 만들기 위해? 또는 다른 것? 제제의 혼합물 성분을 고려해야 합니까? "승자를 선택"하려고 하시나요? 아니면 인과 구조를 조사하고 작동 방식과 이유를 알아보고 싶으신가요? 반복이 필요한 작업인가요? 둘째, 실험을 계획하는 올바른 방법은 없습니다. 실사 수행(가설 개발, 모든 x 식별, 가설을 x에 연결, 추정해야 할 효과 결정, 모델 효과 예측/순위 지정(적어도 2차까지) 등), 여러 계획 설계, 가능한 모든 예측 결과(및 모든 결과에서 수행할 작업)를 파악하고 얻은 잠재적 지식과 해당 지식을 얻는 데 드는 비용을 비교합니다.
즉, 귀하가 지적한 대로 확실히 많은 옵션이 있습니다. 내 초기 생각은 다음과 같습니다.
1. 방해요인을 전화할게요 소음 . 귀하의 게시물에 명시한 것보다 더 많은 것들이 있을 수 있다고 제안합니다(예: 측정 오류, 재료의 로트 간 변화, 혼합 시간의 일관성, 배치 온도 구배 내, 통의 청결성, 준수 능력 레시피, 오븐 변형 내 등), 그러나 귀하가 지정한 것은 귀하가 강한 가설을 가지고 있는 것임을 확실히 이해합니다. 귀하가 R&D에 종사하고 있는 것으로 알고 있는데, 실제 제조 프로세스(프로세스 매핑이 완료되었습니까?)를 연구한 사람이 있습니까? 배치 변동, 배치 간 변동, 성분의 로트 간 변동, 주변 조건, 오븐 간 등 내에서 측정 오류를 추정하기 위해 수행된 변동 연구(즉, 직접 샘플링)의 구성 요소가 있습니까? 노이즈의 변화 정도를 잘 파악하면 해당 노이즈를 실험에 포함하는 방법을 결정하는 데 도움이 될 수 있습니다. 또한 단기간에 소음을 관리하는 방법은 사용할 옵션에 영향을 미칩니다.
2. 반응변수는 무엇입니까? 측정 시스템이 적절합니까? 평균과 변동 모두에 대한 요인 효과에 관심이 있습니까? 분산 반응을 추정하기 위해 반복이 필요할 수 있습니다. 배치 변형 내에서와 같은 단기 노이즈 구성 요소에 특히 유용합니다.
3. R&D 환경에서는 일반적으로 다음과 같은 디자인을 원합니다. 소음에 강함 . 디자이너에게 소음은 일반적으로 고객의 손에 있는 제품의 제조 공정, 원자재 및 사용입니다. 설계의 견고성은 요인별 잡음 상호 작용이 없는 것으로 정의하겠습니다. 즉, 설계자는 변화하는 잡음에 대해 일관되게 작동하는 설계를 찾고 있습니다. 따라서 설계자는 설계 프로세스 초기에 잠재적인 요인별 잡음 상호 작용을 노출해야 합니다. 이렇게 하면 디자이너에게 상황을 해결하기 위한 가장 많은 옵션이 제공됩니다(생산 중에 문제를 발견하는 것과 비교). 이를 염두에 두고 다음을 수행할 수 있습니다.
a) 의도적으로 블록 내에서 소음을 가능한 한 일정하게 유지한 다음(단기간 동안 소음을 관리하기 위해 장비를 사용해야 할 수도 있음) 블록을 실행한 다음 추론 공간을 적절하게 확장하기 위해 소음을 과장하여 변경합니다(CoV 연구 참조). ). 블록을 고정 효과로 취급하고 블록별 상호 작용을 통해 견고성을 추정합니다.
b) 노이즈가 전체 플롯 또는 하위 플롯에 있을 수 있는 분할 플롯을 실행합니다(다구치 개념과 유사한 교차곱 배열은 분할 플롯만 분석함). 이러한 디자인은 전체 플롯과 하위 플롯 모두에 대해 향상된 정밀도와 함께 뛰어난 해상도를 제공합니다.
4. 노이즈를 측정하고 모델의 변동(공변량)을 설명할 수 있지만 이를 통해 통계 테스트의 정밀도가 높아지지만 필요한 통찰력을 제공하지 못할 수도 있습니다. 다시 한 번 질문은 여전히 승자를 원하는가 아니면 이해를 원하는가 하는 것입니다. 이해와 상관없이 작동하는 것처럼 보이는 모델을 원하시나요?
