DoE 모델 문제 확대친애하는 JMP 커뮤니티 여러분,
현재 우리는 두 개의 실험 블록을 기반으로 DoE 모델을 설정하고 있습니다.
첫 번째 블록은 7개 요인의 주 효과와 2차 효과를 포함하는 22개의 실행이 포함된 맞춤형 DoE 설계였습니다. 두 번째 블록은 주효과, 2차 효과 및 16개의 실행(2개의 블록으로 분리된 총 38개의 실행)에 대한 가능한 모든 2요인 상호작용을 포함하는 증강 설계였습니다.
두 번째 블록에서는 요인 중 두 개에 대해 요인 수준이 첫 번째 블록보다 더 넓었습니다.
또한, 발생할 가능성이 낮은 것으로 평가된 7개의 2요인 상호 작용은 모델 대화 상자에서 "가능한 경우"로 설정되었습니다. 다른 모든 요소는 "필요"로 유지되었습니다.
일반적으로 우리는 "실행"(성격: 표준 최소 제곱, 강조: 효과 스크리닝)을 클릭하여 설계에서 나오는 모델 효과만 고려하여 Fit Model Platform으로 모델을 설정한 다음, 모델에서 중요하지 않은 모델 효과를 수동으로 제거합니다. 모델.
다음과 같은 상황이 발생했습니다. 어떤 경우에는 "모델에 효과가 없습니다"라는 오류 메시지가 표시됩니다.
AICc 또는 BIC를 사용하여 순방향을 통한 단계별 평가(성격: 단계적)는 둘 다 상당한 효과가 있는 모델을 생성합니다.
당신에게 우리의 질문은
- 단계적 모델에 대해 "가능한 경우" 등급은 어떤 형식으로 고려됩니까? 이전에 '가능하다면'으로 평가되었던 유의미한 효과가 나타난다면 이는 해당 디자인의 힘이 이를 설명하기에 충분했다는 의미입니다. 그러나 "가능하다면" 효과가 보이지 않는다면, 그것이 고려되었다는 것을 어디서 알 수 있습니까?
- 수동 방식은 문제를 보고하는 반면 단계적 방식은 작동하는 이유는 무엇입니까?
- BIC 기준은 AICc 기준보다 훨씬 더 큰 모델을 생성합니다. 훨씬 더 작은 AICc 모델을 신뢰하는 이유는 무엇입니까?
여러분 모두에게 미리 깊은 감사를 드립니다. 최고의 안부를 전합니다.
C.와 A.
고급 통계 모델링기본 데이터 분석 및 모델링Re: DoE 모델 문제 확대간단히 설명하자면, 이 오류는 계층 구조(유전 아님)의 원칙을 따르지 않은 결과입니다.
Re: DoE 모델 문제 확대불행히도 나는 귀하의 구체적인 상황을 이해하지 못하지만 귀하의 접근 방식에 혼란을 느낍니다.차단은 디자인 공간과 관련된 NOISE를 처리하는 데 사용되는 기술입니다.소음은 프로세스에서 관리하거나 제어할 의향이 없는 요소입니다.잡음을 일정하게 유지하고 추론 공간에 부정적인 영향을 미치는 대신 잡음이 블록과 혼동됩니다.이는 설계의 정밀도에 부정적인 영향을 주지 않으면서 추론 공간을 증가시킵니다.설계의 완전한 복제인 완전 블록(RCBD) 또는 블록을 분할하는 불완전 블록(BIB)을 실행할 수 있습니다.
물론 실험을 설계하고 분석하는 방법에는 여러 가지가 있습니다.모든 상황에서 가장 좋은 접근 방식은 없습니다.설계 선택에 영향을 미치는 여러 가지 요소(예: 잡음 전략, 제약 조건, 요소 수, 원하는 해상도(선형 및 비선형 모두), 추정할 원하는 효과, 무작위화에 대한 제한 등)가 있으며 이러한 요소는 다음과 같습니다. 디자인을 선택하기 전에 고려하십시오.설계를 선택할 때 어떤 효과를 추정할 수 있는지, 어떤 효과가 혼란스러울지, 어떤 효과가 제한될지 고려해야 합니다.이것은 얻을 수 있는 잠재적인 지식입니다.이 지식은 필요한 자원과 균형을 이루어야 합니다.
내 편견은 빼기 모델 구축 접근 방식으로 실험을 분석하는 것입니다.이는 포화된 모델로 시작하여 중요하지 않은 용어를 제거하는 것입니다.실험을 설계할 때 염두에 둔 모델이 있기 때문이다.과거/관찰 데이터를 사용할 때 나는 실험에서 궁극적으로 테스트될 가설을 개발하기 위한 단서를 찾기 위해 추가적 접근(예: 단계적)으로 시작합니다.
마지막으로 항상 데이터에 대한 실질적인 평가부터 시작하십시오.추가 조사가 필요할 만큼 연구에서 반응 변수가 충분히(실질적으로 유의미하게) 변경되었습니까?다음으로, 그래픽 분석(반응 변수의 패턴과 x의 패턴 일치를 찾는 데이터의 다중 플롯)입니다.마지막으로 정량적 분석과 Victor가 제안한 대로 여기에 사용된 여러 통계가 있습니다.
Re: DoE 모델 문제 확대안녕 @statman ,
설명과 수정에 감사드립니다.
차단에 관해서는 다음과 같습니다. @I-love-jmp 그가 설계를 증강했다고 언급한 것은 "새 실행을 별도의 블록으로 그룹화" 옵션을 사용하여 설계를 강화했다는 뜻이라고 생각합니다. 따라서 원래 설계에 대한 블록과 증강된 실행에 대한 블록을 사용하여 설계에 차단 요소를 추가했습니다. 이는 실제로 측정 시스템의 교정 오류 및/또는 이동/드리프트가 발생할 수 있는 일련의 실험이 시간에 따라 분리될 때 우수하고 "안전한" 방법일 수 있습니다.
DoE 데이터(및 선험적 모델)와 관측 데이터(및 데이터 마이닝/모델 불가지론적 접근 방식) 간의 모델링 사고방식에 대해 귀하의 의견에 전적으로 동의합니다.
Re: DoE 모델 문제 확대안녕 @I-love-jmp ,
커뮤니티에 오신 것을 환영합니다!
본 오류 메시지는 유전 원리를 위반할 때 나타날 수 있습니다. 예를 들어 2차 효과 또는 2요인 상호 작용을 도입했지만 관련 주효과는 도입하지 않았습니다. DoE는 효과 희소성, 효과 유전 및 효과 계층 구조, 이 답변에 대한 추가 정보 및 세부 사항의 세 가지 원칙을 기반으로 합니다. DoE 원칙 - JMP 커뮤니티
일반적으로 모든 주효과가 존재하는지 확인하면 이 메시지를 피하는 데 도움이 됩니다.
이 메시지가 이 문제와 연결되어 있는지 확인하려면 더 많은 컨텍스트, 아마도 이 문제를 재현하는 데이터 테이블(익명화된 데이터 포함)을 갖는 것이 더 나을 것입니다.
"가능한 경우" 설정은 설계 생성에 사용되며 분석에 영향을 미칠 수 있습니다. 이는 기본적으로 JMP(및 그 뒤에 있는 좌표 교환 알고리즘)에게 조사하려는 용어에 대한 우선순위/순위, 계산해야 하는 추정치의 상대적 정밀도, 학습을 극대화하기 위해 리소스(설계 포인트)를 할당하는 방법을 알려줍니다. (필요한 효과와 가능한 경우 효과 포함)
때로는 이러한 효과를 추정하기 위해 포인트가 할당될 수도 있지만, 사용자가 요청한 실험 공간 및/또는 실험 예산(실행 횟수)의 제한으로 인해 불가능할 수도 있습니다. "가능한 경우" 효과 항은 필요한 실행 수를 늘리지 않으므로 기본적으로 모델 패널에 이러한 효과를 입력하지 않은 것과 동일한 실행 수가 발생합니다.이는 분석 방법에 관계없이 설계의 점 및 별칭 할당에 따라 분석에서 이러한 효과를 추정할 수도 있고 추정하지 못할 수도 있음을 의미합니다.
자세한 기술 정보는 여기를 참조하세요. 가능한 효과가 있는 디자인(jmp.com)
단계적 모델링은 기본적으로 효과 유전 및 효과 계층 구조를 가정하지 않고 기준(AICc, BIC, p-값 등)을 기반으로 최상의 모델을 찾으려고 시도하는 "불가지론적" 방법입니다. 따라서 표준 최소 제곱법(모든 DoE 원칙을 존중함)과 다른 모델이 나올 수 있습니다. 나는 DoE가 생성한 데이터 세트에서 이러한 원칙을 분명히 존중하려고 노력할 것이며, 이 요인을 포함하는 상위 차수 효과가 여전히 존재하는 경우 주 효과(통계적으로 중요하지 않더라도)를 제거하지 않을 것입니다.
따라서 Stepwise는 효과 유전이나 계층 구조 원칙을 깨더라도 작동합니다. 가능한 많은 모델을 평가하고 모델을 가장 잘 개선하는 용어를 사용하기 때문입니다.
특정 구조 및 데이터 생성이 포함된 데이터 세트를 처리할 때 이전 모델링을 다른 접근 방식의 새로운 통찰력과 비교하려는 경우를 제외하고는 Stepwise와 같은 데이터 마이닝/"불구론적" 모델링 방법을 사용하지 않는 것이 좋습니다.
이상한 상황입니다. 일반적으로 BIC는 계산 차이로 인해 AICc보다 더 많은 용어를 사용하여 모델에 불이익을 주기 때문입니다. https://www.jmp.com/support/help/en/17.1/index.shtml#page/jmp/likelihood-aicc-and-bic.shtml
그러나 귀하의 상황을 매우 쉽게 재현할 수 있었기 때문에 이는 드문 일이 아닙니다.
결국, 모델링을 안내하는 정보 기준은 "단지"입니다. 흥미로운 점은 동의하는 용어와 다른 용어를 비교하고 다른 측정항목을 사용하여 가능한 다양한 모델을 평가하는 것입니다(통계적 유의성). 모델, R² 및 R² 조정, 모델의 RMSE ...) 목표에 따라 이러한 모든 정보와 도메인 전문 지식을 바탕으로 결정을 내리십시오!
이 답변이 도움이 되길 바라며,
Re: DoE 모델 문제 확대이 답변은 논쟁이 아니라 단순히 설명의 요점입니다. 다양한 사람들이 '계층구조'와 '유전'이라는 용어를 같은 의미로 사용합니다. JMP에서 이러한 용어를 사용하는 방식은 다음과 같습니다.
• 효과 계층 구조 – 1차 효과는 가장 큰 변화를 나타내며 2차 효과를 나타냅니다.
변동이 적은 것을 고려하십시오.
• 효과의 유전 – 고차항은 일반적으로 중요한 주효과를 갖는 요인을 포함합니다.
Re: DoE 모델 문제 확대감사해요 @마크_베일리 !
나는 동일한 정의를 염두에 두었고 첫 번째 답변에서 언급한 응답에서도 마찬가지였습니다.
이것이 바로 오류 메시지가 다음과 같은 직접적인 결과라고 생각한 이유입니다. 유전 원리 (왜냐하면 분석 전 모델 구조에 영향을 미치고, 이는 데이터 생성 프로세스/설계 구조와 일치하지 않기 때문입니다.) 계층 원칙 손상되었습니다(모델이 시작되면 분석 및 변형 재분배에 더 많은 영향을 미치기 때문입니다).
확인 및/또는 설명해주실 수 있나요?
Re: DoE 모델 문제 확대오류는 계층 구조의 원칙을 위반하기 때문에 발생합니다.분석에 지정된 고차 항이 있지만 저차 항이 누락된 경우 오류가 발생합니다.유전으로 인해 오류가 발생할 수 없습니다.유전은 혼란스러운 고차 용어를 이해하는 데 도움을 주기 위해 사용됩니다.예를 들어, Res IV 부분 계승을 실행했고 분석 중에 중요한 효과를 발견했다고 가정해 보겠습니다.효과는 별칭 항의 함수입니다(예: 주효과는 3차 상호작용과 별칭이고, 2요인 상호작용은 다른 2요인 상호작용과 별칭입니다).
X4= X1*X2*X3(설계 생성기); 나는=X1*X2*X3*X4
X1*X2=X3*X4
우리는 주 효과가 영향력 있는 효과 대 3차 효과일 가능성이 높다는 결론을 내리기 위한 정당화로 계층 구조 원리를 사용할 수 있습니다.계층은 여러 2차 효과가 포함된 효과를 지원하는 데 도움이 되지 않습니다(동일한 계층입니다).2가지 요인 상호작용 중 어느 것이 중요한 효과에 기여할 가능성이 가장 높은지 이해하는 데 도움을 주기 위해(이들은 별칭이므로 도움이 되는 수학이 없음을 기억하십시오) 유전 원리를 적용할 수 있습니다.우리는 주효과 중 중요한 것이 있는지 확인하고, 그렇다면 중요한 주효과를 포함하는 2요인 상호작용이 기여할 가능성이 있다는 증거를 가지고 있는지 확인합니다. 예:
X1은 유효함(X1=X2*X3*X4)
X1*X2는 중요합니다(X1*X2=X3*X4). X1도 활성화되어 있으므로 X1*X2인 것으로 의심됩니다.
Re: DoE 모델 문제 확대Victor_G, statman, Mark_bailey님께,
우선, 우리의 질문에 대해 귀하가 제공한 조언, 설명 및 토론에 대해 진심으로 감사드립니다. 귀하의 의견에 진심으로 감사드립니다!
다들 답변이 늦어서 죄송합니다. 차단 요소에 관해서 Victor_G는 매우 잘 설명했습니다. 이 요인은 시간에 따른 블록 분리로 인해 발생할 수 있는(또는 발생할 가능성이 있는) 변동을 설명하기 위해 도입되었습니다(그리고 시간 외에 차단에 추가되는 가장 중요한 다른 요인도 있습니다).
모델 생성 중 오류 메시지 관련: 유전 및 계층 구조에 대한 설명을 고려하면 여기서 요점을 정확하게 파악하고 오류 메시지를 피할 수 있었던 것 같습니다.
DoE 및 기본 수행 실험에 대한 더 많은 컨텍스트를 제공하기 위해 여기에 증강 설계가 있습니다.
요인 "a"를 포함하는 2가지 요인 상호 작용의 경우 모델의 추정 가능성은 해당 상호 작용이 주제 전문 지식을 기반으로 중요하지 않을 것으로 평가되었기 때문에 "가능한 경우"로 설정되었습니다.
이제 표준 최소 제곱 접근 방식을 사용하는 Fit Model Platform에서 볼 수 있는 것은 다음과 같습니다(노란색 = 주효과, 2차 효과, 필요에 따라 평가된 2요인 상호 작용, 파란색 = 가능한 것으로 평가된 2요인 상호 작용).
일반적으로 모형에 중요한 항만 남을 때까지 아래에서 위로 항을 제거합니다. 이제 여기서 문제는 무엇보다도 매우 큰 P값(블록 외에)만 발생하고 두 번째로 주효과가 하단에 있는 요인이라는 것입니다. 따라서 "아래에서 위로 용어 제거"라는 표준 절차를 사용할 수 없습니다. 파란색 사각형 아래에 숨겨진 효과는 "가능한 경우" 상호 작용입니다.
예를 들어 "가능한 경우" 상호 작용 중 하나를 삭제하면 어떻게 됩니까? 하지만 그 중 3개(어떤 것이든 상관없음)를 삭제하면 갑자기 모델이 다음과 같이 보입니다. 따라서 여기서부터 기본적으로 "아래에서 위로" 제거 접근 방식을 계속 진행할 수 있습니다.
이제 문제는 모델 생성을 어떻게 진행하느냐 하는 것입니다. "가능한 경우" 상호 작용 중 3개를 삭제할 수는 없습니다. 이러한 상호 작용은 중요한 용어일 수 있기 때문입니다. 여기에는 그 중 일부(파란색 사각형)가 중요한 P값을 갖는 모델에 남아 있으므로 여기에 설명되어 있습니다.
현재 우리는 매우 혼란스럽습니다. 왜 이런 일이 발생하는지, 그리고 이 문제를 어떻게 해결할 수 있는지 조언을 주실 수 있습니까?
다시 한 번 시간을 내어 주셔서 진심으로 감사드립니다. 감사합니다.
C와 A
Re: DoE 모델 문제 확대안녕 @I-love-jmp ,
질문에 직접 대답하지는 않지만 차단으로 인한 평균 변화 반응(시간 및 기타 통제되지 않은 요인)으로 인한 변동성 변화에 더 관심이 있으므로 차단 요인을 "랜덤"으로 설정하려고 할 수 있습니다. 재현할 수 없습니다.)
모델을 생성할 때 "블록"을 클릭하고 속성에서 빨간색 삼각형을 클릭하여 이 용어를 무작위 효과로 지정합니다.
이렇게 하면 Block as Random 효과를 사용하는 혼합 모델이 생성되며 해당 모델의 중요성은 반응 평균이 아닌 반응 가변성의 변화를 기반으로 평가됩니다. 이는 또한 다른 요소가 차단 요소와 직접 비교되지 않기 때문에 스스로를 "표현"하는 데 도움이 됩니다.
다른 질문에 대해서는 나중에 답변해 드리겠습니다(필요한 경우).
