효과 크기를 정의하는 것은 Logworth 또는 Scaled Estimates 중 무엇입니까?안녕하세요 커뮤니티,
요인 영향의 중요성을 결정하는 데 어떤 기준이 더 적절한지에 대한 질문이 있습니다. "로그워스"(p 값의 보다 명확한 시각화)입니까, 아니면 "확대 추정치"입니까?
샘플 데이터(Donev Mixture Data) 중 하나를 사용하여 작업할 때 Logworth 및 확장된 추정치(아래 이미지)에 대해 다음과 같은 결과를 얻었습니다.
로그워스:
확장된 추정:
첫 번째 이미지에서 Logworth가 가장 높은 것이 "Glyoxal"이라는 것을 알 수 있으며 이것이 더 영향력 있는 효과라고 생각합니다. 그러나 두 번째 그림의 "규모 추정치"를 살펴보면 Na2S2O3*Glyoxal 상호작용이 더 큰 영향을 미치는 것으로 보입니다.
제가 이것을 이해하도록 도와주실 수 있나요? 어떤 요소가 더 큰 영향을 미치는지 확인하기 위해 보고서에서 실제로 살펴봐야 할 부분은 무엇입니까?
감사합니다,
줄리안
고급 통계 모델링기본 데이터 분석 및 모델링실험 설계예측 모델링 및 기계 학습Re: 효과 크기를 정의하는 것은 Logworth 또는 Scaled Estimates 중 어느 것입니까?안녕하세요 @Julianveda 님 ,
통계적, 실제적 중요성이라는 두 가지 서로 다른 보완적인 정보를 비교하고 있습니다.
통계적 유의성은 관찰된 결과나 변수 간의 관계가 우연히 발생할 가능성을 나타냅니다. 즉, 두 개 이상의 변수 사이에 관계가 존재한다고 얼마나 확신할 수 있는지를 나타내는 척도입니다. 통계 분석에서 이는 일반적으로 관찰된 것만큼 극단적인 결과를 얻을 확률인 p-값(또는 해당 p-값의 -log 변환을 사용하여 계산된 logWorth)을 사용하여 평가됩니다. 귀무 가설(즉, 변수 사이에 관계가 없다는 가설)이 참이라는 점을 고려하면. p-값이 특정 임계값(예: 0.01, 0.05 또는 0.1) 미만인 경우 결과는 통계적으로 유의미한 것으로 간주되어 관찰된 관계가 우연히 발생할 가능성이 없으며 귀무가설이 기각될 수 있음을 나타냅니다. 귀하의 예와 같은 혼합의 맥락에서 p-값을 사용하는 전통적인 모델 선택 기술은 유용하지 않습니다. 추정 효과(효과 간 별칭) 간의 다중 공선성으로 인해 추정치의 표준 오류가 상당히 커서 오해의 소지가 있고 왜곡된 p-값이 발생합니다. 가치. 이 토론에 대한 추가 정보: https://community.jmp.com/t5/Discussions/Analytic-of-a-Mixture-DOE-with-stepwise-regression/mp/657089/highlight/true#M84611
실제적 유의성은 통계 결과의 실제 중요성 또는 관련성을 나타냅니다. 관찰된 관계가 실제적이거나 의미 있는 의미를 갖는지 여부에 관심이 있습니다. 실질적인 중요성은 추정치의 크기로 표시됩니다. 항의 절대값이 클수록 고려되는 응답의 회귀 모델에서 이 항이 더 중요하고 영향력이 커집니다.
통계적 유의성과 실제적 유의성은 항상 밀접한 관련이 있는 것은 아닙니다. 결과는 통계적으로 유의미하지만 실제로는 중요하지 않거나 그 반대 상황일 수 있습니다. 결과를 해석할 때 두 가지 의미를 모두 고려하는 것이 중요합니다.
이 첫 번째 답변이 도움이 되길 바랍니다.
Re: 효과 크기를 정의하는 것은 Logworth 또는 Scaled Estimates 중 어느 것입니까?안녕하세요 @Victor_G 님 ,
대답 해 주셔서 감사합니다. 상황을 더 명확하게 하는 데 많은 도움이 되었습니다. :smiling_face_with_smiling_eyes: 동시에 보완적인 질문도 제기되었습니다.
- 혼합 암컷의 경우 p-값이 이상적이지 않은 경우 모형에서 통계적으로 유의하지 않은 항을 삭제하기 위한 보고서의 가장 적절한 기준은 무엇입니까?
Solved: Re: Analysis of a Mixture DOE with stepwise regression - JMP User Community 에서 언급한 대로 한 번에 하나의 항을 제거하고 AIC 및/또는 RMSE의 진화를 관찰하는 것이 더 낫습니까 ? 또는 동일한 스레드에서 설명한 대로 역방향 선택을 사용하여 모델을 선택합니까?
- 실제적인 의미에서는 "규모 추정치"의 효과 크기 외에도 도메인 지식도 중요합니다. 모델에 2차 항을 유지하고 실제로 "확장 추정치" 테이블에서 가장 높은 효과를 미리 설정했지만 (어떤 이유로든) 결국 해당 항이 우리 영역에서 의미가 없다고 결정했다고 가정해 보겠습니다. 추정에서 중요도가 높음에도 불구하고 폐기하면 완료할 수 있습니다. 내가 맞나요?
최상의,
줄리안
Re: 효과 크기를 정의하는 것은 Logworth 또는 Scaled Estimates 중 어느 것입니까?안녕하세요 @Julianveda 님 ,
첫 번째 답변이 도움이 되셨다니 다행입니다.
귀하의 질문에 관하여 :
- 혼합물 DoE의 경우 위에서 언급한 이유로(그리고 내가 잘 기억한다면 다른 주제에서도) p-값에 의존하지 않을 것입니다.
가정된 완전한 모델로 시작하고(이것이 단계별 전진 선택 대신 단계적 후진 선택을 선호하는 이유입니다), 필요한 경우 여러 모델의 RMSE 수준을 비교하거나 최대 우도 추정을 사용하여 모델을 개선합니다( JMP Pro의 일반화 회귀 분석에서 사용 가능) 또는 BIC/AICc와 같은 정보 기준을 사용하여 모델을 너무 복잡하게 하지 않고 정보와 예측성을 추가하는 "올바른" 항 수를 결정합니다.
잠재적으로 동등하게 좋은 모델이 많이 있으므로 도메인 전문 지식과 여러 선택/추정 방법을 사용하면 중요한 용어와 모델을 정렬하는 데 도움이 될 수 있습니다.
- 도메인 지식은 DoE의 각 단계에서 항상 중요합니다.
그러나 모델에서 항을 추가하거나 삭제할 때는 주의해야 합니다. 이렇게 하는 이유는 통계적 현실을 왜곡하는 것이 아니라 도메인 정보로 통계 모델링을 "돕기"(똑같이 훌륭하지만 다른 모델을 분류하기 위함) 때문입니다. 귀하의 판단과 도메인 전문 지식에 따라 결과가 결정됩니다. 또한 모델링은 동적 프로세스이므로 항을 추가하거나 제거하면 다른 항의 추정치도 변경되므로 약간의 주의가 필요합니다. DoE는 가설을 테스트, 검증, 확인하는 도구이지만 이전에 알려진 것과 반대되는 새로운 것을 배울 수도 있습니다. 아마도 이전에 발견할 만큼 실험 과정이 엄격하지 않았기 때문일 것입니다(예: 한 번에 한 가지 요소 접근 방식을 사용하는 것과 같이, 또는 희박한 실험 결과가 있음).
따라서 여기에서 귀하의 질문에 대한 확실한 답변을 제공할 수는 없지만 다양한 모델을 시도하고 각 모델의 작동 방식(잔차 분석, 실제 vs. 예측 등)을 확인하고 새로운 데이터로 모델을 테스트할 수 있습니다. 모델에서 이전에 볼 수 없거나 설계에 사용되지 않은 새로운 처리/요인 조합에 해당하는 검증 포인트를 실행하여 모델의 순위를 매기고 해당 결과를 예측과 비교할 수 있어야 합니다. 이러한 새로운 점에 대해 가장 잘 일치하는 모델은 연구 중인 물리적 시스템에 매우 근접한 근사치를 나타낼 수 있습니다.
이 답변이 도움이 되기를 바랍니다.
Re: 효과 크기를 정의하는 것은 Logworth 또는 Scaled Estimates 중 어느 것입니까?@Victor_G 감사합니다.
정말 맑고 통찰력이 있었어요 
줄리안
Re: 효과 크기를 정의하는 것은 Logworth 또는 Scaled Estimates 중 어느 것입니까?Victor는 다양한 유형의 분석(실용 분석 및 정량 분석)을 훌륭하게 설명했습니다. 나는 각각의 상대적 중요성에 대한 다른 관점을 제공하고 세 번째 관점을 추가하고 싶습니다. 실용적인 중요성은 항상 통계보다 더 중요합니다. 결국 실험 실행 방법(예: 추론 공간, 실험 중에 변경되는 노이즈와 변경되지 않는 노이즈)을 결정하여 통계적 유의성을 제어할 수 있습니다. 통계적으로 유의미하지만 실제 세계에서는 유용하지 않은 모델을 갖는 것은 도움이 되지 않습니다. 분석 통계는 열거적이며 예측 목적을 위한 모델 개발은 분석적이라는 점을 기억하세요.
Deming (Deming, W. Edwards (1975), On Probability As a Basis For Action. The American Statistician, 29(4), 1975, p. 146-152) 데이터를 사용하려면 열거 문제와 분석 문제 간의 차이에 대한 이해도 필요합니다. . “책에서 가르치는 분산 분석, t-테스트, 신뢰 구간 및 기타 통계 기법은 아무리 흥미롭더라도 예측의 근거를 제공하지 않고 생산 순서에 포함된 정보를 묻어두기 때문에 부적절합니다. 전부는 아니더라도 대부분의 데이터 분석용 컴퓨터 패키지는 비효율성의 명백한 예를 제공합니다.”
Victor가 제안한 것처럼 p-값은 혼합물 설계에 거의 사용되지 않습니다. 혼합물 설계를 실행하는 경우 SME(도메인 지식)가 중요합니다. 먼저 실험을 실행하기 전에 반응의 어떤 변화가 실제적으로 중요한지 결정하십시오.
정량 분석을 실행하기 전에 데이터를 플로팅합니다. 특히 혼합물의 경우 가장 중요한 분석은 혼합물 반응 표면입니다. 이론적으로 혼합은 최적화 전략입니다. 이는 혼합물에 무엇이 들어 있어야 하는지 이미 알고 있다고 가정합니다(처리 요소를 포함하는 이전 실험을 통해). 통계적 중요성은 더 이상 중요하지 않습니다.
실용>그래픽>정량적 분석의 순서입니다.
