모델 축소안녕하세요,
DOE 분석을 위한 JMP 학습 모델에 따르면, 모델에서 유의하지 않은 항목은 유의하지 않은 고차 상호 작용부터 제거(=모델 감소)할 수 있습니다.
하지만 정말 그렇게 간단할까요? 중요하지 않은 항목을 제거하기 전에 고려해야 할 다른 사항이 있을까요? 중요하지 않은 항목을 제거했다고 해서 이 요인이 출력/응답 변수에 전혀 영향을 미치지 않거나 미미한 영향을 미친다는 뜻인가요?
또한, 모델 축소는 REML/혼합 모델에도 적용됩니까?
이 문제에 대해 명확히 설명해 주시면 감사하겠습니다.
사라
실험 설계Re: 모델 축소그렇게 간단하지 않습니다. 모델 용어를 제거하든 제거하지 않든 p-값의 사용/남용/오용에 대한 지속적인 논의와 같은 순위에 있습니다. 사실, 저에게는 그것은 같은 동전의 양면과 같습니다.
하지만 이렇게 말했지만, 모델 항을 제거한다고 해서 매개변수 추정치에 포함된 요인이 '...출력/응답 변수에 전혀/사소한 영향'을 미친다는 것을 의미하지는 않는다고 말할 수 있습니다. 그것은 단지 그 특정 추론 공간에서 그 항을 모델에 포함하지 않기로 결정했다는 것을 의미합니다. 그 결정은 신과 그 말을 듣는 모든 사람에게 '전혀/사소한 영향'이 없다고 선언하는 것과는 천지 차이입니다. 아마도 선택한 수준(설계된 실험을 모델링하는 경우)이 너무 좁아서 신호가 노이즈 위로 올라갈 수 없었을 것입니다. 아마도 추론 공간의 노이즈가 요인의 효과를 압도했을 것입니다. 그리고 'p-값' 해석에 대해서는 말하지 않겠습니다... 모든 항은 어떤 p-값에서 '유의미'합니다. 누가 그 유의미성 값을 선택할까요? 어떤 기준으로?
그리고 제 생각에는 모든 모델링 방법(REML/혼합 및 기타)에 대해서도 똑같은 말을 할 수 있습니다.
Re: 모델 축소안녕하세요 P_Bartell,
저는 그 문제의 복잡성을 이해합니다. 그러나 제 추론은 어느 시점에서 수행한 DOE의 결과에 따라 추론을 할 수 있기를 원한다는 것입니다. 그렇지 않으면 수행하는 목적이 무엇입니까... 그러면 실용적인 관점에서 중요하지 않은 항목은 어떻게 처리합니까?
감사합니다
사라
Re: 모델 축소물론 Pete의 조언은 옳고 현명합니다. 특히 추론 공간의 문제에 대해서요. 실험을 했을 때, 연구에서 노이즈가 얼마나 대표적이었나요? 연구에서 노이즈를 어떻게 처리했나요? (예: 제한, 차단, 반복, 복제, 분할 플롯으로 분할) MSE 추정치가 합리적이고 진정한 임의 오류를 나타내는가요? 그렇지 않다면 통계적 유의성은 의미가 없습니다. 통계적 유의성은 조건부 진술이라는 것을 기억하세요!
모델 축소를 할 때 고려해야 할 사항은 다음과 같습니다.
1. 실제적 유의성. 이것은 MSE에 대한 효과의 비교인 통계적 유의성과는 아무런 상관이 없습니다. 요인/상호작용에 실제적 유의성이 있습니까? 이를 다른 방식으로 표현하면 과학적 또는 공학적 장점 측면에서 모델을 평가해야 합니다. 흥미로운 용어와 흥미롭지 않은 용어를 식별하는 것을 뒷받침하는 합리적이고 논리적인 가설이 있습니까?
2. R-제곱-R-제곱 조정 델타. 모델에서 흥미롭지 않은 용어를 제거하면 델타가 감소해야 합니다. 또한 조정된 R-제곱의 크기도 감소해야 합니다.
3. 잔차. 어떻게 보입니까? 용어를 제거할 때 이상치, 비정상적인 패턴 등이 있습니까?
4. p-값. 첫 번째 컷에는 유용할 수 있지만 반복할수록 덜 유용(또는 쓸모없음)해집니다. 중요하지 않은 평균 제곱은 어떻게 되나요? MSE에 추가되고 DF는 본질적으로 MSE를 감소시키고 F-값을 편향된 방식으로 증가시킵니다.
5. 유용함. 모델은 유용해야 합니다. 임무는 가능한 가장 복잡한 모델을 만드는 것이 아니라 예측 가능하고 유용한 모델을 만드는 것입니다.
물론 JMP의 장점 중 하나는 모델을 빠르게 변경하고 재평가할 수 있다는 것입니다.
Re: 모델 축소"그렇지 않으면, 그것을 수행하는 목적은 무엇인가..."라는 질문에 대한 답으로, '그것'이란 말로 저는 설계된 실험을 가정합니다... 저는 산업계가 아닌 연구 환경에서 온, 인정하건대 다소 편향된 기준 프레임에서 대답하겠습니다.
우리가 설계한 실험을 수행한 주된 목적은 '...추론을 하는 것...'이 아니었습니다. 실제적인 문제를 해결하는 것이었습니다. 새로운 참신한 지식이라고 정의할 '추론'을 찾는 것이 가치 있는 노력이 아니라고 말하는 것이 아닙니다... 그저 우리가 그런 식으로 발견하지 못했을 뿐입니다. 그렇다면 이러한 설계 실험을 수행하는 궁극적인 목적은 무엇일까요? 실제적인 문제를 해결하는 것이라면... 두 가지 방법을 모두 시도할 것입니다... '중요하지 않은' 용어를 사용하거나 사용하지 않고 모델링하고, 실제적인 문제를 해결하는 맥락에서 모델의 유용성을 살펴보는 것입니다. 새로운 지식이라면 '효과 없음/최소한'과 같은 포괄적인 진술을 하기 전에 추가 실험을 고려하여 다양한 노이즈(공급업체, 장비, 운영자, 확장성 등)와 귀찮은 변수 및 요인 수준 간격, 측정 시스템 노이즈와 같은 기타 문제에 따라 추론 공간을 확장할 것입니다... 그리고 이것이 한 번의 실험으로 달성되는 경우는 드뭅니다. 제가 일했던 곳에서는 이것을 '표현 위험 이해'라고 불렀습니다.
단순하고 순전히 설명을 위한 예이지만, 우리가 원하던 것보다 더 자주 마주친 상황입니다. 우리는 파일럿 장비에서 DOE를 실행하고 '코팅 속도'가 관심 있는 반응에 영향을 미치지 않는다는 추론을 내립니다. 하지만 그런 다음 생산 장비로 확장하면... 갑자기 '코팅 속도'가 영향을 미칩니다. 어떻게 그럴 수 있을까요? 새로운 프로세스... 새로운 소음입니다. 실험이 미래 조건에 얼마나 '대표적'인지에 대한 것입니다. 데밍은 열거형 연구와 분석적 연구와 관련된 문제에 대해 자세히 설명했습니다.
열거적 연구 vs. 분석적 연구
이 광범위한 상황을 이해해야만 '효과 없음/최소한의 효과'와 같이 포괄적인 진술을 자신 있게 내릴 수 있습니다.
Re: 모델 축소이러한 응답을 고려해 볼 때, 저는 JMP DOE 학습 모듈이 DOE 분석을 너무 단순화했다고 주장하고 싶습니다.
Re: 모델 축소공평하게 말해서, JMP 학습 모듈은 제품을 소개하고 "제품을 판매"하기 위한 것입니다. 저는 6개월 동안 여러 가지 실습 실험과 많은 실제 사례 연구를 통해 실험 설계의 기본을 가르쳤습니다. 제 생각에는 온라인에서 이를 가르치는 것은 거의 불가능할 것입니다(코로나 기간 동안 시도는 했지만요). 학습 모듈은 방법론을 소개하고 사전 지식이 없는 개인에게 잠재적인 응용 프로그램을 노출시키는 것을 목적으로 합니다. 이러한 모듈을 마칠 때 방법론에서 혜택을 볼 수 있는 상황을 파악할 수 있다면 그 방법은 목적을 달성한 것입니다.
저는 실험 설계 사용에 관해 Pete와는 약간 다른 견해를 가지고 있습니다. 제 생각에는 조사 작업을 이끄는 두 가지 "동기"가 있습니다.
1. 설명적- 문제가 존재하고 문제와 그 원인을 이해하려고 합니다. 물론 DOE가 여기서 유용할 수 있지만, 저는 이러한 사건을 이해하기 위해 지시된 샘플링과 변동 연구 구성 요소를 사용하는 데 편향되어 있습니다. 저는 확실히 DOE로 문제를 발생시킬 수 있지만, 그것이 처음에 문제가 발생한 이유가 아닐 수도 있습니다.
2. 예측 - 조사자가 유용한 예측 모델을 개발할 수 있도록 인과관계를 이해합니다. 여기서 DOE가 빛을 발하며 실제로 DOE만큼 강력한 다른 방법론은 없습니다.
Re: 모델 축소설명해주셔서 고맙습니다.
더 보기...중요하지 않은 항목을 제거하면 모델이 간소화될 수 있지만, 맥락, 모델 가정 및 잠재적인 다중공선성을 고려하는 것이 중요합니다. 중요하지 않은 항목이 반드시 요인이 효과가 없다는 것을 의미하는 것은 아닙니다. 이는 검정력이 부족하거나 측정이 부적절함을 나타낼 수 있습니다. 모델 축소는 REML/혼합 모델에도 적용되지만 주의가 필요합니다. 대학 시절, 저는 종종 학업 에세이를 쓰는 데 도움을 구했습니다. 조사를 한 후, 많은 긍정적인 리뷰가 있는 DoMyPaper를 발견했습니다. 저는 도움을 받기 위해
domypaper.com을 방문하기로 했고, 그것은 훌륭한 경험이었습니다. DoMyPaper에는 학생들의 쓰기 능력을 향상시키는 데 도움을 주는 전문가 팀이 있습니다. 지금은 학업 쓰기 작업에 도움을 받기 위해 그들의 서비스에 의존합니다.
Re: 모델 축소안녕하세요 @SaraA 님 ,
JMP 모듈에 표시된 예제는 "시작"하고 싶어하는 비통계학자에게 디자인 및 분석 기본 사항을 제공하기 위해 여기에 있습니다. 분명히 데이터 세트는 쉽게 따라갈 수 있고 분석은 간소화되어 모든 사람이 이해하고 시도할 수 있습니다.
하지만 @statman이 언급했듯이 모델링이라는 주제는 p-값에만 "의존"하는 것보다 훨씬 더 광범위하고(때로는 복잡합니다). 목표에 따라 모델 평가 및 선택에 대한 경로가 다를 수 있습니다.
- 설명 모델 : 설명 모드에서는 응답에 어느 정도 영향을 미치는 용어에 더 집중하므로 통계적 유의성(p 값과 0.05와 같은 사전 정의된 임계값의 도움)과 실질적 유의성(추정치의 크기, 도메인 전문성에 따른 선택)을 기반으로 다양한 용어를 포함할 필요성을 평가할 수 있습니다. R², R² 조정(및 최소화해야 하는 두 가지의 차이)은 식별된 용어로 얼마나 많은 변동을 설명하는지 이해하고 연구 중인 시스템을 설명하는 관련 모델을 선택하는 데 좋은 지표가 될 수 있습니다.
- 예측 모델 : 예측 모드에서는 예측 오류를 최소화하는 데 도움이 되는 용어에 더 집중하므로 실제 대 예측 플롯의 시각화와 오류 크기(잔차 플롯)를 통해 예측 성능을 개선하는 방법에 따라 다양한 용어를 포함할 필요성을 평가할 수 있습니다. RMSE는 어떤 모델이 가장 좋은 예측 성능을 보이는지 평가하는 데 좋은 지표가 될 수 있습니다(목표는 RMSE를 최소화하는 것입니다).
두 부분을 조합하여 모델을 평가하고 선택하는 데 도움이 되는 다양한 측정 항목을 사용할 수도 있습니다. 정보 기준 (AICc, BIC)는 모델의 예측 성능과 복잡성 간의 절충안을 찾는 데 도움이 됩니다. 이러한 기준에 따라 모델을 평가하고 선택하려면 낮을수록 좋습니다. 유사하지만 모델의 복잡성에 대한 페널티를 포함하지 않는 최대 우도를 사용할 수도 있습니다.
p-값에 대해 조심하고 " 통계적 유의성 숭배 "를 피하는 것이 좋습니다. : 해결됨: Re: 통계적 유의성 - JMP 사용자 커뮤니티
모델을 생성하려면 JMP에서 사용 가능한 많은 플랫폼( 적합 모델 및 일반화 회귀 모델, 적합 2단계 스크리닝 , 적합 확정적 스크리닝 등)이 있으며, 때로는 디자인 선택에 따라 다른 기술, 추정 또는 검증 기준을 사용합니다. 이를 시도하여 모델이 언제 어떻게 일치하는지, 언제 어디에서 일치하지 않는지 확인할 수 있습니다. 래스터 플롯 이나 이와 같은 간단한 플롯을 통해 다양한 결과의 결과를 플로팅해 보세요.
사용하는 플랫폼에 따라 모델이 얼마나 잘 일치하는지 확인할 수 있으며, 목표에 맞게 조정된 특정 지표를 사용하면 하나 또는 여러 개의 모델을 더욱 쉽게 선택할 수 있습니다.
원래 질문으로 돌아가면, 반응을 모델링할 때 통계적 유의성 과 실질적 유의성을 고려해야 하며, 그 결과로 나온 모델은 실험적 검증뿐만 아니라 도메인 전문가에게도 제시되어야 합니다.
비록 늦었지만 이 보완적인 답변이 도움이 되었으면 좋겠습니다.
