Re: 랜덤 블록을 사용한 DOE의 예측 및 신뢰 구간은 무엇입니까?여보세요 @JMPLearner_2022 ,
귀하의 파일을 살펴보면 다음과 같은 몇 가지 의견이 도움이 될 수 있습니다.
- 귀하의 모델을 보면서 귀하가 저장한 모델과 동일한 결과를 찾을 수 있는지 확인하기 위해 모델을 단계별로(동일한 성격, 강조점 및 방법으로) 재구성했습니다. 내 모델에는 X1*X6, X2*X3 및 X2*X4라는 세 가지 용어가 더 있으므로 덜 "단단한" 모델이 있습니다. 두 모델을 비교할 때 모델에 세 개의 항이 더 있으면 더 높은 R²(0,95 대 0,86), 더 높은 R² 조정(0,90 대 0,79), 더 낮은 RMSE(1 ,51 대 2,13) 및 모델에 대한 더 낮은 p-값(<0,0001 대 0,0003), 마지막 항 X2*X4의 p-값이 0,05보다 큰 경우에도 마찬가지입니다. 이 유의 수준은 중요하지 않은 요소에서 중요한 요소를 분류하는 데 도움이 되지만 모델링/분석 단계에서 유일한 가이드가 되어서는 안 됩니다. 또한 모델이 반응을 얼마나 잘 설명하는지(R², R² 조정 등의 지표 사용) 및 얼마나 정확한지(RMSE와 같은 지표 사용) 살펴봐야 합니다. 보다 신뢰할 수 있는 모델을 찾은 경우 항이 임계값 0,05를 초과하더라도 항 제거를 중지하는 것이 좋습니다. 잔차를 살펴볼 수도 있습니다. 여전히 누락된 효과가 있는지 확인하는 데 도움이 되는 곡률이나 패턴을 표시할 수도 있습니다. 또한 가능한 경우 최종 모델을 평가하고 도메인 전문 지식과 비교하십시오. 모델이 의미가 있습니까? 일부 효과/용어가 무시할만하거나 중요하다고 예상하십니까? 내가 찾은 모델에 대한 자세한 내용은 JMP 데이터 테이블의 "Fit Model 2" 스크립트를 참조하십시오.
- "적합 모델" 플랫폼에서 임의 블록을 지정하고 도입했기 때문에 이 임의 블록이 중요한 용어인지 여부를 아는 것이 흥미로울 수 있습니다. 그렇지 않으면 귀하의 경우: 블록 효과가 있습니까? 모델링에 주의/사용해야 하는 장비 제한으로 인해 내 결과에 대해 ? "REML Variance Component Estimates" 패널을 보면 Wald p-value가 임계값 0,05 이상임을 알 수 있습니다. 이는 차단 효과가 0과 크게 다르지 않다는 것을 의미합니다. 이는 이 차단 효과가 향후 실험 광석 분석에서 제거될 수 있음을 나타냅니다. 여기에 더 많은 정보가 있습니다. REML(Restricted Maximum Likelihood) 방법(jmp.com)
- 제 경우에는 "Response Y"의 빨간색 삼각형을 클릭하고 다음 "Factor Profiling"과 "Profiler"를 클릭하면 랜덤 블록이 나타나지 않습니다. 모델의 프로파일러( 조건부 프로파일러(jmp.com) ), 프로파일러의 빨간색 삼각형에서 "조건부 예측" 옵션이 선택되어 있기 때문입니다. 선택을 취소하면 이 무작위 블록 효과가 더 이상 표시되지 않으며 95% 신뢰 구간 값도 이 변경 사항을 반영하도록 변경됩니다.
- 이 작업이 완료되면 빨간색 삼각형 "열 저장"을 통해 "예측 수식"과 "평균 신뢰 구간"을 저장하고 적절한 수식을 선택할 수 있습니다. 이전 단계에서는 수식의 임의 블록을 볼 수 없습니다.
도움이 되길 바랍니다.
Re: 랜덤 블록을 사용한 DOE의 예측 및 신뢰 구간은 무엇입니까?여보세요 @Victor_G , 빠른 응답에 감사드립니다. 당신의 설명은 매우 도움이됩니다. 무작위 효과가 중요하지 않다고 언급했듯이 여전히 한 가지 질문이 있습니다. 모델에서 블록을 제거하고 pvalue >0.05인 항을 제거하고 완전히 다른 모델(JMP 파일에서 모델 3에 적합)을 얻었으며 R2 adj가 매우 낮습니다. 어떤 상황에서 모델에 무작위 효과를 포함해야 하는지 설명해주실 수 있나요? 다시 한번 감사드립니다.
Re: 랜덤 블록을 사용한 DOE의 예측 및 신뢰 구간은 무엇입니까?안녕 @JMPLearner_2022 ,
무작위 블록 효과와 제거 제안에 대해 너무 빨리 대답했을 수도 있습니다. 죄송합니다.
내 의견/답변 전에 일반적인 질문: 다른 모델을 "진짜" 시뮬레이션 모델과 비교하기 위해 Y 뒤에 있는 실제 모델(시뮬레이션 결과에 대해 이야기했기 때문에)을 알고 있습니까?
임의 차단 효과는 블록 내 가변성이 작은 블록을 생성하여 분석에서 노이즈를 줄이는 데 도움이 됩니다. 이 프로세스는 보다 쉽게 중요한 효과를 결정하고 분류하는 데 도움이 됩니다.
- "개념적" 수준에서 DoE를 설계했기 때문에 이 무작위 블록 효과를 유지하는 것이 더 적절해 보입니다.
중요하지 않더라도 랜덤 블록 효과는 이 블록 효과를 통해 총 분산의 70(첫 번째 모델에서)에서 83%(두 번째 모델에서)를 캡처하므로 실험에서 노이즈를 제거하는 데 매우 효과적인 것으로 보입니다. 따라서 중요하지 않더라도 모델을 유지함으로써 모델의 정확도를 확실히 높일 수 있습니다(모델 1, 2 및 3의 RMSE를 비교하여 볼 수도 있음).
- "분석" 수준에서 임의 블록 효과를 유지하면 모델(및 예측)의 분산을 줄이는 데 도움이 됩니다.
임의 차단 효과를 제거하면 어떤 결과가 발생합니까?
- 모델의 설명되지 않은 오류는 더 클 것입니다(모델 2 및 1과 비교하여 모델 3의 RMSE를 보면 알 수 있음).
- 따라서 치료 효과의 테스트가 덜 강력할 수 있으므로 증가된 "노이즈"/오류로 인해 일부 중요한 효과를 놓치거나 제거할 수 있습니다(그래서 모델 3에서 더 간결한 모델로 끝날 수 있습니다).
- 매개변수 추정 값과 표준 편차는 변경될 수 있습니다(이는 모델링에서 효과를 추가/제거할 때도 나타남).
이 현재의 경우 어떤 모델이 가장 잘 수행되는지 알 수 있는 Y에 대한 진정한 시뮬레이션 모델이 없다면 서로 매우 가깝기 때문에 하나의 모델을 선택하기가 어렵습니다(모델에 어떤 효과가 있는지 살펴봄). 및 해당 모수 추정치). 또한 다양한 예측 프로파일러를 비교할 수 있으며(데이터 테이블의 "모델 비교 - 프로파일러" 스크립트 참조) 요인의 중요성과 각 요인의 수준이 최적인 것으로 보이는 것과 일치하는 것으로 보입니다. 일부 요인의 곡률에는 약간의 차이가 있습니다(예: X1은 모델 3에서 약간의 곡률이 있는 반면 X3은 임의 블록이 있는 모델 1 및 2에서 약간의 곡률이 있음).
무작위 차단을 고려하고 "성능"이 더 나은 것처럼 보이기 때문에 여전히 모델 2를 선호하지만 이것이 확실한 선택은 아닐 수 있습니다.
마지막으로 Georges Box가 "모든 모델은 틀렸지만 일부는 유용하다"는 말을 상기시켜 봅시다. 모델의 선택 역시 그 "유용성"과 해당 분야의 전문성을 고려하여 이루어져야 합니다.
확실하지 않은 경우 어떤 모델이 다른 모델보다 더 잘 일반화되는지 확인/비교하는 데 도움이 될 수 있는 몇 가지 검증 실행을 추가할 수 있습니다.
이 "비결정적" 답변에 대해 죄송하지만 도움이 되기를 바랍니다.
새해 복 많이 받으세요 !
Re: 랜덤 블록을 사용한 DOE의 예측 및 신뢰 구간은 무엇입니까?안녕 @Victor_G , 귀하의 설명에 크게 감사드립니다. DoE 데이터 분석의 무작위 효과에 대해 훨씬 더 잘 이해했습니다. 당신이 언급했듯이 우리는 높은 R2 adj와 적은 RMSE로 기존 데이터에 더 잘 맞도록 모델을 유지할 수 있습니다.예측에 대한 무작위 효과에 대해 여전히 한 가지 질문이 있습니다. 나는 예측 공식이 조건적이라는 것을 알았습니다. 즉, 블록마다 오프셋이 다르지만 향후 실행에서는 0입니다. 사실인가요? 무작위 효과가 중요한 일부 모델을 맞추려고 했지만 예측 오프셋은 여전히 0입니다. 제 질문에 대해 설명해 주시겠습니까? 다시 한 번 도움을 주셔서 대단히 감사합니다.
Re: 랜덤 블록을 사용한 DOE의 예측 및 신뢰 구간은 무엇입니까?안녕 @JMPLearner_2022 ,
프로파일러에서 "조건부 예측" 또는 비조건부 예측 중에서 선택할 수 있습니다(프로파일러의 빨간색 삼각형에서 "모양" 메뉴의 마지막 옵션 직전에 "조건부 예측" 옵션이 선택되어 있는지 확인하십시오) ).
언급했듯이 "조건부 예측"을 사용하면 임의 블록의 수준을 선택할 수 있습니다(따라서 임의 블록 효과는 더 이상 임의적이지 않고 선택할 수 있는 고정 효과에 더 가깝기 때문에 더 작은 신뢰 구간으로 끝납니다). 조건부 옵션을 선택하지 않으면 예측의 분산에 대해 무작위 블록 효과가 고려됩니다(임의 블록의 수준을 선택할 수 없으며 더 큰 신뢰 구간으로 끝남).
- "조건부 예측"의 경우 새로운 미래 실행은 새로운 블록에 귀속되지만 이 새로운 블록의 효과는 아직 알려지지 않았기 때문에 기본적으로 오프셋 값이 0입니다(미리 알 수 없음). 이 블록의 새 실행이 평균적으로 다른 블록의 이전 실행보다 높거나 낮으면 오프셋이 없습니다.
- 귀하의 경우 "조건부 예측"을 선택 취소하고 "응답 Y", "추정", "예측 수식 표시" 옆에 있는 빨간색 삼각형의 예측 수식을 볼 수 있습니다. 다음과 유사한 공식이 있을 수 있습니다(그리고 이 공식에 임의의 블록 수준이 없는지 확인할 수 있습니다).
2.41318058401651 + 1.08446092046299 * :X1 + 0.672993409088489 * :X2 + 1.00977007848638 * :X3
+1.41114309105797 * :X4 + Match( :X6,
"L1", 1.46585081504277,
"L2", -1.30266943360671,
"L3", -0.163181381436053,
.
) + :X1 * (:X2 * 1.58560226366689) + :X2 * (:X3 * 1.30368310940107) + :X3 * (:X3 *
3.86103114153648) + :X2 * (:X4 * 0.591689620884462) + :X1 *
Match( :X6, "L1", 1.6824493957067, "L2", -0.835857163875241, "L3", -0.846592231831457, . ) +
:X2 * Match( :X6, "L1", 2.20524178427256, "L2", -2.78718463269197, "L3", 0.58194284841941, . )
+ :X4 * Match( :X6,
"L1", 3.57200821808011,
"L2", -3.45349090461962,
"L3", -0.118517313460483,
.
)
반응 및 하위/상한 95% CI에 대한 공식을 저장할 수 있습니다. 이것은 랜덤 블록 효과를 고려한 예측을 제공하며 귀하의 경우에 더 관련이 있을 수 있습니다.
이 답변이 도움이 되길 바라며,
랜덤 블록을 사용한 DOE의 예측 및 신뢰 구간?첨부 파일에 5개의 연속 요인, 3개 수준의 범주 요인 1개가 있는 맞춤 설계가 있습니다. 이 설계는 장비 제한으로 인해 6개 블록에서 36개의 실험이 있습니다. 이 파일의 결과는 실제 결과 대신 시뮬레이션된 것입니다. 기본 모델을 사용한 다음 효과 요약에서 PValue >0.05인 항을 하나씩 제거하고 최종적으로 모델을 얻었습니다. 그러나 예측 프로파일러에는 Random Block[1-6]이 있고 그 중 하나를 선택해야 하는데 새 실험이 다른 블록이 될 것이기 때문에 말이 되지 않습니다. 1-6 대신 다른 블록을 선택하려면 어떻게 해야 합니까? 새 값을 예측할 수 있지만 확신 구간이 없는 JMP 파일에 새 행을 추가했습니다. 신뢰 구간은 어떻게 구할 수 있습니까? 아래 공식을 기반으로 CI를 계산할 수 있다는 것을 알고 있었습니다. 랜덤 효과가 있는 DoE의 경우 신뢰 구간 계산 공식은 무엇입니까? CI 위에 Random Effect의 평균값을 더해야 하나요?
도와 주셔서 정말 감사합니다.
실험 설계윈도우
