20 표준 편차의 효과 크기에도 불구하고 혼합물 설계의 검정력이 낮은 이유는 무엇입니까?안녕하세요 여러분,
어떤 조언도 감사하겠습니다.나는 우리 회사의 한 과학자가 5가지 재료로 혼합 실험을 설계하는 것을 돕고 있습니다.주효과와 1차 교호작용을 측정하고자 합니다.
나는 과학자에게 성분 농도에 대한 최소값과 최대값, 테스트 정밀도 표준 편차를 제공하고 주요 성분의 효과 크기를 추정하도록 요청했습니다.얼마나 많은 실행이 필요한지 결정하기 위해 Power에 의존하고 있습니다.주요 성분의 효과 크기는 약 20 표준 편차입니다.30번 실행했을 때 이 성분의 검정력은 0.168에 불과합니다.60회 실행의 경우 0.33입니다.
20 표준 편차의 효과 크기는 분명히 매우 크므로 이 경우 검정력이 왜 그렇게 낮은지 이해할 수 없습니다.
적절한 계수와 표준편차로 반응변수의 5개 사례에 대한 결과를 모사하여 추가로 조사하였고, 효과크기가 큰 성분은 5개 경우 모두에서 통계적으로 유의하였다(p < 0.001).
어떡해?이 경우의 전력 계산을 신뢰할 수 있는지 잘 모르겠습니다.나는 전력 계산의 한계에 부딪히고 있습니까?필요한 실행 횟수에 대한 지침을 제공하려면 어떻게 해야 합니까?
설계에 대한 과학자의 목표는 완벽하게 합리적이고, 나는 그에게 그가 필요로 하는 지침을 그에게 줄 수 없다는 좌절감을 느낍니다.
감사합니다!보고 싶은 경우 시뮬레이션 응답이 있는 모델의 전원, .jmp 디자인 및 텍스트 출력의 스크린샷을 첨부했습니다.
암사슴Re: 효과 크기가 20 표준 편차인데도 혼합물 설계의 검정력이 낮은 이유는 무엇입니까?혼합물 설계의 크기를 조정할 때 Brad가 권장하는 대로 수행하고 반응 최적화를 위한 반응 표면 설계와 동일한 방식으로 고려할 수 있습니다. 이 경우 다음을 사용하는 것이 좋습니다. 디자인 공간의 일부 실험을 확인하기 위한 (FDS) 플롯은 RSM 설계에서와 같이 평균 반응을 정확하게 예측할 수 있도록 충분히 크기가 조정되었습니다.
혼합물 모델의 공식 구성 요소 또는 성분 간의 상호 작용은 실제로 혼합입니다. 구성 요소 간의 이러한 상호 작용 또는 혼합으로 인해 응답에 곡률이 발생하므로 a에서 순수한 2차 항이 표시되지 않습니다. 셰페 모델. 혼합을 포함할 때 프로세스 요인과 관련된 반응 표면 실험에서 최적 결과를 찾는 것과 같은 방식으로 최적 공식을 찾기 위해 모델을 구성하려고 시도하는 경우가 많습니다. 따라서 반응 표면을 설정할 때와 마찬가지로 FDS 그림을 사용하여 혼합물 설계의 공정 능력을 평가하십시오. 모든 좋은 사람들이 이 스레드에서 언급한 모든 좋은 이유(예: 다중 공선성 및 급증하는 VIF)로 인해 검정력 계산은 반응 표면 목표뿐만 아니라 혼합물 설계에도 부적절합니다.
Re: 효과 크기가 20 표준 편차인데도 혼합물 설계의 검정력이 낮은 이유는 무엇입니까?혼합 실험을 선별 실험이 아니라 반응 표면 실험으로 생각해야 합니다. 혼합 제약으로 인한 2-요인 교호작용이 있는 주효과와 주효과 간의 기본 제공 상관 관계로 인해 계수 추정치는 사실상 의미가 없습니다. 따라서 혼합 실험으로 모델 선택을 수행하는 것은 매우 어렵습니다. 한 가지 가능성은 모든 2요인 상호작용을 그룹으로 제거하는 것을 고려하는 것입니다. 회귀 제곱합이 크게 떨어지지 않으면 이러한 모든 효과를 제거할 수 있습니다. 일반적으로 개별 효과를 제거하는 것은 유용성이 의심됩니다.
그러나 실험 영역 내의 새로운 응답에 대한 예측 분산은 일반적으로 특히 오류 분산이 크지 않은 경우 매우 낮습니다. 따라서 예측에 의존하고 원하는 응답과 일치하는 새로운 작동 설정을 선택할 수 있습니다.
Re: 효과 크기가 20 표준 편차인데도 혼합물 설계의 검정력이 낮은 이유는 무엇입니까?Mark와 Dan의 정말 훌륭한 조언입니다! 혼합물 설계(또는 모든 최적화 설계 전략)에 대한 요점은 이론적으로 중요하지 않은 변수(아마도 굵은 수준 설정으로 시작하는 여러 반복을 통해)를 이미 걸러냈고 이제 하나(또는 그 이상) 응답을 최적화하려고 한다는 것입니다. 변수. 통계적 유의성(및 관련 통계)은 더 이상 중요하지 않습니다. 일반적으로 계수는 상대적 중요도를 결정하기 위해 서로 비교되지만 혼합 실험에서는 용어의 순서가 상대적 중요도에 영향을 미칩니다.또한 엑스 1 엑스 2는 상호 작용으로 해석되지 않고 비선형 혼합 관계로 해석됩니다(선형에서 벗어나는 것으로 생각합니다).
Re: 효과 크기가 20 표준 편차인데도 혼합물 설계의 검정력이 낮은 이유는 무엇입니까?의사 구성 요소 코딩은 범위를 최대한 크게 만들지만 여전히 크지 않을 수 있습니다. 좁은 범위에서만 그렇게 할 수 있습니다. 모델링이 순수 선형 모델(2개의 구성요소: Y=B1*X1 + B2*X2)과 순수 2차 모델(Y=B11*X1*X2)을 구별하지 못할 가능성이 매우 높습니다. 모델의 어떤 효과가 상호 연관되어 있고 특히 선택한 범위에서 매우 유사해 보이기 때문에 실제 효과인지 결정할 수 없습니다. 따라서 저전력.
Re: 효과 크기가 20 표준 편차인데도 혼합물 설계의 검정력이 낮은 이유는 무엇입니까?내 질문에 관심을 가져 주셔서 감사합니다!
JMP는 최소값을 빼서 변수를 의사 구성 요소로 코딩합니다. 나는 그것이 제한된 범위와 관련된 문제를 해결할 것이라고 생각했습니다.Re: 효과 크기가 20 표준 편차인데도 혼합물 설계의 검정력이 낮은 이유는 무엇입니까?Mark의 모든 훌륭한 조언에 추가할 몇 가지 사항입니다. 공식의 낮은 검정력은 일반적으로 이 경우에 해당하는 좁은 요인 범위로 인해 발생합니다. 또한, 혼합 실험에서 검정력의 개념은 생각하기 어렵습니다. 검정력은 실제 효과를 감지할 확률입니다. X3가 영향을 미친다면 다른 요인(적어도 조합으로)이 영향을 미친다는 것이 말이 되지 않습니까? X3와 관련하여 변경되어야 하기 때문입니다. 사람들은 종종 요인들이 독립되어 있지 않을 때 힘을 마치 독립된 것처럼 생각합니다.
마지막으로, 이원 항은 Scheff 혼합 모델의 2차 항이며 실험 창의 가장자리를 따라 곡률을 설명합니다. 그 가장자리를 따라 제한되지 않은 경우 다음과 같은 모양이 있을 수 있습니다.
이것은 실로 큰 효과입니다. 그러나 범위를 (대략) 0에서 0.1로 제한하기 때문에 실제로 이 모양을 추정하고 있습니다.
확대해도 훨씬 나아 보이지 않습니다.
큰 효과처럼 보이는 것이 다른 요인과의 상호 작용과 제한된 범위로 인해 생각만큼 크지 않을 수 있습니다. 다시 말해서, 모델은 순수한 선형 모델과 순수한 이차 모델을 구별하는 데 어려움을 겪을 것입니다. 이 좁은 범위에서는 구별할 수 없습니다. 복제만으로는 이러한 종류의 문제를 적절하게 해결할 수 없습니다.
따라서 검정력은 좋은 것이지만 많은 혼합 실험에서 초점은 반응을 예측하는 데 더 중점을 둡니다. Mark가 말했듯이 낮은 전력으로도 매우 좋은 예측 모델을 얻을 수 있습니다.
Re: 효과 크기가 20 표준 편차인데도 혼합물 설계의 검정력이 낮은 이유는 무엇입니까?항상 그런 것은 아니지만 일반적으로 우리는 스크린 구성 요소와 대조적으로 어떤 종류의 공식을 최적화하기 위해 혼합물 실험을 수행합니다. 우리는 권력에 그다지 관심이 없습니다. 대신 후보 디자인으로 가능한 모델의 예측 성능에 관심이 있습니다. 그럼에도 불구하고 이 성능은 제약이 없거나 독립적인 요소를 사용하는 데 익숙하지 않습니다.
귀하의 경우에는 새로운 것이 없습니다. 당신은 이전에 문제나 그 기원을 알지 못했을 뿐입니다. 우리는 최고의 블렌드를 찾기 위해 상관 관계에도 불구하고 수십 년 동안 이러한 디자인을 성공적으로 사용해 왔습니다.
나는 추천한다 " 제형 개발 전략: JMP를 사용한 단계별 가이드 " 필요할 경우를 대비하여 Ronald Snee와 Roger Hoerl의 참조 자료입니다. 이 권장 사항은 혼합 실험에 대한 다른 우수한 교과서가 있기 때문에 보증이 아니지만 이 책은 엄격하고 실용적입니다.
Re: 효과 크기가 20 표준 편차인데도 혼합물 설계의 검정력이 낮은 이유는 무엇입니까?Mark에게 자세한 답변을 주셔서 감사합니다. 안내를 받으니 안심이 됩니다.
나는 전력 계산과 시뮬레이션 모두에 대해 Ingredient3에 대해 계수 "200"을 사용했습니다(RMSE는 1). Ingredient3의 범위는 설계에서 약 0에서 약 0.1까지이므로 약 20 표준편차(200 * 0.1)의 효과 크기를 생성한다고 판단했습니다.
내 순진한 관점에서 나는 전력 계산과 시뮬레이션을 일관된 방식으로 설정했습니다. 시뮬레이션 데이터를 피팅했을 때 모델의 RMSE는 약 1이고 응답 범위는 약 0 - 20이므로 여전히 흔들리는 것 같습니다. 이 생각에 오류가 있습니까?
근본 문제로 돌아가기...변수 간에 많은 상관 관계가 있으며 이는 추정치의 분산을 부풀립니다. 이것은 5개의 성분, 주효과 및 1차 교호작용을 포함하는 이 혼합물 설계를 60번의 런으로도 추정할 수 없음을 의미합니까?
저는 주효과가 있는 모델만 사용하여 검정력을 추정하고 데이터가 수집되면 상호작용 추정치를 "보너스"로 고려하는 대체 계획이 있습니다. 이에 대해 어떻게 생각하세요? 너무 패배주의적인가?
감사합니다. 통찰력을 높이 평가합니다.Re: 효과 크기가 20 표준 편차인데도 혼합물 설계의 검정력이 낮은 이유는 무엇입니까?다음은 30번의 런이 있는 설계를 사용한 결과의 상관 관계에 대한 색상 맵입니다.
이 상관 관계는 추정 효율성 개요에 표시된 대로 추정치의 분산을 부풀립니다.
시뮬레이션에서는 20이 아닌 400 표준 편차의 상대 효과를 사용합니다. 크기 20의 효과에 해당하는 계수 10을 사용했습니다. JMP Pro는 Fit Least Squares의 Parameter Estimates 개요에서 Estimates 열과 같이 데이터를 매우 쉽고 빠르게 시뮬레이션하여 각 재표본에 대한 결과를 생성하는 내장 기능을 제공합니다. 다음은 2500번의 시뮬레이션에서 얻은 성분 5의 추정 결과입니다.
직접 탐색할 수 있도록 시뮬레이션에서 표를 첨부했습니다.
유념해야 할 혼합물 설계 및 모델링의 또 다른 측면은 JMP가 매개변수가 0이라는 귀무 가설에 대해 테스트한다는 것입니다. 이 테스트는 예측 변수 간에 제약이 없는 선형 모델의 일반적인 컨텍스트에서 의미가 있습니다. 절편 항이 없는 단순한 모형이 아닙니다. 절편은 선형 효과에 대한 추정치의 일부입니다. 따라서 선형 매개변수에 대한 검정은 매개변수가 평균 반응이라는 귀무가설에 반대되어야 합니다.
Re: 효과 크기가 20 표준 편차인데도 혼합물 설계의 검정력이 낮은 이유는 무엇입니까?답장을 보내 주셔서 감사합니다! 다중 공선성이 어떻게 설계 검정력을 감소시킬 수 있는지 이해하지만 이것이 시뮬레이션된 데이터 모델의 회귀 계수에도 영향을 미쳐서는 안 됩니까? 다중 공선성이 검정력에는 손상이 되지만 회귀 계수에는 손상되지 않는 이유는 무엇입니까?
Re: 효과 크기가 20 표준 편차인데도 혼합물 설계의 검정력이 낮은 이유는 무엇입니까?합이 1이 되도록 혼합물 성분에 대한 제약은 모수 추정치 사이에 상관 관계를 도입합니다. 이 상관 관계는 모수 추정값의 표준 오차를 부풀려 결과적으로 검정력을 줄입니다. 만약 너라면...
- 합계를 사용하여 < 1,
- 하한 > 0 또는 상한 < 1로 구성 요소 범위를 제한합니다.
- 구성요소에 대한 선형 구속조건을 포함하고,
- 모델에 고차 항을 포함하고,
상관관계가 더 높고 효과가 더 뚜렷합니다.
디자인 평가 개요에서 상관 관계에 대한 색상 맵을 검토합니다.
