DSD 분석에서 활성 효과를 감지하기 위해 높은 수준의 1단계 P 값 설정첨부파일의 7-요인 DSD 분석을 위한 1단계 P값 설정에 대한 질문이 있습니다.
5개의 활성 요소를 감지하려면 1단계 P값을 0.4로 설정해야 하는데, 기본 설정은 0.05입니다. 이에 대한 설명이 있나요?
1단계 P 기본값 0.05가 너무 낮은 것 아닌가요? 1단계 P를 어떻게 설정하는지, 일반적인 규칙이 있나요?
실험 설계Re: DSD 분석에서 활성 효과를 추론하기 위한 고수준의 1단계 P값 설정안녕하세요 @프랭크더루이크 ,
당신이 보여준 예는 응답이 수식을 기반으로 하므로 교육/훈련 목적인 듯합니다.
JMP 도움말에서 질문에 대한 좋은 상기는 다음과 같습니다. " 최소 실행 크기 DSD는 활성 효과 수가 실행 수의 약 절반보다 적고 효과 크기가 표준 편차의 두 배를 초과하는 경우 높은 확률로 활성 용어를 올바르게 식별할 수 있습니다. "(출처: Fit Definitive Screening Platform 개요 )
귀하의 경우, 7개의 요소가 있고 그 중 5개가 "활성"으로 감지될 것으로 예상되므로 상대적으로 높은 응답 노이즈가 있는 최소 실행 크기 DSD를 사용할 때 이는 수행하기 매우 복잡한 작업입니다.
응답 공식의 "잡음"/변동성 부분을 살펴보면, 무작위 균일 부분이 이 첫 번째 단계에서 감지하려는 요인에 대한 추정치 크기(-20,8에서 5,2)에 비해 상당히 크다는 것을 알 수 있습니다(-25에서 25까지). 따라서 추정할 효과 크기를 지정한 대부분의 요인의 경우, 공식에 추가한 잡음/변동성 부분에 비해 요인을 감지하고 효과 크기를 추정하는 것이 매우 어려울 수 있습니다. 또한 5개의 "활성" 요인을 언급했지만 혼란이 있는 것 같습니다. 추정치의 상대적 크기가 실험의 잡음/자연적 변동성과 비교했을 때 충분히 큰 경우에만 "활성"으로 간주됩니다. 0이 아닌 다른 추정치를 지정했기 때문에 활성/중요한 것으로 간주해야 하는 것은 아닙니다. 신호 대 잡음 비율의 문제이며 통계적 유의성과 실제적 유의성의 차이입니다.
조정할 유의 수준(p-값 임계값)은 디자인 평가 플랫폼에서 설계 및 가정된 노이즈(예상 RMSE)에 따라 추정할 수 있습니다. 이 플랫폼에서 유의 수준과 예상 RMSE를 조정하여 파워(활성화 시 효과를 감지할 확률)를 평가할 수 있습니다.
"정확히 엄격하지는 않지만", 연습으로 이론적 응답 공식을 작업하는 동안 분석 결과가 적절한지 확인할 수 있습니다. 공식의 노이즈 부분을 살펴보기 위해 새 공식 열을 추가할 때 약 12의 표준 편차를 추정할 수 있습니다.
이 값을 예상 RMSE(아마도 RMSE에 대한 낮은 추정치)로 사용하고 유의 수준을 0.05로 고정하고 공식의 이론적 추정치를 예상 계수로 사용하면(이 RMSE를 사용하여 주효과에 대한 설계의 검정력 "기준선"을 확인하기 위해 공식의 귀무 효과에 "1"을 남겨두었습니다) 분석의 출력과 일치합니다.
X1만이 높은 확률로 감지할 만큼 충분히 큰 효과 크기를 갖습니다. 다른 효과의 효과 크기는 상대적으로 너무 낮습니다(응답의 예상 RMSE와 비교). 동일한 예상 노이즈로 더 높은 유의도 임계값을 갖는 경우 주효과를 감지하는 능력이 증가합니다.
귀하의 교육 목표에 따라 예시에 대한 여러 옵션(단독 또는 결합)을 사용할 수 있습니다.
- 원하는 활성 효과의 대부분을 감지(및 추정)할 수 있도록 변동성(Y 공식 응답의 무작위 균일 부분)을 줄일 수 있습니다.
- 활성 효과를 더 쉽게 감지할 수 있도록 설계 크기를 늘릴 수 있습니다. JMP 도움말에서: " 그러나 최소 실행 크기 DSD를 4개 이상의 적절하게 선택된 실행으로 증강하면 높은 확률로 상당히 더 많은 효과를 식별할 수 있습니다. " : Fit Definitive Screening 플랫폼 개요
- 높은 노이즈/변동성에도 불구하고 효과를 감지하기 쉽도록 효과 크기(수식에서 요인 추정치의 크기)를 늘릴 수 있습니다.
- 또한 주요 효과를 감지하기 위해 다양한 분석 플랫폼을 시도할 수 있습니다. Fit Two Level Screening Platform은 예를 들어 다른 관점을 제공할 수 있습니다.
- 무엇을 선택하든 디자인 평가 플랫폼(및 다양한 디자인 선택을 비교하는 디자인 비교 플랫폼)은 학생들에게 보여주고 설명하는 데 매우 중요합니다. 이를 통해 목표, 모델의 복잡성, 효과 감지 능력, 앨리어싱 속성 등에 따라 모든 디자인의 장단점을 더 잘 평가할 수 있습니다. 또한 예상 RMSE와 예상 계수에 대한 사전 정보가 있는 경우 유의 수준을 평가하여 조정할 수도 있습니다.
내 답변이 귀하의 예에서 무슨 일이 일어나고 있는지 이해하는 데 도움이 되기를 바랍니다.
Re: DSD 분석에서 활성 효과를 추론하기 위한 고수준의 1단계 P값 설정안녕하세요, 빅터님. 자세한 답변을 다시 한번 감사드립니다. 네, 상당한 노이즈로 인해 결과가 흐릿하고 실험 예산이 최대 25회 실행으로 제한되는 파일럿 사례 연구를 기반으로 한 DOE 교육 사례입니다. 안타깝게도 사전 지식이 없었고 실용적인 접근 방식이 필요했습니다. 이 스크리닝 연구의 주요 목표는 RSM을 얻기 위해 DSD를 증강할 수 있는 강력한 주효과를 지정하는 것입니다. 그래서 4개의 추가 DSD 실행을 포함하지 않고 17개를 유지했습니다. 증강할 여분의 실행이 8개 있기 때문입니다(4개의 여분의 실행은 너무 적을 수 있음).
흥미로운 점은 임계값 P를 0.4로 높여도 DSD 분석에서 여전히 5개의 유의한 요인을 감지한다는 것입니다! 임계값 P가 0.7만큼 높을 때만 2개의 작고 유의하지 않은 효과 X6과 X7이 들어오고(ROC 분석에서처럼) 모델 특이성이 감소합니다. 5개의 강력한 효과를 사용하여 17개 실행 DSD를 24로 늘리면 매우 좋고 유용한 모델이 생성되고 실험 목표(Y 타겟 일치)가 성공적으로 달성됩니다.
저는 위에서 언급하신 Fit 2단계 스크리닝 플랫폼을 정말 좋아해요. X4도 선택할 것 같아요.
이 사례 연구는 실용적인 접근 방식을 사용하더라도 노이즈가 많은 결과와 예산 제약에도 불구하고 DSD는 여전히 강력한 스크리닝 도구라는 것을 보여줍니다. "S"가 의미하는 대로입니다. 저는 여전히 많이 사용합니다.
Re: DSD 분석에서 활성 효과를 추론하기 위한 고수준의 1단계 P값 설정또한 SVEM 전방 선택도 좋은 성과를 보입니다! 첨부 파일 참조
Re: DSD 분석에서 활성 효과를 추론하기 위한 고수준의 1단계 P값 설정안녕하세요 @프랭크더루이크 ,
저는 SVEM의 출력과 (체계적인) 사용에 대해 엇갈린 감정을 갖고 있습니다. 특히 노이즈가 많은 데이터에 대해서요.
SVEM 전방 선택은 모델에서 용어를 "선택"하지 않고(또는 특정 통계적 기준 및 임계값 덕분에 필터링하지 않고), 대신 다양한 훈련/검증 반상관 가중치로 데이터 포인트를 재샘플링하여 가능한 한 정확하게 추정하려고 합니다. 기본적으로 모든 용어는 SVEM으로 고려되고 추정됩니다.
따라서 귀하의 목표가 스크리닝을 통해 주요 중요 효과를 이해하고 필터링하는 것이라면 SVEM은 더 이상 도움이 되지 않을 수 있습니다. 이를 위한 결정 프레임워크(통계적 기준, 메트릭 및 임계값)가 없기 때문입니다. 그러나 SVEM은 정확한 용어 추정을 위한 예측적 사고방식에서 매우 유용합니다.
하지만 :
- "Percent NonZero" 열/지표를 통계적 지표로 사용하여 모델을 정제할 수 있지만, 임계값을 정의하는 데 p-값과 동일한 어려움이 있습니다. 용어가 모델에 포함되어 "활성"으로 간주되려면 >50% non-zero여야 합니까? 아니면 다른 수준이어야 합니까?
- SVEM 모델의 데이터를 시각화하면 핵심 효과를 강조 표시하고 실제적 중요성에 따라 선택할 수 있습니다(예: 용어의 절대값은 > 2여야 함):
하지만 다시 한번 말씀드리자면, 이 "수용" 임계값을 정의하려면 많은 도메인 전문 지식과 사고가 필요할 수 있습니다. 즉, 더 자세히 조사해보면 흥미로울 수 있는 몇몇 용어를 조기에 제외하지 않아야 합니다.
또한 잔차 패턴을 살펴보면 이상한 일이 발생합니다.
저는 이 비무작위 잔차 패턴(편향)을 보여주는 회귀 모델을 신뢰하지 않을 것입니다. 하지만 SVEM GenReg를 주효과로만 실행하면 모델 복잡도를 낮추어 "개선"할 수 있습니다.
잔여 패턴에 곡률이 있는 듯합니다. 따라서 분명히 귀하의 예에서, 귀하의 응답 공식의 상호작용과 2차 효과는 이 간단한 모델에서 조사되지 않았고, 그것이 이 곡률 패턴을 설명할 수 있습니다.
저는 모델 구축과 추정을 복잡하게 만드는 것이 옳지 않다고 생각합니다. 특히 이 예에서처럼 노이즈가 많은 데이터의 경우에는 더욱 그렇습니다.
모델 품질은 항상 데이터 품질(및 정밀도)과 연결됩니다.
Re: DSD 분석에서 활성 효과를 추론하기 위한 고수준의 1단계 P값 설정동의합니다. 초기 스크리닝에 기반한 회귀 모델은 전혀 신뢰할 수 없습니다. 이는 순차적 워크플로에서 어떻게 더 진행해야 하는지에 대한 방향을 제시하는 스크리닝의 목적이 아닙니다. 위의 모든 분석 도구, DSD 분석, 2단계 적합 및 SVEM은 DSD를 증강하는 데 사용할 수 있는 동일한 5가지 가장 강력한 효과를 필터링합니다. 저는 순차적 접근 방식을 좋아합니다. 지식의 집을 짓기 위해서는 가장 강력한 구성 요소부터 시작하여 다른 작고 중요한 효과를 연구하기 위한 견고한 프레임워크를 얻어야 합니다.
Re: DSD 분석에서 활성 효과를 추론하기 위한 고수준의 1단계 P값 설정이 2단계 스크리닝에서는 강하고 유의미한 2차 효과가 관찰됩니다. 이 효과는 신뢰할 수 있을까요? 이 스크리닝 플랫폼은 2단계만 검사하는데, 3단계 2차 효과는 어떻게 감지할 수 있을까요?
Re: DSD 분석에서 활성 효과를 추론하기 위한 고수준의 1단계 P값 설정안녕하세요 @프랭크더루이크 ,
자세한 지침 및 정보는 다음 문서에서 확인할 수 있습니다. Fit Two Level Screening Platform 개요
여기에서 모델에서 용어/효과 도입 순서를 확인할 수도 있습니다: 효과 입력 순서에 대한 통계적 세부 정보
이 플랫폼은 다중 레벨 범주형 또는 순서형 요인에는 권장되지 않습니다. 이는 이러한 요인이 연속형으로 처리되기 때문입니다.
이차 효과의 경우, 대부분의 경우 이러한 효과는 모형에 입력하기 위해 인위적으로 직교화되므로 p값과 효과 추정이 부정확할 수 있습니다. 그러나 플랫폼은 3단계 연속 요인에 대해 고대비 이차 효과를 여전히 감지할 수 있습니다.
저는 이 주제에서 이 플랫폼을 사용했습니다: 혼합 회귀를 위한 직교 주효과 스크리닝 디자인(OML) 계획 발견 - JMP 사용자 커뮤니티. 이 플랫폼은 Fit Definitive Screening 플랫폼이나 Fit Model(일반화 회귀) 플랫폼의 두 가지 추정 방법으로는 감지할 수 없었던 2차 효과를 감지하는 데 도움이 되었습니다.
따라서 Fit Two-Levels 플랫폼을 테스트하고(지침과 권장 사항을 따르면서) 다양한 플랫폼의 모델을 비교하고 용어 선택에 대해 어떤 모델이 일치하거나 일치하지 않는지, 그리고 가장 관련성이 높은 모델은 무엇인지 파악하는 것이 흥미로울 수 있습니다.
이 답변이 도움이 되기를 바랍니다.
