좋은 오후에요,
저는 CCD를 사용하여 두 가지 다른 실험을 했고 두 가지 모두 혼란스러운 결과를 얻었습니다. 각 실험은 두 가지 다른 재료를 나타내며 서로의 복제품이 아닙니다.
각 실험은 2개의 블록이 있는 면심 CCD였으며, 각 블록은 반복 실험이었습니다. 각 블록은 샘플 내에서 변이가 있습니다. 저는 블록이 모델에서 유의하지 않다고 가정합니다. 왜냐하면 분산 간을 무시할 수 있을 만큼 상당한 양의 내분산이 있기 때문입니다(저는 박테리아를 다루고 있으며 접종물은 무엇을 하든 달라지기 때문입니다. 포아송 분포를 따릅니다). 결과는 존재(1)/부재(0)입니다. 목표는 100% 존재입니다.
적합 명목 로지스틱을 실행하고 모든 변수를 모델에 유지하면 두 실험 모두에 대한 전체 모델 검정의 p-값이 <0.05이고 적합성 부족은 >0.05입니다. 그러나 중요하지 않은 효과를 제거하기 시작하면 적합성 부족이 <0.05가 됩니다.
앞으로 나아가는 가장 좋은 방법을 알아낼 수 없습니다. 각 실험에 대해 세 번째 반복을 해야 할까요? 축 지점으로 보강(회전 가능하게 만들기)할까요? 모든 변수를 그대로 두어야 할까요? 변수를 제거한 후(적합도 부족 <0.05) 프로파일러를 "있는 그대로" 사용하고 작동하는지 확인해야 할까요?
도움을 주셔서 미리 감사드립니다!
안녕하세요 @Feline614 ,
맥락과 목표에 대한 제한된 정보와 관련하여, 저는 여러분의 성찰을 돕고 여러분을 안내할 수 있기를 바라며 (많은) 질문의 비철저한 목록을 가지고 있습니다:
- 목표: 귀하의 목표는 무엇입니까?
- 박테리아 존재의 핵심 요인과 영향을 이해하시나요?
- 박테리아 존재에 대한 조건을 최적화 ? 전역적으로 또는 각 재료에 대해 구체적으로 ?
- 응답 : 이진(예/아니요 또는 부재/존재) 응답 측정으로만 제한되어 있습니까? 박테리아 개체군을 계산할 수 있는 가능한 옵션이 있습니까(수동으로 또는 컴퓨터 비전 도구의 도움으로...?)?
지속적인 대응은 측정 시스템과 실험 준비로 인한 변동성/잡음을 평가하여 요인에 대한 결과를 분석하고, 요인의 영향을 정확하게 추정하는 데 도움이 됩니다.
- 실험 설정 및 DoE 선택 : 왜 두 실험을 별도로 실행하기로 했나요? 두 실험 설정에서 X_1과 X_2의 요인, 범위 및 단위가 동일합니까?
두 설계의 요인과 단위가 동일하다면 전체 데이터 세트를 분석해 보는 건 어떨까요? 두 데이터 세트를 연결하고, 연결에서 "소스 열"을 사용하여 데이터 소스와 사용된 관련 자료를 식별하고, 용어 목록에 주요 효과와 주요 요인과 X1/X2 간의 2-요인 상호 작용을 추가하여 유사한 모델을 만들 수 있습니다. 그러면 결과를 일반화하고, 추론 공간을 늘리고, 요인과 응답 간의 관계를 이해하는 데 도움이 될 수 있습니다.
- 차단 계수 : 귀하의 차단 계수는 무엇입니까? 차단 계수가 평균 반응(고정 효과, 설계 역할 "차단") 또는 반응 분산(모델 생성 시 무작위 효과, 일반화 선형 혼합 모델 사용)에 변화를 일으킬 수 있다고 생각하십니까?
차단 요인이 실험 능력(예: 하루 실험 횟수)과 연결되어 있는 경우, 이는 무작위 효과로 간주될 수 있습니다.
- 모델 선택 기준 : 모델 선택에 대한 기준은 무엇입니까? 효과와 모델 p-값의 통계적 기준에 따라 분석을 수행한 것 같지만 모델을 더욱 세분화하고 싶으신가요? 일부 효과를 제거하고 싶은 이유는 무엇입니까(통계적 유의성은 있지만 실제적 유의성/중요성은 없음? 도메인 전문 지식이 부족함? 기타...)?
일부 의견: 적합성 부족 검정은 모델이 데이터에 잘 맞는지 평가하는 데 도움이 됩니다. 작은 p-값(<0.05)은 상당한 적합성 부족을 나타냅니다(따라서 귀하의 경우 "중요하지 않은 효과 제거"로 인해 모델이 데이터에 너무 단순하여 과소 적합되는 것으로 보입니다).
P-값이 모델 평가 및 선택에 사용되는 유일한 기준은 아니며, 메트릭은 목표에 따라 선택해야 합니다. 예를 들어, 정보 기준(AICc, BIC)도 모델의 복잡성/정확도 균형과 적절성을 평가하는 데 도움이 될 수 있습니다.
- 모델 선택 : 명목 로지스틱 모델을 사용했습니다. JMP/JMP Pro가 있는지 여부에 따라 일반화 회귀 개성을 통해 다른 모델을 시도하기 위해 다른 추정 방법을 사용할 수 있습니다. 트리 기반 모델(의사결정 트리/랜덤 포레스트) 또는 지원 벡터 머신과 같은 간단한 머신 러닝 모델을 사용할 수도 있습니다. 과적합을 피하기 위해 트리 기반 방법의 경우 트리 깊이(2/3 분할만) 또는 SVM의 경우 지원 벡터 수를 제한해야 할 수 있지만 이러한 다른 모델링 옵션을 사용하면 다른 통찰력을 제공할 수 있습니다.
- 모델 사용 : 모델에서 얻은 학습 내용을 어떻게 활용하고 싶으신가요? 결과가 "혼란스러운" 이유는 무엇인가요? 이미 수행한 분석에서 무언가를 배웠나요? 모델에서 얻은 결론을 검증하기 위해 테스트하여 이러한 학습 내용을 실제로 적용할 수 있나요? 발견 사항/결론이 도메인 전문성과 일치하나요?
반복의 동기는 무엇입니까? 축점을 이용한 증강? 주제에 대해 계속하고 싶은 이유/방법은 무엇입니까?
이러한 질문이 도움이 되기를 바랍니다.
