Re: 모델 선택을 위한 Fit Definitive Screening vs. Stepwise(최소 AICC)안녕 @QW ,
"Fit Definitive Screening Design"은 DSD용으로 설계된 분석으로 효과 계층, 효과 유전 및 효과 희소성의 DOE 원칙을 강조하고 지원합니다. 실험 설계 원칙 및 지침(jmp.com)
- 첫 번째 라운드에서 Fit DSD 플랫폼은 중요한 주효과를 찾고 식별된 주효과를 기반으로 모델을 생성하려고 시도합니다.
- 두 번째 라운드에서는 첫 번째 모델의 잔차를 분석하여 상호 작용 항 또는 검정력 항과 같은 2차 항(이전에 식별된 주 효과에 따라 달라지며 효과 유전 원칙에 따름)을 찾아 감지합니다.
기본적으로 플랫폼은 "강력한 유전" 원칙을 사용합니다(예: 상호작용 A*B는 주효과 A와 B가 모두 식별되고 첫 번째 라운드에서 중요한 경우에만 두 번째 라운드에서 분석 및 식별될 수 있음). 모델링에서 "2차 항은 강한 유전을 따릅니다" 및 "상호작용은 강한 유전을 따릅니다"를 선택 취소하여 모델링에서 "유연성"을 선택합니다. 이는 약한 유전을 가능하게 합니다. 즉, 예를 들어 첫 번째 라운드에서 주효과 A 또는 주효과 B가 식별되고 중요하다면 두 번째 라운드에서 상호 작용 A*B를 분석할 수 있습니다. 귀하의 경우 약한 유전은 동일한 모델을 제공합니다. 여기에 더 많은 정보가 있습니다. DSD를 위한 효과적인 모델 선택(jmp.com)
또한 DSD가 2차 효과를 감지하는 데 강력하고 흥미롭더라도 여전히 설계를 선별하고 있으므로 가능한 모든 효과를 감지하고 추정할 수 없으며 2차 항 또는 상호 작용 항과 관련된 검정력이 상당히 크다는 점에 유의하십시오. 예를 들어 주효과에 비해 낮기 때문에 2차 효과를 감지하는 데 더 어려움이 있는 것이 "정상"으로 보입니다.
2차 효과 중에서 감지되지 않은 숨겨진 용어가 여전히 있다고 생각되면 더 많은 실행(플랫폼 "Augment Design" 사용)으로 디자인을 보강하여 모델에 대한 신뢰도를 높이고(및 새로운 2차 효과 및/또는 상호 작용 효과를 감지할 수 있음).
"단계적" 선택 접근 방식은 다르며 "모델에 구애받지 않는" 분석과 같이 더 지향합니다. 여기서 용어 선택은 DoE 원칙 중 일부를 반드시 따르지 않아도 됩니다(주요 효과와 같은 일부 용어를 존중할 수 있더라도). 영향 유전/계층) 기준(AICc, BIC, ...)을 최적화하는 데 중점을 둡니다. "Fit DSD"와 같은 다른 플랫폼의 "보호 장치"가 없을 수 있으므로 모델이 더 복잡해질 수 있습니다. 경계를 넓히고 Stepwise 플랫폼으로 다른 디자인을 탐색하고 싶다면 빨간색 삼각형을 클릭하고 "모든 가능한 모델"을 시도할 수도 있습니다. 모형의 항 수를 지정할 수 있으며 JMP는 가능한 모든 항의 조합을 시도하여 지정된 항 수를 가진 가능한 모든 모형을 제공합니다. 모델링에서 약간의 "영감"을 줄 수 있지만 통계적 유의성 없이 일부 용어가 모델에 입력될 수 있으므로 결과를 주의해서 취해야 합니다(따라서 나중에 약간의 미세 조정이 필요할 수 있음).
첫 번째 모형(일부 항은 기본적으로 추가되지만 해당 p-값이 임계값 0,05 이상임):
다양한 모델링 옵션을 시도하고 비교하는 것은 항상 흥미롭고 도메인 전문 지식이 프로세스를 안내할 수 있는 경우 더욱 그렇습니다. 중요한 용어에 대한 아이디어를 얻는 데 도움이 될 수 있으며 가정된 모델을 기반으로 새로운 실행으로 DoE를 보강하는 방법을 정의하는 데 도움이 될 수 있습니다.
여기에 옳고 그른 대답이 있다고 생각하지 않습니다. 핵심은 사례를 잘 이해하기 위해 여러 모델을 비교하고 평가하는 것입니다. 일부 방법은 다른 방법보다 더 보수적이지만 다양한 모델링을 도메인 전문 지식과 결합하면 가장 중요한 것에 대해 더 폭넓은 시각을 갖는 데 도움이 될 수 있습니다. 그런 다음 모델을 개선하기 위한 다음 실험을 계획하고 모델을 평가할 수 있는 몇 가지 검증 지점을 준비합니다.
이 (긴) 답변이 도움이 되기를 바랍니다.
추신: 다른 추정 방법(최상의 부분 집합, 가지치기/2단계/정방향 선택 등)을 사용하여 일반화 회귀와 같은 다른 플랫폼에서 수행된 다른 모델을 비교할 수도 있습니다.
Re: 모델 선택을 위한 Fit Definitive Screening vs. Stepwise(최소 AICC)이러한 접근 방식과 기타 접근 방식은 도움이 되지만 한 가지 방법이나 답을 지시하지는 않는 도구의 기반입니다. Fit Definitive Screening 접근 방식은 귀하의 사례에 적합한 모델을 찾지 못했습니다. JMP는 무수한 접근 방식을 기반으로 하는 수많은 도구를 제공하므로 최상의 모델을 선택하기 위해 검색을 한 가지 접근 방식으로 제한할 필요가 없습니다.
JMP는 모든 경우에 우월한 접근 방식이 없기 때문에 이러한 모든 도구를 갖추고 있습니다.
또한 다양한 접근 방식으로 데이터를 분석하여 동의할 때 신뢰를 구축할 수 있습니다. 의견이 일치하지 않으면 의견이 일치하지 않는 이유를 조사하고 선택한 모델이 가장 좋은 이유를 이해할 수 있습니다.
무엇보다 모델의 유효성을 검사해야 합니다. 원래 실험에 포함되지 않은 설정에서 응답을 예측하는 데 사용합니다. 원하는 결과를 예측하는 설정과 바람직하지 않은 결과를 예측하는 설정을 고려해야 합니다. 모델은 실험 공간 내에서 모든 응답을 정확하게 예측해야 합니다.
모델 선택을 위한 Fit Definitive Screening vs. Stepwise(최소 AICC)4개의 요소가 있는 17 실행 DSD에 모델을 맞추려고 합니다. JMP 설명서에서 권장하는 'Fit Definitive Screening' 플랫폼과 최소 AICC를 기준으로 하는 이전 정방향 선택 방법의 두 가지 방법을 평가하고 있습니다.
도메인 지식을 기반으로, 낮은 수준이 상대적으로 유사해야 하는 중간/높은 수준보다 훨씬 더 나쁜 고원처럼 보이는 요인 B에 대한 2차 효과를 예상했을 것입니다. 'DSD 적합' 알고리즘의 결과를 보면 요인 B에 대한 주효과 잔차 그림이 실제로 다음과 같이 보입니다. 그러나 적합 DSD 알고리즘은 2차 효과를 출력하지 않습니다. 2단계 비율을 1에서 0.1로 변경해 보았지만 아무런 차이가 없었습니다.
동일한 데이터 세트를 가져오고 최소 AICC로 정방향 모델 선택을 사용하면 용어로 B^2를 포함하는 다음 모델을 얻습니다.
마지막으로, Fit DSD vs. stepwise로 만든 모델을 실제로 실행해보면, stepwise-derived model의 전체 p-값과 조정된 R^2가 우수한 적합도를 나타냄을 알 수 있습니다(fit의 경우 p = 0.0144 및 r^2 = 0.438). DSD, p = 0.0030 및 r^2 = 0.615(단계별)
나는 다른 출력 매개변수에 대해 이것을 반복했고 일반적으로 적합 DSD가 2차 항과 관련하여 단계적 선택보다 훨씬 더 보수적이라는 것을 발견했습니다. 이것이 사실입니까? 그렇다면 모델 적합도가 좋지 않더라도 적합 DSD의 모델을 사용하는 것이 여전히 권장됩니까?
익명 데이터를 첨부했습니다.
감사합니다.
데이터 혼합 및 정리실험 설계
