복제된 실행을 통한 Svem 분석 DOE마지막 DOE 토론 포럼에서 반복된 실행이 있는 DOE에 대한 Svem 분석이 논의되었습니다. 반복된 실행의 결과를 평균화하는 것이 제안되었습니다. 반복 간에 상당한 차이가 있는 경우 어떻게 될까요? 반복 내부 변화를 추정하기 위해 추가 "반복 실행 변수"로 Svem을 실행하는 것이 더 좋지 않을까요? 반복 내부 변화가 중요한 경우 Svem이 이를 선택합니다. 다음 혼합 모델 분석에서 반복 변수는 Svem이 중요하다고 지정한 고정 효과와 분리된 무작위로 할당될 수 있습니다.
실험 설계Re: 복제된 실행을 통한 Svem 분석 DOEDOE 클럽 회의에 참석하지 않아서 죄송하고 SVEM 분석에 익숙하지 않습니다(파일을 다운로드했고 검토하겠습니다). 실험 분석은 개인적인 선택입니다. 이를 수행하는 방법은 여러 가지가 있습니다. 댓글을 달기 전에 반복이 아니라 복제를 의미하는지 확인하고 싶습니다. 즉, 복제는 동일한 처리 조합의 독립적인 실행으로 간주되며 각 실행에는 출력으로 독립적인 실험 단위가 있습니다.
제가 알지 못하는 사이에 한 의견은 다음과 같습니다.
1. 데이터를 요약할 때 변함없이 정보를 버립니다. 평균을 낼 거라면 평균을 낸 데이터의 변화도 반응으로 고려해야 합니다. 제 생각에는 반복 실험에서 평균을 내면 정보(및 DF)가 버려집니다. 반복 실험을 한다면 좋은 생각이며 모델에 대한 변화 반응도 고려하세요.
2. 이것이 실제로 반복이라면 반복 사이에서 무엇이 바뀌는지 이해하고자 하는 것 같습니다. 반복 사이에서 어떤 요인(노이즈)이 바뀌는지 식별하고 할당할 수 있다면 요인 효과의 견고성에 대해 많은 것을 배울 수 있습니다. 이는 추론 공간을 늘리고 설계의 정확도를 높이는 동시에 훌륭한 전략이 될 수 있습니다.
"차단할 수 있는 것은 차단하고, 차단할 수 없는 것은 무작위로 지정하세요". GEP Box
당신이 식별하고 블록으로 할당할 수 있는 것을 혼동하십시오. 당신이 식별하지 못한 요인에 대해서는 무작위화가 전략입니다.
Re: 복제된 실행을 통한 Svem 분석 DOE안녕하세요 @frankderuyck ,
SVEM 분석은 두 가지 상황에서 효과적입니다.
- 매우 제한된 데이터로 예측 모델을 구축하기 위해, 약간씩 다른 데이터(훈련 및 검증에 대한 가중치가 다름)를 기반으로 훈련 및 검증된 다양한 개별 모델을 쌓아 올립니다.
- 모델 스태킹을 통해 기계 학습 방식으로 고유한 개별 실험(반복 없음)에 대한 실제적 중요성을 평가하고 효과 추정치의 정확도를 높입니다.
어떤 상황에서든 SVEM 기술이 도입된 맥락을 기억하는 것이 중요합니다. 즉, 다른 가능한 검증 기술이 전혀 없는 소규모 데이터 세트에 대한 검증 기술/프레임워크를 제공하는 것입니다.
토크 및 프레젠테이션: 실험 설계 및 분석 재고?(2021-EU-30MP-776) - JMP 사용자 커뮤니티
SVEM: 실험 설계 및 분석의 패러다임 전환(2021-EU-45MP-779) - JMP 사용자 커뮤니티
따라서 개념적으로 SVEM과 반복 실험을 결합한다는 아이디어에 대해 저는 엇갈린 감정을 가지고 있습니다. 이는 서로 다른 개념, 목표, 검증 방법론에 의존하는 두 가지 서로 다른 모델 구축 방법론을 합친 것처럼 보이기 때문입니다. 즉, 반복 실험과 통계적 모델링을 포함하는 설계의 경우 통계적 유의성과 오류/노이즈 추정을 기반으로 한 스크리닝과 예측 정확도와 부트스트래핑/모델 스태킹을 기반으로 한 예측 모델링입니다.
반복 실험이 있는 경우, SVEM을 사용하여 모델을 구축할 때 데이터 누출이 발생할 수 있다고 우려합니다. 각 실험은 무작위로(그리고 상관관계가 없는 방식으로) 훈련 및 검증 가중치를 가지므로 반복 실험은 동일한 처리를 나타내더라도 훈련 및 검증에 다른 강조점을 둘 수 있습니다! 따라서 모델 구축은 약간 편향될 수 있으며(다른 가중치를 가진 반복 실험을 통해 훈련 및 검증 세트에 대한 정보를 가지고 있기 때문에) 용어 추정치에 대한 "과도한 확신"과 표준 편차의 큰 감소로 이어질 수 있습니다.
동일한 예제에서 반복 실험 간 변동성을 증가시키면(최대 30회 반복 실험이 추가된 Reactor 20 Custom JMP 데이터 세트 대 원래 Reactor 20 Custom 데이터 세트), 반복 실험이 있는 설계에서 SVEM을 사용하는 상황과 반복 실험 없이 SVEM을 사용하는 상황은 추정치와 표준 오차 측면에서 매우 유사하다는 것을 알 수 있습니다.
그래서 다시 말씀드리자면, 두 가지 기술을 합치는 것의 이점이 무엇인지 모르겠습니다. 두 가지 (매우) 다른 검증 기술을 합치는 것이기 때문에 SVEM은 이를 위해 만들어진 것이 아니기 때문입니다.
반복 분석에 표준 분석이 포함되어 있다면 이미 이 정보를 가지고 있을 수 있고, SVEM을 사용하면 부트스트래핑과 마찬가지로 표준 편차의 추정이 감소할 수 있으므로 반복 분석 변동 내에서 추정하기 위해 SVEM을 사용하는 것에 대해서도 회의적입니다. 부트스트래핑에 대한 훌륭한 대화형 시각화를 참조하세요. 이론 보기 - 빈도주의 추론
이 토론에 관심이 있는 다른 분들을 위해 DoE Club Q4의 녹음을 소개합니다: DOE Club Q4 2024 녹음
답변이 합리적이고 다른 회원의 의견에도 관심이 있기를 바랍니다.
Re: 복제된 실행을 통한 Svem 분석 DOE안녕하세요 Victor, 반복 횟수 간 변동이 낮으면 #replicates를 늘릴 때 큰 영향을 받지 않을 것으로 예상할 수 있습니다. 하지만 반복 횟수 간에 변동성이 너무 높아서 각 반복 횟수에 대한 차단 계수를 도입하고 이 차단 효과를 Svem에 포함하는 것이 흥미롭지 않다면 어떨까요?
Re: 복제된 실행을 통한 Svem 분석 DOE안녕 프랭크,
저는 SVEM 방법이 "설계와 무관"한 것으로 보이므로 그룹화, 차단 구조 또는 반복 실험의 존재를 고려하지 않아 차단 효과 항목 추정치에 대한 "과도한 자신감"/데이터 유출/표준 편차 감소로 이어질 가능성이 있으므로 여전히 이것이 좋은 생각이 아니라고 생각합니다.
또한 이것은 특정 유형의 부트스트래핑이므로 이전에 대화형 시각화에서 보여준 것과 같이 표준 편차 추정치가 감소할 수 있습니다.
편집: SVEM에 대한 추가 정보:
자체 검증 앙상블 모델 개요
Lemkus, T., Gotwalt, C., Ramsey, P., 및 Weese, M. (2021). “실험 설계를 위한 자체 검증 앙상블 모델.”화학계량학 및 지능형 실험실 시스템219:104439.
Re: 복제된 실행을 통한 Svem 분석 DOE반복 실험 간 변동이 너무 높지 않다면 평균 결과를 모델링에 사용할 수 있다는 데 동의합니다. 이는 반복 실험 간 변동이 클 때 다릅니다. 첨부 파일에서 프로세스 노이즈로 인해 반복 실험 간 변동이 큰 연구를 찾으십시오. 무작위 효과로 반복 실험을 하는 혼합 모델과 반복 요인이 있는 SVEM은 비슷한 결과를 보여줍니다. 그러나 반복 실험 결과를 평균화하면 일반화된 AICC 및 SVEM 모델도 비슷하고 훨씬 더 좋지만 혼합 및 SVEM+반복 실험과 결과가 다릅니다. 반복 실험 평균화를 사용하는 후자의 두 분석에서는 더 많은 효과가 중요합니다! 이 사례는 변동이 큰 반복 실험의 평균을 주의해서 사용해야 함을 보여줍니다. 또한 SVEM+반복 실험은 무작위 반복 효과를 아주 잘 포착합니다.
Re: 복제된 실행을 통한 Svem 분석 DOE아래 분석 스크린샷
1. 혼합 모델 & SVEM + 복제 효과
2. 평균 반복 결과: 일반화된 전방 선택 AICC 및 SVEM
Re: 복제된 실행을 통한 Svem 분석 DOE흥미로운 사례 연구네요, 공유해 주셔서 감사합니다 @frankderuyck .
용어 추정치와 표준 편차를 비교하면, 실제로 반복을 사용한 SVEM이 표준 편차에 영향을 미친다는 것을 알 수 있습니다. 중간 반복 변동성을 사용한 제 예에서 SVEM은 용어 추정치와 관련된 표준 편차를 상당히 줄였습니다. 훈련 및 검증 가중치의 데이터 누출이 모델 구축 중에 용어 추정치에 대한 정보를 가져왔기 때문입니다.
귀하의 경우 반복 실험 간 변동성이 매우 높기 때문에 데이터 누출은 모델의 학습과 검증 사이에 정보를 가져오지 않습니다(사실 이 큰 반복 실험 변동성 때문에 모델이 더 "손실"될 수 있음). 따라서 다른 방법보다 용어 추정치에 대한 표준 편차가 더 높을 것입니다. 평균값을 사용하는 SVEM이나 REML 모델을 사용하면 매우 유사한 정보를 얻을 수 있으며, 평균값에 대한 일반화 회귀 전방 회귀는 지나치게 낙관적인 표준 편차 추정치를 제공할 수 있습니다.
그래서 제 생각에 일반적인 조언은 반복을 포함하는 원시 데이터에 SVEM을 사용하지 않는 것입니다(데이터 누출로 인해 편향된 모델 적합이 발생하기 때문입니다). 처리에 대한 평균값을 사용하는 SVEM을 사용하거나(하지만 내부 처리 변동성에 대한 정보를 잃습니다) 반복을 포함하는 원시 데이터에 다른 방법을 사용합니다(REML/Fit Model 접근 방식).
@philramsey , @chris_gotwalt1 및 커뮤니티의 다른 호기심 많은 멤버의 관점을 알고 싶습니다.
Re: 복제된 실행을 통한 Svem 분석 DOE저는 2단계 접근 방식을 제안하고 싶습니다. (1) SVEM + 복제 요인을 사용하여 가장 강력한 효과를 필터링하고 (2) 후자를 사용하여 복제를 무작위로 하는 혼합 모델을 구축합니다.
Re: 복제된 실행을 통한 Svem 분석 DOESVEM에서 반복 효과의 가중치가 낮으면 반복 평균을 사용하는 일반적인 장르/OLS를 사용할 수 있습니다.
