단계적 회귀를 사용한 혼합물 DOE 분석Mixture 사례 연구(웹캐스트 및 JMP 문서 라이브러리)에서 결과를 분석하는 데 역방향 회귀가 사용되는 것을 확인했습니다. 일반(Pro가 아닌) JMP에서 순방향 회귀 또는 모든 가능한 모델과 함께 단계적 회귀가 사용되지 않는 이유는 무엇입니까? 혼합모형의 특수성 때문에 단계별로 가능하지 않습니까?
실험 설계Re: 단계적 회귀를 사용한 혼합물 DOE 분석본질적으로 대부분 철학적 인 내 생각은 다음과 같습니다.
내 첫 번째 생각은 실험 설계를 위해 단계적으로 수행하지 않는 것입니다.이 실험은 요인과 해당 요인에 대한 예측 모델(예: 1차, 1차 + 2차 등)을 조사하도록 설계되었습니다. 모델은 선험적으로 예측되어야 합니다.Stepwise는 알 수 없거나 예측할 수 없는 관계를 밝히는 절차입니다.
혼합물 설계는 대부분 최적화 설계입니다.즉, 혼합물의 구성 요소는 이미 중요한 것으로 알려져 있으며 이제 작업할 표면의 최상의 "영역"을 찾으려고 합니다.모델의 항을 이미 알고 있고 해당 항을 최적화하고 있어야 합니다.또한 있을 수 있습니다 혼합 설계에서 공정한 공선성이 있어야 단계적으로 도전할 수 있습니다.
Re: 단계적 회귀를 사용한 혼합물 DOE 분석그러면 최상의 모델인 역회귀를 찾는 방법은 무엇입니까? 스튜어디스에서 가능한 모든 모델?...
Re: 단계적 회귀를 사용한 혼합물 DOE 분석접근 방식은 지식 연속체(예: 스크리닝, 최적화, 설명 또는 예측 여부)의 위치에 따라 크게 달라집니다. 스크리닝 단계에서 실험할 때 전체 모델(가능한 경우 포화 상태)로 시작하고 거기에서 중요하지 않은 항을 제거(역방향 또는 빼기 모델 구축)하는 것이 좋습니다.최적화할 때 질문은 약간 다릅니다(예: 일반적으로 혼합 설계).이미 1차 및 2차 선형 및 비선형에 대한 좋은 아이디어가 있어야 합니다.통계적 유의성은 덜 중요합니다(이미 설정됨).레벨 설정을 "미세 조정"하고 있습니다.
Re: 단계적 회귀를 사용한 혼합물 DOE 분석안녕 @frankderuyck ,
나는 "철학적" 관점에 동의합니다. @statman 단계적 회귀와 관련하여 선험적 모델이 없는 경우 일부 요인과 효과를 밝히기 위해 "설계되지 않은" 데이터 세트에 더 중점을 둡니다.p-값을 사용하는 전통적인 모델 선택 기술은 혼합에 유용하지 않습니다. 추정 효과(효과 간 별칭) 간의 다중 공선성으로 인해 추정의 표준 오류가 상당히 커서 오해의 소지가 있고 왜곡된 p-값이 생성됩니다.
(모델 기반) 혼합물 설계의 경우 순방향 단계적 회귀 분석이 가능할 수 있지만 안전 장치와 주의가 필요합니다(예: 모델의 주 효과 강제 및 절편 없음). 두 가지 옵션은 혼합물 설계에 대해 고려하기에 흥미로울 수 있으며 그의 프레젠테이션 중 하나에서 Dr. Philip J. Ramsey가 강조했습니다. " JMP Pro 14를 사용한 제한된 혼합물 및 혼합물 공정 실험을 위한 분석 전략 " :
- Miller의 의사 요인 방법을 사용한 전통적인 포워드 선택
- 부분 가중 부트스트래핑 및 자동 검증을 사용하는 기존 정방향 선택: JMP Pro의 SVEM, 일반화 회귀 플랫폼(Gotwalt 및 Ramsey)
Ramsey 박사는 부분적으로는 모든 모형에서 순수 성분 항을 강제할 필요가 있기 때문에 혼합물에 대해 "모든 가능한 모형"의 사용을 권장하지 않습니다. 실용적이고 실용적인 관점에서 "모든 가능한 모델" 방법은 효과 간의 계층 및 유전에 관계없이 다양한 효과를 가진 모든 가능한 모델이 구성되기 때문에 계산 측면에서 매우 까다로울 수 있으며 그다지 효과적이지 않습니다. 따라서 고려하기에 그다지 흥미롭지 않고 관련성이 없을 수 있지만 여전히 불가지론적이고 "무차별한" 방식으로 생성되고 평가되는 생성된 모델의 상당 부분이 있습니다.
모델 기반 혼합 설계에 대해 가정된 선험적 모델이 있으므로 역방향 회귀는 AICc(JMP Pro의 일반화 회귀 플랫폼 또는 JMP의 역방향 단계적 단계)와 같은 정보 기준을 기반으로 하는 검증 방법과 함께 사용하는 것이 더 안전합니다.
요인 선별보다 예측 성능에 더 관심이 있으므로 모델의 모든 예상 효과(JMP, 표준 최소 제곱)가 있는 전체 모델에서 시작하고 항을 제거하여 역방향 회귀를 "수동으로" 수행할 수도 있습니다. 모델의 RMSE(예측 오차)를 줄이는 데 도움이 되는 한.
모델에 구애받지 않는 혼합 설계(예: 공간 채우기 설계)의 경우 보간에 효율적이고 효과적인 기계 학습 방법을 사용하면 균일하게 분포된 지점에서 예측 모델을 구축하는 데 매우 유용할 수 있습니다(과적합이 빠르게 발생할 수 있음). SVM , 신경망, k-최근접 이웃, 가우시안 프로세스, ...
결국 모델의 예측 성능을 검증하고 추정하기 위해 검증 실행이 필요할 수 있습니다.
이 추가 답변이 도움이 되기를 바라며,
Re: 단계적 회귀를 사용한 혼합물 DOE 분석웨비나에서 -logworth(p-value) 파레토 플롯이 역방향 회귀에 사용되는 것을 보았습니다. p-값이 혼합물에 적합하지 않은 경우 이것이 맞습니까? 참고: 일반화된 기계 학습을 사용할 수 없도록 비 jmp 프로 사용자에게 교육을 제공해야 합니다..
Re: 단계적 회귀를 사용한 혼합물 DOE 분석Full cubic Scheffé 모델을 기반으로 3요소 FLA 1, FLA 2 및 FLA 3 혼합 DOE를 분석하고 있습니다. 표준 최소 제곱 buttallon을 밀고 logworht pareto(혼합 분석의 P-값)에서 역회귀 baseo를 사용하여 낮은 효과 매개변수를 제거하려고 합니다. 아래 결과를 얻습니다. 선택한 효과도 모두 제거해야 합니까 아니면 포함되지 않은 효과만 제거해야 합니까?
나는 또한 Stepwise에서 "All Possible Models"로 분석을 수행했고 AICC 순위를 기반으로 한 아주 좋은 모델을 얻었습니다. 아마도 잘못된 모델일 수도 있습니다(P-값 기반 역방향 회귀가 올바른 모델을 생성할까요...?) 그러나 지정하는 데 매우 유용합니다. 최적의 출력 Y 설정!
혼합 분석의 강한 공선성 때문에 유효성 검사 열이 필요하고 일반화된 회귀 및 실제 기계 학습 도구 도구를 사용하는 것이 올바른 접근 방식이라는 데 확실히 동의합니다. SVEM을 자세히 살펴보겠습니다. 비프로 사용자 DOE 교육에 관해서는 고전적인 방법에 의존해야 합니다. "All Possible Models"는 위와 같이 나쁘지 않은 것 같습니까? 물론 더 복잡한 경우에는 > 3 혼합 성분 프로세스 효과가 너무 많은 모델을 생성하므로 순차적 접근 방식이 반드시 필요합니다. 그러나 강력한 공선성으로 인해 다음 순차적 단계로 진행하기 위해 매개변수를 잘 선택하는 것은 매우 어려울 것입니다.
Re: 단계적 회귀를 사용한 혼합물 DOE 분석안녕 @frankderuyck ,
DoE가 계승이든 혼합이든 상관없이 선험적으로 가정된 모델이 있는 경우 실험 설계 이면의 세 가지 원칙을 존중해야 합니다.
- 효과 희소성 : 효과 희박성 원칙은 실제로 실험에서 몇 가지 효과만 통계적으로 유의할 것이라는 생각을 말합니다. 대부분의 반응 변동은 적은 수의 효과로 설명되므로 주효과(단일 요인) 및 2요인 상호 작용이 요인 실험에서 가장 중요한 반응일 가능성이 큽니다. 파레토 원리라고도 한다.
- 효과 계층 : 계층 원리에 따르면 상호 작용의 정도가 높을수록 상호 작용이 응답의 변동을 설명할 가능성이 적습니다. 따라서 주효과는 2개의 요인 상호작용보다 더 많은 변동을 설명하고, 2FI는 3FI보다 더 많은 변동을 설명하므로 …
- 영향 유전 : 유전적 유전과 유사하게, 효과 유전 원리는 상호작용에 선행하는 순서가 중요한 경우에만 상호작용 용어가 고려될 수 있다고 가정합니다. 이 원칙에는 두 가지 가능한 구현이 있습니다. 강한 또는 약한 유전. 강한 유전 해당 주효과가 둘 다 존재하는 경우에만 교호작용 항이 모형에 포함될 수 있음을 의미합니다. 약한 유전 해당 주효과 중 적어도 하나가 존재하는 경우 상호 작용 항이 모델에 포함된다는 것을 의미합니다.
귀하의 경우 이러한 효과를 제거하려고 할 때 효과 유전 원칙과 충돌합니다. 이러한 용어를 포함하는 다른 모든 효과 용어를 이미 제거하지 않는 한 기본 효과 FLA1 및 상호 작용 FLA2xFLA3을 제거할 수 없습니다. 그래서 여기에 보관해야 합니다.
앞에서 설명한 것처럼 혼합물 설계에 대한 p-값만을 기준으로 모델을 만드는 것은 매우 오해의 소지가 있습니다.
AICc(또는 BIC ?) 기준으로 시도한 두 번째 옵션은 AICc(또는 BIC)가 모델의 복잡성과 정확도(낮을수록 좋음)의 "균형을 맞추는" 정보 기준이기 때문에 더 합리적으로 보입니다.
귀하의 스크린샷과 관련하여 모델 번호 9의 RMSE와 BIC가 낮기 때문에 용어 수가 많은 모델이 귀하의 경우에 유용할 수 있습니다. 또한 어떤 종류의 이분산성(향미 점수가 높을수록 더 큰 잔차)을 나타내는 것으로 보이는 잔차 플롯을 수정할 수 있습니다.
이 보충 설명이 도움이 되기를 바라며,
Re: 단계적 회귀를 사용한 혼합물 DOE 분석안녕 Victor, 나는 당신의 유전 원칙에 확실히 동의하며 이것이 이 경우 p-값에 기반한 역방향 회귀가 여기서 작동하지 않는 이유입니다.그래서 전향 AICC 선택과 함께 All Possible Models를 사용하여 아주 좋은 결과를 얻었습니다. 저는 지금 프로세스 변수가 있는 또 다른 혼합 사례를 연구하고 있으며 모든 가능한 모델 방법은 잘못되었을 수도 있지만 매우 유용한 모델을 생성합니다! 전문가가 아닌 JMP 사용자의 경우 혼합물 실험계획법 분석에 가능한 모든 모델 방법을 단계적으로 사용하는 것이 좋습니다.
Re: 단계적 회귀를 사용한 혼합물 DOE 분석음, 한두 가지 혼합 실험을 하고 " 혼합 DOE 분석을 위해 단계적으로 가능한 모든 모델 방법을 사용하는 것이 좋습니다."이 권장 사항에 주의를 기울이지 않으면 Danial이 말했듯이 "조기 일반화"에 실패할 수 있습니다.
Re: 단계적 회귀를 사용한 혼합물 DOE 분석적어도 내가 얻는 모델은 Cox의 실용적인 진술인 "틀렸지만 내 목표를 달성하는 데 유용합니다"를 충족합니다. JMP 전문가가 아닌 정규 분야에서 더 나은 대안은 무엇입니까? 이 모델들이 더 나을까요?
Re: 단계적 회귀를 사용한 혼합물 DOE 분석프로 사용자의 경우 검증을 통한 기계 학습 방법을 확실히 권장합니다.
Re: 단계적 회귀를 사용한 혼합물 DOE 분석내 개념은 이 토론에서 이전에 표현되었을 수 있지만 명시적으로 말하고 싶습니다. 우선, 우리는 주요 효과 모수 추정치를 테스트하지 않을 것입니다. 왜 안 돼? 구성 요소 비율의 합이 1이 되는 제약 조건은 선형 모델의 수학을 넘어서는 결과를 가져옵니다. 효과는 요인의 수준이 변경될 때 반응의 변화입니다. 요인 수준의 변화는 혼합되지 않은 실험에서 독립적이므로 요인 변경의 효과는 적절하게 설계된 실험에서 고유하게 결정됩니다. 하나의 혼합 성분을 다른 모든 성분과 독립적으로 변경하는 것은 불가능합니다. 따라서 혼합 실험에서 한 구성 요소에 효과를 고유하게 할당할 수 없습니다.
둘째, 주효과 모수 추정치를 테스트할 수 없습니다. JMP는 모수가 0이라는 귀무가설에 반하여 주효과에 대한 모수 추정치를 잘못 검정합니다. 주 효과 매개변수는 평균 반응에 순수 혼합 반응의 평균 변화를 더한 값이므로 귀무 가설은 0이 아니라 평균 반응입니다. 또한 평균 반응이 모든 주요 효과 매개변수의 일부이기 때문에 결합 테스트가 불가능합니다.
이 시뮬레이션된 데이터 세트의 실제 평균 응답은 20입니다. 평균 반응을 포함하는 실제 주효과 매개변수는 X1, X2 및 X3에 대해 각각 10, 20 및 30입니다. 모수는 0과 크게 다르지만 이는 잘못된 귀무 가설입니다. 각각의 주효과 추정치는 검정이 교락되었다는 메모와 함께 표시됩니다.
우리는 주요 효과에 대해 묻지 않지만 표면의 모양에 대해 알려주고 테스트할 수 있는 고차 항에 대해 물을 수 있고 물어야 합니다.
Re: 단계적 회귀를 사용한 혼합물 DOE 분석매우 흥미로운 Marc, JMP 프로 사용자가 아닌 사용자에게 추천하는 DOE 결과 분석 방법은 무엇입니까? 위의 예에서 로그워스 파레토를 사용한 역회귀는 작동하지 않았습니다. Stewise를 사용한 AICc 포워드는 가능한 모든 모델이 잘 작동했습니다.
Re: 단계적 회귀를 사용한 혼합물 DOE 분석나는 혼합 실험을 위한 선형 모델을 선택하기 위한 특정 방법을 권장하지 않습니다. 반복합니다 @statman 모든 것을 고려하라는 의 조언 선험적으로 실험을 설계하는 동안 그리고 실험을 분석하는 동안 다시 지식.
Re: 단계적 회귀를 사용한 혼합물 DOE 분석이것은 고차 항을 추정하기 위해 삼항 플롯의 내부 점에 초점을 맞춰야 한다는 것을 의미합니다. 따라서 공간을 채우는 DOE가 양방향 상호 작용 모델을 추정하는 것보다 더 나은 옵션입니까?
Re: 단계적 회귀를 사용한 혼합물 DOE 분석나는 전적으로 동의하며 위의 예에서 내가 한 일입니다. 올바른 접근 방식을 사용했습니까?
Re: 단계적 회귀를 사용한 혼합물 DOE 분석혼합 최적 설계(혼합 요인이 3개인 경우)를 사용할 때 포인트가 어떻게 생성되는지 명확히 하기 위해:
- 꼭짓점에 있는 점은 주요 효과 매개변수를 추정하는 데 도움이 됩니다.
- 가장자리 중간에 있는 점은 2요인 상호 작용을 추정하는 데 도움이 됩니다.
- 중앙에 있는 점은 3도 상호 작용에 사용됩니다.
공간 채우기 설계는 선험적 모델이 없는 경우 실험 공간에 무작위로 균일하게 분포된 지점을 만듭니다.
사용할 모델 유형(예: 양방향 상호 작용 모델)에 대한 아이디어가 이미 있는 경우 포인트 생성이 효과 항의 매개변수 추정에 최적화되므로 최적 설계가 더 유용하고 효과적일 수 있습니다. 가정된 모델에서 지정했습니다(공간 채우기 설계점 생성의 "무작위성"과는 다름).
공간 채우기 설계는 비선형 응답 표면의 가능성이 있는 가능한 모델에 대한 사전 지식이 없을 때 유용하며 측정할 수 없는 포인트의 경우 모델링 가능성에 대해 더 많은 유연성을 갖습니다(안정성 문제 , 매우 높거나 낮은 값, ...).
이것이 이 두 가지 유형의 방법론 사용의 차이점을 명확히 해주기를 바랍니다.Re: 단계적 회귀를 사용한 혼합물 DOE 분석5가지 구성 요소가 있는 혼합물을 테스트하고 어떤 구성 요소가 반응에 영향을 미치는지 알고 싶다면 이러한 유효 성분을 어떻게 선별합니까? 혼란으로 인해 가능합니까?
Re: 단계적 회귀를 사용한 혼합물 DOE 분석공간을 채우는 디자인으로도 스크리닝이 매우 어려울 것 같은데요?
비고: 저는 비혼합 DOE에 대한 폭넓은 경험을 가지고 있으므로 위의 질문이 혼합물 전문가에게는 순진하게 보일 수 있습니다.지금까지 내 결론은 혼합물 DOE는 경험이 필요하고 분석 방법이 비혼합보다 덜 명확하기 때문에 과학자들에게는 거의 인공적으로 보이지 않는다는 것입니다. 공식이 중요한 다가오는 DOE 교육에서 많은 질문을 준비하고 있습니다. 입력해 주셔서 감사합니다. 큰 도움이 됩니다!
Re: 단계적 회귀를 사용한 혼합물 DOE 분석공간 채우기 디자인은 실험 공간의 경계보다 내부에 조금 더 초점을 맞추는 경향이 있으며 최적화(균일하게 분산된 디자인 포인트와 다양한 모델링/알고리즘 옵션 덕분에 최상의 예측 모델에 적합)에 중점을 둡니다.
혼합물 설계는 특정 성능/반응에 대한 최상의 제형 비율을 찾기 위해 최적화 전략에서 더 많이 사용되지만 혼합 요인을 "선별"하는 데 도움이 되는 설계가 있습니다(또는 적어도 서로 간의 혼합 요인의 상대적 중요성을 평가하는 데 도움이 됨). 다중 공선성으로 인해 여기에서 통계적 유의성은 화면 효과에 적합하지 않기 때문입니다.
일반적으로 혼합물 설계에 익숙하지 않은 경우 인터넷에서 사용할 수 있는 리소스가 많이 있습니다. 다음은 도움이 되는 몇 가지 예입니다.
https://reliawiki.org/index.php/Mixture_Design
https://online.stat.psu.edu/stat503/lesson/11/11.3
https://www.lexjansen.com/sugi/sugi21/iv/138-21.pdf
이 답변이 도움이 되길 바라며,
Re: 단계적 회귀를 사용한 혼합물 DOE 분석감사합니다 빅터!
Re: 단계적 회귀를 사용한 혼합물 DOE 분석상위 모델이 '올바른' 경우 공간을 채우는 디자인이 반드시 '더 나은' 것은 아닙니다. 더 간단한 상황을 생각해 보십시오. 단일 연속 요소의 1차 효과만 있습니다. 최고의 10 런 디자인은 무엇입니까? 낮은 설정에서 5회 실행하고 높은 설정에서 5회 실행합니다. '공간 채우기' 설계는 실행을 2개 이상의 수준에 걸쳐 분산시키므로 통계적으로 효율적이지 않습니다.
혼합물에 대한 공간 채우기 설계는 단일체의 좁은 영역에서 응답이 빠르게 변화하고 해당 영역을 알 수 없는 경우에 유리합니다. 혼합물 실험을 위한 트위스트가 있는 스크리닝 설계입니다.
Re: 단계적 회귀를 사용한 혼합물 DOE 분석IMHO, 다른 사람에게 방법론을 교육하기 전에 많은 응용 프로그램에 능숙해야 합니다. 혼합물을 이해하기 위한 여행을 시작하려면 Cornell(Cornell은 혼합물에 대한 최고의 전문가 중 하나입니다)을 읽는 것이 좋습니다.
코넬, 존 (1990) “ 혼합물, 디자인, 모델 및 분석을 사용한 실험 ”, 와일리(SBN: 047152221X)
좋아하는 논문:
스니, 로널드 D., 혼합물 실험의 설계 및 분석 , 품질기술저널, Vol. 1971년 10월 3호 4호
코넬, 존, 요인 실험 내부에 혼합 실험 포함 , 품질기술 저널 , Vol. 1990년 10월 22일 4호
스니, 로널드 D., 도널드 마쿼트, 혼합물 실험을 위한 스크리닝 개념 및 디자인 에스, 테크노메트릭스 , 권. 1976년 2월 18일 1호
그리고 우리 자신의 Dan Obermiller의: 혼합물 실험에 대한 JMPing에 대한 팁
Re: 단계적 회귀를 사용한 혼합물 DOE 분석그만큼 콕스 믹스 모델 실험자가 이 질문에 대답하도록 돕기 위한 시도입니다. 참조 블렌드를 지정해야 합니다. 이 모델은 각 구성 요소의 고유한 효과를 결정하는 데 사용됩니다.
Re: 단계적 회귀를 사용한 혼합물 DOE 분석이러한 참조 믹스에 진심으로 감사드립니다! 이 도전적인 주제를 파고들겠습니다
Re: 단계적 회귀를 사용한 혼합물 DOE 분석저는 Louis Valente의 프레젠테이션에서 포인트 유형 열로 혼합 디자인 포인트에 레이블을 지정하고 색상을 지정하는 좋은 방법을 보았습니다. 아래를 참조하십시오. 이 포인트 유형 열을 어떻게 생성합니까?
Re: 단계적 회귀를 사용한 혼합물 DOE 분석Sample Scripts 폴더(\Samples\Scripts 아래의 JMP 폴더)에 이 작업을 수행하는 스크립트가 있습니다.스크립트의 이름은 "LabelMixturePoints.jsl"입니다.
Re: 단계적 회귀를 이용한 혼합물 DOE 분석제제 작업에 대해 생각하게 된 계기가 된 자세한 답변에 감사드립니다.
모델의 알려지지 않은 용어가 있는 경우 어떻게 처리할지 제안합니다. 예: 효과, 특히 공식의 새로운 성분으로 인한 양방향 상호 작용을 발견하고 싶습니다.연구의 목표는 최적화보다는 선별에 더 가깝습니다. 이 경우 단계적으로 적합할까요?
Re: 단계적 회귀 분석을 통한 혼합물 DOE 분석나는 당신의 질문에 혼란스러워요. "모델의 알 수 없는 용어"라고 말한 다음 해당 용어가 알려진 새로운 성분이라고 말합니다. 나는 혼합물 설계를 통해 새로운 성분을 실험하고 혼합물 설계 분석을 사용하여 새로운 성분의 효과와 가능한 상호 작용을 평가할 것입니다. 이 경우에는 단계별로 사용하지 않습니다. 중복해서 죄송합니다. IMHO는 단계적 방법을 사용하여 연구 요소가 알려진 실험 분석이 아니라 식별되지 않은 요소(예: 데이터 마이닝)를 노출하는 데 사용됩니다.
