Re: 유효성 검사 데이터의 RMSE가 잘못되었습니다.안녕 @AAYH ,
커뮤니티에 오신 것을 환영합니다!
학습 데이터에 과대적합이 발생한 것 같습니다. 수행한 단계와 가지고 있는 데이터 유형을 자세히 조사하기 위해 예제 데이터(예: 익명화된 데이터) 없이는 도움을 주기가 약간 어렵습니다. 그럼에도 불구하고 시작해야 할 몇 가지 질문이 있습니다.
- 입력 간의 상관관계를 확인했습니까(메뉴 분석 -> 다변량 방법 -> 다변량).
- 프로세스 요인 간의 다중 공선성을 확인했습니까("모델 적합" 플랫폼에서 패널 " 매개변수 추정치(jmp.com) ", 열 매개변수를 마우스 오른쪽 버튼으로 클릭하고 열 -> VIF를 클릭하여 해당 값을 확인하십시오) ?
예방 조치가 없을 경우 상관 관계 또는 다중 공선성이 선형 모델 성능을 심각하게 "손상"할 수 있으므로 조사 방향이 될 수 있습니다.
요인 간에 상관관계 또는 다중공선성이 있는 경우 다음을 수행하는 것이 더 안전할 수 있습니다.
- 다중 공선성을 처리할 수 있는 모델(예: 부분 최소 제곱, Bootstrap Forest)을 선택하거나
- PCA로 입력을 사전 처리하고 선형 모델의 주성분을 사용하거나
- LASSO, Ridge 또는 Elastic Net과 같은 불이익 방법(JMP Pro, 일반화 회귀)을 사용하여 보다 강력한 선형 회귀 모델을 만듭니다.
이 첫 번째 조사가 무엇을 가져오는지 알려주시고 예시 데이터를 제공해 주시면 다른 회원들이 이 토론에 참여하는 것이 더 쉬울 것입니다.
Re: 유효성 검사 데이터의 RMSE가 잘못되었습니다.안녕하세요 Victor 귀하의 답변에 감사드리며 귀하가 옳다고 생각합니다. 최대한 빨리 조사하겠습니다.
Re: 유효성 검사 데이터의 RMSE가 잘못되었습니다.안녕하세요 스텟맨입니다.
시간을 내어 제 질문에 답변해 주셔서 감사드리며 유효한 정보를 제공해 주셔서 감사합니다. 최대한 빨리 조사하겠습니다.
Re: 유효성 검사 데이터의 RMSE가 잘못되었습니다.안녕하세요.
요일이 달라서 막는 확실한 스크리닝 디자인을 만들어 봤습니다. 이제 처음부터 통제되지 않는 변수를 고려하지 않은 실수를 저질렀다는 것을 알고 있습니다.
저는 두 개의 서로 다른 프로덕션 실행(블록 1 및 블록 2) 중에 변경한 3개의 변수(UB1-3)가 있습니다. 제어되지 않은 Var. 1과 2는 측정되지만 변경할 수 없습니다. 내 품질 변수는 프로세스가 끝날 때 측정됩니다. 제어되지 않은 변수 2는 요일/블록에 크게 의존하며 제어되지 않은 변수에 영향을 미칩니다. 1뿐만 아니라 UB1에서 UB3까지.
지금 가지고 있는 데이터를 사용할 수 있는지 아니면 다른 실험을 해야 하는지 궁금합니다. 시간 내 주셔서 대단히 감사합니다.
Re: 유효성 검사 데이터의 RMSE가 잘못되었습니다.안녕 @AAYH ,
첫째, 이 DSD는 유효성 검사 데이터가 있는 RMSE 변경 문제와 연결되어 있습니까, 아니면 이것이 다르고 특별히 관련이 없는 것입니까? 이것이 문제를 설명하기 위한 예제 데이터 세트인지 아니면 문제에 추가되는 것인지 확인하려고 합니다. 이 DoE의 목표는 무엇입니까? 제어되지 않는 두 번째 변수에 대한 데이터 테이블에 누락된 값이 있습니다.
내가 잘 이해한다면 차단 요소(DSD 생성에서 범주형 요소로 생성했습니까?)와 기록했지만 DoE 방식으로 무작위화/제어되지 않은 2개의 제어할 수 없는 변수를 추가했습니다.
이미 살펴보았듯이 제어할 수 없는 두 변수와 블록과 제어할 수 없는 변수 1/2 사이에 강한 상관관계가 있으며 이는 새 데이터(스크립트 "1. 첨부된 데이터 테이블의 다변량").
블록 임의 요인과 제어할 수 없는 변수에 몇 가지 열 속성을 추가하여(JMP 플랫폼에서 올바르게 사용할 수 있도록) 두 가지 모델을 구현했습니다.
- 임의 효과로 "차단"을 지정하는 혼합 모델 성격을 가진 하나(스크립트 "2.a. 맞춤 혼합"),
- 무작위 효과로 "차단"이 있는 Standard Least Squares 성격을 가진 것(스크립트 "2.b. 모형 맞추기(임의 블록 포함)").
당연히 두 모델은 유사한 결과를 제공하며 예상한 대로 제어할 수 없는 변수 1과 2가 응답 품질에 중요한 영향을 미치는 것으로 보입니다. 랜덤 차단 요소는 중요하지 않은 것 같습니다.
모델 자체는 높은 R²(0,87)와 매우 낮은 RMSE(약 0,5)로 매우 정확합니다(예상하는 모델의 정밀도에 따라 다름). 그러나 다변량 플랫폼(상관 관계)에서 이미 볼 수 있듯이 일부 요인은 서로 선형적으로 종속되어 높은 VIF(2개의 제어되지 않은 변수의 경우 약 20)를 생성하고 예측에서 분산이 증가할 수 있습니다.
이 공선성을 줄이는 한 가지 옵션은 이 두 변수에서 주성분을 만드는 것입니다(스크립트 "3.a. 제어되지 않는 변수 1&2의 PCA"), 이전과 동일한 유형의 모델을 실현합니다(그러나 제어되지 않는 변수 1&2를 2개의 주요 구성 요소인 스크립트 "3.b. 모델을 PC에 맞추기") :
이것은 R² 및 RMSE 측면에서 모델의 성능을 변경하지 않지만 VIF를 줄이면 매개변수 추정의 분산을 줄이는 데 도움이 됩니다(이 공선성 상황과 관련된 매개변수의 경우).
귀하의 초기 질문과 관련하여, 현재 가지고 있는 데이터를 사용할 수 있는지 여부는 모두 목표(설명 및/또는 예측)와 데이터의 "유용성"(예측 정확도?)을 평가하는 방법에 따라 다릅니다.
이 첫 번째 데이터 테이블에서 이미 주목해야 할 몇 가지 중요한 사항이 있지만 추가 정보가 없으면 데이터 사용에 대해 해석하거나 결론을 내리기 어렵습니다(제어되지 않은 변수 1 및 2 범위의 대표성 또는 누락된 값에 대한 수정 필요) 예를 들어...). 그러나 2개의 제어되지 않는 변수를 더 잘 고려하고 실험의 요소가 되어 제어되도록 설계를 보강할 수 있는 흥미로운 첫 번째 단계입니다.
내가 수행한 작업은 사용자의 목표와 요구 사항에 따라 최선의 접근 방식이 아닐 수 있으며 동일한 작업에 대해 다른 옵션을 사용할 수도 있습니다.
Re: 유효성 검사 데이터의 RMSE가 잘못되었습니다.첫째, 내가 문제를 이해하고 있는지 확신이 서지 않습니까? 데이터 테이블을 게시할 수 있습니까? 나를 혼란스럽게 하는 것은 "새로운" 데이터를 평가하는 방법에 따라 명백한 충돌이 발생한다는 것입니까? 이것을 어떻게 했는지 설명해 주시겠습니까? 예측과 실제의 델타는 무엇입니까? (잔차) 잔차를 분석했습니까?
다중 공선성에 대한 Victor의 탁월한 생각에 더하여 다음은 내 생각입니다.
1. 적합 모델을 실행하는 데 사용한 데이터의 출처는 무엇입니까? 이것은 생산 데이터입니까? 실험에서 나온건가요?
2. 귀하의 데이터는 미래 조건을 얼마나 대표합니까?
3. Victor가 제안한 것처럼 데이터에 대한 많은 질문이 있습니다. 모델에 대한 모든 정보를 제공하는 단일 통계는 없습니다. R-sq 자체는 거의 유용하지 않습니다(모델에서 DF를 증가시키면 항상 증가합니다). R-제곱을 조정된 R-제곱과 비교하려고 합니다. 이를 통해 모델의 과적합에 대한 통찰력을 얻을 수 있습니다.
유효성 검사 데이터에 대한 잘못된 RMSE안녕
"Fit Model"을 사용하여 다양한 프로세스 매개변수를 사용하여 제품의 수분 함량을 식별하는 모델을 만들었습니다. 모델은 양호하고(Rsq=0.97) 상당히 낮은 RMSE입니다. 사용된 변수는 모두 Logworth가 한계보다 높습니다.유효성 검사를 위해 새 데이터를 가져오려고 할 때 문제가 발생합니다. 여기서 예측은 매우 나쁩니다. 유효성을 검사하려는 데이터는 테스트 세트에서 사용되는 데이터와 크게 다르지 않습니다. 유효성 검사 데이터를 테스트 세트 데이터로 포함하면 모델에 매우 잘 맞습니다. 수분 예측 오류는 "원본" 데이터와 유사합니다.
주효과와 상호작용으로 구성된 모델이 있습니다. 내가 뭘 잘못하고 있니?
데이터 탐색 및 시각화
