정확하고 예측 가능한 모델을 얻는 방법 안녕하세요, 다시 도와주세요.
최근에 분석을 해왔으며 내용은 간단합니다.
376 개의 행, 223 개의 열 및 단일 Y 값을 가진 데이터입니다.
Y- 값 예측 모델을 얻기 위해 'Fit-Models'(Fit Least squares-Standard Least squares / Effect Screening)를 사용했으며 1 행부터 263 행까지 R-Square 0.95를 먼저 얻었습니다.
Predict 공식을 'New column'에 추가하고 나머지 264에서 376까지의 추정치를 실제 측정 값과 비교했습니다.
결과적으로 아래보다 새 데이터에 더 큰 오류가 있음을 알 수 있습니다.
어떤 추가 작업을 수행하거나 다른 기능을 활용할 수 있을지 궁금합니다.
데이터를 첨부했습니다. 감사합니다.
참고로, X_1은 색인을 위해 번호를 매기고 있습니다.
다시 : 정확하고 예측 가능한 모델을 얻는 방법더하기 ' 효과 요약의 결과에 따르면 PValue는 가장 작은 것에서 가장 큰 것까지 223 개의 순위를 나타냅니다.
예측 모델 작성에서 제외 할 수있는 변수를 판별하여 어떤 기준을 구별 할 수 있는지 궁금합니다.
최고 30 % 사용? 또는 P 값 미만 0.05?
다시 : 정확하고 예측 가능한 모델을 얻는 방법이러한 변수에 대한 더 많은 컨텍스트를 제공해야합니다. 많은 잠재적 인 설명 변수이며 서로 밀접하게 관련되어있는 것으로 보입니다 (기능을 줄이기 위해 기본 컴포넌트 분석과 같은 것을 시도하고 싶을 수도 있습니다) . 또한 시계열 데이터 인 것처럼 보입니다.이 경우 분석해야합니다. 마지막으로, 처음 263 개의 행은 다음에 나오는 것과 다르게 동작합니다. 따라서 해당 행에 대한 모델의 상태에 관계없이 해당 모델은 해당 행 뒤에 갑자기 나타나는 추세를 예측하지 않습니다. 패턴에서 이러한 변화를 예측할 수있는 예측 변수가 있는지에 집중하고 싶습니다. 해당 추세를 나타내지 않는 263 개의 행만 모델링하여 찾을 수는 없습니다. 따라서 데이터를 훈련 및 테스트 데이터 세트로 분류했지만 훈련 세트는 테스트 데이터와 매우 다르게 보입니다. 이는 테스트 데이터에 대한 모델을 생성하는 좋은 방법이 아닙니다. 교육 및 테스트 데이터를 무작위로 선택 (유효성 검사 열 사용)하는 것이 더 좋습니다. 그러나 가장 먼저,이 시계열 데이터는 나에게 보이는 것입니까?
다시 : 정확하고 예측 가능한 모델을 얻는 방법"올바른"예측 모델을 얻는 것에 대한 질문에 대해 어디에서 시작해야합니까?
1. 데이터 분석 (예 : 신경망, PCA)에만 기반한 수학적 모델 개발
2. 과학적으로, 입력 변수와 출력 변수 사이의 관계 이해 (Deming이 분석 문제라고 함)
결정 론적 인 두 번째 접근법은 내가 선호하는 것입니다. 이것은 입력과 출력 사이의 관계에 대한 가설의 진술로 시작합니다. 추론에 대한 이해가 필요합니다 (어떤 조건에서 모델이 효과적이기를 원하십니까). 그런 다음 적절한 "샘플링 계획"을 통해 데이터를 수집합니다 (지정된 샘플링 또는 실험). 확실히 과거 데이터를 조사 할 수는 있지만 테스트해야하는 가설을 개발하는 데 도움이됩니다.
데이터 세트에는 컨텍스트가 없습니다 (Dale이 제안한대로). 열에는 "의미"가 없으며 숫자 열만 있습니다. 데이터에 시간이나 날짜가 표시되지 않아 Dale이 왜 시계열이라고 생각하는지 잘 모르겠습니다. 따라서 올바른 예측 모델을 작성하는 것은 위의 옵션 1에 맡겨져 있습니다. 모든 열 (224)을 포함하고 모형 맞춤을 실행하면 Rsquare Adj가 .59이고 Rsquare가 .83입니다. 이 값은 너무 다르므로 모형을 과도하게 지정했음을 나타냅니다 (중요하지 않은 항이 모형에 있음). VIF (Parameter Estimates table)를 보면 다중 공선 성의 척도 인 임계 값이> 5 (또는> 10)보다 높습니다. 따라서 모델을 줄여야합니다. 그러나 컨텍스트가 없으므로이를 수행하는 방법에 대한 정보는 없습니다.
다시 : 정확하고 예측 가능한 모델을 얻는 방법 @statman , @골짜기
의견을 보내 주셔서 감사합니다.
우선, 당신이 말했듯이, 그것은 시계열입니다.
언급했듯이 상관 관계를 확인하고 변수 목록을 40으로 줄였으며 만족스러운 결과가 있다고 생각합니다.
'Y 값'은 실시간으로 측정되지 않았기 때문에 데이터 양은 생각만큼 많지 않지만 병렬 플롯 등을 적용하여 원인을 결정할 수 있다고 생각합니다.
