배포 모델안녕
모두에게.
첨부 된 2 개의 jmp 파일. Training-validation-test라는 이름은 다음과 같은 결과로 RF 모델을 구축하는 데 사용되었습니다.
파일에는 하나의 숫자 응답과 20 개의 서로 다른 예측 변수 중 하나가 범주 형입니다. 예측 변수는 센서 값입니다.
보시다시피 Bias는 매우 좋은 반면 분산은 약간 높습니다 (92-69 = 23 %).
그런 다음 모델에서 본 적이없는 예제가 포함 된 새 데이터베이스를 사용하여 새 데이터에 대한 알고리즘 배포를 시뮬레이션했습니다.
놀랍게도 결과는 예측 된 응답과 실제 응답 사이의 R2가 0에 가까워서 정말 좋지 않았습니다. 이 동작을 이해할 수 없었습니다. 결국 테스트 데이터의 R2 = 68 %는 실제로 나쁘지 않은 것 같습니다. 따라서 우리는 0보다 큰 R2를 확실히 얻을 것으로 예상했습니다.
모든 도움 / 의견을 환영합니다.
Felice-Gian
해석학Re : 배포 모델거의 모든 X 변수 (X12, X13 및 X19 제외)는 두 세트간에 평균적으로 크게 다릅니다.그래서 제 생각에는 새로운 데이터가 단순히 같은 모집단의 또 다른 무작위 표본이 아니라 다른 모집단에서 나온 것입니다.새로운 데이터가 다른 모집단에서 나올 때 원래 데이터에 상당히 잘 맞는 모델이 새로운 데이터에 대해 그렇게 좋지 않다는 것은 놀라운 일이 아닙니다.
질문은 왜 다른 인구에서 비롯된 것입니까?데이터가 동일한 인구 (또는 그에 가까운 인구)에서 가져 온다고 생각한 것 같습니다.그러나 이러한 변수는 두 세트간에 너무 달라서 그러한 가정이 분명히 정확하지 않습니다.
차이점을 확인하기 위해 두 테이블을 연결하고 Fit Y by X를 사용했습니다. Y는 모든 X 변수이고 X는 연결할 때 생성 된 소스 테이블입니다.
Re : 배포 모델나는 동의한다 뿡 빵뀨 , 새 데이터가 다릅니다.
나는 비슷한 모델을 맞출 수 있었고 새로운 데이터를 제대로 다루지 못했습니다.
예를 들어, X11 ...
두 사진 모두 새 데이터가 선택됩니다. 아마도 이것은 차이가있는 이유를 찾는 데 도움이 될 것입니다.
Re : 배포 모델안녕 데일과 게오르그
답장을 보내 주셔서 감사합니다.
실제로 저에게 각 예측 변수에 대한 두 분포 간의 차이는 그렇게 다르지 않은 것 같습니다 (첨부 된 그림의 히스토그램 참조). bls를 사용하면 Training-Val-Test 세트를 나타내고 모델에서 본 적이없는 세트를 exp 표시합니다.) 아마도 X20은 이전에 없었던 전혀 보지 못한 데이터에서 새로운 피크를 보여줄 수 있습니다. 그러나 나머지 분포는 이전 분포보다 인구 밀도가 낮습니다.
훈련 세트의 예측 자 분포가 테스트 세트보다 더 넓은 경우 모델은 테스트 세트의 예측자가 차지하는 위상 공간을 "방문"해야합니다. 옳은? 그렇다면 왜 잘못된 예측을해야합니까?
어쨌든 나는 무작위로 2000 개의 인스턴스를 취하여 (그때 랜덤 포레스트 모델에서 본 마지막 2000 개의 인스턴스 대신에) 당신이 말하는 것을 확인했습니다 (이건 이상하지만). 그렇다면 평균 / 표준 측면에서 약간의 차이가 예측 성능 측면에서 큰 차이를 만든다면 신호가 지속적으로 변경되는 프로덕션에서 이러한 모델을 어떻게 사용할 수 있습니까?
Rgds.Felice / Gian
Re : 배포 모델이제 더 자세히 살펴보면 이것이 시계열 데이터라는 것을 알 수 있습니다.내 초기 견해로는 프로세스가 크게 변경된 것 같지 않습니다.그러나 문제는 train-validate-test 패러다임이 시계열 데이터에 실제로 적합하지 않다는 것입니다.검증 세트로 고유 한 기간 (예 : 첫 번째 데이터 세트의 마지막 달)을 만들고 모델을 재평가하는 것이 좋습니다.내 생각 엔 모델을 그런 식으로 추정하면 검증시 모델 성능과 이전에 본 적이없는 데이터가 더 유사해야한다고 생각합니다.두 데이터 세트에서 X 변수 간의 눈에 띄는 차이에 대해 여전히 약간 우려하고 있습니다. 더 정교한 시계열 모델링 (예 : 잠재적 계절성 모델링)이 필요할 수 있습니다.
Re : 배포 모델한편 저는 데이터에 대해 타당하고 합리적인 모델을 맞출 수 없을 것이라고 믿습니다.
내 첫 번째 접근 방식은 X로 표시된 유효성 검사 열을 생성하는 것이 었습니다.
Timeseries 힌트 뿡 빵뀨 유용했기 때문에 데이터도 시계열 방식으로 살펴 보았습니다.
시간이 지남에 따라 X의 조합이 변한다는 것을 깨달았습니다. 그리고 여기에서 "New"가 다른 것처럼 보입니다. 예, Xes는 동일한 범위를 포함하지만 충분하지 않습니다. 저는 "New"에서 그 조합이 다르다고 생각합니다. 즉, 일종의 외삽입니다. 이것은 회귀의 문제가 아니지만 RF와 같은 방법의 경우 중요합니다 (모델은 다차원적이고 고도로 비선형이므로 내부를 살펴보기가 어렵습니다).
다른 쪽에서는 다른 방법 (신경, 부스트 트리)으로 합리적인 모델을 맞출 수 없었습니다. 솔리드 모델을 만들기위한 X- 열에 적절한 정보가없는 것 같습니다.
그래서 저는 그 과정의 물리학이나 그것이 무엇이든 조사 할 것입니다.
- X가 Y를 변경하는 방법,
- 소음이 무엇인지
- 시간이 지남에 따라 변화하는 요소를 데이터 세트에 포함합니다.
- 데이터 구조에 대해서도 궁금합니다. 일부 매개 변수에 대해 동일한 날짜와 동일한 값을 가진 행 그룹이 있습니다.
제가 놀란 것은 시간별로 계층화 된 유효성 검사 열을 만들었을 때 동일한 결과를 얻었습니다 (첫 번째 부분에 대해서는 공정한 모델, 새 데이터가있는 모델 없음).
행운을 빕니다,
Re : 배포 모델몇 가지 제안이 있습니다.먼저, 먼저 응답 변수를 차별화 한 다음 임의 포리스트를 다시 시도합니다.나에게 그것은 시계열 데이터에 대한 가장 쉬운 접근 방식이며, 그런 방식으로 볼 때 데이터가 더 잘 작동 할 수 있습니다.행을 임의로 선택하는 대신 마지막 기간으로 유효성 검사 세트를 수동으로 생성합니다.두 번째 아이디어는 눈에 띄는 것입니다. 시간에 밀접하게 연결된 여러 관찰과 같은 시간 그룹이 있습니다.시간상 밀접하게 관련된 관찰을 요약하여 시간 순서를 균일하게 만드는 것을 고려할 수 있습니다.시간 변수가 균일하게 측정되면 시계열이 더 잘 작동하므로 데이터를 동일한 간격의 시간 간격으로 요약해야합니다.당신이 제안한 바와 같이, 정확히 무엇이 측정되고 있으며 어떻게 측정되고 있는지에 대해 다시 생각할 때입니다.
Re : 배포 모델안녕 조지와 데일
답변 해주셔서 대단히 감사합니다. 모든 예측 변수와 반응의 지연 플롯을 살펴 보았고 놀랍게도 매우 긴 자기 상관을 발견했습니다 (첨부 된 그림 참조).
데이터는 반도체 팹에서 가져 오기 때문에 ACF에서 볼 수있는 값 25는 로트의 웨이퍼 수와 관련이 있습니다.
지연 플롯 대신 포인트 아웃 라인은 매긴에로드 된 다른 로트의 첫 번째 웨이퍼 일뿐입니다. 자기 상관은 작업 지점을 유지하기 위해 기계에 존재하는 내부 피드백 때문이라고 생각합니다. 물론 이러한 조정은 우리의 통제와 이해가 아닌 챔버에 숨겨져 있습니다. 응답은 또한 설명 할 수없는 명확한 지연을 보여줍니다. 하지만 거기에 있습니다.
지연, 이동 평균, 평활화 및 기타 예측 변수 기능 엔지니어링을 사용하려고했지만 결과는 계속해서 매우 나쁩니다.
다음 단계에서는 Dale이 제안한 차이점을 시도해보고 싶습니다. 단순한 차이 X (t) -X (t-1)만으로 충분하다고 생각하십니까?
차오 펠리체
Re : 배포 모델PACF 플롯은 처음 두 시차가 관련성이 있음을 시사합니다. 지금까지 첫 번째 시차가 가장 중요합니다.그래서 저는 간단한 1 차 차이를 시도하는 것이 좋은 것이라고 생각합니다.기계 학습 모델 (예 : RF, 부스트 트리, 신경망) 중 하나가 잘 수행 될 수 있으므로 시도해 보겠습니다.그러나 몇 가지 표준 시계열 모델도 시도해야합니다 (시계열 모델은 다양한 방식으로 자기 상관을 설명하도록 빌드 되었기 때문에 차이를 사용하지 않을 경우).이론적으로 1 차 차이를 사용하는 경우 (그리고 시간 구조가 크게 제거되는 경우) 모델링에 무작위 train-validate-test 세트를 사용할 수 있습니다.적어도 그것이 내가 생각하는 것입니다. 다른 사람들이 더 잘 알 수 있습니다.
