모델 예측안녕하세요
약 3000 개의 레코드와 약 100 개의 예측 변수가있는 데이터베이스에서 작업하고 있습니다. 응답은 좋은 가우스 분포를 가진 전기 매개 변수입니다. 응답과 예측 변수가 모두 시간에 따라 다르기 때문에 데이터베이스는 다변량 시계열입니다. 예측 변수는 특정 공정 단계에서 생산 라인을 따라 수집되며 전기 매개 변수는 약 2 주 후에 측정됩니다. 여기서 아이디어는 라인 데이터 (예측 자)에서 기계를 사용하여 전기 측정을 예측하는 것입니다.
첫 번째 모델로 Random Forest를 사용했습니다. R2와 오류는 훈련 및 테스트 그룹 모두에 정말 좋았습니다. 어쨌든, 모델 성능이 매우 나빴던 이전에 보지 못한 데이터에 대해 프로덕션에서 모델을 배포하려고 할 때. 나는 추론하기 위해 랜덤 포레스트의 약점으로이 행동을 설명 할 수 있었다. 그런 다음 모델 트리를 제외하고 유일한 선택은 다항식 피팅과 신경망입니다. 첫 번째는 R2 및 오류 측면에서 허용되지 않는 반면, 2 개의 레이어와 3 개의 활성화 함수가있는 NN은 훈련 및 테스트 데이터 모두에서 좋은 R2 및 오류를 반환 할 수있었습니다. 그런 다음 모델을 빌드 한 후에는 본 적이없는 데이터 (그래프 빌더의 별표)에 프로덕션에 배포했습니다. 추세 예측은 정확하지만 단일 값은 그렇지 않습니다. 특히 본 적이없는 데이터의 NN은 매우 높은 변동성을 보여줍니다. 그래서이 이야기의 끝에서 저는 JMP에 테스트 할 다른 모델이 없습니다. 적어도 이것이 내가 생각하는 것입니다. 누군가가이 문제를 해결하기 위해 나에게 몇 가지 트릭이나 제안을 줄 수 있습니까?
첨부 된 ppt에서 모든 플롯.
감사합니다 Felice
해석학데이터 테이블Re : 모델 예측다음은 몇 가지 생각입니다.
1. 측정 시스템 변동에 대해 무엇을 알고 있습니까? '아무것도'에 가까우면 측정 시스템 변동성 연구를 포함하기 위해 인과 / 예측 모델링 연구를 우회하겠습니다. 생산 데이터 수집과 응답 측정 사이의 2 주 지연은 학습 / 검증에서 외삽, 미래 예측 및 결과에 이르기까지 드리프트 또는 매우 가변적 인 측정 시스템을 요구합니다.
2. JMP Pro가 있습니까? 시계열 기능 데이터 탐색 및 분석은 JMP Pro의 시그니처 기능 중 하나이며 귀하의 연구는 기능 데이터 탐색을 위해 맞춤 제작되었습니다. 자세한 내용은 주문형 웨비나를 시청하는 것이 좋습니다. 기능 데이터 탐색기
Re : 모델 예측불행히도 예측 측면에서 좋은 모델을 개발하는 것은 쉬운 일이 아닙니다. R ^ 2는 열거 형 통계입니다. 손에있는 데이터에만 적용됩니다. 모델의 RMSE는 열거 형 통계이며 현재 보유한 데이터 세트에만 적용됩니다. 모델의 외삽은 열거 형 문제가 아니라 (데밍 : 열거 형 vs. 분석적 문제 참조) 미래 조건을 나타내는 데이터를 수집하는 연습입니다. 기존 데이터를 모델링하는 데 사용하는 데이터 세트가 미래 조건을 나타내지 않는 것 같습니다. 여기서는 통계적 방법이 도움이되지 않습니다. 측정 시스템에 다음과 같은 문제가있을 수 있습니다. 뿡 빵뀨 데이터 세트가 미래의 조건을 나타내지 않는 이유를 제안합니다. 공정이 안정적입니까 (Shewhart 기준)? 모델링을 시도하기 전에 프로세스를 이해하기 위해 직접 샘플링을 수행해야 할 수도 있습니다. 100 개의 예측 변수가 모두 해당 반응 변수에 동일한 영향을 미치는지 의심합니다 (효과 희소성 원리 참조).
Re : 모델 예측고려해야 할 몇 가지 추가 사항 : 핏을 향상시킬 수있는 시도한 모델에 대해 고려해야 할 여러 옵션이 있습니다. 무작위 숲의 경우 : 얼마나 많은 나무를 사용 했습니까? 더 해보 셨나요? 각 나무는 얼마나 컸습니까? 더 크게 키우려고 했습니까? 노드가 3 개인 신경망으로 충분하다고 생각하는 이유는 무엇입니까? 여러 번의 여행을 시도 했습니까? 부스트 된 신경망을 사용해 보셨습니까? 그렇다면 학습률을 변경해 보셨습니까? 유효성 검사와 테스트 세트 성능 사이에 정말 큰 차이가있는 경우 테스트 세트를 다르게 만들 수있는 변경 사항이 있습니까? 또한 학습, 검증 및 테스트간에 데이터를 분할하는 방법에 의문을 제기 할 수도 있습니다.
그러나 훈련, 검증 및 테스트 세트 생성에 익숙하고 모두 대표적이라고 생각하는 경우 모델을 개선 할 수있는 옵션과 방법이 있습니다. 충분한 노드와 검색 반복이 주어지면 신경망은 범용 근 사기이기 때문에 완벽한 적합을 제공 할 수 있습니다. 그러나 미래 데이터가 아닌 해당 데이터에만 적합하므로 바람직하지 않습니다. @statman 의 의견). 따라서 "완벽한"예측을 기대하는 것은 현실적이지 않다는 것을 기억하십시오. 양자 모두 뿡 빵뀨 과 @statman 고려할 사항을 지적하십시오. 측정 시스템 오류보다 더 나은 결과를 기 대해서는 안됩니다. 이를 통해 예측 오류에 대한 현실적인 목표를 설정할 수 있습니다.
Re : 모델 예측나는 모든 것에 동의한다 안녕하세요. 과 @statman 추천하거나 진술하십시오.
한 가지 다른 생각이 있습니다 ... 우연한 과거 생산 프로세스 및 데이터로 작업하는 것처럼 보이기 때문에 설계된 실험을 실행할 수있는 능력이 있습니까? 제가이 길을가는 이유는 과거 정보를 기반으로 한 모델이 미래의 관찰로 확장 할 수없는 경우, 과거 데이터가 효과 모델링 포인트에서 고려하지 않는 다른 중요한 인과 변수가 시스템에 입력 될 가능성이 높기 때문입니다. 보기 ...하지만 이들 중 일부를 DOE 중심 조사에 포함시킬 수 있습니다.
당신은 건초 더미에서 바늘을 찾고 있으며 DOE보다 바늘을 찾는 더 효율적인 방법은 없습니다. 예를 들어, 과거 공정 데이터로 설명하지 않는 생산의 원료 변동이있을 수 있지만 DOE 유형 조사에서는 차단과 같은 이러한 종류의 처리를위한 몇 가지 옵션이 있습니다. 또는 @statman 효과 부족이 존재한다면 최종 선별 설계가 효과가있을 수 있다고 제안합니까?
여기서 아이디어는 프로세스 지식과 함께 과거 모델링 작업과 배운 내용을 활용하고 DOE의 힘을 사용하여 '유용한 모델'을 찾는 데 도움이됩니다.
업계에서 근무하는 동안 함께 일한 한 현명한 엔지니어는 "원하는대로 고장 모드를 켜고 끌 수있을 때까지 프로세스를 이해하지 못합니다."라는 말을했습니다. 우리가 "... 프로세스를 이해"하게 만든 가장 효율적인 방법은 DOE였습니다.
Re : 모델 예측나는 그 사람들이 내가 그런 일에 대해하는 것보다 더 많이 알고 있기 때문에 여기에 다른 코멘트를 연기한다.그러나 그들이 언급하지 않은 한 가지 문제가 있는데 내가 제기 할 것이라고 생각했습니다.이것은 다변량 시계열 데이터이므로 무작위 검증 및 테스트 데이터 세트를 사용하면 어떤 의미가 있습니까?이것은 데이터의 시간 구조를 무시하지 않습니까?물론 신경망, 랜덤 포레스트 등을 사용할 수 있지만 이러한 모델은 데이터의 시간 구조를 무시했기 때문에 새로운 데이터에서 성능이 매우 좋을 것으로 기대하지 않습니다.시계열 데이터의 경우 테스트 데이터는 연속적인 관측 범위 여야하므로 시간 구조를 모델링하고 테스트 할 수 있습니다.그렇다면 이러한 방법을 무작위 검증 및 테스트 데이터 세트와 함께 사용하는 것과 같은 시계열 데이터에 사용하는 것이 적절합니까?
