모델 예측안녕
저는 약 3,000개의 레코드와 약 100개의 예측 변수가 있는 데이터베이스를 작업하고 있습니다. 응답은 좋은 가우시안 분포를 가진 전기적 매개변수입니다. 데이터베이스는 응답과 예측 변수가 모두 시간에 따라 달라지기 때문에 다변량 시계열입니다. 예측 변수는 특정 공정 단계에서 생산 라인을 따라 수집되는 반면 전기적 매개변수는 약 2주 후에 측정됩니다. 여기서 아이디어는 기계 인라인 데이터(예측 변수)를 사용하여 전기적 측정을 예측하는 것입니다.
첫 번째 모델로 랜덤 포레스트를 사용했습니다. R2와 오차는 훈련 그룹과 테스트 그룹 모두에서 정말 좋았습니다. 어쨌든 전에 본 적이 없는 데이터에 모델을 프로덕션에 배포하려고 했을 때 모델 성능이 매우 나빴습니다. 랜덤 포레스트의 약점으로 외삽하여 이러한 동작을 설명할 수 있었습니다. 그런 다음 모델 트리를 제외하면 다항식 적합과 신경망만 남았습니다. 첫 번째 모델은 R2와 오차 측면에서 수용할 수 없었지만 2개의 레이어와 3개의 활성화 함수가 있는 NN은 훈련 및 테스트 데이터에서 모두 좋은 R2와 오차를 반환할 수 있었습니다. 그런 다음 모델을 빌드한 후 전에 본 적이 없는 데이터(그래프 빌더의 별표)에 프로덕션에 배포했습니다. 추세 예측은 정확하지만 단일 값은 그렇지 않습니다. 특히 전에 본 적이 없는 데이터에 대한 NN은 매우 높은 변동성을 보입니다. 따라서 이 스토리의 끝에서 테스트할 다른 JMP 모델이 없습니다. 적어도 저는 이렇게 생각합니다. 누군가 이 문제를 해결하는 요령이나 제안을 줄 수 있습니까?
첨부된 ppt에 모든 플롯이 있습니다.
고맙습니다 펠리스
데이터 탐색 및 시각화Re: 모델 예측제 글에 답글 달아주신 모든 분들께 감사드립니다. 모든 권리 관찰. 문제를 더 잘 이해하기 위해 몇 가지 간단한 실험을 시도했습니다.
첨부된 ppt에서 나의 결론과 결과.모든 의견과 제안을 환영합니다.
펠리체
Re: 모델 예측당신이 말했듯이 훈련, 검증 및 테스트에 관찰을 무작위로 할당하지 않습니다. 무작위 할당이 이루어졌다고 말하는 사람을 본 적이 없지만 만약 그렇다면 그렇게 해서는 안 됩니다. 당신은 시간에 따라 과제를 수행합니다. 트레이닝 세트는 가장 오래된 세트이고 검증 세트는 다음 세트이며 테스트는 마지막 그룹입니다. 이 방법은 예측 능력에 대한 좋은 지표를 제공합니다.
교육, 검증 및 테스트 세트는 안정적인 프로세스를 대표해야 합니다. 훈련과 검증은 잘 맞지만 테스트는 맞지 않는다면 자연스럽게 테스트 세트를 변경하는 일이 발생했다고 믿게 됩니다. 발생/변경된 것이 무엇이든 모델의 또 다른 예측 변수여야 합니다.
Re: 모델 예측나는 그 사람들이 그런 것들에 대해 나보다 더 많이 알고 있기 때문에 여기에서 다른 의견을 연기합니다.그러나 그들이 언급하지 않은 한 가지 문제가 있는데 내가 제기할 것이라고 생각했습니다.이것은 다변량 시계열 데이터이므로 무작위 유효성 검사 및 테스트 데이터 세트를 사용하는 것이 어떤 의미가 있습니까?이것은 데이터의 시간 구조를 무시하지 않습니까?물론 신경망, 랜덤 포레스트 등을 사용할 수 있지만 이러한 모델은 데이터의 시간 구조를 무시했기 때문에 새 데이터에 대한 성능이 그다지 좋지 않을 것입니다.시계열 데이터의 경우 테스트 데이터는 연속적인 관찰 범위여야 시간 구조를 모델링하고 테스트할 수 있다고 생각합니다.그렇다면 귀하와 같은 시계열 데이터에 대해 무작위 유효성 검사 및 테스트 데이터 세트와 함께 이러한 방법을 사용하는 것이 적절합니까?
Re: 모델 예측나는 모든 것에 동의한다 @Dan_Obermiller 그리고 @statman 추천하거나 진술하십시오.
당신을 위한 또 다른 생각... 당신은 우연한 역사적 생산 공정 및 데이터로 작업하는 것 같기 때문에 설계된 실험을 실행할 수 있는 능력이 있습니까? 내가 이 길을 가는 이유는 과거 정보에 기반한 모델이 특히 미래 관찰로 확장되지 않는 경우 과거 데이터가 효과 모델링 지점에서 고려하지 않는 시스템에 들어가는 다른 중요한 인과 변수가 있을 수 있기 때문입니다. 그러나 DOE 중심 조사에 이들 중 일부를 포함할 수 있습니다.
당신은 건초더미에서 바늘을 찾고 있는데 DOE보다 더 효율적인 바늘 찾기 방법은 없습니다. 예를 들어, 과거 공정 데이터로 설명하지 않는 생산의 원자재 변동이 있을 수 있지만 DOE 유형 조사에서는 차단과 같은 이러한 종류의 일을 처리하기 위한 몇 가지 옵션이 있습니다. 또는 다음과 같은 경우 @statman 효과 희소성이 존재한다면 최종 선별 설계가 효과가 있을지도 모릅니다.
여기서 아이디어는 프로세스 지식과 함께 과거 모델링 작업과 학습한 내용을 활용하고 DOE의 기능을 사용하여 '유용한 모델'을 찾는 데 도움을 주는 것입니다.
제가 업계에 있을 때 저와 함께 일했던 한 현명한 엔지니어는 "고장 모드를 마음대로 켜고 끌 수 있을 때까지 프로세스를 이해하지 못합니다."라고 말했습니다. "...프로세스를 이해"하게 만든 가장 효율적인 단일 방법은 DOE였습니다.
Re: 모델 예측고려해야 할 몇 가지 추가 사항: 피팅을 개선할 수 있는 시도한 모델에 대해 고려해야 할 여러 옵션이 있습니다. 랜덤 포레스트의 경우: 얼마나 많은 트리를 사용했습니까? 더 노력했습니까? 각각의 나무는 얼마나 컸습니까? 더 크게 키우려고 했나요? 3개의 노드가 있는 신경망이 충분하다고 생각하는 이유는 무엇입니까? 여행을 여러 번 해봤어? 강화된 신경망을 사용해 보셨습니까? 그렇다면 학습률을 변경해 보셨습니까? 유효성 검사와 테스트 세트 성능 사이에 정말 큰 차이가 있는 경우 테스트 세트를 그렇게 다르게 만드는 변경 사항이 있습니까? 또한 교육, 검증 및 테스트 간에 데이터를 분할하는 방법에 대해 의문을 제기할 수 있습니다.
그러나 교육, 검증 및 테스트 세트 생성에 익숙하고 이들 모두가 대표적이라고 믿는다면 모델을 개선할 수 있는 옵션과 방법이 있습니다. 충분한 노드와 검색 반복이 주어지면 신경망은 범용 근사자이기 때문에 완벽한 적합성을 제공할 수 있습니다. 그러나 미래 데이터가 아닌 해당 데이터에만 적합하므로 바람직하지 않습니다(참조 @statman 님의 댓글). 따라서 "완벽한" 예측을 기대하는 것은 현실적이지 않다는 점을 기억하십시오. 둘 다 @P_Bartell 그리고 @statman 고려해야 할 사항을 지적하십시오. 측정 시스템 오류보다 더 나은 결과를 기대해서는 안됩니다. 이를 통해 예측 오류에 대한 현실적인 목표를 설정할 수 있습니다.
Re: 모델 예측불행하게도 예측 측면에서 좋은 모델을 개발하는 것은 쉬운 일이 아닙니다. R^2는 열거형 통계입니다. 보유하고 있는 데이터에만 적용됩니다. 모델의 RMSE는 열거형 통계이며 보유하고 있는 데이터 세트에만 적용됩니다. 모델의 외삽법은 열거형 문제가 아니라(Deming: Enumerative vs. Analytical problems 참조) 미래 조건을 나타내는 데이터를 수집하는 연습입니다. 분명히 기존 데이터를 모델링하는 데 사용하는 데이터 세트는 미래 조건을 나타내지 않습니다. 어떤 통계적 방법도 여기서 도움이 될 수 없습니다. 측정 시스템에 다음과 같은 문제가 있을 수 있습니다. @P_Bartell 데이터 세트가 미래 조건을 나타내지 않는 이유를 제안하거나 기타 여러 가지 이유를 제시합니다. 공정이 안정적입니까(Shewhart 기준)? 아마도 프로세스를 모델링하기 전에 프로세스를 이해하기 위해 직접 샘플링을 수행해야 할 것입니다. 100개의 모든 예측 변수가 관련 반응 변수에 동일한 영향을 미치는지 의심스럽습니다(효과의 희소성 원리 참조).
Re: 모델 예측다음은 몇 가지 생각입니다.
1. 측정 시스템 변동에 대해 무엇을 알고 있습니까? '아무것도'에 가깝다면...측정 시스템 가변성 연구를 포함하기 위해 인과/예측 모델링에 대한 연구를 우회하겠습니다. 생산 데이터 수집과 응답 측정 사이의 2주 지연으로 인해 교육/검증에서 외삽, 미래 예측 및 결과에 이르기까지 드리프트 또는 매우 가변적인 측정 시스템이 필요합니다.
2. JMP Pro가 있습니까? 시계열 기능적 데이터 탐색 및 분석은 JMP Pro의 시그니처 기능 중 하나이며 기능적 데이터 탐색을 위해 연구를 맞춤화합니다. 자세한 내용은 주문형 웨비나 시청을 제안합니다. 기능 데이터 탐색기
