신경망에서의 모델링 성능안녕,
1. 많은(일부 ?) 경우에 JMP NN의 모델링 성능은 다른 것(예: 파이썬)보다 우수합니다.
어제 JMP와 python의 NN 결과를 반도체 관련 회사의 데이터(몇 가지 다른 데이터 세트)와 테스트하고 비교했습니다. R-square를 기준으로 하면 python의 결과는 70%-80%이지만 JMP의 결과는 95%-99%였습니다.
JMP의 분석이 더 나은 이유는 무엇입니까?어떤 경우에 이러한 결과가 발생합니까?
2. 관련 질문. 종종 검증 성능이 훈련 성능보다 낫습니다. 어떤 경우에 이러한 결과가 발생합니까?
명확하게 중요한 요소가 없을 때? 데이터 수가 많지 않은 경우 ? 데이터에 동일한 값이 여러 개 있을 때? 노드 수가 많을 때 ?
이것을 어떻게 해석해야 하는지 궁금합니다. 도와주세요. 감사.
Re: 신경망에서의 모델링 성능(1)의 경우 쉽게 비교할 수 없을 것 같습니다. 파이썬에는 셀 수 없이 많은 NN 패키지가 있다고 생각합니다. 어느 것을 사용하셨나요? 어떤 설정? 또한 어떤 R-square를 비교하고 있습니까? JMP가 데이터를 분할하는 경우 동일한 파티션을 사용하여 Python에서 시도합니까? 등.
(2)의 경우 방금 TireTread 데이터를 시도했습니다. Y는 마모입니다. 그리고 결과는 당신이 관찰한 것과 반대입니다. 여기 내가 한 일이 있습니다.
- 포함된 신경 스크립트를 사용하되 마모를 제외한 모든 Y를 제거합니다.
- 기본 설정, 이동.
- Training R-sqr, Bootstrap을 마우스 오른쪽 버튼으로 클릭하고 Fractional Weights, a random seed 55555를 확인합니다.
- Validation R-sqr, Bootstrap을 마우스 오른쪽 버튼으로 클릭하고 Fractional Weights, 동일한 임의 시드 55555를 확인합니다.
- 부트스트랩된 R-sqr을 같은 테이블에 나란히 놓습니다. ValidationRSqr > TrainingRSqr 수식을 사용하여 새 열을 만듭니다. 열의 평균은 0.5보다 작습니다. 즉, 유효성 검사 R2가 평균적으로 훈련보다 나쁩니다.
Re: 신경망에서의 모델링 성능안녕 펭
고객의 질문이 다소 모호하지만 많은 경우 JMP의 결과가 우수했기 때문에 이 질문을 했을 것으로 추정됩니다. (Q2) 말씀하신 것처럼 부트스트랩 기능으로 확인해보면 Training R-Square 값이 Validation R-Square 값보다 클 확률이 훨씬 높아집니다.
감사
