신경망 융합온도, 응력 및 크리프 변형률과 하나의 종속 변수 : 크리프 율 (아래 그림 참조)의 세 가지 독립 변수가있는 원시 데이터가 있습니다. 동료는 플롯의 포인트 사이에서 값을 얻을 수 있어야하는 FEM을 수행하고 있기 때문에 JMP의 신경 플랫폼을 사용하여 그를 얻었습니다.
이것은 매우 잘 작동했으며, 신경 모델의 예측과 데이터 사이의 일치가 매우 좋았습니다. 숨겨진 레이어에서 다른 수의 노드로 여러 모델을 시도했습니다. (JMP PRO가 없으므로 1 레이어 만 사용할 수 있습니다.)
사용할 모델 (예 : 노드 수 N)을 결정하기 위해 모델의 노드 수의 함수로 R2 및 RMSE 플롯을 생성합니다. 훈련 세트의 경우 R2 곡선이 상승하고 RMSE 곡선이 단조롭게 떨어질 것으로 예상했습니다 (임의의 노이즈가 발생 함). 검증 세트의 경우, R2가 상승하고 RSME 곡선이 검증 곡선의 추세가 반전되는 특정 N 값까지 떨어질 것으로 예상했습니다. 이것은 모델이 훈련 데이터에 과적 합하기 시작하는 지점이되므로 검증 데이터의 성능이 떨어집니다.
내가 얻은 것은 이것입니다.
처음에 트렌드는 내가 예상했던 것과 거의 비슷하지만 몇 가지 질문이 있습니다.
1) ca. 10 개 이상의 노드에서 훈련 세트에 대한 RMSE는 검증 세트보다 체계적으로 낮습니다. 이미 과적 합의 징후입니까?
2) ca 이상을 사용하는 경우 43 개의 노드 (RMSE 용) 또는 ca. (R2의 경우) 63 개의 노드가 검증 및 훈련 세트에서 모델의 성능을 떨어 뜨립니다. 왜 그런 겁니까? 내 유일한 아이디어는 이것이 신경 모델을 올바르게 훈련시키기에 충분하지 않은 데이터 세트의 포인트 수의 문제 일 수 있다는 것입니다. 총 데이터 세트는 1600 포인트로 구성되었으며, 그 중 2/3는 훈련에, 1/3은 검증 세트에 사용되었습니다.
해석학다시 : 신경망 융합유효성 검사 데이터 열을 만들어 사용했거나 플랫폼 내에서 보류 기능을 사용 했습니까?
또한 귀하의 응답은 몇 배 이상에 걸쳐 있습니다. 예를 들어 로그 (기본 10)로 응답을 변환하려고 했습니까?
다시 : 신경망 융합이러한 신경망은 과적 합을 일으킬뿐입니다.
딥 러닝 컨볼 루션 신경망의 사용은 좋은 방향입니다.다시 : 신경망 융합 mark D lw
답장을 보내 주셔서 감사합니다. 단일 게시물로 답변 해 드리겠습니다.
-실제로 모델링에 log10 (변형률)을 사용했습니다. 따라서 표시되는 것은 log10 (변형률)의 R2 및 RSME입니다. 죄송합니다.
-홀드 백 기능을 사용하여 유효성 검사 세트를 결정합니다. 그러나 나는 씨앗 0과 씨앗 123과 함께 사용했습니다. 하나의 시드 만 제공되면 피팅의 시작 매개 변수 결정 및 유효성 검사 세트 선택에 모두 사용됩니다. 시드 0을 나타내는 것은 시드를 제공하지 않는 것과 같습니다. 결과는 근본적으로 다릅니다. (시드가 0 인 노드 수가 적을수록 더 많은 분산이있는 것처럼 보이지만 일반적인 추세는 거의 같습니다.)
D : 신경망의 성능 개선, 악화, 다시 개선과 같은 경향이 종종 관찰됩니다. 이것에 대한 참조가 있습니까?
lw : "이러한 네트워크는 오버 피팅 만 생산합니다"라고 말합니다. 그것이 내가 기대했던 것입니다. 그러나 과적 합의 경우 검증 세트에 대한 RMSE가 증가하는 반면 훈련 세트에 대한 RMSE는 감소 할 것으로 예상했습니다. 그것은 사실이 아닌 것 같습니다. (SEED = 123의 경우, 유효성 검증 세트는 R2가 낮고 RMSE가 더 낮습니다. 많은 수의 노드. 나는 그것을 이해하지 못한다 ...)
원시 데이터와 스크립트를 사용하여 파일을 추가합니다.
다시 : 신경망 융합숨겨진 단위 수를 설명하는 유일한 참조는 Principe, JC, NR Euliano 및 WC Lefebvre입니다. 2000. 신경 및 적응 시스템 . 뉴욕 : 와일리.
나의 말은 신경망에 대한 많은 SAS 전문가들의 수년간의 경험에서 비롯된 것입니다. 신경망의 필수 요소에 대한 SAS 과정 중 하나에서 다음 슬라이드와 참고 사항이 있습니다.
다시 : 신경망 융합마크는 아주 좋은 질문을했습니다. 이러한 결과에는 고정 된 유효성 검사 세트를 사용해야합니다.
신경망에 노드를 더 추가하면 예측 능력이 향상되거나 향상되지 않을 수 있습니다. 성능이 향상되고 악화 된 다음 다시 향상되는 많은 예가 있습니다. 또한 더 많은 레이어를 추가하면 노드 포화 지점에 도달 할 수 있습니다. 즉, 더 많은 레이어를 추가하면 성능이 향상되지 않습니다.
다시 : 신경망 융합하나 더요 숨겨진 레이어 수와 숨겨진 노드 수를 혼동했기 때문에 원래 게시물을 편집했습니다. 내 원래 게시물이 올바르게 읽히지 만 여러 레이어를 사용하지 않으므로 노드 채도 개념을 무시할 수 있습니다.
다시 : 신경망 융합감사. 확인하겠습니다.
