입력 열의 순서는 신경 플랫폼의 결과에 영향을 미칩니다.나는 수업을 위한 그룹 프로젝트를 진행하고 있는데 한 구성원이 다른 순서로 파일에 열을 넣으면 신경망 모델이 16%에서 18%로 훨씬 더 나쁜 테스트 오분류 결과를 제공합니다.왜 이런 일이 일어날까요?
Re: 재정렬된 열과 이제 모델이 다른 결과를 제공합니다.안녕 케이트,
모델 대화 상자에 요인이 나열되는 순서는 신경망의 시작 값에 영향을 미치며 다른 결과를 생성합니다. 결과의 차이는 신경망의 첫 번째 시도에서 요인에 할당된 가중치의 차이와 관련이 있습니다. 동일한 결과를 얻는 유일한 방법은 동일한 시드를 사용하여 동일한 요소를 동일한 순서로 사용하는 것입니다.
즐겁게 수업하시길 바랍니다!
미아
Re: 재정렬된 열과 이제 모델이 다른 결과를 제공합니다.안녕하세요, 예, 유효성 검사 열이 있습니다.Re: 재정렬된 열과 이제 모델이 다른 결과를 제공합니다.마지막으로 아마도 분명한 확인 사항은 신경망 루틴에 유효성 검사 세트가 필요하다는 것입니다. 검증 세트를 지정하지 않은 경우 JMP는 자동으로 검증 세트를 무작위로 선택합니다. 이를 방지하려면 검증 세트를 지정하는 열을 생성하고 신경망 플랫폼을 실행할 때 지정하십시오. 이것은 Mia의 추가 기능과 함께 재현 가능한 결과를 얻을 수 있도록 합니다.
Re: 재정렬된 열과 이제 모델이 다른 결과를 제공합니다.안녕 케이트,
이 질문을 해주셔서 감사합니다.신경망에는 임의 구성 요소가 있습니다. 즉, 가중치에 대해 임의의 시작 값을 사용한 다음 가중치를 반복적으로 업데이트하여 모델의 성능을 향상시킵니다. 이 추가 기능은 Neural 플랫폼 내에서 새 모델을 실행하기 직전에 실행되는 경우 JMP에 동일한 가중치 시작 값에서 시작하도록 지시합니다(동일한 모델이 다시 실행되는 경우).추가 기능은 단순한 JMP 코드(JSL) 줄에 불과합니다.열이 다른 순서로 섞이면 다른 결과가 표시될 수 있습니다(확인하겠습니다).교육, 검증(및 테스트)으로 동일한 분할이 있다고 가정합니다.
즐겁게 수업하시길 바랍니다!
미아
Re: 재정렬된 열과 이제 모델이 다른 결과를 제공합니다.당신은 훌륭합니다!!매우 감사합니다!
환상적인 고객 서비스와 반응에 깊은 인상을 받았습니다.
즐거운 한 주 되세요.
Re: 재정렬된 열과 이제 모델이 다른 결과를 제공합니다.이해했다!
당신이 알고있는 것이 좋습니다 @mia_stephens ' 추가. 그녀는 그것이 하는 일과 하지 않는 일에 대해 말할 수 있을 것입니다(일부 수정이 있었다는 것을 이해합니다). 그녀를 이 스레드로 안내하겠습니다.
Re: 재정렬된 열과 이제 모델이 다른 결과를 제공합니다.당신의 응답을 주셔서 감사합니다.참조한 문서를 실제로 다시 방문하겠습니다.그리고 궁극적으로 당신이 말했듯이, 우리는 이 '알고리즘 가변성'을 수용해야 할 수도 있습니다.
설명하자면, 재현 가능한 결과를 강요하려는 욕구는 전문적인 환경에서는 적합하지 않지만 고도로 학업 환경에서 바람직합니다.이것은 대학원 수업을 위한 그룹 프로젝트입니다.불행하게도 팀원들은 모두 서로 다른 주에 거주하며 서로 협력하여 예측 모델을 개발하려고 노력하고 있습니다.Neural Nets의 경우, 교수에 따라 Mia Stephens Academic Ambassador가 JMP와 함께 학술 분야에서 사용할 목적으로 설계한 Random Seed Add-In과 함께 동일한 무작위 시드를 모두 사용하고 있습니다.동일한 임의 시드를 사용하여 동일한 모델을 실행하는 동일한 사람이 날마다 다른 응답을 받는(항상 더 나쁜 결과) 것은 이상해 보입니다.같은 날에 실행하면 모델이 동일한 테스트 오분류율을 안정적으로 생성합니다.컴퓨터를 종료하는 것 외에 유일한 변경 사항은 추가 데이터 덤프를 위해 파일을 준비하기 위해 열을 재정렬하는 것이었습니다. 또한 다른 팀원은 동일한 모델을 실행한 결과를 재현할 수 없습니다.
이로 인해 모델에 문제가 있는지 또는 임의성으로 인해 문제가 있는지 조사해야 했으며 Random을 통해 제거되었다고 생각했습니다.
다시 한 번 귀하의 답변에 감사드립니다.
Re: 재정렬된 열과 이제 모델이 다른 결과를 제공합니다.예측 모델링에 사용되는 많은 알고리즘에는 필연적으로 임의적인 측면이 있습니다. JMP는 결과를 '재현 가능'하게 만드는 여러 가지 방법을 제공합니다. 자세한 내용은 수행한 작업에 따라 달라집니다(사용자 인터페이스에서 '랜덤 시드'에 대한 참조를 찾아보고 설명서를 확인하십시오). 거의 확실하게 여러분이 본 변형은 이러한 이유 때문이며 열을 섞는 것과는 아무 관련이 없습니다.
그럼에도 불구하고 결과를 재현 가능하도록 강제하는 것이 바람직한지 또는 이 '알고리즘 가변성'을 수용해야 하는지 여부를 묻는 좋은 추가 질문입니다.
