훈련 규모와 시험 데이터 세트의 비율안녕하세요, 나는 관찰 / 기록 95 개와 각 레코드마다 약 70 개의 변수가있는 비교적 작은 데이터 세트를 가지고 있습니다. 목표는 반응에 영향을 미치는 변수를 감지하고 이러한 변수의 최적 설정을 찾는 것입니다. 관측치가 적기 때문에 데이터를 훈련 및 테스트 데이터 세트 (유효성 검증 데이터 세트 생략)의 두 가지 범주로만 나누기로 결정했습니다. 내 전략은 파티션 플랫폼으로 의사 결정 트리를 적용한 다음 가장 중요한 것으로 보이는 변수로 최소 제곱 회귀를 적용하는 것입니다. 내 질문은 훈련 및 테스트 데이터 세트의 크기 비율에 대한 일반적인 조언이 있는지 여부입니다. 교육 데이터에 75 %의 관측치가 포함되고 테스트 데이터 세트에 25 %의 관측치가 포함 된 구간으로 시도했지만 이것이 최적의 비율인지 확실하지 않습니다.
또한 훈련 및 테스트 데이터 세트로의 분할에 일부 부트 스트랩 절차를 적용 할 수 있는지 궁금합니다. 아이디어는 많은 수의 부서를 수행하고 결과를 평균화하는 것입니다. 이것이 의미가 있는지 확실하지 않습니다. JMP 15를 실행 중입니다.
해석학재 : 훈련 규모와 시험 데이터 세트의 비율작은 데이터 세트에 CV를 적용한 k- 폴드 교차 검증을 사용할 수 있습니다.
또한 JMP Pro에서는 변수 선택을 위해 LASSO와 함께 일반화 된 회귀를 사용할 수 있습니다.
재 : 훈련 규모와 시험 데이터 세트의 비율감사합니다. k- 폴드 교차 검증을 적용하는 것이 좋습니다. 단계적 회귀를 사용해야한다고 가정합니다. k- 폴드 교차 검증 표준 최소 제곱을 가진 옵션이 아닙니다. 불행히도 나는 프로 사용자 (아직)가 아니기 때문에 일반 회귀에 액세스 할 수 없습니다.
최종 모델의 예측 능력을 테스트하기 위해 여전히 데이터의 일부를 예약한다고 가정합니까?
재 : 훈련 규모와 시험 데이터 세트의 비율테스트 홀드 아웃 세트의 역할은 교차 검증에 의한 정직한 평가에 유용하지만 상충 관계가 있습니다. 작은 데이터 세트가 있으므로 K- 폴드 CV를 사용합니다. 테스트 할 부분을 유지하면 교육과 최상의 모델 선택이 모두 손상 될 수 있습니다. 교차 유효성 검사 방법은 미래 데이터를 사용하여 모델을 확인하지만 기존 데이터 중 일부를 대신 사용합니다. 새로운 관측치로 모형을 평가하려고합니까? 그러면 테스트 세트가 고유 한 이점을 제공하지 않을 수 있습니다.
