리브 일 아웃 교차 검증누군가가 일회성 유효성 검사를 위해 Gen Reg의 플랫폼에서 아래에 표시된 그래프를 이해하도록 도와 줄 수 있습니까 (또는 일회성 유효성 검사를 더 잘 이해하도록 도울 수 있습니까?)?나는 당뇨병을 사용했고 Y (연속)를 예측하고 있습니다.특정 레코드가 유효성 검사 플롯에 표시되는 이유는 무엇입니까?솔루션 경로 유효성 검사 플롯이 모든 일회성 결과에 걸쳐 평균 값을 표시한다는 것은 내 이해였습니다.
스크립트와 함께 아래에 첨부 된 데이터 세트.
Re : 리브 일 아웃 교차 검증안녕 웬디,
나는 당신이 보면 k-fold에 대한 도움말 문서 이것을 설명하는 데 도움이 될 것입니다. Leave one out은 k = 데이터 행 수인 k- 폴드의 특별한 경우입니다.
"최종 모델을 얻기 위해 튜닝 매개 변수의 최적 값에 대해 도출 된 모든 k 모델이 전체 데이터 세트에 적합합니다. 이 중 가장 높은 유효성 검사 로그 가능성을 가진 모델이 최종 모델로 선택됩니다. 최종 모델에 사용 된 훈련 세트는 훈련 세트로 지정되고 해당 모델의 홀드 아웃 폴드는 검증 세트입니다. 이는 최종 솔루션에 대해보고 된 결과와 플롯에 사용되는 교육 및 검증 세트입니다. "
따라서 k 모델 중 하나, 즉 검증 로그 가능성이 가장 높은 모델에 대한 플롯 만 표시됩니다.
하나의 데이터 포인트로 검증 세트에 대해 실제와 예측을 보는 것이 약간 이상하다는 데 동의합니다. 그러나 이것이 지금 그 이유를 설명하기를 바랍니다.
건배,
필
Re : 리브 일 아웃 교차 검증안녕, 웬디,
예, K-Fold 또는 Leave-One-Out 검증 방법에 사용 된 Scaled -Loglikelihood (= 음수 로그 가능도를 # 개의 관측치로 나눈 값)는 평균이지만 Actual by Predicted와 같은 진단 플롯은 단일 모델에 대한 결과를 보여줍니다.
올가미 페널티 회귀 분석에 대한 솔루션은 단일 조정 매개 변수에 따라 다릅니다. LOO 검증을 사용하여 그리드에서 최적 값을 검색 할 때 N (예 : 귀하의 경우 442) 모델이 마다 회전 매개 변수의 가치.많은 모델이 적합합니다! 스케일링 된 -LL 값은 442 개의 LOO 관측치 각각에 대해 계산되고, 그 평균은 다른 회전 매개 변수 값에 맞는 모델의 다른 평균 스케일링 된 -LL과 비교됩니다.이것이 Validation Plot에 표시된 것입니다.(Scaled Parameter Estimates의 Magnitude 값은 튜닝 매개 변수의 값과 동일합니다.)
그런 다음 문서에 설명 된대로 442 개의 모델 중에서 최종 모델이 선택됩니다. 헉 : "all"의 검증에서 가장 높은 LL을 보이는 모델입니다. 케이 튜닝 매개 변수의 최적 값에 대해 파생 된 모델은 전체 데이터 세트에 적합합니다. "Actual by Predicted는 학습 세트 및 LOO 관찰에 대한 최종 모델의 결과를 표시합니다. 이 경우이 데이터 포인트가 LOO 유효성 검사로 사용될 때 가장 높은 LL 값을 산출하므로 행 305입니다.
보시다시피 K-fold 및 LOO 유효성 검사 방법은 Partition 및 NN 에서와는 페널티 회귀에서 약간 다르게 작동합니다.이게 도움이 되길 바란다.
지안
