GenReg에서 모델 평가안녕,
일반화 회귀를 사용하여 모델을 구축할 때 유효성 검사 열이 있거나 없는 표준 최소 제곱을 사용하면 JMP는 모델 요약 개요 아래에 여러 유용한 메트릭을 출력합니다. 그러나 다른 방법(Forward Selection 또는 Lasso 또는 기타 다른 방법)을 사용하여 유효성 검사 열 외에 다른 유효성 검사 방법을 사용할 수 있다면 비교할 수 있는 단일 메트릭이 없습니다. 따라서 유효성 검사 열이 있으면 훈련 세트와 유효성 검사 세트의 R^2와 같은 것을 얻을 수 있습니다. 그러나 만약 내가 남겨둔 것, AICc, 또는 홀드백 세트, 또는 다른 것을 사용한다면, 나는 좋은 전체 모델 요약 통계를 얻을 수 없습니다. 솔루션 경로 플롯이 내가 얻을 수 있는 최선의 것이라고 가정합니다.
그러나 여러 접근 방식을 비교하려는 경우 솔루션 경로 플롯은 특히 도움이 되지 않습니다. 기존의 단계적 단계로 돌아가면 AICc 선택과 BIC 선택을 통해 동일한 후보 항 집합을 실행할 수 있고 다른 모델을 얻을 수 있으며 R^2 또는 RMSE 또는 AICc 또는 BIC 또는 다른 모델을 비교할 수 있습니다. 어떤 모델이 "더 나은"지 확인하기 위한 요약 통계. 전통적인 단계적으로 K-Fold 교차 검증을 선택하면 "RSquare K-Fold" 통계를 얻을 수 있습니다.
일반화 회귀에서 이러한 도구의 유사점은 무엇입니까? GenReg가 제공할 수 있는 유연성을 활용하게 되어 정말 기쁩니다. 그러나 다양한 옵션 중에서 선택하는 방법을 몰라 헤매고 있습니다. 간단한 것이 있다고 확신하지만 GenReg에 비교적 새롭기 때문에 그것이 무엇인지 잘 모르겠습니다.
감사,
남자 이름
Re: GenReg에서 모델 평가이 작업을 함께해주셔서 감사합니다. 보고 싶은 항목을 위시리스트에 추가하세요.
최고,
계산서
Re: GenReg에서 모델 평가응... 저는 좀 더 작은 데이터 세트로 작업하고 있습니다. 이것이 제가 Leave-one-out에 기대고 있는 이유입니다. JMP가 특정 모델에 도달하는 이유를 설명하기 위해 Go 버튼을 누르고 최고를 기대하는 것보다 조금 더 정량적인 것을 원합니다.
Re: GenReg에서 모델 평가남자 이름,
3단계 유효성 검사 열로 원하는 것을 달성할 수 있다고 믿습니다.교육, 검증 및 테스트.테스트 데이터는 모델 적합에 사용되지 않으며 테스트 세트의 RSquare는 훈련 및 검증 세트의 RSquare와 비교됩니다.가까울수록 좋습니다.이것은 더 작은 데이터 세트(< 100개 행)로 달성하기가 조금 더 어렵지만 "모든 모델"이 미래 데이터를 얼마나 잘 예측할지 결정하는 매우 좋은 방법이라는 것을 알았습니다.
마지막 요점에 관해서는 Leave-one-out K-fold가 더 작은 데이터 세트에 대해 선택할 수 있는 최고의 교차 검증 기술 중 하나라고 생각합니다.
Re: GenReg에서 모델 평가오케이 빌,
감사. 아직 배우는 중이지만 이제 조금 더 이해할 수 있을 것 같습니다.
내가 얻고 있는 것은 올인 R^2(데이터의 모든 행에서)가 유용하지만 다음과 같은 것을 찾고 있다는 것입니다.
훈련 세트와 검증 세트에 대한 모델 적합 통계의 차이는 모형이 적합 프로세스에서 보류된 관찰에 대해 얼마나 견고한지에 대한 관점을 제공합니다. 내가 모델을 만들 때 찾고 싶은 것 중 하나는 내가 더 많은 관찰을 한다면 내 모델이 여전히 적절할 것이라고 알려주는 통계입니다.
아마도 이를 수행하는 유일한 방법은 다중 검증(보유할 여러 관측 세트 식별)을 시도하는 대신 검증 열을 만들고 보류할 관측 세트 하나를 무작위로 식별하는 것입니다. 제 생각에는 다중 검증이 더 강력한 모델로 이어질 것이라고 생각합니다. 하지만 사실이 아닐 수도 있습니다.
남자 이름
Re: GenReg에서 모델 평가남자 이름,
귀하의 회신을 기반으로 개발자와 추가 통신을 했으며 아래는 그가 다시 보낸 내용입니다.
"...그가 비교하는 것은 모델 비교의 R^2(장르g에 빌드된 전방 선택 모델의 경우)와 단계적 플랫폼에서 빌드된 전방 선택 모델의 R^2입니다. 그의 모델 비교(.8704)에서 R^2는 전체 데이터에 대해 계산됩니다. Stepwise 출력에는 실제로 해당 정보도 포함되어 있습니다. 아래에서 빨간색으로 동그라미를 쳤습니다. 단계별 보고서에서 그가 동그라미로 표시한 값(.8514)은 k-겹 R^2입니다. 따라서 문제는 그가 전체 데이터의 R^2를 k-폴드의 R^2와 비교한다는 것입니다." 
개발자는 계속해서 두 플랫폼의 차이점에 대해 이야기합니다.
"....(때) 장르의 순방향 선택과 단계적 순방향 선택을 비교합니다. 두 플랫폼이 정방향 선택을 수행하는 방법에는 몇 가지 미묘한 차이가 있습니다. Genreg는 다음에 가져올 효과를 결정하기 위해 점수 테스트를 보고, Stepwise는 wald 테스트를 살펴봅니다."
마지막으로 개발 그룹의 Fang Chen이 단계적으로 K-fold RSquare를 계산합니다.
"Stepwise의 K-Fold RSquare는 RSquare = 1 – SSE/SST의 일반적인 정의에 따라 계산됩니다. 여기서 SSE는 K 홀드아웃 샘플 각각의 잔차를 기반으로 계산됩니다.
K-폴드 RS제곱 = 1 - ResV`*ResV / ((Y-YMean)`*(Y-YMean)"
이 마지막 비트는 RSquare 값이 다른 이유에 대해 찾고 있던 것의 핵심일 수 있습니다.더 완전한 답변을 제공하기 위해 다른 비트를 추가했습니다.
HTH
Re: GenReg에서 모델 평가계산서,
나는 아직도 혼란스럽다. GenReg 개발자는 GenReg가 모델(R^2? 다른 것?)을 비교하고 있다고 말했지만 어디에서 찾아야 할지 모르겠습니다. 메트릭을 찾을 수 없다는 내 원래 게시물을 참조하십시오. 또한 그는 단계적 비교와 모델 비교가 같은 방식으로 R^2를 계산한다고 말합니다. R^2에 대해 두 가지 다른 값을 분명히 얻었기 때문에 이상합니다.
감사,
남자 이름
Re: GenReg에서 모델 평가남자 이름,
GenReg 플랫폼 개발자 중 한 사람의 아래 설명을 참조하십시오.
"R^2를 계산할 때 우리는 우리 모델이 null(절편 전용) 모델과 얼마나 잘 맞는지 비교합니다. 훈련 세트에서 우리가 이것을 어떻게 해야 하는지는 분명합니다. 훈련 세트에서 추정된 절편 전용 모델과 우리의 적합성을 비교합니다. 유효성 검사 세트에 약간의 모호성이 있습니다. 장르에서 우리는 우리가 맞는 모델을 절편 전용 모델과 비교합니다. 훈련 세트에 구축 . 단계적 및 모델 비교에서 R^2는 적합된 모델을 절편 전용 모델과 비교하여 계산됩니다. 검증 세트를 기반으로 구축 ."
개발자는 계속해서 "하나의 대답이 반드시 옳고 그름은 아니다"라고 느낀다고 말했습니다.그러나 그는 GenReg에서 수행되는 방식을 강력하게 선호합니다. 
Re: GenReg에서 모델 평가@Bill_Worley 고맙습니다! 표면적으로 이것은 유용한 접근 방식입니다. 내가 Stepwise에서 얻는 것과 일치하지 않습니다. 어떤 플랫폼을 믿어야 하나요? (정방향 선택이 있는 GenReg, 한 개만 남기고, 테이블의 38행 데이터와 비교하여 단계적, 38개의 접기가 지정된 빨간색 삼각형의 k-접기.) 스크린샷 참조. R^2에서 상당히 눈에 띄는 차이와 계수 추정에서 약간의 차이.
Re: GenReg에서 모델 평가이봐 마이클,
귀하의 질문에 대한 나의 첫 번째 반응은 모델 비교 사용을 제안하는 것입니다.Formula Depot에 비교할 예측 공식을 게시하고 거기에서 이동하거나 Gen Reg 보고서에서 Analyze > Predictive Modeling > Model Comparison으로 직접 이동합니다.이 옵션을 사용하려면 먼저 예측 공식을 데이터 테이블에 저장해야 합니다.
HTH
최고,
계산서
