하나의 홀드 아웃 교차 검증안녕하세요. Random Forest에 대해 한 번의 홀드아웃 교차 검증을 수행하고 싶지만 JMP Pro에 이 옵션이 있는지 여부는 알 수 없습니다. 있다면 어디서 찾을 수 있나요?
예측 모델링 및 기계 학습Re: 하나의 홀드아웃 교차 검증아아, 고마워요 @Victor_G 이 과정을 진행하면서 모델 스크리닝 플랫폼 내부의 부트스트랩 포리스트에 사용된 기본 설정이 해당 테이블에 적합하지 않아 결과가 누락되었음을 확인했습니다.
Re: 하나의 홀드아웃 교차 검증안녕 @ih ,
예, 메시지 자체에는 문제가 없습니다(분석이 중단되지 않으므로). 그러나 사용하는 데이터 테이블에 따라 예상 결과 대신 빈 공간이 곳곳에 나타날 수 있습니다(화면에서 수행된 "Error_RandomForest_Model-screening_LOOcrossval" 참조). 일대일 교차 검증이 포함된 주택 가격 데이터 세트).
이전에 언급했듯이 유효성 검사 수식 열(일대일 교차 유효성 검사를 수행하기 위한 유효성 검사에서 단일 관찰 포함)과 "조기 중지" 옵션이 선택된 "일반" Bootstrap Forest 플랫폼을 사용할 때 동일한 문제가 발생합니다. 이는 "조기 중지" 옵션이 기본적으로 선택되어 있는 플랫폼 모델 스크리닝과 동일한 문제일 수 있습니다.
언급된 문제를 설명하는 여러 스크립트와 함께 첨부된 주택 가격 표를 살펴볼 수 있습니다.
- "Model Screening Random Forest of Price" : 결과가 표시되지 않는 "Model Screening" 플랫폼의 문제점을 설명하기 위해,
- "Bootstrap Forest of Price (with Early Stopping)" : "Early Stopping"을 체크했을 때 "Bootstrap Forest" 플랫폼에서 발생하는 유사한 오류 문제를 설명하기 위해,
- "Bootstrap Forest of Price (without Early Stopping)": 내 응답에 표시되고 Chris Gotwalt가 예제에서 수행한 솔루션을 설명하기 위해,
- "Rsquare training Leave-One-Out" 및 "열 기여(부분) Leave-One-Out": 이 방법과 Leave-One-Out 교차 검증으로 생성된 데이터 테이블을 표시합니다.
제가 언급한 문제가 이제 더 명확해졌기를 바랍니다.
데이터세트에 따라 @tuo88138 , Leave-One-Out 교차 검증을 실현하기 위해 선택할 수 있는 두 가지 방법이 있습니다.
Re: 하나의 홀드아웃 교차 검증안녕 @Victor_G , 저는 그것이 오류라고 생각하지 않습니다. 단지 경고 메시지일 뿐입니다.사용할 수 없는 방법이 이 분석에 영향을 미치지 않을 것이라고 생각합니다.
Re: 하나의 홀드아웃 교차 검증안녕 @ih ,
내 입장에서는 "모델 스크리닝"과 제안한 설정을 사용하면 K-fold 교차 검증에 작동하지만 Leave-One-Out 방법에서는 항상 그런 것은 아닙니다(데이터 세트에 따라 다름).
K = 관찰 횟수를 지정하면 "방법" 패널에서 부트스트랩 포레스트만 선택한 경우에도 "각 접기 내부의 유효성 검사 세트가 너무 작아서 일부 방법을 지원할 수 없습니다"라는 오류 메시지가 나타납니다. 그래서 "모델 스크리닝 플랫폼"을 사용하는 것도 고려했지만 데이터세트에 따라 불가능할 수도 있습니다(이 방법을 사용하는 "Boston housingprices" 데이터세트에는 각 접기 세부정보에 접힌 부분과 누락된 값에 대한 요약이 없습니다). 이는 "Big Class" 데이터세트에 작동합니다.
안녕 @tuo88138
Chris Gotwalt가 설명한 방법을 따를 수 있습니다. 방금 테스트해 보았는데 완벽하게 작동했습니다. 출력의 다양한 측정항목(Rsquare, RASE 등...)에 대한 "빈 값"을 방지하려면 Bootstrap Forest 분석 패널에서 "Early Stopping"을 선택 취소해야 할 수도 있습니다.
이 기술은 여러 시뮬레이션에서 변수의 기여도 중요도를 비교하거나(첨부된 "Contribution-importance_simulations" 캡처 참조) 예를 들어 Rsquare와 같은 일부 측정항목에 대한 신뢰 구간을 제공하는 데 흥미로울 수 있습니다(동일한 데이터 세트에서 Rsquare 훈련을 위한 "Confidence_Intervals_Rsquare" 캡처 참조). 시뮬레이션 수).
이 답변이 도움이 되길 바라며,
Re: 하나의 홀드아웃 교차 검증Model Screening 플랫폼은 실제로 이것을 매우 간단하게 만듭니다. Folded Crossvalidation 섹션의 K를 활성 행 수와 동일하게 설정하기만 하면 됩니다.
보고서의 세부정보 섹션에서 각 접기에 대한 세부정보를 찾고, 어떤 행이 어떤 접기에 속하는지 알고 싶다면 트레이닝 섹션을 열고 해당 접기에 해당하는 행을 선택한 다음 표 아래의 '선택한 스크립트 저장'을 누르세요. .유효성 검사 행을 나타내는 새 열이 테이블에 추가됩니다.
Re: 하나의 홀드아웃 교차 검증그래, 내가 했어. 문제는 이것이다: 데이터 세트의 크기가 작기 때문에 하나를 제외하고 사용해야 한다는 것입니다.
Re: 하나의 홀드아웃 교차 검증네 정확히 하나는 빼주세요
Re: 하나의 홀드아웃 교차 검증안녕 @tuo88138 ,
처럼 @마크_베일리 이 모델은 이미 강력하고 사용된 부트스트래핑 프로세스로 인해 특별히 교차 검증이 필요하지 않기 때문에 Random Forests 모델 뒤에 있는 문서와 정보를 살펴볼 수 있다고 제안합니다.
- 랜덤 포레스트 모델 각각 훈련 데이터의 부트스트랩 샘플에 적합한 많은 의사결정 트리를 평균하여 앙상블 모델을 적합시킵니다. 훈련 데이터에 대해 부트스트래핑이 수행되므로 모든 데이터가 개별 트리를 구축하는 데 사용되는 것은 아니므로 개별 트리 생성에 사용되지 않은 샘플(OOB(Out Of Bag) 샘플이라고 함)을 사용하여 모델의 오류를 추정합니다. Random Forest의 각 트리 성능을 평가하는 데에도 사용할 수 있습니다. 트리별 요약(jmp.com)
그러나 다양한 교육 및 검증 샘플을 사용하여 Random Forest 플랫폼을 여러 번 다시 시작하는 데 관심이 있는 경우 다음을 수행할 수 있습니다.
- 데이터 세트에 유효성 검사 수식 열 만들기(각 세트의 크기를 지정할 수 있으므로 K-겹 교차 유효성 검사 또는 Leave-One-Out 유효성 검사와 유사한 작업을 수행할 수 있음)
- Random Forest 모델을 생성하고 메뉴의 "검증" 부분에서 검증 수식 열을 지정합니다.
- 모델이 적합해지면 교차 검증을 통해 평가하려는 측정항목을 마우스 오른쪽 버튼으로 클릭하면 됩니다(예: 훈련 및 검증 세트에 대한 Rsquare 또는 RASE, 또는 열 기여도의 제곱합). 중요한 요소가 여전히 존재하는지 확인할 수 있습니다. 훈련/검증 세트에 관계없이 동일한 방식으로 순위를 매기고 "시뮬레이트"를 클릭하십시오. "전환할 열"은 검증 수식 열이 되며 "전환할 열"도 됩니다(다양한 교육 및 검증 세트를 생성하고 교환하기 위해). 실행할 시뮬레이션 수를 지정하고, 재현 가능한 시뮬레이션을 만들려는 경우 무작위 시드를 지정할 수도 있습니다.
- 단일 시뮬레이션이 수행된 새 데이터 테이블과 결과가 생성됩니다.
Chris Gotwalt의 프레젠테이션에서 전체 프로세스를 볼 수 있습니다. 다양한 목표, 다양한 모델: 모델을 사용하여 질문을 구체화하는 방법 - JMP 사용자 커뮤니티 (약 17분)
Random Forests의 교차 검증은 실제로 JMP에서 가능하지만 Random Forest는 지저분하고 잡음이 많은 데이터에 강력하고 부트스트래핑으로 인해 작은 데이터 세트에서도 정확한 모델입니다. 따라서 이 교차 검증을 사용하려는 구체적인 아이디어가 없다면 모델을 "있는 그대로" 사용하여 정확도(OOB 샘플 사용)를 잘 추정하고 신뢰할 수 있는 결과를 얻을 수 있습니다.
이 답변이 도움이 되길 바라며,
Re: 하나의 홀드아웃 교차 검증에 대한 설명서를 읽어보셨나요? 부트스트랩 포레스트 모델?
Re: 하나의 홀드아웃 교차 검증'...홀드아웃 교차 검증...'이라고 말하면 '하나만 남겨두기'로 더 일반적으로 알려진 것을 의미합니까?
