부스트 트리에서 검증 데이터 사용나는 Boosted Tree를 사용하여 예측 모델을 개발했습니다. 30,000행의 훈련 데이터가 있었습니다. 나는 10,000개의 "검증" 데이터를 가지고 있습니다. 모델을 통해 검증 데이터 세트를 어떻게 실행합니까? (내 모델에는 800개 이상의 변수가 있으므로 "공식"을 얻는 것이 실용적이지 않았습니다.) 스크립트가 아닌 대화형 솔루션을 제공하십시오.실험 설계Re: 부스트 트리에서 검증 데이터 사용제가 선호하는 것은 테스트 데이터를 추가하는 것입니다(예측 수식 열을 저장하고 수식을 평가하기 위해 상자를 선택한 후 연결 사용).테스트 데이터는 모델 개발에 사용되므로 검증 세트로 만들고 싶지 않습니다.JMP는 훈련, 검증, 테스트 데이터 간에 모델 성능을 자동으로 분리합니다.
나는 귀하가 모델의 복잡성을 반복적으로 언급하는 것에 대해 여전히 우려하고 있습니다.일반적으로 JMP는 매우 복잡한 수식 열을 처리할 수 있습니다.JMP가 평가하는 데 문제를 일으킬 만큼 복잡하다면 해당 모델을 사용해야 하는지 걱정됩니다.수백만 개의 행이 있는 경우 하드웨어 제한이 될 수 있습니다. 그러나 30,000개의 행이 있으면 모델에 너무 많은 변수가 없는 한 문제가 발생하지 않습니다.제안하신 대로 모델에 800개 정도의 변수가 있을 수 있으며 이로 인해 일부 예측 모델에 문제가 발생할 수 있다고 생각됩니다.그러나 나의 초기 반응은 800개의 요인과 30,000개의 데이터 포인트(검증 및 테스트 데이터 세트를 사용하는 경우 더 적음)만 있는 모델을 정말로 원하지 않는다는 것입니다.물론 더 적은 수의 요소를 사용하여 거의 동일한 성능을 갖는 모델을 얻을 수 있습니다.따라서 첫 번째 단계는 보다 관리하기 쉬운 모델을 얻는 것이라고 생각합니다.
Re: 부스트 트리에서 검증 데이터 사용현 단계에서 내 생각은 이렇다. 평가하려는 JMP 데이터 테이블에 모델이 있는 경우 새로운 '테스트' 예측 변수 세트와 모델이 포함된 데이터 테이블에 대한 응답을 추가하기만 하면 됩니다. 새로운 행 세트에 고유한 플로팅 기호를 부여하여 생성하는 모든 플롯에서 해당 행이 '새' 행임을 알 수 있습니다. '예측' 열은 '테스트' 예측 변수에 대한 값으로 채워집니다. 그런 다음 실제 값과 예측 값에 대해 Graph Builder를 사용하여 표시되는 내용을 확인합니다. '훈련' 및 '테스트'에 사용되는 행에 대해 로컬 데이터 필터를 배치할 수 있을까요?
Re: 부스트 트리에서 검증 데이터 사용조금 혼란스럽게 들리겠지만 다음 주에 다시 온라인에 접속해 보겠습니다.
감사합니다.
Re: 부스트 트리에서 검증 데이터 사용아하 !
Re: 부스트 트리에서 검증 데이터 사용빠른 Q -완전히 분리된 테스트 데이터 세트가 있습니다. 나는 그것을 결합합니까?
원본 데이터 세트(즉, 추가) - 그런 다음 내 모델을 통해 실행하시겠습니까?
그렇게 하는 경우 - 테스트용으로 1이 포함된 유효성 검사 열을 하드코딩/생성합니까?
모델을 실행하기 위한 훈련(또는 검증)에 0이 있습니까? 나도 그렇지 않아
"공식"을 만드는 데 열중하고 있습니다. 왜냐하면 공식이 너무 큰 것 같기 때문입니다.
관리하는 프로그램입니다. 이런 생각이 말이 됩니까?
저는 단지 모델에서 테스트 세트를 실행할 수 있기를 원하지만 그럴 수는 없습니다.
방법을 잘 알아요. (또한 다음 주에 작업할 예정입니다(이번 주가 아니라,
안타깝게도) - 가족 방문이 있어서요.
고마워요
Re: 부스트 트리에서 검증 데이터 사용추가할 작은 추가 설명 하나 @dale_lehman 의 두 번째 답변입니다. 행 유효성 검사 범주 지정에 사용되는 열, 즉 유효성 검사 열을 생성하면 플랫폼을 실행할 때 분석 플랫폼에서 모든 것이 자동으로 처리된다는 그의 말은 정확합니다. 결과는 데이터의 교육, 검증 및 테스트 하위 집합에 대한 다양한 플랫폼 보고서 요소에 포함됩니다. Dale이 생략한 부분은 훈련, 검증, 테스트라는 세 가지 범주와 각 행이 할당되는 방법을 모두 생성하려는 대화 상자에 설명해야 하는 검증 열을 생성할 때였습니다. 꽤 많은 수의 관찰이 있는 것 같으므로 순전히 무작위로 할당하는 것이 시작하기에 좋은 곳일 것입니다.
Re: 부스트 트리에서 검증 데이터 사용귀하의 답변은 도움이 되지 않지만 감사합니다.
Re: 부스트 트리에서 검증 데이터 사용예측자 선별은 어떤 변수가 중요한지 이해하기 위한 좋은 첫 번째 단계입니다. 작동 방식을 이해하려면 스크립팅 인덱스의 스크립트를 참조하세요.
먼저 원본 테이블의 샘플링을 수행하여 행 수를 줄입니다(기본 메뉴: 테이블->하위 집합 …)
이 하위 집합을 사용하면 짧은 시간에 여러 가지를 시도하고 유망한 아이디어에 대한 스크립트를 저장하고 나중에 대규모 데이터 세트에 적용할 수 있습니다.
Names Default To Here( 1 );
dt = Open( "$SAMPLE_DATA/Boston Housing.jmp" );
obj = dt << Predictor Screening( Y( :chas ), X( :crim, :indus, :nox, :rooms, :age, :distance, :radial ) );
Re: 부스트 트리에서 검증 데이터 사용예측 모델링 플랫폼의 기능을 사용하여 검증 열을 생성하면 JMP는 훈련, 검증 및 테스트 데이터에 대해 자동으로 모델을 실행합니다.따라서 더 이상 아무것도 할 필요가 없습니다.이제 모델 실행 문제에 대한 귀하의 의견은 다른 문제입니다. 모델에 문제가 있는 것처럼 들리며 모델에 800개의 변수가 있다는 것은 수정해야 할 사항을 반영한다고 생각합니다.기능 수를 줄이는 방법을 모색하겠습니다.
Re: 부스트 트리에서 검증 데이터 사용나는 그것을 시도할 것이다.
그러나 모델이 너무 크기 때문에 예측 공식이 전혀 실행될 것 같지 않았습니다. 프로그램이 중단되는 것 같습니다. 마지막으로 테스트 데이터를 실제로 실행하고 싶을 때 어떻게 실행합니까? 정말 감사합니다 -ksfire1
Re: 부스트 트리에서 검증 데이터 사용나는 당신의 질문을 이해하지 못합니다.검증 열이 있고 이를 검증 상자에 넣으면 검증 데이터에 대한 모델 결과가 보고됩니다.나는 당신이 더 단순한 모델을 원할 수도 있고 다른 모델을 시도해야 한다는 의견에 반대합니다.유효성 검사 데이터는 모델을 구축하는 데 사용되며 특히 모델에 800개의 변수가 있는 경우 과적합의 위험이 있으므로 데이터의 10%를 테스트 데이터로 따로 설정하는 것이 좋습니다.따라서 데이터를 교육, 검증 및 테스트 데이터 세트로 나누고, 다양한 모델을 실행하고, 모델 비교 기능을 사용하여 모델이 테스트 데이터에서 어떻게 작동하는지 확인하는 것이 좋습니다.모든 모델의 예측 공식을 저장한 후에는 이 비교가 자동화되어야 합니다.
Re: 부스트 트리에서 검증 데이터 사용공식을 사용하면 모든 것이 쉬울 것입니다. 시도해 보았 니? 무슨 일이 일어났나요?
JMP Pro를 사용하신다고 가정하겠습니다.
덜 복잡한 모델을 만들려고 했나요? 예측자 선별(Predictor Screening)이나 다른 변수 감소 기술을 사용해 보셨나요? 아니면 다른 모델링 기술인가요?
최상의 모델을 얻으려면 다양한 기술/변수 세트를 비교해야 합니다.
