튜닝 설계 테이블을 사용한 부트스트랩 포레스트의 오작동?안녕하세요 여러분,
튜닝 설계 테이블과 함께 Bootstrap Forest 접근 방식을 적용하고 싶은 경우가 있습니다. JMP-Help의 지침을 따르는 동안 튜닝 테이블에 설명된 6개의 하이퍼 매개변수 중 2개만 튜닝 테이블의 실행 횟수에 따라 모델 빌드 수에 포함되는 문제에 부딪혔습니다.
이 문제를 다른 사람도 확인했습니까?
나는 이미 이것에 대해 논의했습니다. @Jonas_Rinne 그리고 우리는 만족스러운 해결책을 찾지 못했습니다. 아니면 버그인가요?
예측 모델링 및 기계 학습Re: 튜닝 설계 테이블을 사용하여 부트스트랩 포레스트에서 오작동이 발생합니까?안녕 @Jonas_Rinne 그리고 @Egon_Gross1 ,
작년에 이 주제에 대해 Boosted Tree(유사한 하이퍼파라미터)를 미세 조정하기 위해 튜닝 설계 테이블을 사용했습니다. https://community.jmp.com/t5/Discussions/Boosted-Tree-Tuning-TABLE-DESIGN/mp/609591/highlight/true#M81062
제가 컴퓨터 뒤에 있지 않기 때문에 이것이 지금 할 수 있는 최선이지만 도움이 될 수 있다면 내일 몇 가지 테스트를 수행할 수 있습니다(그리고 다른 사람이 이전에 해결책을 찾지 못한 경우). 열 이름 지정은 매우 민감하므로 일부 초매개변수 열은 사용되고 다른 열은 사용되지 않는 이유를 설명할 수 있습니다.
그동안 도움이 되었으면 좋겠습니다.Re: 튜닝 설계 테이블을 사용하여 부트스트랩 포레스트에서 오작동이 발생합니까?안녕 @Egon_Gross1 그리고 @Jonas_Rinne ,
저는 항상 튜닝 테이블을 사용하여 모델 튜닝을 하고 있으며 심지어 NN, 부스트 트리, 부트스트랩 포레스트, XGBoost용 템플릿도 만들었습니다.
나는 상수인 경우를 제외하고는 하이퍼파라미터가 튜닝 테이블로 가져오지 않는 문제를 겪은 적이 없습니다. 나는 일반적으로 모든 실행이 포함된 더 큰 튜닝 테이블을 생성하기 위해 튜닝 템플릿 테이블과 함께 공간 채우기 설계 DOE 플랫폼을 사용합니다.
한 가지 가능성은 이름일 수 있고, 다른 하나는 열의 메타데이터에 연결된 올바른 디자인 역할이 있는지 확인해야 할 가능성이 높습니다. 열에 해당 역할이 없으면 DOE 플랫폼이 올바르게 작동하지 않을 수 있습니다.
JMP 도움말 페이지에는 튜닝 테이블의 역할과 관련된 올바른 열 이름이 있는 것처럼 보입니다. 내 템플릿 데이터 테이블이 첨부되어 있습니다. 도움이 되기를 바랍니다.
DS
Re: 튜닝 설계 테이블을 사용하여 부트스트랩 포레스트에서 오작동이 발생합니까?도움말 페이지와 스크립팅 색인 사이에 약간의 불일치가 있는 것 같습니다. 다음은 도움말 페이지에서 튜닝 테이블의 다양한 하이퍼파라미터에 대한 열 이름으로 제안하는 내용입니다.
스크립팅 인덱스에서 열 이름은 약간 다릅니다(분할/분할).
이전에도 같은 문제가 있었던 사람이 있나요? 잘못된 열 이름을 사용했나요? 아니면 다른 이름인가요? 처음 두 하이퍼파라미터는 잘 작동합니다.
Re: 튜닝 설계 테이블을 사용하여 부트스트랩 포레스트에서 오작동이 발생합니까?@Egon_Gross1 그리고 @Jonas_Rinne - 질문해 주셔서 감사합니다. 현재 JMP 기술 지원팀에서도 이 문제를 조사하고 있습니다. 귀하의 예에서 공유한 튜닝 테이블은 다음과 일치하는 것 같습니다. @SDF1 이를 지정했지만 유일한 차이점은 각 열에 대해 지정된 코딩 열 속성이 없는 것으로 보인다는 것입니다.동일한 무작위 시드(=1234)에 대해 제공된 예제를 사용하여 두 가지 방법을 모두 시도했지만 아무런 차이가 없는 것 같습니다.계속해서 조사를 진행하고 유용한 추가 정보를 수집하는 대로 업데이트를 제공하겠습니다.건배, @PatrickGiuliano
Re: 튜닝 설계 테이블을 사용하여 부트스트랩 포레스트에서 오작동이 발생합니까?안녕 @SDF1 그리고 @PatrickGiuliano 그리고 @Jonas_Rinne 그리고 @Victor_G ,
귀하의 모든 기여와 지원에 진심으로 감사드립니다.
NN 시도(지금까지)를 제외하고 다른 접근 방식을 시도하면 RF 절차에 대한 테이블을 제외하고 제공된 Tunung 테이블이 작동했습니다. 샘플 폴더의 여러 테이블을 사용하여 이 작업을 시도했습니다. 튜닝 테이블을 사용한 후 모델 검증 세트 요약 섹션에는 "N 항, N 트리, 지정된 N 트리 및 RSquare" 열만 포함되었습니다. 다른 튜닝 매개변수는 표시되지 않았으며 사용되었는지 의심스럽습니다.
문안 인사
에곤
Re: 튜닝 설계 테이블을 사용하여 부트스트랩 포레스트에서 오작동이 발생합니까?안녕 @Egon_Gross1 ,
이전에 업로드한 템플릿 테이블을 사용하는 데 문제가 있었던 적이 없습니다. 튜닝 테이블을 정확히 어떻게 사용하거나 템플릿 테이블에서 생성합니까? 다시 말하지만, 튜닝 매개변수가 일정하면 DOE 플랫폼은 해당 매개변수를 무시하고 튜닝 테이블에 포함하지 않습니다. 해당 템플릿을 사용할 때마다 제게는 잘 작동하기 때문에 왜 문제가 발생하는지 확실하지 않습니다. 프로세스에서 수행 중인 각 단계의 스크린샷을 제공할 수 있다면 근본 문제가 무엇인지 파악하는 데 도움이 될 수 있습니다.
감사해요!,
DS
Re: 튜닝 설계 테이블을 사용하여 부트스트랩 포레스트에서 오작동이 발생합니까?안녕 @SDF1 ,
불행히도 결과를 재현할 수 있습니다. 요약을 제공하기 위해 튜닝 테이블을 사용하는 일반 부트스트랩 단계를 보여주는 PDF를 추가했습니다. 의심스러운 점이 있으면 도움을 주시면 감사하겠습니다.
한국
에곤1
Re: 튜닝 설계 테이블을 사용하여 부트스트랩 포레스트에서 오작동이 발생합니까?안녕 @Egon_Gross1 ,
튜닝 테이블과 Bootstrap Forest 플랫폼은 의도한 대로 작동하고 어느 정도 올바르게 사용되고 있습니다.
따라서 먼저 모델 피팅에 대해 표시하는 출력은 모델 검증 세트 요약 테이블에 N 항, N 트리, 지정된 N 트리 및 RSquare만 나열하는 부트스트랩 포리스트 플랫폼에 대한 표준 출력입니다. 다른 매개변수는 아래의 "사양" 개요 상자에 나열되어 있습니다. 여기서는 트리당 최소 분할 및 최소 크기 분할 매개변수를 찾을 수 있습니다. 최적의 모델 전용. JMP는 튜닝 테이블을 실행할 때마다 모든 데이터를 저장하지 않습니다. 그렇게 하려면 자신만의 JSL 코드를 작성해야 합니다. 저는 이 작업을 수행하고 JMP 내에서 일반화된 자동 조정 프로그램을 만들어서 다양한 플랫폼을 사용하여 모델을 실행할 수 있고 각 모델 실행에 대한 적합도를 기록한 다음 실제로 결과를 시각화하여 범위를 좁힐 수 있습니다. 적합성이 실제로 더 나을 수도 있습니다. 매우 높은 R^2 값을 갖는 것이 변화에 적응하지 못할 수 있으므로 항상 최고의 모델은 아닙니다. 때로는 다른 지표를 살펴보는 것이 더 나을 때도 있습니다.
어쨌든, 나는 튜닝 테이블이 "어느 정도" 올바르게 사용되고 있다고 언급했습니다. 이것이 의미하는 바는 제가 보낸 튜닝 테이블을 공간 채우기 설계에 로드하는 요소로 사용해야 한다는 것입니다. DOE > 특수 목적 > 공간 채우기 설계로 이동한 다음 빨간색 삼각형을 클릭하고 부하 계수를 선택합니다. 수행하려는 실행 횟수를 지정한 다음 빠른 유연한 채우기를 클릭하면 하이퍼파라미터 공간을 탐색할 수 있도록 공간이 채워진 새 데이터 테이블이 표시됩니다. 제가 보낸 템플릿에서 첫 번째 행은 DOE의 낮은 설정이고 두 번째 행은 DOE의 높은 설정입니다. 그런 다음 모델링 플랫폼(NN 또는 부트스트랩 포리스트)을 실행할 때 이 새롭고 빠르고 유연한 채우기 설계를 튜닝 테이블로 선택합니다.
그런데, 원하시면 JSL 일반화 튜닝 코드를 공유하게 되어 기쁩니다. 알려주세요. 얼마 전 JSL 스크립터스 클럽에서 이에 대한 프레젠테이션을 한 적이 있습니다. 한계가 있지만 매우 유용합니다.
행운을 빌어요!,
DS
Re: 튜닝 설계 테이블을 사용하여 부트스트랩 포레스트에서 오작동이 발생합니까?안녕하세요 @SDF1 ,
귀하의 설명과 의견에 감사드립니다. 정말 많은 도움이 되었습니다!
나는 결과 제시가 다른 플랫폼과 다소 유사하다고 가정했는데, 이는 명백히 잘못된 것이었습니다. 튜닝 테이블을 사용하는 것도 잘 작동했으며 정의된 튜닝 테이블의 모든 실행에 대한 "모델 검증 세트 요약" 테이블을 얻었습니다.
아마도 그것은 흥미로울 것입니다 @PatrickGiuliano 그리고 @Jonas_Rinne JSL 스크립트를 기반으로 한 테이블에 모든 품질 측정 결과의 "정식 버전"을 구현합니다.
JSL을 구하겠다는 귀하의 제안에 따르면 저는 이 점을 매우 높이 평가합니다. 미리 감사드립니다.
모든 지원과 아이디어에 감사드립니다.
한국
에곤1
Re: 튜닝 설계 테이블을 사용하여 부트스트랩 포레스트에서 오작동이 발생합니까?안녕 @Egon_Gross1 ,
여러 JMP 모델링 플랫폼에 대한 일반화된 조정을 실행하기 위한 JSL 코드가 첨부되어 있습니다.
감사해요!,
DS
Re: 튜닝 설계 테이블을 사용하여 부트스트랩 포레스트에서 오작동이 발생합니까?와, 이것은 다양한 모델 매개변수를 미세 조정할 수 있는 정말 훌륭한 도구입니다. 공유해주셔서 감사합니다!
Re: 튜닝 설계 테이블을 사용하여 부트스트랩 포레스트에서 오작동이 발생합니까?안녕하세요 @Egon_Gross1 실제로 플랫폼 개발자에게 확인한 결과 @SDF1이 여기에 설명했듯이 BF가 실제로 지정된 모든 튜닝 테이블 열을 사용하고 있음을 확인했지만 보고하지는 않습니다. 우리는 이에 대한 수정 작업을 진행 중이며 JMP 18 개발 주기(2024년 1분기 후반 JMP 18.0의 최초 릴리스 이후)에 포함되어야 합니다. 감사합니다. @PatrickGiuliano (JMP 기술 지원팀)
