예측 프로파일러 및 바람직함 기능안녕 모두,
JMP 프로 16.1.0.
저는 Prediction Profiler를 사용하여 모델 튜닝에 대한 몇 가지 검증 작업을 수행하고 있으며 바람직함 기능이 실제로 수행하도록 설계되지 않은 작업을 수행하도록 "속이는" 방법이 있는지 궁금합니다. 적합성에 대한 표준 설정을 사용하면 최대화, 대상 일치, 최소화 또는 없음 옵션이 있습니다.
모델 튜닝 프로세스 중에 교육 및 검증을 위한 R^2 값과 둘 사이의 차이를 기록합니다. 모델을 튜닝할 때 내가 찾으려고 하는 것 중 하나는 훈련과 검증 모두에 대해 R^2를 최대화할 뿐만 아니라 둘 사이의 차이를 최소화하는 매개변수 설정입니다. 예를 들어 R^2 훈련이 0.4이고 R^2 검증이 0.35인 모델이 있는 모델이 R^2 훈련이 0.7이고 R^2 검증이 0.25인 것보다 나에게 더 좋습니다. 즉, 더 작은 것이 내 상황에서 더 잘 수행되는 경향이 있더라도 훈련 및 검증 세트가 서로 더 가깝습니다.
문제는 예측 프로파일러에서 차이를 최대화하고 최소화하도록 훈련 및 검증 R^2를 모두 설정하면 프로파일러는 훈련 R^2가 0.6이고 검증 R^2가 0.2 정도가 되는 설정을 제안한다는 것입니다. 내가 추구하는 것이 아닙니다.
프로파일러가 정말 하고 싶은 것은 큰 R을 유지하면서 차이를 최소화하기 위해 가능한 한 서로 가깝고 가능한 한 큰 훈련 및 검증 R^2에 수렴하는 것입니다. ^2 값. 불행히도 중요도(0에서 1로) 또는 목표와 같은 것을 변경하는 것은 내가 추구하는 것을 실제로 달성하지 못합니다.
프로파일러가 이와 같은 작업을 수행하도록 하는 방법에 대한 요령을 알고 있는 사람이 있다면 큰 도움이 될 것입니다. 또는 가능하지 않은 경우 프로파일러가 두 가지 응답을 최대화(또는 최소화)하면서 수렴하도록 지시할 수 있는 정말 멋진 새 기능일 수 있습니다.
감사해요!,
DS
데이터 접근데이터 탐색 및 시각화대량 맞춤화Re: Prediction Profiler 및 바람직함 함수안녕 @ih ,
내가 내 생각과 과정과 결정에 대한 주관적인 영향을 피할 수 없다는 점에서 두 분 모두 확실히 옳습니다. 따라서 전체가 다소 주관적이고 누군가의 편견에 빠지기 쉽습니다. 당면한 문제에 대한 한 사람의 편견을 제한하기 위해 가능한 한 많이 제거하는 것이 좋을 것입니다. 결국, 우리는 누군가가 최고의 성능을 발휘하는 모델이 되기를 원하거나 바라는 것이 아니라 최고의 성능을 발휘하는 모델을 추구합니다.
내가 생성하는 모델에 대한 메트릭으로 R2만 사용하지 않는 것도 사실입니다. 그러나 예를 들어 부스트 트리 및 부트스트랩 숲과 같은 일부 모델 맞춤의 조정 프로세스를 구동하는 데 도움이 되는 보다 신뢰할 수 있는 방법 중 하나입니다. 이 두 가지 방법 모두 프로세스에 약간의 임의성이 포함되어 있어 좋지만 모델의 매개변수를 미세 조정하는 것은 다소 불편할 수 있습니다. 매개변수가 여러 개 있으므로 큰 조정 테이블을 생성하기가 매우 쉬워 하이퍼 매개변수 공간이 매우 커집니다. . 그 과정을 조금이나마 돕기 위해 Gaussian Fit 플랫폼은 반복적 튜닝 맞춤 시 매개변수 공간을 줄일 수 있습니다. R2는 해당 플랫폼에서 매우 효과적인 스탠드인 메트릭으로 작동합니다.
보고서 진단을 위한 부트스트랩 옵션은 제가 일상적으로 사용하는 매우 유용한 도구입니다. 또한 자동 유효성 검사 추가 기능의 null 요소를 사용하여 큰 세트 중에서 어떤 요소가 실제로 모델에 유지되어야 하는지 테스트하는 것이 매우 유용하다는 것을 알았습니다. 일종의 사전 모델링 요소 감소 기술입니다.
앞서 언급한 바와 같이 훈련 및 검증 R2가 비슷한 값에 접근할 때 모델이 더 잘 수행되는 경향이 있습니다. 다른 극단적인 높은 교육 및 낮은 유효성 검사는 일반적으로 전반적으로 훨씬 더 나쁩니다. 바람직함 함수 및 수준(또는 컷오프)을 설정할 때 이는 매우 주관적인 부분일 수 있으며 결과에 큰 영향을 미칠 수 있습니다. 더 좋은 것은 해당 프로세스를 최적화하는 알고리즘입니다. 물론 최종 결정은 여전히 사용자가 전화를 걸어 결과에 수학적 의미가 아니라 물리적 의미가 있는지 평가해야 합니다. 라만 또는 광전자 스펙트럼과 같은 스펙트럼 데이터는 종종 Lorentzian 또는 Gaussian(또는 혼합)인 선 모양을 갖습니다. 함수에서 시그마는 제곱이기 때문에 수학적으로 음의 시그마(표준 편차)를 가질 수 있습니다. 그러나 물리적으로 이것은 의미가 없으므로 곡선에 대해 음의 시그마를 제안한 알고리즘의 모든 적합 결과는 음의 표준 편차를 갖는 측정에 대한 물리적 근거가 없기 때문에 폐기될 수 있습니다. 마찬가지로 음수인 R2 값을 얻거나 교육 세트보다 큰 R2 유효성 검사 값을 가질 수 있지만 이러한 인스턴스는 주요 위험 신호여야 하며 추가 분석에서 고려되지 않습니다.
결국 이 방법은 가능한 모든 조합을 테스트하기 위해 수십만 개의 행이 있는 대규모 튜닝 테이블을 생성하는 것보다 더 안정적인 전역 최소값을 찾는 것이 더 빠르고 쉽게 하이퍼파라미터 공간을 좁히는 데 사용됩니다. 이것은 여전히 튜닝 매개변수에 대한 권장 사항만 제공하며 이러한 결과가 타당한지 여전히 평가해야 합니다. 모델은 여전히 임의의 시작 조건에서 반복적으로 생성되지만 매번 보다 안정적인 매개변수 집합으로 범위를 좁힙니다. 이 접근 방식은 조정을 위한 많은 입력 매개변수가 있는 다른 모델링 플랫폼에 유용합니다.
감사해요!,
DS
Re: Prediction Profiler 및 바람직함 함수나는 동의한다 @Mark_Bailey , 여기에서 제공하는 솔루션의 일부인 생각과 견해를 피할 수 없습니다.
알에스퀘어드에 매달리지 말 것을 권한다.R2가 높다고 모델이 유용하다는 의미는 아니며, R2가 낮다고 해서 모델이 목적에 부합하지 않는다는 의미는 아닙니다.누군가 모델의 RMSE가 임계값 미만이어야 한다고 말하는 것은 공평하지만 R2가 임의의 값보다 높아야 한다고 말하는 것은 의미가 없습니다.실제로 데이터 세트에 없는 무언가로 인해 많은 측정 오류 또는 변동이 있는 것을 예측하고 있고 R2가 매우 높다면 문제가 있을 가능성이 있습니다.
R2를 사용하여 테스트와 검증을 비교하는 것은 확실히 유효하며 과적합 모델을 감지하는 데 도움이 될 수 있습니다. 당신이 영혼을 가지고 있지만 데이터 세트에 다른 행을 갖는 것만으로도 예상하다 R2는 다릅니다.예를 들어 나이와 체중에서 선형 최소 제곱 모델을 사용하여 큰 클래스 데이터 세트와 키를 예측해 보십시오.이제 JMP Pro가 있는 경우 표시된 RSquare 값을 마우스 오른쪽 버튼으로 클릭하고 부트스트랩을 선택합니다.기본값을 사용한 다음 결과 테이블에서 분포를 수행하면 아래와 유사한 분포를 얻어야 합니다.JMP Pro가 없는 경우 30개의 임의 행이 있는 테이블의 하위 집합을 선택하고 최소 제곱 적합을 수행하고 R2를 기록한 다음 프로세스를 여러 번 반복하여 비슷한 결과를 얻을 수 있습니다.
모델은 변경되지 않고 모델을 빌드하는 데 사용된 행만 변경되었지만 R2에서 그 변형을 살펴보십시오!따라서 훈련 및 검증 R2가 항상 서로 10% 이내일 것으로 기대하는 것은 솔루션에 불필요하게 인위적인 제약을 가할 수 있습니다.
스크립팅된 솔루션을 사용하여 과적합을 테스트하려는 경우 R2의 차이에 대한 일부 '계속 유지' 제한 외에도 Col Shuffle 공식을 사용하고 무작위 Y로 모델을 피팅할 수 있습니다. 다음을 확인해야 합니다. R2는 거의 0으로 떨어집니다.그러면 모델이 데이터의 임의 노이즈를 모델링할 수 없습니다.
Re: Prediction Profiler 및 바람직함 함수그 과정은 객관적이다. 결정은 그렇지 않습니다.
Re: Prediction Profiler 및 바람직함 함수안녕 @Mark_Bailey 그리고 @ih ,
@Mark_Bailey , 귀하의 첫 번째 답변은 "작동하게 만들 것"이었습니다. 안타깝게도 자동화된 최적화 프로세스가 아니므로 반복적으로 최적의 조건을 찾지 않습니다. 그럼에도 불구하고 각 응답의 상대적 중요도를 수동으로 변경하는 것은 확실히 쉽습니다.
귀하의 제안과 @ih 의 제안은 내가 궁극적으로 하고 싶은 일에 더 가깝다는 것이 증명되고 있습니다. 선호도 함수를 수동으로 조정하는 경우가 많습니다. 숫자를 손으로 변경하거나 그래프의 작은 상자를 이동하는 것입니다. 내 최종 목표를 달성하는 데 더 자동화되고 약간 덜 주관적인 방법이 있으면 좋을 것입니다.
@ih R2 Diff가 0.01인지 0.1인지 상관하지 않는다는 부분적으로 옳습니다. 그러나 R2 Diff가 0.1이고 훈련 R2가 0.8이고 검증 R2가 0.7이면 R2보다 선호합니다. 내 교육이 0.31이고 유효성 검사가 0.3인 경우 diff는 0.01입니다. 실제로 내 데이터 세트는 전자보다 후자에 더 가까운 경향이 있습니다. 두 개의 R2가 0.8과 0.7만큼 높을 수 있으면 좋겠습니다!
두 가지 제안을 혼합하면 많은 작업을 수행할 수 있습니다. 주관적이지 않았으면 하는 바램입니다.
의견을 보내 주셔서 감사합니다!,
DS
Re: Prediction Profiler 및 바람직함 함수차이가 클수록 페널티가 더 크다는 것을 나타내도록 선호도 그래프의 모양을 변경할 수도 있습니다. 중앙에 중간 값이 있는 선형일 필요는 없습니다.
참고: 함수 그래프의 플롯에서 클릭(Windows) 또는 명령 클릭(macOS)을 제어하고 다른 체계를 시도하는 동안 값을 빠르게 변경할 수 있습니다. 선호도를 변경하지 말고 응답 수준만 변경하는 것이 좋습니다. 중앙 값을 한쪽 끝으로 이동하여 비선형으로 만듭니다.
Re: Prediction Profiler 및 바람직함 함수나는 당신이 R2 차이가 0.01인지 0.1인지 상관하지 않는다고 생각하지만, R2 차이가 어느 정도 임계값 이상으로 증가함에 따라 점점 더 신경을 쓰게 됩니다. R2 차이를 특정 값 미만일 때는 평평하고 그 한계를 초과하면 점차 감소하는 공식으로 만들거나 이를 설명하기 위해 바람직함 함수를 설정할 수 있습니다.나는 종종 다변량 모델에서 T2 메트릭을 사용하여 후자를 수행합니다.아래 링크된 동영상에서 16:30쯤으로 건너뛰면 이에 대한 예를 볼 수 있습니다.
다변량 모델 최적화: 데이터 수집에서 최적 조건 및 스코어링 모델까지(2021-US-45MP-927)
Re: Prediction Profiler 및 바람직함 함수Profiler 및 Desirability 함수를 올바르게 사용하고 있습니다. 바람직함 = (0,1)을 사용하는 것이 잘못된 것은 아니지만 최대화에 1, 차이에 2와 같은 값을 사용하여 원하는 결과에 더 가까워지는지 확인할 수 있습니다. 기능(제한, 중요도)의 정의는 프로파일러에게 당신이 무엇을 추구하는지 알려주는 핵심입니다.
즉, 원하는 것을 얻을 수 있다는 보장은 없습니다!
