예측 프로파일러 및 바람직함 함수안녕 모두,
JMP 프로 16.1.0.
모델 튜닝의 일부 검증을 통해 작업하기 위해 예측 프로파일러를 사용하고 있으며 바람직하지 않은 기능이 실제로 하도록 설계되지 않은 일을 하도록 "속이는" 방법이 있는지 궁금합니다. 바람직함에 대한 표준 설정을 사용하면 최대화, 대상 일치, 최소화 또는 없음을 선택할 수 있습니다.
모델 튜닝 과정에서 훈련과 검증을 위한 R^2 값과 둘 사이의 차이를 기록합니다. 모델 튜닝을 할 때 찾으려는 것 중 하나는 훈련과 검증 모두에 대해 R^2를 최대화할 뿐만 아니라 둘 사이의 차이를 최소화하는 매개변수 설정입니다. 예를 들어, R^2 훈련이 0.4이고 R^2 검증이 0.35인 모델이 있으면 R^2 훈련이 0.7이고 R^2 검증이 0.25인 것보다 나에게 더 좋습니다. 즉, 훈련 세트와 검증 세트가 서로 가까울수록 더 작은 것이 내 상황에 더 잘 수행되는 경향이 있습니다.
문제는 예측 프로파일러를 사용하여 차이를 최대화하고 최소화하기 위해 훈련 및 검증 R^2를 모두 설정하면 프로파일러가 0.6의 훈련 R^2 및 0.2 정도의 검증 R^2를 초래하는 설정을 제안한다는 것입니다. 내가 추구하는 것이 아닙니다.
내가 Profiler에서 정말로 했으면 하는 것은 큰 R을 유지하면서 차이를 최소화하기 위해 가능한 한 서로 가깝고 가능한 한 큰 학습 및 검증 R^2를 시도하고 수렴하는 것입니다. ^2 값. 불행히도, 중요도(0에서 1로) 또는 목표와 같은 것을 변경하는 것은 실제로 내가 원하는 것을 달성하지 못합니다.
프로파일러가 이와 같은 작업을 수행하도록 하는 방법에 대한 트릭을 아는 사람이 있다면 아는 것이 좋습니다. 또는 가능하지 않은 경우 프로파일러가 응답을 최대화(또는 최소화)하면서 두 가지 응답을 시도하고 수렴하도록 지시할 수 있는 정말 좋은 새 기능일 수 있습니다.
감사 해요!,
DS
해석학Re: 예측 프로파일러 및 바람직함 함수프로파일러 및 바람직함 기능을 올바르게 사용하고 있습니다. 바람직함 = (0,1)을 사용하는 것이 잘못된 것은 아니지만 최대화에 1, 차이에 2와 같은 값을 사용하여 원하는 값에 더 가까워지는지 확인할 수 있습니다. 기능의 정의(제한, 중요도)는 프로파일러에게 무엇을 추구하는지 알려주는 열쇠입니다.
즉, 원하는 것을 얻을 수 있다는 보장이 없습니다!
Re: 예측 프로파일러 및 바람직함 함수나는 당신이 R2 차이가 0.01인지 0.1인지 상관하지 않을 것이라고 추측하고 있지만, 당신은 그것이 어떤 임계값 이상으로 증가함에 따라 점차 그것에 대해 더 신경을 쓰게 될 것입니다. R2 차이를 특정 값 아래에서 평평하게 만든 다음 해당 한계를 초과할 때 점차 감소하는 공식을 만들거나 바람직함 함수를 설정하여 이를 설명할 수 있습니다.나는 종종 다변수 모델에서 T2 메트릭으로 후자를 수행합니다.아래 링크된 동영상에서 약 16:30분으로 건너뛰면 이에 대한 예를 볼 수 있습니다.
다변수 모델 최적화: 데이터 수집에서 최적 조건 및 스코어링 모델까지(2021-US-45MP-927)
Re: 예측 프로파일러 및 바람직함 함수또한 만족도 그래프의 모양을 변경하여 차이가 클수록 벌점이 더 크다는 것을 나타낼 수 있습니다. 중앙에 중간 값이 있는 선형일 필요는 없습니다.
참고: 함수 그래프의 플롯에서 클릭(Windows) 또는 명령 클릭(macOS)을 제어하고 다른 구성을 시도하는 동안 값을 빠르게 변경할 수 있습니다. 바람직함을 변경하지 않고 응답 수준만 변경하는 것이 좋습니다. 중심 값을 한쪽 끝으로 이동하여 비선형으로 만듭니다.
Re: 예측 프로파일러 및 바람직함 함수안녕 @markbailey 그리고 @ih ,
@markbailey , 귀하의 첫 번째 응답은 "작동하게 만들 것"이었습니다. 불행히도 자동 최적화 프로세스가 아니므로 최적의 조건을 반복적으로 찾지 않습니다. 그럼에도 불구하고 각 응답의 상대적 중요도를 수동으로 변경하는 것은 확실히 쉽습니다.
귀하의 제안과 @ih 의 제안은 내가 궁극적으로 하고 싶다고 생각하는 것에 더 가깝다는 것이 증명되고 있습니다. 수동으로 숫자를 변경하거나 그래프의 작은 상자를 이동하는 등 바람직함 기능을 수동으로 조정하는 작업이 많이 있습니다. 내 최종 목표를 달성하는 더 자동화되고 약간 덜 주관적인 방법이 있으면 좋을 것입니다.
@ih R2 Diff가 0.01이든 0.1이든 상관하지 않는다는 것은 부분적으로 옳지만, R2 Diff가 0.1이고 훈련 R2가 0.8이고 검증 R2가 0.7이라면 R2보다 그것을 선호합니다. 내 훈련이 0.31이고 유효성 검사가 0.3인 경우 0.01의 차이. 실제로 내 데이터 세트는 전자보다 후자처럼 작동하는 경향이 있습니다. 두 개의 R2가 0.8과 0.7만큼 높을 수 있기를 바랍니다!
두 가지 제안을 혼합하는 것은 저에게 많은 것을 제공합니다. 다만 소망은 조금 덜 주관적이었습니다.
피드백을 주셔서 감사합니다!,
DS
