최고의 모델안녕하세요
내 질문은 내 데이터세트에 매우 잘 맞는 최고의 파라메트릭 모델을 어떻게 찾을 수 있느냐는 것입니다.
내 반응을 좋게 예측할 수 있는 매개변수 모델을 찾고 싶습니다.
고급 통계 모델링기본 데이터 분석 및 모델링답: 최고의 모델안녕하세요 @maryam_nourmand 님 ,
귀하의 질문은 광범위한 주제에 관한 것이며, 이 질문에 답하기 전에 해결하고 대답해야 할 질문이 (많을) 있을 수 있습니다.
- 데이터는 어떻게 수집되나요? 관찰 연구, 실험 설계, ... ? 데이터 세트의 대표성과 완전성? 탐색적 데이터 분석은 PLS와 같은 적응 모델이나 PCA와 같은 전처리 단계가 필요할 수 있는 다중 공선성과 같은 회귀 모델의 가정과 관련된 일부 패턴과 가능한 함정을 탐지하는 데 도움이 될 수 있습니다.
- 모델의 목적 ? 인과관계 설명, 예측 및 최적화 또는 둘 다(사용 가능한 데이터 세트 및 수집 방법과도 연결됨)?
- 검증 전략/기능 선택 ? 예를 들어 생성된 모델이 적절한 수준의 복잡성을 가지며 여전히 우수한 예측 성능을 갖도록 하려면 어떻게 해야 합니까? "표준" 기계 학습 검증 전략(교차 검증 또는 훈련/검증/테스트 분할 포함)을 통해 또는 가능성, 정보 기준(AICc, BIC), p-값 ... ? 모델 복잡성은 데이터 수집에 의해 직접적으로 제한되어야 합니다. 예를 들어 3가지 수준의 요인이 있는 경우 2차 항보다 더 높은 항을 적합할 수 없습니다.
- 평가/선택 지표 및 임계값? 모델을 어떻게 평가합니까? 선택 프로세스/기준은 무엇입니까? 선택한 메트릭을 사용하여 가장 좋은 예측 결과를 가진 모델을 선택합니까, 아니면 벤치마크 모델이나 순진한 모델보다 성능이 더 나은 모든 모델을 선택합니까? 최종적으로 모델을 어떻게 테스트합니까?
이러한 질문과 답변 중 일부는 이미 이전 게시물에 설명되어 있습니다.
https://community.jmp.com/t5/Discussions/Statistical-Significance/mp/765928/highlight/true#M94573
https://community.jmp.com/t5/Discussions/Analytic-of-split-plot-design-with-full-factorial-vs-RSM/mp/770579/highlight/true#M95183
모델을 생성, 비교 및 선택하려면 하나 또는 여러 모델을 선택하기 위한 목표 및 임계값/기준과 연결된 평가 지표가 필요합니다. 최상의 예측 모델을 원한다면 다음을 수행할 수 있습니다.
- 표준 ML 검증 전략(예: 교차 검증) 또는 모델의 복잡성을 제어할 수 있는 전략을 사용하여 모델을 생성합니다.
- RMSE, MAPE 등과 같이 예측 정확도와 연결된 하나 이상의 측정항목을 사용하세요.
- 측정항목 및 도메인 전문 지식을 기반으로 모델을 비교합니다. 어떤 모델이 주제에 가장 적합하고 관련성이 있으며 어떤 모델이 최고의 성능을 가지고 있는지,
- 선택한 모델을 사용하여 개별 예측을 추정하여 예측 오류의 평균을 계산하기 위해 결합된 모델을 사용하거나 결합된 모델을 사용하도록 선택합니다.
- "실제" 상황/생산 환경에서 모델을 테스트합니다.
다음 리소스에도 관심이 있을 수 있습니다.
언제 어떤 모델을?
모델 지정 및 피팅
예측 모델 구축 및 이해
상관관계가 있는 고차원 데이터에 대한 예측 모델 구축
JMP Pro를 사용하여 더 나은 예측 모델 구축 - 모델 스크리닝 (모수적 모델 및 기계 학습 모델 옵션을 스크리닝하고 동시에 비교하는 데 도움이 될 수 있음)
예측 모델링
STIPS 모듈 7: 예측 모델링 및 텍스트 마이닝
언제 어떤 모델을? (및 어떤 모델링 유형?) - (2023-US-PO-1509)
모델 선택 기준을 사용하여 JMP에서 모델 선택 - (2023-US-30MP-1456)
데이터 마이닝 및 예측 모델링
이 첫 번째 토론 시작이 도움이 되기를 바랍니다.
답: 최고의 모델
내 목표를 더 정확하게 설명하고 싶다면:
암 환자 데이터와 관련된 초기 데이터 세트가 있습니다. 내 데이터세트에 가장 적합한 매개변수 통계 모델을 찾고 싶습니다. 이 모델을 사용하여 모델의 절편에 변화를 적용하기 위해 데이터를 시뮬레이션하는 것을 목표로 합니다. 궁극적으로 저는 기존 기계 학습 모델이 제어 차트에서 이러한 변화(예: ARL 획득)를 얼마나 빨리 감지할 수 있는지 확인하고 싶습니다. 이를 위해서는 데이터에서 데이터를 시뮬레이션할 수 있도록 데이터에 가장 적합한 모델이 필요합니다.
답: 최고의 모델안녕하세요 @maryam_nourmand 님 ,
그렇다면 수용 가능한 예측 모델을 맞추려고 노력하는 관찰 데이터의 고정 데이터 세트를 사용하여 데이터 마이닝 접근 방식을 사용할 가능성이 더 높습니다. 기능에 대한 계층화와 함께 검증 열을 사용하면 프로덕션 데이터에서 모델을 검증하고(과적합 방지) 테스트하는 데 도움이 됩니다. 모델링 전략 측면에서는 단계적 접근 방식을 사용하여 기능을 선택하고 일반화 회귀 접근 방식 과 검증 열 방법을 사용할 가능성이 높습니다.
예를 들어 Kaggle의 Cancer_Data 데이터세트를 사용하여 개인의 특성을 기반으로 양성암과 악성암이 있는지 예측했습니다. https://www.kaggle.com/datasets/erdemtaha/cancer-data?resource=download
주로 특성 간의 분포와 상관 관계에 초점을 맞춘 첫 번째 탐색적 데이터 분석 후 훈련/검증/테스트 세트에 대한 비율이 70/20/10인 검증 열 공식(특성에 대한 계층화)을 만든 다음 다음과 같은 일반화 회귀 모델을 사용했습니다. 검증 열 방법, 모델에 가능한 항으로 입력된 모든 주효과 특성 및 2-특성 상호 작용 항. 기능이 밀접하게 연관되어 있으므로 적응형 Elastic Net을 선택하지만 PLS 또는 PCA 사전 처리와 같은 다른 옵션도 있을 수 있습니다.
그런 다음 이 모델의 공식을 저장하고 예측 프로파일러를 사용하여 시뮬레이션을 생성하고 기능이 응답에 미치는 영향을 평가하고 예측된 응답에 대한 노이즈 증가 효과를 추정할 수 있습니다.
이 몇 가지 옵션이 귀하의 주제에 도움이 되기를 바랍니다.
답: 최고의 모델귀하의 응답으로 저는 다음과 같은 질문을 하게 되었습니다. "모수적 통계 모델"이란 무엇을 의미합니까? 저는 보통 머신러닝 모델을 비모수적이라고 생각하는데 여기서는 그런 모델을 제외하는 건가요? 기존의 기계 학습 모델이 있다고 말씀하셨기 때문에 불분명합니다. 모수적 모델과 비모수적 모델을 비교하고 싶으신가요? 모델 스크리닝 플랫폼을 사용하면 두 가지 유형의 예측 모델을 모두 구축할 수 있습니다. "가장 적합"하다고 생각되는 것을 사용하여 시뮬레이션을 수행하기 위해 예측 공식을 저장할 수 있습니다. "모델 절편의 이동"이 무엇을 의미하는지 잘 모르겠지만 시뮬레이션된 데이터를 생성하기 위해 공식에 추가 교란을 넣을 수 있다고 생각합니다.
답: 최고의 모델당신의 응답을 주셔서 감사합니다.
하지만 시뮬레이션을 위해서는 '열 저장->시뮬레이션 수식 저장' 섹션으로 이동하는 것이 코드 작성에도 사용할 수 있는 시뮬레이션 수식이 포함되어 있기 때문에 더 좋다고 생각합니다.
그리고 데이터세트를 소개해주셔서 감사합니다.
그런데 여러 단계를 포함하는 치료 과정과 관련된 데이터세트가 있나요? 즉, 1차 치료 후 질병이 재발하여 2차 치료를 시행하며, 약물 투여량 등의 치료정보를 기록하는 것입니다. 혹시 그런 데이터셋이 있으시면 공유해주시면 감사하겠습니다.
답: 최고의 모델예, "파라메트릭 모델"은 기계 학습 모델을 의미하지 않습니다.
최고의 파라메트릭 모델을 찾는 나의 목표는 초기 데이터 세트보다 더 많은 양의 데이터를 시뮬레이션하고 생성하는 것입니다. 기계 학습 모델에 더 많은 데이터를 사용하고 싶지만 시뮬레이션된 데이터가 초기 데이터 세트와 매우 유사하고 유사하기를 원합니다.
답: 최고의 모델그렇게 하기 위해 왜 파라메트릭 모델이 필요한지 모르겠습니다. 예측 모델을 실행하고 프로파일러를 사용하여 원하는 만큼의 추가 데이터 포인트를 시뮬레이션하고 독립 변수에 대해 서로 다른 값을 지정하고 예측에 무작위 노이즈를 추가할 수 있습니다. 아마도 나는 당신이 무엇을 하려는지 이해하지 못하지만 이것의 파라메트릭 모델 부분이 필요하다고 보지 않습니다.
답: 최고의 모델"열 저장 -> 시뮬레이션 수식 저장"을 통해 시뮬레이션 수식을 저장하는 것과 프로파일러 도구를 사용하여 시뮬레이션하는 것의 차이점은 무엇입니까?
시뮬레이션을 위해 파라메트릭 모델을 사용하는 이유는 해당 코드를 작성하고 이 프로세스를 루프에서 100번 반복할 수 있도록 관계와 시뮬레이션 공식을 갖고 싶기 때문입니다. 내가 1단계에서 구성한 모델).
소프트웨어를 사용하여 이 작업을 수동으로 수행한다면 시간이 많이 걸리고 어려울 것입니다.
답: 최고의 모델안녕하세요 @maryam_nourmand 님 ,
그것은 당신의 목표가 무엇인지에 달려 있습니다.
시뮬레이션 공식을 저장 하면 진단 시뮬레이션 공식으로 진단 응답을 전환하여 모델의 계수 분포를 평가하는 데 도움이 될 수 있습니다.
시뮬레이션 공식은 모델 적합 보고서에서 저장할 수 있는 예측 공식의 압축 버전입니다. 각 클래스에 대해 하나의 확률 열과 최종 분류 열을 갖는 대신 동일한 공식 내에 확률 계산 및 분류가 포함된 열 하나만 저장합니다. .
입력의 변형과 관련된 모델의 견고성에 더 관심이 있는 경우 입력의 변형(및 출력에 노이즈 추가)이 포함된 예측 프로파일러의 시뮬레이터를 사용하고 시뮬레이션 실험을 실행하는 것이 도움이 될 수 있습니다. 그런 다음 입력의 변형을 생성하고 특성 분포를 이동하여 모델에 어떤 영향을 미치는지 확인할 수 있을 뿐만 아니라 노이즈를 늘려 예측 모델이 얼마나 강력한지 확인할 수 있습니다.
@dlehman1 이 가져온 요점과 관련된 참고 사항:
최고의 파라메트릭 모델을 찾는 나의 목표는 초기 데이터 세트보다 더 많은 양의 데이터를 시뮬레이션하고 생성하는 것입니다. 기계 학습 모델에 더 많은 데이터를 사용하고 싶지만 시뮬레이션된 데이터가 초기 데이터 세트와 매우 유사하고 유사하기를 원합니다.
수집된 실제 데이터와 유사한 데이터를 시뮬레이션하고 생성하려면 데이터 생성 프로세스를 "모방"해야 합니다. ML 모델에서 발견되었지만 파라메트릭 모델에서는 고려되지 않은 강력한 비선형성, 상관 관계 또는 기타 패턴이 있는 경우 ML 모델을 사용하여 데이터를 시뮬레이션하고 생성해야 합니다. 그렇지 않으면 시뮬레이션에 강한 편향이 도입됩니다. 생성된 데이터. 이 사용 사례에 대한 데이터 생성 및 예측을 위해 별도의 모델이 필요하다는 점을 이해하지 못합니다.
모델이 아무리 예측 가능하더라도 이는 이해하고 예측하려는 현상을 단순화한 것일 뿐이므로 이 모델에서 생성되는 데이터는 여전히 어느 정도 편향될 수 있습니다(그리고 실제보다 덜 시끄러운 결과를 생성할 수도 있음). 데이터).그러나 의도한 대로 데이터 변형에 대한 견고성을 평가하는 것은 여전히 유용할 수 있습니다.
죄송합니다. 여러 단계의 치료를 포함하는 데이터세트가 없습니다. 방금 이것을 찾아서 귀하의 사용 사례에 맞는 일러스트레이션 예제를 제공하는 것이 전부입니다.
이 답변이 도움이 되길 바랍니다.
답: 최고의 모델@빅터G
새로운 JMP 기능을 좀 배울 것 같아요. 표시되는 전환할 열이 포함된 시뮬레이션 창을 어디서 얻었는지 알려주십시오. 어디에서도 찾을 수 없습니다. 시뮬레이션 실험을 실행할 위치는 알지만 시뮬레이션 공식을 저장하라는 메시지를 찾을 수 없습니다. 감사해요.
답: 최고의 모델안녕하세요 @dlehman1 님 ,
시뮬레이션 기능은 모델 플랫폼의 패널/보고서를 마우스 오른쪽 버튼으로 클릭하여 액세스할 수 있습니다. 시뮬레이션 기능을 시작합니다.
SVM의 모델 요약에 대한 예는 다음과 같습니다.
그러면 전환할 열과 전환할 열을 선택하라는 메시지가 표시됩니다. Simulate의 맥락에서 선형 회귀 모델의 모수 추정에 사용할 수 있으며 모수 추정 분포를 평가하기 위해 시뮬레이션된 응답으로 응답을 전환하거나 모델 성능의 일관성을 평가하기 위해 모델 요약에 사용할 수 있습니다 . 시뮬레이션 창
시뮬레이션 공식과 관련하여 일반화 회귀 플랫폼의 "열 저장" 아래 옵션 중 하나로 찾아서 저장할 수 있습니다.
저는 이 "시뮬레이트" 옵션을 사용하여 검증 열 수식을 사용하여 기계 학습 모델의 견고성을 평가합니다. 모델 대화 상자 창에서 이 열을 검증으로 사용하면 이러한 열 값을 시뮬레이션하고 전환하여 동일한 계층화 또는 그룹화 방법으로 약간 다른 훈련/검증/테스트 세트를 나타낼 수 있습니다. 이는 알고리즘의 견고성을 평가하는 데 도움이 될 수 있습니다(예: 교차 검증도 가능함: https://community.jmp.com/t5/Discussions/How-can-I-automate-and-summarize-many-repeat-validations-into /mp/632192/highlight/true#M83061 ), 하이퍼파라미터를 미세 조정하여 모델의 성능 향상(있는 경우)을 테스트할 수 있습니다( https://community.jmp.com/t5/Discussions/Boosted-Tree- 튜닝-테이블-디자인/mp/609591/highlight/true#M81062 ).
이 답변이 도움이 되기를 바랍니다.
답: 최고의 모델다시 한번 안녕
예를 들어 다음 시뮬레이션 공식을 살펴보세요.
(-0.741104921699375) + 0.0237113448295257 * :weight + Match( :sex,
0, (:나이 - 33.8085106382979) * 0.0091364700024452,
1, (:나이 - 33.8085106382979) * 0,
.
) + (:체중 - 63.3936170212766) * 일치( :family, 0, -0.015643799304455, 1, 0, . ) + (:종양 크기 - 2.49893617021277) *
Match( :family, 0, 0.441690642908435, 1, 0, . ) + (:종양 크기 - 2.49893617021277) * Match( :hyper, 0, -0.346279666197286, 1, 0, . )
+Match( :hyper, 0, Match( :dissection, 0, 0.354356313550484, 1, 0, . ), 1, Match( :dissection, 0, 0, 1, 0, . ), . ) + (0.15468861367462
+ 0) * 탄젠트( Pi() * (임의의 균일() - 0.5) )
ARL을 계산하려면 Python 코드를 작성하고 100번 생성해야 하기 때문에 내 프로젝트에는 이와 같은 공식이 필요합니다.
내 요점을 전달할 수 있었나요?
