안녕 @HelenaG
질문 주셔서 감사합니다. Predictor Screening은 훌륭한 도구라고 생각하며 도움이 되셨다니 기쁩니다. 개별 질문에 답하는 대신 이 분석에서 어떤 일이 벌어지고 있는지 조금 더 자세히 설명하겠습니다.
예측자 선별 분석은 부트스트랩 포리스트 파티션 모델(기본 100개의 결정 트리 포함)을 실행한 다음 모델에 대한 기여도를 기준으로 예측자의 순위를 매깁니다. 즉, Bootstrap Forest 분석은 많은 의사 결정 트리를 함께 평균화하고 있습니다. 트리를 생성하려면 다음이 필요합니다. 부트스트랩 관측값 샘플을 수집하고 임의의 예측자 세트로 분할하여 모델을 재귀적으로 적합시킵니다. 이것은 중지 규칙이 충족될 때까지 계속됩니다. 그런 다음 새로운 부트스트랩 관찰 및 무작위 예측자 분할 세트로 또 다른 트리가 생성됩니다. 모든 나무가 생성되면 나무의 "숲"(따라서 이름)으로 평균화됩니다.
예측자 선별 출력으로 돌아가서 기여도 열은 연속 숫자 응답에 대한 제곱합과 범주형 응답에 대한 G^2를 제공합니다. 부분 열은 개별 예측 변수 기여도를 모든 기여도의 합계로 나눈 값입니다. 이것은 각 개별 예측 변수가 설명하는 분산과 동일하지 않습니다.
이러한 플랫폼에 대해 자세히 알아보려면 파티션 모델 그리고 부스트랩 포레스트 문서의 개요.
-스콧
안녕 @nick_shelton,
귀하의 이 프레젠테이션으로 인해 저는 Predictor screening을 사용하고 있으며 그 결과에 정말 만족합니다. 이 플랫폼과 관련하여 다음과 같은 깊은 전문지식을 부탁드립니다.
1. 예측자 선별을 위해 JMP 결과에 표시되는 부분은 어떻게 계산됩니까? BF(Bootstrap Forest) 측면에서 이 부분이 의미하는 바는 무엇이며 특정 값은 어떻게 달성됩니까? (저는 이것을 사용하여 과학 논문을 작성하고 있으며 이 세부 정보가 필요합니다).
2. 해석의 관점에서 나는 예측 변수에 의해 설명되는 응답(수율)의 변동성 백분율을 설명하는 부분으로 이해했습니다. 이 올바른지?
3. 여전히 예측자 선별 플랫폼에서 "기여도 열"은 무엇을 의미합니까?BF 알고리즘의 관점에서 어떻게 계산됩니까?
미리 감사드립니다, 닉!
닉 쉘튼 @nick_shelton , JMP SE 관리자는 과거에 이 주제를 제시했고 이전 비디오를 폐기했습니다.그가 시청자에게 남긴 댓글을 빌렸다 @HelenaG JMP SE Scot Allen의 이 비디오 및 Q&A를 보는 모든 사람과 관련이 있을 수 있기 때문입니다. @scott_allen 바이런 윙거드 @Byron_JMP :
헬레나가 물었다.
다음 사항을 더 잘 이해하고 싶습니다. 상호작용 식별 및 평가(응답 스크리닝 및 단계적 회귀 도구 사용)와 관련된 모든 단계는 선형 가정을 기반으로 합니다. 이것이 맞습니까? 그렇다면 비선형 상호 작용을 확인하기 위한 제안이 있습니까?
닉은 다음과 같이 썼습니다.
티 상호 작용의 식별은 도메인 전문 지식과 분석 중인 변수에 대한 알려진 과학적/물리적 이해를 통해 가장 잘 수행됩니다.
변수 간의 상호 작용이 잘 이해되지 않는 경우 적합 모델의 "응답 스크리닝" 모델 성격은 개별 상호 작용 항과 응답 변수 간의 강도를 정량화하는 데 효과적입니다.
모형 적합의 "단계적 회귀" 모형 특성은 잠재적인 모형에 사용할 최적의 용어 조합(예: 주요 효과, 상호작용..)을 식별하는 데 효과적입니다.
"선형" 모델이라는 용어는 모델의 공식이 구성되는 방식을 나타내지만 적합 모델의 "응답 선별" 및 "단계적 회귀" 모델 특성을 모두 사용하여 비선형 관계를 탐색할 수도 있습니다.
다항식 항을 추가하여 분석에 비선형 효과와 상호 작용을 포함할 수 있습니다.
모델 적합에서 모델 효과 상자(예: 2차 관계(x1*x1), 3차 관계(x1*x1*x1), 2차 상호 작용(x1* x1*x2)...)
다항식에 대한 자세한 내용과 다항식이 변수 간의 관계를 이해하는 데 도움이 되는 방법은 아래의 빠른 비디오를 시청하십시오.
https://community.jmp.com/t5/Short-Videos/Fitting-Polynomial-Models/ta-p/271953
간단한 통계 기법을 사용하여 고성능 예측 모델을 구축하고 추가 통찰력을 발견하기 위한 전조로서 데이터에서 중요한 변수와 상호 작용을 식별하는 방법을 알아보세요.
https://www.youtube.com/watch?v=8ENEPPHMphI
방법을 확인하세요:
- 중요한 변수 식별을 시작하기 전에 고려해야 할 전제 조건을 이해합니다.
- Column Viewer를 사용하여 데이터 정리 및 준비
- 누락된 값 탐색, 이상값 탐색 및 패턴 탐색을 사용하여 이상값 및 누락된 데이터를 처리하는 방법을 식별하고 결정합니다.
- 데이터세트가 연구하려는 시스템을 가장 잘 표현하는지 확인하세요.<
- 열 머리글 및 그래프 빌더의 분포를 사용하여 데이터를 탐색하고 추세를 시각화합니다.
- ID에 대한 다변량 분석 수행 상관변수
- 반응 선별을 사용하여 반응에 영향을 미치는 가장 중요한 변수 식별
- 예측자 선별(의사결정 트리 방법)을 사용하여 반응 예측의 여러 요인을 테스트합니다.
- 다변량 분석을 사용하여 상관관계가 높은 변수 식별
- 상관변수를 그룹화하고 가장 대표적인 단일 변수를 식별하는 클러스터링 변수
- 적합 모델>반응 선별 및 단계적 회귀 분석을 사용하여 중요하고 고유한 변수를 기반으로 상호 작용 및 고차 항을 찾습니다.
Scott이 답변한 질문 @scott_allen 그리고 @바이런_JMP 2023년 6월 라이브 웹 세미나 중.
Q: 그래프 빌더에서 어떻게 "선택 취소"를 했나요?
A: 마커가 아닌 그래프의 공백을 클릭하세요.
Q: P값과 그 순위에 대해 좀 더 자세히 설명해주실 수 있나요? 높음과 낮음이 무엇을 의미하는지, 특정 값이나 추세를 볼 때 무엇을 기대할 수 있는지 등을 설명합니다.
A: p-값과 대부분의 통계의 경우 다음을 고려하세요.또한 JMP에서 통계(또는 표시되는 다른 항목)에 대한 도움을 원할 때도 마찬가지입니다.도구 > ?를 선택합니다. 도움이 필요한 영역(이 경우 p-값 열 헤더)을 클릭합니다.또한 참조하세요 이것 설명.
Q: 예측자 선별 플랫폼은 랜덤 포레스트 모델과 어떻게 다릅니까?
A: JMP에서는 Random Forest라고 합니다. 부트스트랩 포레스트 (Random Forest는 상표로 등록되어 있기 때문입니다). 그건 같은거야. 예측자 선별에는 모델이 포함되지 않고 순위만 포함됩니다.
Q: 예측기 화면에서는 백분율 변동이 각 개별 예측기에 기인한다는 것을 알려주지 않기 때문에 이를 수행하는 다른 플랫폼이 있습니까?
A: 예측자 선별 보고서에는 각각의 기여도 및 순위와 함께 예측자 목록이 표시됩니다. 기여도가 가장 높은 예측자는 Y를 예측하는 데 중요할 가능성이 높습니다. 기여도 열에는 Bootstrap Forest 모델에 대한 각 예측 변수의 기여도가 표시됩니다. 보고서의 부분 열에는 각 변수의 기여도가 백분율로 표시됩니다.
Q: 다변량 분석에서 -1 대 1 대신 절대 상관수를 가질 수 있습니까?
답: 예, 아니오. 표는 각 반응(Y) 변수 쌍 간의 선형 관계의 강도를 요약하는 상관 계수의 행렬입니다. 보다 다변량 방법 .
Q: 연속형, 이항형(예/아니요) 및 순서형(낮음, 중간, 높음) 독립변수가 있는 경우 가장 중요한 변수를 어떻게 선택하겠습니까?
A: 예, 예측자 선별 및 반응 선별 등 모든 방법을 사용할 수 있습니다.
Q: 단계적 회귀를 사용해 본 적이 있나요? JMP는 가능한 모든 하위 집합 회귀를 제공합니까?
답: 참조하세요 단계적 회귀에 대한 세부정보 .
질문: 많은 데이터에 여러 응답이 포함되어 있어 JMP에서 할 수 있는 작업이 일부 제한되어 있습니다. 다중 응답 데이터를 특별히 정리합니까, 아니면 그대로 사용합니까? 나는 "다중 응답" 열 속성(다중 데이터 포인트 목록)을 언급하고 있습니다. 나는 이것을 두 개의 다른 열로 나누는 것이 더 쉽다고 가정하지만 더 나은 방법이 있는지 알고 싶었습니다.
A: 그렇습니다, 우리는 당신이 저장하게 했습니다 다중 응답 하나의 셀에 있지만 분석하려면 여러 열로 나누는 것이 정확합니다.
Q: 트리 기반 방법은 PLS 또는 PCA와 어떻게 비교됩니까?
A: PCA 또는 PLS를 사용하면 더 적은 수의 잠재 변수로 모든 데이터를 표현하려고 합니다.모든 데이터를 나타낼 수 있는 차원의 수를 줄이려고 합니다. 이는 실제로 무언가를 설명하는 내용을 파악하는 데 도움이 되는 트리 기반 방법과는 다릅니다. 트리 방법은 더 나은 구축을 위해 PCA와 PLS를 대체하고 있습니다. 트리 기반 방법은 데이터 모델링에 환상적이지만 변경 사항에 매우 민감하고 과도하게 적합할 수 있습니다. 새 트리를 만들 때마다 행의 무작위 샘플과 열의 무작위 샘플을 취하는 트리 기반 방법을 사용하면 이상값에 대해 매우 강력하며 상호 작용 및 2차 방정식과 같은 모델링이 가능합니다. 또는 큐빅(데이터에 존재하는 경우). 그러므로 무리한 가정을 할 필요는 없습니다.
Q: 숫자형 종속변수와 연속형, 이항형 및 순서형 독립변수에 대해 예측자 선별 및 반응 선별을 사용할 수 있습니까?
답: 그렇습니다.
방법을 확인하세요:
- JMP 파티션을 사용하여 중요한 요인 식별
- 모든 모델 상호 작용 효과를 정확하고 자동으로 확인
Modeling Workflow with Factor SelectionModeling Workflow with Factor Selection요인 선택을 통한 모델링 작업 흐름
보너스: 스캇 앨런 @scott_allen 바이런 윙거드 @바이런_JMP 2022년 데모 이후에도 질문에 답변했습니다!
Q: 이상치 도구에 대한 튜토리얼 비디오가 있습니까?
A: 이것은 다음을 다루는 좋은 것입니다. 특이치 탐색 JMP의 도구입니다.다음을 통해 작업할 수도 있습니다. 문서 및 예제 .
Q: 상관변수를 먼저 제거하지 않는 이유는 무엇입니까?
A: 상관 변수의 존재는 종종 모델링 방법에 영향을 미칩니다. 예를 들어 PLS는 상관된 X에 더 강력합니다. 또한, 순서가 선호될 수도 있습니다. 예측자 선별과 클러스터링 또는 그 반대로 두 가지 방법으로 수행할 수 있습니다.누락된 값이나 변경되지 않는 열(기기 설정 등)이 많으면 클러스터링이 약간 부정확할 수 있다는 점에 유의하세요.클러스터링을 시작하려면 추가 데이터 정리 및 준비가 필요한 경우가 있습니다.
Q: 예측 알고리즘은 어떻게 결정하나요?
A: 그것은 복잡한 질문이며 대답은 귀하의 상황에 따라 다릅니다. 대부분의 경우 선형 모델이 가장 간단하고 유익합니다. 다른 방법은 데이터 또는 분석 목표의 특정 문제를 해결합니다.
Q: 선형 항이 그토록 강력하게 권장되는 이유는 무엇입니까?내 상관관계가 Y=X^2라면 JMP가 계속해서 X 항을 추가하려고 시도하는 이유는 무엇입니까?
A: 이것은 효과 유전과 관련이 있습니다. 때로는 고차 항이 중요하지만 주효과는 아닙니다. 따라서 주효과를 유지하려고 합니다.예를 들어 주효과를 제거한 경우 예측 파일러에서는 기울기 변경을 볼 수 없고 곡률만 볼 수 있으며 좋은 예측을 얻을 수 없습니다.
Q: 예측자 선별(Predictor Screening)의 경우 요인과 반응의 데이터를 동일한 순서(쌍)로 수집해야 하거나 무작위로 수집된 데이터(비쌍)를 사용할 수 있습니다.
A: 순서는 별로 중요하지 않지만 다변량 분석의 경우 Y를 한 그룹에 던지는 경우가 많습니다.Y에 추가하는 순서는 행렬에 표시되는 순서입니다.
Q: x-요인(600개 열)의 다중 선형 회귀 분석이 어떤 x 열이 산출량에 더 많이 기여하는지 찾는 데 도움이 됩니까?
A: 600개 열에 대해 선형 회귀를 수행하면 Y를 설명하는 내용이 실제로 희석됩니다. Partition과 같은 트리 방법은 600개의 열 중 어느 열이 원하는 결과를 얻을 수 있는지 파악하는 데 효과적입니다. Scott이 Predictor Screening을 선보였을 때 행과 열의 무작위 샘플을 가져와 트리를 구축하고 이를 100회 수행한 후 해당 100개 트리에 대한 평균을 구하여 결과를 제공했습니다.파티션을 사용하면 일이 발생하도록 강제할 수 있고, 결정이 다른 위치에서 발생하도록 강제할 수 있으며, 분할되는 내용을 따를 수 있습니다. 그런 다음 Variance Importance Report를 보거나
분할 내역 및 R-Square 변경 사항.이 예제는 그렇게 하기에는 너무 크지만 파티션 사용 방법에 대한 아이디어를 제공합니다.
Q: 600개의 개별 선형 회귀가 모델의 설명력을 희석시키는 경우 응답 선별이 이를 보상하기 위해 요약 통계(Scott이 이전에 표시하고 단축한 오름차순)에서 FDR(False Discovery Rate) 수정을 사용하는 이유는 무엇입니까?
A: 우연히 정말 좋은 것을 발견하게 될 것이고, 그것을 필터링하고 싶어질 것입니다. 우리는 우연히 무언가를 발견하고 싶지 않기 때문에 FDR은 이를 바로잡는 데 도움을 줍니다.완벽한 모델은 없기 때문에 저는 도움을 강조합니다. 마찬가지로 모든 트리 기반 모델은 다중 선형성이 있는 상황에서 먼저 분산을 분리하고 모든 것을 모델에 넣는 대신 실제로 가장 중요한 변수를 찾으려고 할 때 가장 좋습니다.때때로 당신은 할 수 있습니다 JMP Pro를 사용하여 앙상블 모델 구축 .
질문: JMP Pro를 사용하여 이 작업을 수행할 수 있는 다른 방법이 3가지 있습니까?
ㅏ; 예, 다음을 포함하여 XGBoost 추가 기능 .아래를 참조하세요.
