간단한 통계 기법을 활용하여 데이터에서 중요한 변수와 상호작용을 파악하고, 이를 바탕으로 고성능 예측 모델을 구축하고 추가적인 통찰력을 얻는 방법을 알아보세요.
방법을 알아보세요:
- 중요 변수를 식별하기 전에 고려해야 할 전제 조건을 이해하십시오.
- 컬럼 뷰어를 사용하여 데이터를 정리하고 준비합니다.
- 결측값 탐색, 이상치 탐색 및 패턴 탐색을 사용하여 이상치와 결측값을 식별하고 처리 방법을 결정합니다.
- 연구 대상 시스템을 가장 잘 나타내는 데이터셋을 사용하십시오.
- 열 머리글의 분포와 그래프 작성기를 사용하여 데이터를 탐색하고 추세를 시각화하세요.
- 상관관계가 있는 변수를 식별하기 위해 다변량 분석을 수행합니다.
- 응답 선별을 사용하여 응답에 영향을 미치는 가장 중요한 변수를 식별하십시오.
- 예측 변수 선별(의사결정 트리 방법)을 사용하여 반응을 예측하는 데 있어 여러 요인을 테스트하십시오.
- 다변량 분석을 사용하여 상관관계가 높은 변수를 식별합니다.
- 클러스터링은 상관관계가 있는 변수들을 그룹화하고 가장 대표적인 단일 변수를 식별합니다.
- 중요하고 고유한 변수를 기반으로 상호작용 및 고차항을 찾으려면 적합 모델 > 반응 선별 및 단계적 회귀 분석을 사용하십시오.
2023년 6월 라이브 웹 세미나에서 Scott (@scott_allen) 과 @Byron_JMP 가 답변한 질문들입니다.
질문: 그래프 작성기에서 어떻게 "선택 해제"를 하셨나요?
A: 그래프의 마커가 아닌 빈 공간을 클릭하세요.
질문: P값과 그 순위에 대해 좀 더 자세히 설명해 주시겠습니까? 높은 P값과 낮은 P값의 의미는 무엇이며, 특정 값이나 추세가 나타날 때 무엇을 예상해야 하는지 등을 설명해 주시면 감사하겠습니다.
A: p값 및 대부분의 통계에 대해서는 다음을 참고하세요. 또한 JMP에서 통계(또는 표시된 다른 항목)에 대한 도움말을 보려면 도구 > ?를 선택하고 도움말을 원하는 영역(이 경우 p값 열 머리글)을 클릭하세요. 이 설명도 참고하세요.
Q: 예측 변수 선별 플랫폼은 랜덤 포레스트 모델과 어떻게 다른가요?
A: JMP에서는 랜덤 포레스트를 부트스트랩 포레스트 라고 부릅니다(랜덤 포레스트는 상표 등록되어 있기 때문입니다). 둘은 같은 것입니다. 예측기 선별에는 모델이 포함되지 않고 순위만 표시됩니다.
Q: 예측 변수 화면에서 각 개별 예측 변수에 기인한 변동률을 보여주지 않는데, 그러한 정보를 제공하는 다른 플랫폼이 있을까요?
A: 예측 변수 선별 보고서는 각 예측 변수의 기여도와 순위를 보여주는 목록입니다. 기여도가 높은 예측 변수일수록 Y를 예측하는 데 중요할 가능성이 높습니다. '기여도' 열은 각 예측 변수가 부트스트랩 포레스트 모델에 기여한 정도를 나타냅니다. 보고서의 '비율' 열은 각 변수의 기여도를 백분율로 보여줍니다.
질문: 다변량 분석에서 -1에서 1 사이의 상관계수 대신 절대 상관계수를 사용할 수 있습니까?
A: 네, 그렇기도 하고 아니기도 합니다. 해당 표는 각 반응 변수(Y) 쌍 간의 선형 관계 강도를 요약한 상관 계수 행렬입니다. 다변량 분석 방법을 참조하십시오.
질문: 연속형, 이항형(예/아니오), 순서형(낮음, 중간, 높음) 독립 변수가 있는 경우 가장 중요한 변수를 어떻게 선택하시겠습니까?
A: 네, 예측인자 선별과 반응 선별을 포함한 모든 방법을 사용할 수 있습니다.
질문: 단계적 회귀 분석을 사용해 보신 적이 있나요? JMP에서 모든 가능한 부분집합 회귀 분석을 지원하나요?
A: 단계적 회귀 분석에 대한 자세한 내용을 참조하십시오.
질문: 제 데이터에는 여러 개의 응답이 포함되어 있는 경우가 많아서 JMP에서 작업할 때 제약이 생깁니다. 여러 응답이 있는 데이터를 특별히 정리하는 방법이 있나요, 아니면 그대로 사용하시나요? 특히 "다중 응답" 열 속성(여러 데이터 포인트 목록)을 말씀드리는 겁니다. 이런 데이터를 두 개의 다른 열로 분리하는 게 더 쉬울 것 같긴 한데, 더 나은 방법이 있는지 궁금합니다.
A: 네, 하나의 셀에 여러 응답을 저장할 수 있지만, 분석하려면 각 응답을 다른 열로 나누는 것이 좋습니다.
질문: 트리 기반 방법은 PLS 또는 PCA와 어떻게 비교되나요?
A: PCA나 PLS를 사용할 때는 더 적은 수의 잠재변수로 모든 데이터를 표현하려고 합니다. 모든 데이터를 나타낼 수 있는 차원의 수를 줄이는 것이 목표입니다. 이는 트리 기반 방법과는 다른데, 트리 기반 방법은 실제로 어떤 요인이 데이터를 설명하는지 정확히 파악하는 데 도움을 줍니다. 트리 기반 방법은 더 나은 모델 구축을 위해 PCA와 PLS를 대체하고 있습니다. 트리 기반 방법은 데이터 모델링에 탁월하지만, 변화에 매우 민감하고 과적합될 가능성이 높습니다. 트리 기반 방법은 새로운 트리를 생성할 때마다 행과 열에서 무작위로 샘플을 추출하기 때문에 이상치에 매우 강건하며, 데이터에 존재하는 상호작용이나 2차항, 3차항과 같은 항들도 모델링할 수 있습니다. 따라서 많은 가정을 할 필요가 없습니다.
질문: 종속 변수가 수치형이고 독립 변수가 연속형, 이항형, 순서형인 경우 예측 변수 선별 및 반응 변수 선별을 사용할 수 있습니까?
A: 네.
방법을 알아보세요:
- JMP Partition을 사용하여 중요한 요소를 식별합니다.
- 모델 간 상호작용 효과를 정확하고 자동으로 계산합니다.
Modeling Workflow with Factor Selection요인 선택을 포함한 모델링 워크플로요인 선택을 포함한 모델링 워크플로
보너스: 스콧 앨런 (@scott_allen) 과 바이런 윙거드 (@Byron_JMP) 도 2022년 데모 시연 후 질문에 답변했습니다!
질문: 이상치 도구 사용법에 대한 튜토리얼 영상이 있나요?
A: 이 자료는 JMP의 이상치 탐색 도구를 다루는 좋은 자료입니다. 문서와 예제 도 함께 살펴보시면 도움이 될 것입니다.
질문: 상관관계가 있는 변수들을 먼저 제거하지 않는 이유는 무엇인가요?
A: 상관관계가 있는 변수들의 존재는 모델링 방법을 결정하는 데 중요한 요소입니다. 예를 들어, PLS는 상관관계가 있는 X 변수들에 대해 더 강건한 성능을 보입니다. 또한, 순서는 개인적인 선호에 따라 달라질 수 있습니다. 예측 변수 선별 후 클러스터링을 수행하거나, 반대로 수행할 수도 있습니다. 다만, 결측값이 많거나 변수 값이 변하지 않는 열(예: 도구 변수 설정)이 있는 경우 클러스터링 결과가 다소 부정확할 수 있다는 점에 유의해야 합니다. 클러스터링부터 시작하려면 추가적인 데이터 정리 및 전처리 작업이 필요할 수도 있습니다.
질문: 예측 알고리즘은 어떻게 결정하시겠습니까?
A: 그건 복잡한 질문이고 답은 상황에 따라 다릅니다. 대부분의 경우 선형 모델이 가장 간단하고 유용한 정보를 제공합니다. 다른 방법들은 데이터의 특정 문제점이나 분석 목표에 맞춰 사용됩니다.
질문: 선형 항을 강력하게 권장하는 이유는 무엇인가요? 상관관계가 Y=X^2일 때, JMP는 왜 계속해서 X 항을 추가하려고 하는 건가요?
A: 이는 효과 유전과 관련이 있습니다. 때때로 고차항은 유의미하지만 주효과는 유의미하지 않은 경우가 있습니다. 따라서 주효과는 유지해야 합니다. 예를 들어, 주효과를 제거하면 예측 필터에서 기울기 변화가 아닌 곡률만 표시되어 예측 정확도가 떨어집니다.
질문: 예측 변수 선별 시, 요인과 반응 변수의 데이터는 동일한 순서(쌍)로 수집해야 합니까, 아니면 무작위로 수집된 데이터(비쌍)를 사용할 수 있습니까?
A: 순서는 사실 중요하지 않지만, 다변량 분석에서는 Y 변수들을 한 그룹에 묶어서 입력하는 경우가 많습니다. Y에 변수를 추가하는 순서가 행렬에 표시되는 순서가 됩니다.
질문: 600개 열로 구성된 x 변수에 대한 다중 선형 회귀 분석을 통해 어떤 x 변수 열이 수확량에 더 큰 영향을 미치는지 파악할 수 있을까요?
A: 600개의 열에 대해 선형 회귀 분석만 하면 Y를 설명하는 요인을 제대로 파악하기 어렵습니다. 파티션(Partition)과 같은 트리 분석 방법은 600개의 열 중 어떤 열이 Y에 영향을 미치는지 정확히 찾아내는 데 매우 효과적입니다. 스콧이 예측 변수 선별(Predictor Screening)을 소개했을 때, 행과 열에서 무작위로 샘플을 추출하여 트리를 100번 생성하고, 이 100개의 트리의 평균값을 계산하여 결과를 보여주었습니다. 파티션을 사용하면 특정 변수의 위치를 조정하거나, 분할 과정에서 특정 변수의 영향을 받도록 강제할 수 있습니다. 그런 다음 분산 중요도 보고서(Variance Importance Report) 등을 통해 분석 결과를 확인할 수 있습니다.
분할 내역과 R-제곱 값의 변화를 보여드리겠습니다. 이 예제는 너무 커서 자세히 보여드릴 수는 없지만, 파티션 기능을 사용하는 방법을 이해하는 데 도움이 될 것입니다.
질문: 600개의 개별 선형 회귀 분석이 모델의 설명력을 희석시킨다면, 이것이 바로 Response Screening에서 요약 통계에 FDR(위양성률) 보정을 적용하는 이유인가요? (Scott이 이전에 보여주고 공매도했던 것처럼)
A: 우연히 정말 좋은 것들을 발견할 수도 있지만, 그런 것들을 걸러내는 과정이 필요합니다. 우연에 의해 좋은 것들을 발견하는 것을 원하지 않기 때문에 FDR(False Discovery Rate)이 이를 보정하는 데 도움이 됩니다. 제가 '도움이 된다'는 점을 강조하는 이유는 어떤 모델도 완벽하지 않기 때문입니다. 마찬가지로, 다중 선형성이 존재하는 상황에서 모든 변수를 모델에 투입하기 전에 먼저 분산을 분리하고 실제로 가장 중요한 변수를 찾는 것이 모든 변수를 고려한 모델을 구축하는 데 가장 효과적입니다. JMP Pro를 사용하면 앙상블 모델을 구축 할 수도 있습니다.
질문: JMP Pro에서 이 작업을 수행하는 다른 방법이 있습니까?
A; 네, XGBoost 추가 기능을 사용하는 것도 포함됩니다. 아래를 참조하세요.
