많은 분들이 너무 많은 교육을 받고 실제 업무에서 많은 경험을 쌓았다고 느끼시는데 왜 제 모델링 결과가 이상적이지 않은 걸까요? 오늘은 데이터 분석에서 예측 모델링의 방법과 아이디어에 대해 이야기하고, 방법론에서 발생할 수 있는 오해와 편향을 이해하는 데 도움이 되는 작은 사례를 사용하여 모델링과 분석을 보다 쉽게 수행할 수 있습니다.
예측 모델링이란 무엇입니까?
예측 모델링에 관해 잘 모르는 친구들은 이해하기 어려울 수도 있습니다. 실제로 예측 모델링은 생활 곳곳에 있습니다. 예를 들어 아침에 일어나 날씨가 흐린 것을 보면 오늘 비가 올 것이라고 예측하는 단순한 예측입니다. 즉, 의사가 다양한 증상을 보이는 환자를 볼 때 그 환자 중 감기에 걸릴 확률이 몇 퍼센트인지, 그 질병이 있는 사람이 몇 퍼센트인지 예측하는 것 역시 예측이다.
예측 모델링의 핵심과 방법은 무엇입니까?
예측 모델링에는 여러 가지 방법이 있는데, 전통적인 방법으로는 선형회귀, 다항회귀, 로지스틱 회귀 등의 회귀분석과 능선회귀, Lasso 회귀 등의 페널티모형이 있습니다. 신경망, 지원 벡터 머신(SVM), 의사결정 트리, 랜덤 포레스트, 부스팅 트리 및 기타 방법과 같은 기계 학습 기반의 모델링 방법은 예외 없이 데이터 분석가에게 다양한 선택을 제공합니다.
하지만 어떤 종류의 예측 모델링을 하든, 실제 상황을 진정으로 복원하고 실제 패턴을 발견할 수 있는 최적의 모델을 찾는 것이 본질적입니다. 그러나 대부분의 경우 아마도 우리가 직면하는 가장 중요한 문제는 모델이 좋은지 아닌지를 어떻게 판단할 것인가입니다. 과적합이 있나요? 즉, 예측 모델의 가장 중요한 핵심 문제는 변동과 편차의 최적 균형을 달성할 수 있는지 여부입니다.
변동과 편차의 균형은 무엇입니까? 일반인의 관점에서 보면, 모델은 모델링에 사용되는 훈련 세트 데이터에서 좋은 성능을 발휘해야 할 뿐만 아니라, 다른 그룹의 사람들이 수집한 데이터가 변경되는 경우에도 더 나은 성능을 발휘해야 합니다. 예를 들어 첫 번째 그룹이 동일한 약을 복용하면 약의 효과가 80%에 도달하여 매우 좋아 보이지만 다른 그룹이 약을 복용하면 약의 효과는 30%에 불과할 수 있습니다. . 이는 효과가 그다지 좋지 않음을 나타냅니다. 실제 효과는 다음과 같아야 합니다. (이론적으로) 셀 수 없이 많은 샘플링을 수행하고 매번 100명을 샘플링한다면 이러한 수많은 샘플링에서 효과는 매우 안정적이어야 하며 각 샘플링의 효과는 매우 좋을 것입니다. 효과가 좋다는 것은 모델 예측 효과가 좋다는 것을 의미하고, 안정하다는 것은 변동의 수가 적다는 것을, 불안정하다는 것은 변동이 많다는 것을 의미합니다.
이해하기 쉽지만 실제로는 셀 수 없이 많은 샘플링을 할 수 없으며, 대부분의 경우 하나의 샘플링만 존재하는데, 그렇다면 하나의 샘플링을 사용하여 모델의 안정성을 평가하는 방법은 무엇입니까? 이를 위해서는 교차 검증 방법을 사용해야 합니다.
교차 검증이란 무엇입니까? 예를 들어, 군중을 여러 부분으로 나누고 그 중 일부를 훈련 데이터로 유지한 다음 한 부분을 검증 데이터로 유지하고 나머지 일부를 추출하여 훈련 데이터로 사용한다고 가정해 보겠습니다. 간단히 말해서 모든 데이터를 검증용으로 꺼내는 것을 교차검증(Cross-Validation)이라고 하는데, 검증용 데이터는 모두 모델링에 사용되는 데이터가 아니기 때문에 결과가 더 설득력이 있습니다.
예를 들어 점이 2개인 경우 최적의 모델을 만드는 것은 매우 쉽습니다. 이 직선이 최적의 모델입니다(편차는 작으며 실제로 편차는 0입니다).
그림에서 볼 수 있듯이 이 데이터에서는 녹색 선이 빨간색 선만큼 성능이 좋지 않습니다(편차가 큼). 하지만 검증 데이터를 추가할 때 파란색이 검증 데이터라면 빨간색이 반드시 녹색만큼 좋지 않을 수도 있다는 것을 알게 됩니다. 따라서 이 경우 빨간색 선은 편차는 적지만 변동폭이 큽니다. 훈련 데이터에서만 가장 좋은 피팅 효과를 보이는 것처럼 보이므로 다른 배치의 데이터(검증 데이터)로 전환하면 피팅 효과가 즉시 더 나빠지는 것을 알 수 있습니다. 편차가 매우 작은 것 같지만 편차가 너무 커서 우리가 추구하는 것은 아닙니다. 실제로 우리가 추구하는 것은 작아야 하는 편차와 편차가 작아야 하거나 적어도 그 사이에서 찾는 것입니다. 두 가지 절충안이 바로 예측 모델링의 핵심입니다. 이러한 절충안을 찾는 방법은 일반적으로 교차 검증을 사용합니다. 따라서 좋은 예측 모델을 구축하기 위해 신경망, 의사결정 트리, SVM 등 실제로 이러한 절충점을 찾고 있습니다.
실용적인 관점에서 볼 때 예측 모델링은 주로 두 가지 점을 결정하는 것입니다.
- 어떤 변수가 결과에 영향을 미치는지 확인 . 예측은 예측할 변수를 찾아야 하기 때문입니다. 예를 들어 변수가 100개라면 이 100개 변수가 모두 예측에 기여할까요? 따라서 먼저 어떤 지표가 이에 영향을 미치는지 결정해야 합니다.
- 이러한 기여 지표와 결과 사이의 관계는 무엇입니까? ?
실제로 대부분의 경우 우리 중 많은 사람들은 어떤 변수가 결과에 영향을 미치는지 첫 번째 변수에 집중하지만, 실제로 이러한 변수와 결과 사이의 실제 관계에 주목하는 사람은 거의 없으며, 특히 전통적인 예측 모델에서는 더욱 그렇습니다. 이들에 주의를 기울이지 않으면 구성된 모델 중 상당수가 실제로 유효하지 않다는 것을 알게 될 것입니다. 이런 점에서는 머신러닝 방법이 더 좋을 것입니다. 머신러닝은 변수가 선형인지 비선형인지에 관계없이 최적의 분할점을 찾는 데 도움이 되기 때문입니다.
그러나 전통적인 모델은 대부분 선형 모델이고 비선형성을 직접적으로 처리할 수 없기 때문에 이 점에서 약간 열등합니다. 선형 회귀, 로지스틱 회귀 등과 같은 전통적인 모델은 일반적으로 작은 편차만 추구하지만 Lasso 회귀 및 탄력적 네트워크와 같은 방법은 작은 편차를 추구할 뿐만 아니라 둘 사이에 있을 수 있는 작은 변형도 추구합니다. 따라서 이러한 방법은 편차와 변동의 균형을 고려하기 때문에 현재 매우 인기가 있습니다.
그렇다면 기존의 예측 모델링 방법은 더 이상 쓸모가 없는 것일까요? 대답은 부정적이다.
신경망, 지원 벡터 머신, 의사결정 트리, 랜덤 포레스트, 부스팅 트리 및 기타 방법은 실제로 많은 사람들이 추구하는 최첨단 방법이지만 이로 인해 전통적인 모델링이 제거되지는 않습니다. 실제로 여전히 장점이 있습니다.
우선, 변수가 적절하게 변환되는 한 기존 선형 모델도 비선형 예측을 할 수 있습니다. 전통적인 모델링 방법은 주로 일부 선형 모델을 사용하며, 대부분은 일반화된 선형 모델에 기인할 수 있으며 주로 일부 선형 구별을 만듭니다. 기계 학습 방법은 비선형 구별에서 더 많은 이점을 가질 수 있습니다. 그러나 이것이 전통적인 모델이 이러한 비선형 구별을 할 수 없어야 한다는 의미는 아닙니다. 물론 전통적인 예측 모델을 구축할 때 단순히 변수를 소프트웨어에 직접 입력하면 모델 자체가 선형으로 정의되어 있기 때문에 결코 비선형 구별을 할 수 없습니다. 그러나 이러한 변수를 일부 탐색하고 변환하면 비선형 구별이 여전히 달성될 수 있습니다.
둘째, 전통적인 회귀 모델은 매우 직관적입니다. 전통적인 회귀 모델에서는 모든 사람이 우려하는 매개변수 추정치, P 값 및 기타 지표를 매우 명확하게 볼 수 있습니다. 모델을 나열하려면 매우 간단합니다. 모든 모델을 직접 나열할 수 있습니다.
반면, 머신러닝, 특히 딥러닝 등의 경우 모델을 나열하는 것이 거의 불가능합니다(물론 이러한 모델에 수식이 없다는 의미는 아니며 단지 너무 복잡해서 나열할 수 없다는 의미입니다). 따라서 실제로는 블랙박스 프로세스에 더 가깝습니다. 이른바 블랙박스는 기계라고 생각하면 되는데 여기에 고기를 넣으면 저기서 소시지가 나온다. 그런데 중간에 어떻게 처리해야 할지 모르시더라고요. 어쩌면 때로는 중간 처리 과정을 이해하고 싶은데, 기계만이 그 내부의 것들을 이해할 수 있다는 것을 알게 될 것입니다. 기계는 중간 단계를 단계별로 구현하는 방법을 아주 잘 알고 있지만 우리는 그것을 이해할 수 없습니다. 너무 복잡한. 따라서 블랙박스 과정만 보는 경우가 많아 명확한 공식을 제시할 수는 없습니다.
때로는 공식에 관심을 두지 않고 예측 효과에만 관심을 두기도 하지만 때로는 모델을 나열해야 할 때(예를 들어 특허를 신청해야 하는 경우) 명확하게 설명할 수 없으면 특허출원이 어렵습니다. 이때 도움을 주기 위해 명확한 공식이 필요한 경우가 많습니다.
정리하자면, 방법이 낡았다는 것은 없으며, 방법이 낡거나 낡은 것이 아니라 적합 여부만 따지는 것입니다. 일부 방법에는 적용 시 적용 가능한 조건이 있습니다. 언제 어떤 방법을 사용할지는 대부분 실제 상황에 따라 달라지는데, 예를 들어 머신러닝은 변수가 많을 때 더 유리한 경우가 많습니다.
다음으로, 두 가지 작은 사례를 사용하여 전통적인 방법과 머신러닝의 비교 적용을 실제로 살펴봅니다.
물류 반품 VS 신경망
사례: 고혈압의 영향요인(이진변수, 예 또는 아니오)을 분석하고 성별, 연령 및 각각 A, B, C, D로 표시되는 4가지 혈청학적 지표를 조사한 연구이다. 연구자는 연령, B, C 세 가지 변수를 사용하여 예측 모델을 구축할 계획입니다. 동일한 데이터 세트에 대해 로지스틱 회귀와 신경망을 사용하여 각각 모델링한 후 최종 결과를 살펴봅니다.
먼저 로지스틱 회귀분석을 이용하여 예측 모델을 구축하고 이 세 가지 연속형 변수를 모델에 직접 통합한 결과 ROC 곡선 아래 면적이 0.6023으로 실제로는 상대적으로 낮은 결과를 보여 예측 모델이 가능함을 알 수 있다. 구성되어 있어 실제적인 의미는 크지 않습니다.
그런 다음 2계층 신경망 기술을 사용하여 이 세 가지 변수(훈련 세트 결과를 기반으로)를 직접 통합한 다음 ROC 곡선도 얻었으며 최종적으로 약 0.86인 것으로 나타났습니다.
결과를 보면 신경망이 로지스틱 회귀 예측보다 낫다고 느낄 수 있습니다. 사실 이 결론은 별로 신빙성이 없습니다. 왜? 이는 분석가와 많은 관련이 있습니다. 위에서 언급한 전통적인 회귀 방법은 선형 모델이므로 데이터를 소프트웨어에 직접 입력하면 소프트웨어는 물론 선형적으로 수행됩니다. 하지만 머신러닝은 결국 가장 좋은 피팅 효과와 가장 좋은 예측 효과를 찾아낼 수 있습니다. 실제로 대부분의 머신러닝은 계속해서 결과를 비교하고 조정하는 지속적인 시행착오의 과정입니다. 우리가 계속 노력하고 실수를 하듯, 시행착오의 과정을 거치면서 서서히 더 나은 결과를 얻을 수 있습니다.
지금의 데이터를 가지고 통계학자로서 다시 분석해보면 이 세 가지 지표는 정말 의미가 없는 것 같아서 이 세 가지 연속적인 데이터를 직접 분석에 포함시키면 정말 통계가 없는 것처럼 보인다. 과학적 중요성이 있으므로 ROC 곡선은 상대적으로 낮습니다.
그러나 자세히 살펴보면 무엇을 발견하게 됩니까? 세 변수는 선형적으로 관련되어 있지 않기 때문에 결과에는 당연히 통계적 유의성이 없습니다. 분류를 이용하면 매우 명확하게 알 수 있습니다.
따라서 이러한 선형 관련이 없는 변수들을 직접 로지스틱 회귀에 넣어 선형 모델을 구축한다면, 얻어지는 예측 결과는 확실히 이상적이지 않다고 짐작할 수 있습니다.
원래 변수를 넣지 않고 분류 결과를 모델에 변수로 다시 입력하고 로지스틱 회귀를 이용해 다시 연산하면 ROC 곡선이 즉시 0.86이 되어 이전보다 훨씬 높은 것을 볼 수 있습니다. 지금은 0.6입니다.
왜? 법칙을 찾았기 때문에 변수는 선형 관계가 아니라 비선형 관계이며, 이러한 비선형 분류를 수행하면 이것이 실제로 실제 관계임을 알 수 있습니다. 그리고 일단 관계를 찾으면 모델 결과가 훨씬 더 이상적이 되고 예측 효과도 훨씬 좋아진다는 것을 알게 될 것입니다.
따라서 전통적인 회귀 모델을 사용하여 예측 모델을 구축하려면 더 많은 분석 경험이 있어야 합니다. 그렇지 않으면 "전통적인 모델은 실제로 기계 학습 및 기타 신기술만큼 좋지 않고 기계만큼 좋지도 않습니다"라고 결론을 내릴 수 있습니다. 공부 잘해라'라는 말은 착각이다. 실제로 모델을 구축할 때 가장 중요한 것은 방법이 아니라 분석가 자신인 경우가 많으며, 우리가 발견하는 문제는 모델 자체의 문제라기보다는 모델의 실제 법칙을 발견하지 못한 경우가 더 많습니다.
물류 반품 VS 결정 트리
마찬가지로 로지스틱 회귀와 의사결정 트리를 비교해 보겠습니다.
여전히 위와 같은 경우입니다. 연령 변수를 예로 들면, 의사결정 트리를 사용하면 연령이 연속형 변수로 모델에 직접 포함되고 의사결정 트리는 이를 자동으로 세 가지 범주로 나눕니다.
탐색 결과 세 가지 범주로 나누는 것이 더 합리적이라는 것을 알았습니다. 마지막으로 우리는 자체 탐색 결과가 의사결정 트리의 결과와 유사하다는 사실을 발견했습니다.
물론 이러한 분석을 위해서는 분석가의 경험이 어느 정도 축적되어야 하기 때문에, 충분한 데이터 분석 작업을 하게 되면 자연스럽게 이러한 모델링과 분석에 대한 경험을 가지게 됩니다. 따라서 데이터 분석가는 모델을 명확하게 구별하고 그 모델이 맞는지 그른지 판단할 수 있는 능력이 필요합니다. 그렇지 않으면 맹목적으로 소위 진보된 방법을 추구하고 현실과 동떨어져 데이터에 대한 피팅 효과만 추구하게 된다면, 무의미하다.의. 모든 모델은 연구의 실제 상황을 기반으로 해야 하며 최종적으로 실제 분석 작업으로 돌아가 실제 작업을 수행해야 합니다.
기반으로 JMP 대화형 예측 모델링
상호 작용이란 무엇입니까? 일반적으로 데이터 분석에서 상호 작용이란 운영자가 언제든지 조정하는 내용에 컴퓨터가 언제든지 응답할 수 있음을 의미합니다. 기존 소프트웨어는 일반적으로 명령을 작성한 후 결과를 출력하는데, 다른 결과를 얻으려면 명령 대 결과 모델인 또 다른 명령을 작성해야 합니다.
하지만 JMP는 명령에서 결과로 이동할 수 있을 뿐만 아니라 결과에서 명령으로 이동할 수도 있습니다. 이 두 가지는 실제 상호 작용입니다. 데이터에 대한 모든 작업은 대화형 결과에 직접 반영되며, 반대로 결과에 대한 모든 조정도 데이터 테이블에 직접 반영됩니다. 또한 JMP는 로지스틱 회귀 등 전통적인 회귀 분석을 위한 다양한 플랫폼을 제공할 뿐만 아니라 신경망, 랜덤 포레스트, 의사결정 트리, 부스팅 트리 등 현재 일반적으로 사용되는 기계 학습 플랫폼도 포함하여 대화형 시각화를 제공할 수 있습니다. 프로그래밍 없이 이 방법을 사용하면 기본 분석, 탐색적 데이터 분석 및 예측 모델링에 대한 학계 및 업계의 다양한 요구를 충족할 수 있습니다.
JMP Starter options for Predictive Modeling.. From JMP Pro VIEW>JMP STARTER.JMP Starter options for Predictive Modeling.. From JMP Pro VIEW>JMP STARTER.JMP Starter options for Predictive Modeling.. From JMP Pro VIEW>JMP STARTER.JMP Starter options for Predictive Modeling.. From JMP Pro VIEW>JMP STARTER.예측 모델링을 위한 JMP 스타터 옵션 JMP Pro에서 보기>JMP STARTER.
JMP 대화형 예측 모델링이 어떻게 실제 작업에 더 나은 서비스를 제공할 수 있는지, 그리고 과학적 데이터 분석 사고를 더 잘 확립하는 방법에 대해 자세히 알고 싶다면, 다운로드에 오신 것을 환영합니다 JMP 1일 무료 평가판을 통해 직접 경험해보세요.
