758470_ko-KR

liliconcom

불균형 분류 추가 기능: 샘플링 기법 및 모델 비교(2020-US-30MP-625)

Michael Crotty, SAS JMP 수석 통계 작가
Marie Gaudard, 통계 컨설턴트, 통계 컨설턴트
Colleen McKendry, JMP 기술 작가, JMP

불균형 이진 반응 데이터를 포함하는 데이터 세트를 모델링해야 할 필요성은 여러 상황에서 발생합니다. 이러한 데이터 세트는 이진 반응 데이터가 더 균형 잡힌 데이터 세트와는 다른 처리 방식을 필요로 하는 경우가 많습니다. 이러한 접근 방식에는 다양한 평가 기법을 사용하여 여러 모델과 표본 추출 방법을 비교하는 것이 포함됩니다. 본 발표에서는 JMP Pro용 불균형 이진 반응 추가 기능을 소개하며, 이 기능을 사용하면 다양한 모델링 기법과 표본 추출 방법을 쉽게 비교할 수 있습니다.

JMP Pro용 불균형 분류(Imbalanced Classification) 추가 기능을 사용하면 여러 표본 추출 방식을 빠르게 생성하고 JMP Pro에서 다양한 모델을 적합할 수 있습니다. 또한 정밀도-재현율 ROC, 이득 곡선 및 기타 모델 적합도 측정법을 사용하여 검정 세트에서 다양한 표본 추출 방법과 모델 적합도의 조합을 비교할 수 있습니다. 표본 추출 방법은 비교적 간단한 것부터 합성 소수 과표본 추출 기법(SMOTE), Tomek 링크, 그리고 이 두 가지를 결합한 방법 등 복잡한 방법까지 다양합니다. 본 강연에서는 표본 추출 방법에 대해 논의하고 추가 기능의 사용 방법을 시연합니다.

해당 추가 기능은 여기에서 사용할 수 있습니다: 불균형 분류 추가 기능 - JMP 사용자 커뮤니티 .

자동 생성된 대본...

스피커	성적 증명서
마이클 크로티	안녕하세요. 시청해 주셔서 감사합니다.
	JMP Pro에서 샘플링 기술과 모델을 비교할 수 있는 불균형 분류 추가 기능에 대해 말씀드리겠습니다.
	저는 마이클 크로티입니다. JMP 문서화 팀의 통계 작성자 중 한 명이며, 오늘 공동 발표자는 역시 통계 문서화 팀 소속인 콜린 맥켄드리입니다. 이 자료는 마리 고다르와 함께 작업한 것입니다.
	오늘 발표 내용을 간략하게 요약해 보겠습니다. 저희가 만든 추가 기능의 목적, 불균형 분류 문제에 대한 배경 지식, 그리고 그러한 상황에서 분류 모델을 얻는 방법을 살펴보겠습니다.
	불균형 분류 문제에서 널리 사용되는 일부 샘플링 방법을 추가 기능에 포함시켜 살펴보겠습니다.
	추가 기능에서 사용 가능한 옵션을 살펴보겠습니다.
	추가 기능을 얻는 방법에 대해 설명한 후, 콜린이 추가 기능의 예와 데모를 보여드리겠습니다.
	커뮤니티에서 제공하는 슬라이드에는 참고 자료와 추가 배경 정보가 있는 부록도 있습니다.
	따라서 불균형 분류 추가 기능의 목적은 불균형 데이터에 맞춰 설계된 다양한 샘플링 기술을 적용할 수 있게 해주는 것입니다.
	JMP Pro에서 제공하는 다양한 예측 모델과 함께 이러한 기술을 적용한 결과를 비교할 수 있습니다.
	그리고 정밀도 재현 곡선, ROC 곡선, 이득 곡선 및 기타 측정값을 사용하여 해당 모델과 샘플링 기술의 적합성을 비교할 수 있습니다.
	이를 통해 곡선을 사용하여 분류에 대한 임계값을 선택할 수 있습니다.
	또한 Tomek, SMOTE 및 SMOTE와 Tomek 샘플링 기술을 데이터에 직접 적용할 수 있으므로 기존 JMP 플랫폼을 사용할 수 있습니다.
	새로 샘플링한 데이터를 기반으로 모델링 옵션을 미세 조정할 수도 있습니다. 우리가 선택한 기본 방법 옵션이 마음에 들지 않으면 말이죠.
	참고로, Tomek, SMOTE, 그리고 SMOTE와 Tomek을 합친 샘플링 기법은 명목형, 순서형, 그리고 연속형 예측 변수와 함께 사용할 수 있습니다.
	불균형 데이터 문제에 대한 배경 지식은 다음과 같습니다.
	따라서 일반적으로 다항식 반응이 있을 수 있지만, 여기서는 반응 변수가 이진형이라는 점에 초점을 맞출 것입니다. 중요한 점은 한 반응 수준에서의 관찰치 수가 다른 반응 수준에서의 관찰치 수보다 훨씬 많다는 것입니다.
	이러한 반응 수준을 각각 다수 계층 수준과 소수 계층 수준이라고 부르겠습니다. 따라서 소수 계층은 대부분의 경우 예측하고 감지하고자 하는 관심 수준입니다. 이는 사기 감지, 질병 또는 신용 위험 감지와 같을 수 있습니다.
	그리고 우리는 회귀 변수를 기반으로 클래스 멤버십을 예측하고 싶습니다.
	이를 위해 우리는 소수자 계층에 속할 확률을 할당하는 예측 모델을 개발했으며 이를 최적화하는 임계값을 선택했습니다.
	다양한 기준이 있습니다. 오분류율, 참양성률, 거짓양성률 등 다양한 기준이 있을 수 있습니다. 그리고 소수 집단에 속할 것으로 예측되는 확률이 설정된 임계값을 초과하면 소수 집단에 속하는 관측치를 분류합니다.
	그렇다면 분류 모델은 어떻게 얻을 수 있을까?
	JMP에는 이진 변수, 이진 결과에 대한 예측을 할 수 있는 다양한 플랫폼이 있습니다.
	회귀 변수가 존재할 때, 그리고 그 모델들을 비교할 방법이 필요할 때. 분류 정확도와 같은 일부 전통적인 측정값들은 불균형 데이터에 그다지 적합하지 않습니다. 극단적인 예로, 2% 소수 민족 계층의 경우를 생각해 볼 수 있습니다.
	모든 관측치를 다수 사례로 분류하는 것만으로도 98%의 정확도를 얻을 수 있습니다. 하지만 이는 유용한 모델이 아니며, 사용하고 싶지도 않을 것입니다.
	예측하지 않기 때문입니다. 대상 사례 중 소수 사례에 대해서는 정확하게 예측하지 못했지만 전반적인 정확도만 보면 98%에 달할 겁니다. 꽤 좋은 수치처럼 들리죠.
	이로 인해 사람들은 불균형 분류 모델에서 분류 정확도를 측정하는 다른 방법들을 모색하게 되었습니다. 그중 하나가 정밀도 재현율 곡선입니다.
	이는 종종 불균형 데이터와 함께 사용되며, 양성 예측 값 또는 정밀도를 실제 양성률 재현율에 대해 표시합니다.
	그리고 정밀도는 다수의 사례를 고려하기 때문에 PR 곡선은 ROC 곡선보다 클래스 불균형에 더 민감합니다.
	따라서 PR 곡선은 불균형 데이터에 대한 모델 간 차이점을 더 잘 강조할 수 있습니다. 따라서 추가 기능 보고서에는 PR 곡선이 가장 먼저 표시됩니다.
	불균형 분류 데이터를 처리하는 또 다른 방법은 소수자 계층을 모델링하는 데 도움이 되는 샘플링 방법을 사용하는 것입니다.
	일반적으로 이러한 방법들은 반응 분포에 더 많은 균형을 부여하는 다양한 방법일 뿐이며, 결과적으로 다수 집단과 소수 집단 관측치 간의 경계를 더 잘 구분하는 데 도움이 됩니다. 따라서 추가 기능에는 일곱 가지의 다양한 표본 추출 기법이 있습니다.
	처음 네 가지에 대해서는 자세히 설명하지 않고 마지막 세 가지에 집중하겠습니다. 하지만 아주 간단히 말씀드리자면, 가중치가 없다는 것은 말 그대로의 의미입니다. 어떤 것도 하지 않을 겁니다... 어떤 변화도 만들지 않을 겁니다.
	본질적으로 불균형을 설명하기 위한 어떤 유형의 샘플링 방법도 사용하지 않았을 때 취할 조치에 대한 기준선을 제공하기 위한 것입니다.
	가중치를 적용하면 소수 사례에 더 많은 가중치가 적용되어 다수 계층과 소수 계층의 가중치 합이 같아집니다.
	무작위 언더샘플링은 균형 잡힌 케이스를 얻기 위해 무작위로 다수의 케이스를 제외하며 무작위 오버샘플링은 무작위로 복제합니다.
	소수 민족의 사례를 다시 검토하여 균형 잡힌 상태를 이루었습니다.
	그리고 다음 슬라이드에서는 그 다음 세 가지 고급 방법에 대해 더 자세히 설명하겠습니다.
	첫 번째 고급 방법은 SMOTE인데, 이는 합성 소수 오버샘플링 기술을 의미합니다.
	이는 기본적으로 더 정교한 형태의 오버샘플링인데, 데이터에 더 많은 소수 사례를 추가하기 때문입니다.
	우리는 기존의 소수 집단 관찰과 유사한 새로운 관찰을 생성하여 이를 수행하지만, 오버샘플링처럼 단순히 복제하는 것은 아닙니다.
	그래서 우리는 고워 거리 함수를 사용하고 각 소수 집단 관찰에 대해 K 최근접 이웃을 수행한 다음, 해당 이웃에 의해 정의된 공간을 채우기 위한 관찰을 생성합니다.
	이 그림에서 빨간색으로 표시된 소수 집단이 있는지 확인할 수 있습니다. 가장 가까운 세 이웃을 선택했습니다.
	그리고 그중 하나를 무작위로 선택합니다. 바로 여기 아래에 있는 이 케이스입니다. 그리고 이 작은 음영 처리된 상자 어딘가에 또 다른 소수 케이스를 생성합니다. 2차원입니다. 만약
	예측 변수의 차원이 n이면 음영 처리된 영역은 n차원 공간이 됩니다.
	그러나 지적해야 할 중요한 사항 중 하나는 가장 가까운 이웃의 수를 선택할 수 있다는 것입니다.
	무작위로 선택할 수 있으며 이 작업을 수행할 횟수도 선택할 수 있습니다.
	이 알고리즘은 소수 사례에 대한 것입니다.
	다음 표본 추출 방법은 토멕 링크입니다. 이 방법은 소수 집단과 다수 집단의 경계를 더 명확하게 정의하는 데 목적이 있습니다. 이를 위해 다수 집단에서 소수 집단 관측치와 가까운 관측치를 제거합니다.
	다시 한번, 토멕 링크를 찾기 위해 고워 거리를 사용합니다. 토멕 링크는 서로 다른 계층에 속하는 한 쌍의 최근접 이웃입니다. 즉, 서로 가장 가까운 이웃인 다수 집단과 소수 집단이 있습니다.
	이러한 인스턴스의 중복을 줄이기 위해 쌍의 멤버 중 하나 또는 둘 다를 제거할 수 있습니다. 추가 기능의 기본 옵션인 모델 평가 옵션에서는 대부분의 인스턴스만 제거합니다. 하지만 Tomek 옵션에서는 두 가지 제거 방법 중 하나를 사용할 수 있습니다.
	마지막으로, 마지막 샘플링 방법은 SMOTE와 Tomek을 합친 것입니다. 이는 앞의 두 샘플링 방법을 결합한 것입니다.
	그리고 이를 결합하는 방법은 이 모드 알고리즘을 적용하여 새로운 소수 관찰을 생성한 다음 원래 데이터와 생성된 새로운 소수 사례를 얻은 다음
	tt는 서로 다른 클래스에 속하는 최근접 이웃 쌍을 찾는 토멕 알고리즘에 적용됩니다. 이 방법에서는 토멕 쌍의 두 관측치가 모두 제거됩니다.
	불균형 분류 추가 기능에는 설치 시 4가지 옵션이 있으며, 모두 추가 기능 메뉴 아래 하위 메뉴 항목으로 표시됩니다.
	첫 번째는 모델 평가 옵션으로, 다양한 샘플링 기법을 사용하여 다양한 모델을 적합할 수 있습니다. 다음 세 가지 옵션은 방금 언급한 세 가지 샘플링 기법을 실행하기 위한 독립적인 대화 상자입니다.
	따라서 추가 기능의 모델 평가 옵션에서는 모델과 샘플링 기술 조합을 비교하는 데 도움이 되는 불균형 분류 보고서를 제공합니다.
	PR 곡선과 ROC 곡선, 그리고 Gains 곡선을 보여주고, PR 곡선과 ROC 곡선의 경우 곡선 아래의 면적을 보여줍니다. 일반적으로 각 곡선 아래의 면적이 클수록 모델이 더 잘 적합하다는 것을 의미합니다.
	각 모델이 어떻게 적합한지에 대한 그림을 얻는 데 도움이 되는 클래스별 예측 확률 플롯을 제공합니다.
	또한 기술 및 임계값 데이터 테이블도 제공하며 해당 테이블에는 보고서를 재생산할 수 있는 스크립트가 포함되어 있습니다.
	이것은 추가 기능을 처음 실행할 때 생성됩니다. 그리고 이것을 실행하고 전체를 다시 쓰지 않고 결과를 저장하려는 경우 다음을 강조하고 싶습니다.
	모델링 및 샘플링 방법 알고리즘을 사용하면 이 기술과 임계값 표를 저장할 수 있으며, 이를 통해 결과를 저장하고 보고서를 재생성할 수 있습니다.
	이제 모델 평가 옵션의 대화 상자를 살펴보겠습니다. 다양한 모델과 샘플링 기법 중에서 선택할 수 있습니다.
	이진 클래스 변수와 모든 X 예측 변수를 입력한 다음
	우리는 모든 모델에 맞게
	테스트 세트에서 데이터를 평가할 때는 데이터를 무작위로 훈련 검증 세트와 테스트 세트로 나눕니다. 각 세트에 들어갈 비율을 설정할 수 있습니다.
	결과를 재현하고 싶다면 랜덤 시드 옵션을 사용할 수 있습니다. 그리고 SMOTE 옵션도 있습니다.
	이전에 언급했듯이, 가장 가까운 이웃의 개수를 선택할 수 있으며, 그 중에서 가장 가까운 이웃 하나를 선택하여 새로운 사례를 생성하고, 각 소수 사례의 복제는 각 소수 관찰에 대해 알고리즘을 반복하는 횟수입니다.
	다시 말해서, 세 가지 다른 샘플링 옵션이 있습니다.
	추가 기능의 옵션은 Tomek, SMOTE, 그리고 SMOTE와 Tomek을 함께 사용하는 경우에 해당합니다. Tomek 샘플링 옵션을 사용하면 데이터 테이블에 두 개의 열이 추가되어 원하는 모든 예측 모델에 대한 예측 가중치로 사용할 수 있습니다.
	첫 번째 열은 링크에서 가장 가까운 이웃만 제거하고 다른 열은 Tomek 링크의 두 멤버를 모두 제거하므로 해당 옵션이 제공됩니다.
	SMOTE 관찰은 데이터 테이블에 합성 관찰을 추가합니다.
	또한 소스 열도 제공하므로 어떤 것을 식별할 수 있습니다.
	관측치가 추가되었습니다. 그리고 SMOTE와 Tomek은 합성 관측치와 Tomek 링크의 두 요소를 모두 제거하는 가중치 열을 추가합니다.
	그리고 Tomek 샘플링과 SMOTE의 가중치 열과 Tomek은
	JMP 모델링 플랫폼에서 가중치로 사용할 수 있는 지표 열일 뿐입니다. 포함되면 1, 제외되면 0입니다.
	나머지 세 가지 샘플링 옵션 대화 상자는 대부분 기본적으로 똑같아 보입니다.
	모델 평가 옵션 대화 상자에는 없는 옵션 중 하나가 바로 중간 테이블 표시입니다. 이 옵션은 SMOTE와 SMOTE + Tomek에 모두 표시됩니다.
	기본적으로 SMOTE 관측치 구성에 사용된 데이터 표를 볼 수 있습니다. 일반적으로는 볼 필요가 없지만, 관측치가 어떻게 생성되는지 더 잘 이해하고 싶다면 중간 단계의 표를 살펴보세요.
	그리고 이 모든 내용은 설명서에 설명되어 있습니다.
	다시 말해서, 커뮤니티를 통해 추가 기능을 얻을 수 있습니다.
	이를 통해 Discovery Summit Americas 2020에 대한 이 강연에 대한 페이지를 볼 수 있습니다.
	커뮤니티의 일원입니다. 그리고 방금 말씀드렸듯이, 추가 기능 내에 설명서가 있습니다. 도움말 버튼을 클릭하세요.
	이제 콜린이 데모를 통해 추가 기능의 예를 보여줄 차례입니다.
콜린 맥켄드리	마이클, 고마워요. 지금 추가 기능 데모를 보여드릴게요. 데모를 하려면 이 유방촬영 데모 데이터를 사용할 거예요.
	따라서 유방조영술 데이터 세트는 유방조영술 이미지의 미세석회화에 대한 연구에 사용된 디지털화된 필름 유방조영술 세트를 기반으로 합니다.
	이 데이터에서 각 레코드는 1 또는 0으로 분류됩니다. 1은 이미지에서 석회화가 보인다는 것을 나타내고, 0은 그렇지 않다는 것을 나타냅니다.
	이 데이터 세트에서 석회화가 보이는 이미지는 예측에 관심이 있는 이미지이고, 따라서 클래스 수준 1은 관심 있는 클래스 수준입니다.
	전체 데이터 세트에는 6개의 연속 예측 변수와 약 11,000개의 관측치가 있습니다.
	하지만 이 데모에서는 실행 시간을 줄이기 위해 전체 데이터 세트의 일부만 사용할 것입니다. 따라서 관측값의 약 절반, 즉 약 5,500개의 관측값이 사용됩니다.
	그리고 1로 분류된 관측치, 즉 여러분이 관심 있는 관측치는 전체 관측치의 약 2.31%를 차지합니다. 전체 데이터 세트와 우리가 사용하는 데모 데이터 세트 모두에서요. 따라서 소수 집단 비율은 약 2%입니다.
	이제 JMP로 전환하겠습니다.
	에게
	그래서 저는 유방촬영술 데모 데이터를 가지고 있습니다.
	그리고 열어보겠습니다. 이미 추가 기능을 설치했습니다. 드롭다운 메뉴에 불균형 분류 추가 기능이 있고, 모델 평가 옵션을 사용할 겁니다.
	그리고 여기에는 시작 창이 있으며 이진 클래스 변수, 예측 변수를 지정하고 모든 모델과 모든 기술을 선택하고 다음을 지정합니다.
	무작위 씨앗.
	그리고 확인을 클릭하세요.
	이 기능이 실행되는 동안 백그라운드에서 실제로 어떤 일이 일어나는지 설명하겠습니다. 애드인이 가장 먼저 하는 일은 데이터 테이블을 훈련 데이터 세트와 테스트 데이터 세트로 분할하는 것입니다.
	이렇게 두 개의 별도 데이터 테이블이 있고, 훈련 데이터 테이블 내에서 해당 관찰치를 훈련 및 검증 관찰치로 다시 분할하고, 검증은 모델 피팅에 사용됩니다.
	그래서 두 개의 데이터 세트가 있으면,
	지정한 각 샘플링 기법에 대해 교육 데이터 테이블에 추가되는 지표 열인 지표 변수가 있습니다. 단, SMOTE와 관련된 기법은 제외됩니다.
	따라서 이러한 열은 추가되어 가중치 열로 사용되며, 이는 단지 관찰 결과를 분석에 포함할지 여부만을 지정합니다.
	SMOTE에서 샘플링 기법을 지정하면 데이터 테이블에 추가 행이 생성됩니다. 이 행들이 바로 생성된 관측값입니다.
	따라서 각 모델에 대해 열과 행이 생성되면 각 모델이 각 샘플링 기법에 맞춰집니다. 따라서 모든 모델을 선택하면
	방금 말씀드린 것처럼, 총 42개의 모델이 적합화되고 있습니다. 현재 진행 중인 작업은 이 정도입니다.
	현재 데모에서는 42개의 모델이 적합되고 있으며, 모델이 적합되면 관련 정보를 수집하여 결과 보고서에 정리합니다. 그리고 그 보고서는
	곧 팝업으로 표시될 예정입니다. 여기 있습니다. 해당 보고서가 여기에 표시됩니다. 또한 기술 및 임계값 표와 요약 표도 제공됩니다.
	추가 기능을 실행했을 때 어떤 결과가 나오는지 살펴보겠습니다. 먼저 훈련 세트가 있습니다. 여기에 가중치 열, 즉 추가된 가중치 열이 있습니다. 그리고 이 열들은 해당 관측치에 대한 예측 확률을 위해 추가된 열입니다.
	이제 테스트 세트가 있습니다. 여기에는 가중치 열이 하나도 포함되어 있지 않지만, 테스트 세트 관측값에 대한 예측 확률은 포함되어 있습니다.
	우리는 결과 보고서를 가지고 있습니다
	그리고 기술과 임계값 데이터 표. 마이클이 이것을 언급했습니다.
	이전에 이야기했지만 결과를 저장하고 다시 보고 싶다면 저장하고 싶은 것이기 때문에 이것이 중요합니다.
	전체 스크립트를 다시 실행할 필요 없이 이 데이터 테이블을 저장하면 됩니다. 여기에는 스크립트를 재생성하는 스크립트가 포함되어 있습니다.
	결과 보고서와 요약 표는 제가 보여드릴 마지막 항목입니다. 여기에는 각 샘플링 기법과 모델 조합에 대한 요약과 AUC 값이 포함되어 있습니다.
	이제 실제 결과 창을 살펴보겠습니다. 상단에는 대화 사양이 있습니다. 여기에는 시작 창에서 지정한 정보가 포함되어 있습니다.
	따라서 난수 시드나 할당한 비율 등 지정한 내용을 잊어버린 경우 해당 파일을 열어서 확인할 수 있습니다.
	이진 클래스 분포도 있습니다. 즉, 훈련 세트와 테스트 세트에 대한 클래스 변수의 분포입니다. 이는 비율이 동일하게 유지되도록 설계되었으며, 이 경우에는 2.3입니다.
	그리고 임계값도 누락되었습니다. 이건 그렇게 중요한 건 아니지만,
	클래스 변수 값에 예측 값이 누락된 경우 이를 여기에 표시합니다.
	실제 결과에 대해서는 탭 그래프가 있습니다. 정밀도 재현율 곡선, ROC 곡선, 누적 이득 곡선이 있습니다. 그리고 정밀도 재현율 곡선과 ROC 곡선에 대해서는 해당 AUC 값도 있습니다.
	클래스별 예측 확률 그래프도 있습니다. 한 번에 몇 개만 볼 때 더 유용할 수 있는데, 나중에 자세히 살펴보겠습니다.
	그리고 이 모든 그래프와 결과를 연결하는 데이터 필터가 있습니다.
	이제 실제 분석 결과를 살펴보겠습니다. 먼저 이것들을 정렬하겠습니다.
	ROC 곡선과 PR 곡선을 이미 볼 수 있듯이, ROC 곡선보다 PR 곡선의 곡선 차이가 훨씬 큽니다.
	그리고 상위 5개를 선택하면, 이들 모두의 AUC는 .97이 됩니다.
	그리고 보시다시피, 모두 서로 아주 가까이 있습니다. 거의 서로 위에 있는 셈이죠. 어떤 모델이 더 나은지, 어떤 모델을 선택해야 할지 판단하기는 정말 어려울 겁니다.
	특히 불균형 데이터에서 정밀도 재현율 곡선이 매우 중요한 이유가 바로 여기에 있습니다. 다시 전환해 보면, ROC 곡선에서 AUC 값이 가장 높은 모델들이
	정확도 재현율 곡선에서 꽤 넓게 퍼져 있죠. 그리고 실제로는 그렇지 않습니다... 정확도 재현율 곡선에서 가장 높은 AUC 값을 가지고 있지도 않습니다.
	그러니 어쩌면... 어쩌면 우리가 선택할 수 있는 더 나은 모델이 있을지도 몰라요.
	이제 상위 두 가지인 부스트 트리 토멕과 SVM 토멕에 집중해서 살펴보겠습니다. 데이터 필터를 사용해서 이를 수행하겠습니다.
	그리고 우리는 그것들이 보여지고 포함될 것인지 살펴보고 싶습니다.
	이제 우리는 이 두 모델에 대한 곡선을 가지고 있습니다. 파란색 곡선은 부스트된 트리이고 빨간색 곡선은 SVM입니다.
	이 곡선들을 보면 참양성률의 다른 값에서 서로 겹치는 것을 볼 수 있습니다. 따라서 이 곡선들을 사용할 수 있습니다.
	분석에 사용할 모델을 선택하는 것은 수용 가능한 참양성률(TPR)이 어느 정도인지에 따라 달라집니다. 참고선을 추가하면 확인할 수 있을 겁니다. 죄송하지만, 이 글을 쓰는 동안 손이 떨리실 겁니다.
	좋습니다. 여러분이 관심을 가질 만한 몇 가지 다른 참 양성률이 있다고 가정해 보겠습니다. 예를 들어, 어떤 데이터 세트에 대해서든 참 양성률이 0.55가 되기를 원한다면,
	임계값을 선택하여 실제 양성률을 설정할 수 있습니다. 그리고 이 경우,
	참 양성률에 대해서는 부스트 트리 토멕 모델이 더 높은 정확도를 보입니다. 따라서 해당 모델을 선택할 수 있습니다.
	하지만 실제 양성률을 .85 정도로 설정하고 싶다면 SVM 모델이 더 나은 선택일 수 있습니다. SVM 모델은 해당 실제 양성률에 대한 정확도가 더 높기 때문입니다.
	그리고 만약 .95의 더 높은 실제 양성률을 얻는다면, 다시 뒤집어서 부스트된 트리 모델을 선택하고 싶을 수도 있습니다.
	이런 식으로 곡선을 사용하면 데이터에 가장 적합한 모델을 선택할 수 있습니다.
	이제 이 그래프들을 다시 살펴보겠습니다. 그래프가 몇 개뿐이니까요. 이 그래프는 우리가 선택한 모델들의 각 클래스별 예측 확률 분포를 보여줍니다. 따라서 이 특정 사례에서 SVM에서는 대다수가
	예측된 확률의 전체 범위에 걸쳐 확률이 나타나는데, 부스트 트리는 확률을 낮은 쪽에 유지하는 데 더 나은 성능을 보입니다.
	이 데모는 여기까지입니다. 마무리하기 전에 한 가지 더 보여드리고 싶습니다. 지금까지 Evaluation을 어떻게 사용하는지 보여드렸습니다.
	모델 옵션을 사용할 수 있습니다. 하지만 특정 샘플링 기법만 사용하고 싶다고 가정해 보겠습니다. 여기서도 가능합니다. 실행 창은 거의 동일합니다. 이진 클래스와 예측 변수를 할당하고 확인을 클릭하면 됩니다.
	이렇게 하면 새로운 데이터 테이블이 생성됩니다.
	표시기 열.
	지표 열은 관찰 결과를 분석에 포함해야 할지 여부를 보여줍니다.
	그리고 SMOTE와 Tomek 덕분에 SMOTE에서 생성된 모든 관찰 결과도 얻을 수 있었습니다.
	이제 새로운 데이터 테이블이 생겼으니, 원하는 모든 유형의 모델과 옵션을 사용할 수 있습니다. 이 열을 가중치 또는 빈도 열로 설정하고 원하는 대로 진행하면 됩니다. 불균형 분류 추가 기능 데모는 여기까지입니다. 시청해 주셔서 감사합니다.

고급 통계 모델링자동화 및 스크립팅기본 데이터 분석 및 모델링소비자 및 시장 조사데이터 탐색 및 시각화실험 설계예측 모델링 및 머신 러닝품질 및 공정 엔지니어링신뢰성 분석