오늘날의 제조 산업은 경쟁이 치열하며 기업은 효율성을 향상하고 비용을 절감하며 제품 품질을 유지하기 위한 혁신적인 방법을 끊임없이 모색해야 합니다. 이처럼 역동적이고 복잡한 환경에서 통계분석 도구는 업계에서 강력한 도구가 되었으며, 널리 사용되는 도구 중 하나가 의사결정나무입니다. 의사결정 트리는 제조 산업이 제품 결함 분석부터 생산 효율성 최적화, 공급망 관리 및 품질 관리에 이르기까지 다양한 문제를 해결하는 데 도움을 줄 수 있는 강력한 통계 모델입니다. 이 기사에서는 의사결정 트리가 무엇인지, 변화하는 시장 요구에 대처하기 위한 적용 시나리오 및 사용 기술을 살펴보겠습니다.
의사결정 트리란 무엇입니까?
결정 트리(Decision Tree)는 매번 일정한 규칙에 따라 특징을 선택하고, 그 특징의 특정 값을 임계값으로 사용하여 훈련 샘플을 여러 개의 하위 트리로 반복적으로 나누고, 동일한 규칙에 따라 반복적으로 분할하는 기계 학습 방법입니다. 마지막으로 의사결정 분류에 사용할 수 있는 트리 분류기가 얻어집니다. 주요 알고리즘은 ID3, C4.5, CART 등입니다. 의사결정 트리는 지도 학습이 필요한 일반적으로 사용되는 분류 방법입니다. 지도 학습은 일련의 샘플을 제공하며, 각 샘플에는 해당 변수와 분류 결과가 있음을 전제로 학습을 통해 이 샘플 세트를 얻습니다. 새로운 샘플을 예측하고 분류할 수 있는 의사결정 트리. 다음으로, 모든 사람이 의사결정나무의 분석적 사고를 이해할 수 있도록 간단한 사례를 사용합니다.
의사결정 트리 사례 공유
20개의 샘플이 포함된 다음 데이터 세트를 바탕으로 다음 그림 (1) "오늘이 주말인지"와 "오늘 기분은 어떤지"를 통해 "영화를 보러 갈지 여부"를 예측하고자 합니다.
그림(1)
그런 다음 훈련을 위해 분류 결과와 함께 이 샘플 세트를 사용합니다. 프로세스를 단순화하기 위해 의사결정 트리가 이진 트리이고 다음 그림(2)과 유사하다고 가정합니다.
그림 2)
샘플 데이터 연구를 통해 각 변수 노드에는 주말, 비주말, 좋은 기분, 평균 기분, 나쁜 기분과 같은 특정 판단 지표가 있음을 알 수 있습니다. 수치변수 노드인 경우 임계값은 일반적으로 특정 값이다. 예를 들어, 결과가 30세 이상인지 판단한다면 30을 임계값이라고 한다.
의사결정 트리의 생성은 일반적으로 알려진 샘플의 분류 결과를 학습하여 달성되는 두 단계로 나뉩니다.
- 일반적으로 변수의 노드가 결과를 판단할 수 없는 경우 노드는 두 개로 분할되고, 이진 트리가 아닌 경우 더 이상 분할할 수 없을 때까지 여러 개로 분할됩니다. 예를 들어, 이 샘플 데이터에서 "오늘이 주말인지 여부"는 영화를 볼지 여부를 직접 결정할 수 없으며 "기분은 어떻습니까"라는 새 변수 노드를 추가한 다음 분할할 수 없을 때까지 분할합니다.
- 적절한 임계값을 선택하면 오분류 비율을 최소화할 수 있습니다.
일반적으로 사용되는 의사결정 트리 알고리즘
앞서 소개한 바와 같이 일반적으로 사용되는 의사결정트리 알고리즘으로는 ID3, C4.5, CART(Classification And Regression Tree) 등이 있으며, 그 중 CART 분류 효과가 다른 알고리즘보다 우수하며 JMP에서 사용하는 방법이기도 합니다. 다음으로 각각 소개하겠습니다.
ID3연산
정보 이득은 분할 조건을 평가하는 데 사용됩니다. 샘플 데이터 그룹에 대한 이득이 클수록 분류 효과가 더 좋습니다. 정보 획득 과정은 실제로 엔트로피 감소 과정입니다. 엔트로피는 정보 혼돈의 정도를 정의합니다. ID3 모델링 과정도 정보를 혼돈에서 단순함으로 바꾸는 과정입니다.
위의 경우 주말 여부와 기분이라는 두 가지 변수가 언급되어 있으며, 각 변수 노드의 분류 효과는 다음과 같습니다.
- "영화 보기" 결정을 위한 "오늘은 주말": 샘플 중 11개는 주말로 결정되었으나, 10개 샘플은 최종적으로 영화 보기로 결정되었으며, 1개는 잘못 분류되었습니다.
- "영화 보기" 결정을 판단하기 위한 "기분 좋음": 6개의 샘플은 확실히 기분이 좋았고, 6개의 샘플은 최종적으로 영화를 보기로 결정되었으며, 오분류는 0개였습니다.
- "영화를 본다"는 판단을 위한 "보통 기분": 6개의 샘플이 보통 기분으로 판정되었으나, 최종적으로 4개의 샘플이 영화를 보기로 결정하고, 2개의 샘플이 잘못 분류되었습니다.
마지막으로 '기분이 좋다'는 오분류율이 가장 낮은 '영화 보기'를 결정하는 것으로 나타났는데, 이는 정보 이득이 가장 크다는 것을 의미한다. 따라서 ID3는 의사결정 트리를 구축할 때 변수 분할에 우선순위를 두게 된다. "오늘 기분이 어때요?"
C4.5연산
위의 ID3 알고리즘을 관찰해보면, 레벨 수가 많을수록 변수 노드를 분할할 때 오분류율이 낮아지고, 엔트로피가 작아지는 것을 알 수 있습니다. "ID"를 분할 변수로 사용하는 경우 하위 집합의 순도는 가장 높은 수준에 도달할 수 있으며(각 하위 집합에는 현재 1개의 샘플만 있으므로) 정보 이득이 가장 큽니다. 그러나 분명히 이러한 분할 변수는 예측에 의미가 없으며 이를 과적합이라고도 합니다.
따라서 너무 많은 분할 범주의 "트랩"을 피하기 위해 C4.5 알고리즘은 분할 조건을 평가하기 위해 정보 획득률을 사용합니다. 분할 수준 수가 증가함에 따라 정보 획득률의 분모가 증가합니다. 정보 획득률이 감소합니다. C4.5 알고리즘에 따라 분할하면 분할변수로 “오늘 기분이 어떠세요?”라는 분할변수가 더 간단한 부분집합을 얻을 수 있지만, “기분 좋음, 보통, 기분 나쁨”의 3가지 수준을 갖게 되어 정보 획득률이 나온다. "오늘이 주말인지"라는 변수보다 낮기 때문에 C4.5에서는 "오늘이 주말인지"를 분할변수로 우선시한다. 구체적인 정보 획득률 알고리즘은 이 문서에서 자세히 설명하지 않습니다.
카트연산
CART 알고리즘은 개념상 C4.5 알고리즘과 매우 유사하지만 특정 구현 및 응용 시나리오에서는 약간 다릅니다. CART 알고리즘은 범주형 대상 응답을 처리할 수 있을 뿐만 아니라 연속 대상 응답도 분류라고 부르는 이유입니다. 회귀 트리; ID3 알고리즘은 분류 응답만 처리할 수 있습니다. 즉, 분류 트리만 작성할 수 있습니다.
CART는 회귀 트리일 수 있습니다. 이상적으로는 각 하위 노드에 카테고리가 하나만 있을 때 분류를 중단해야 합니다. 그러나 많은 데이터는 완전히 분할하기가 쉽지 않거나 완전한 분할을 위해서는 많은 분할이 필요하므로 필연적으로 실행 시간이 길어지므로 CART는 분류할 수 있습니다. 분석에 포함된 데이터는 평균 표준편차입니다. 표준편차가 특정 값보다 작을 경우 분할을 종료하여 계산 비용을 줄일 수 있습니다.
CART 알고리즘은 지니 지수(분류 트리)와 표준 편차(회귀 트리)를 순도 측정으로 사용하는 반면 ID3 알고리즘은 정보 엔트로피를 순도 측정으로 사용합니다. 둘 사이에는 유사점도 있습니다. 인구에 포함된 범주가 더 혼란스러울수록 지니 지수는 더 커집니다. CART 알고리즘은 이진 트리만 구축할 수 있는 반면 ID3 및 C4.5 알고리즘은 다중 트리를 구축할 수 있습니다(참고: 이진 트리만 구축한다고 해서 응답 변수가 2단계 변수만 선택할 수 있다는 의미는 아닙니다. CART 알고리즘은 다음을 채택합니다. 여러 수준을 병합하여 이진 트리를 출력하는 원리).
CART에는 몇 가지 작은 분할 문제, 즉 과적합 문제가 있습니다. 이 문제를 해결하기 위해 특히 긴 나무를 잘라내고 직접 잘라냅니다. 물론 일부 교차 검증 방법을 사용하여 과적합 문제를 방지하기 위한 의사결정 트리 구축을 지원할 수도 있습니다.
사용JMP지휘하다카트모델 빌딩
JMP 분석-예측 모델링-분할(예: 의사결정 트리)을 사용하면 신속하게 CART 모델을 구축하고 트리를 구성할 수 있습니다. JMP에서는 G²(우도비 카이제곱, Gini 지수와 유사)가 분류 트리에 사용됩니다. G²가 작을수록 순도가 높고 분류 효과가 더 좋습니다. 아래 그림 (3)과 같이:
그림 (3)은 Segmentation Platform 대화 상자에 응답 변수 및 요인을 배치하는 방법을 보여줍니다.
위 그림 (4)의 CART 분류트리를 보면 '영화를 볼지'를 결정하는데 있어서 '오늘이 주말인지'가 가장 중요한 변수이면서, G²를 가장 빠르게 하락시키는 변수이기도 함을 알 수 있다. . 그런 다음 분기를 "오늘은 주말입니다"로 분할하면 G²가 0인 하위 분기를 얻을 수 있습니다(주말이고 기분이 좋습니다. 즉, 100% 영화를 보기로 결정했습니다). 분리할 수 없음을 목적으로 분류트리를 구축한다. JMP로 의사결정나무를 구축하는 과정이 모든 분들께 도움이 되기를 바랍니다.
>> 사용법 동영상: JMP를 사용하여 의사결정나무 그리기
>> 자세히 알아보기: JMP를 사용한 예측 모델링 및 기계 학습
>> JMP 다운로드: 30일 동안 소프트웨어를 사용해 보세요
