958734_ko-KR

liliconcom

분류 트리

좋은 아침이에요,

JMP가 계산하는 내용을 더 잘 이해할 수 있도록 작은 파일(첨부 파일 참조)을 준비했습니다.

트리가 상당히 작아서 노드의 최소 크기를 1로 설정하고, 나눗셈을 하나씩 수행한 다음, 확률을 표시해 달라고 요청했습니다.

지금 저는 "X1>=14" 노드에 집중하고 있는데, 제가 제대로 이해했다면 다음과 같습니다.

1. G^2(3.82)는 이 매듭의 불순물을 특징짓고 그 아래에 오는 "최적" 분할과는 무관합니다.
2. Logworth(1.05)는 바로 옆에 표시된 G^2를 사용하여 계산됩니다.
3. 로그워스 지수는 바로 아래에 표시된 "최적" 분할에 따라 달라지며, 모든 가능한 분할에서 얻은 조정된 p값을 기반으로 계산됩니다.

2번과 3번 항목은 서로 양립할 수 없는 것으로 보입니다.

JMP의 학습봇이 이례적으로 작동을 멈추고, 서로 양립할 수 없는 두 가지 해석을 제시하고 있습니다.

그렇다면 이 1.05라는 값은 어디에서 나온 것이며, 어떻게 해석해야 할까요?

답변해 주셔서 감사합니다.

장 뤽

예측 모델링 및 머신 러닝제목: 분류 트리

안녕하세요 @rugolf 님 ,

G2와 로그워스라는 두 가지 지표의 정의와 사용법에 혼란이 있는 것 같습니다.
JMP 도움말 문서 에 언급된 바와 같이, JMP의 의사결정 트리는 분할 위치를 결정하는 기준으로 로그워스 값을 사용합니다(로그워스 값을 최대화하는 것을 목표로 함). 이는 -log10(p-값)에 해당합니다. 이 p-값은 도움말 문서에 자세히 설명되지 않은 조정 과정을 거쳐 계산되는데, 이 조정 과정은 수준이 많거나 적은 요인들 간에 공정하고 균등한 계산을 보장합니다.

지2 값은 범주형 응답에 대해서만 표시되며, G2 값이 낮을수록 적합도가 높다는 것을 나타냅니다. 연속형 응답의 경우, 각 노드의 표준 편차와 함께 후보 SS(최적 분할에 대한 제곱합)가 표시됩니다.

이 답변이 이 플랫폼의 작동 방식을 이해하는 데 도움이 되기를 바랍니다.

제목: 분류 트리

감사해요,

제가 제대로 이해했다면, 범주형 응답의 경우 A와 B 두 가지 범주가 있을 때:

1. G²는 노드의 불순도(편차라고도 함)를 측정합니다. A만 있거나 B만 있는 경우, 즉 클래스 간 불균형은 있지만 해당 노드에서 더 이상 분할이 없는 경우 0입니다.
2. 클래스가 균형을 이룰 경우(A 클래스 수와 B 클래스 수가 같을 경우) G^2의 최댓값(n * 2ln(2)와 같다고 생각합니다)
3. G²는 분할할 때마다 감소하는 반면 R²는 증가합니다. 이는 우리가 원하는 올바른 방향입니다.
4. G^2(부모)-(G^2(왼쪽)+G^2(오른쪽))으로 나누면 개선(이득)을 계산할 수 있습니다.
5. 최적의 절단은 가장 큰 개선 효과를 제공하는 절단, 즉 이전 G^2 값을 가장 크게 감소시키는 절단입니다.
6. logworth = -log(p-value) (여기서 p-value는 테스트와 관련되어 있으며 조정된 값입니다. 계산 과정은 생략하겠습니다.)
7. G^2 옆에 표시된 로그워스 값은 바로 아래에 표시된 최적 분할 값을 나타냅니다.
8. 이 검정은 H_0, 즉 좌측과 우측에서 A의 비율이 동일하다는 것과 ...의 비율이 동일하지 않다는 것입니다.
9. 극단적인 경우: 자식 노드에서 A(및 의 비율이 동일할 때 p-값=1이므로 logworth=0이 되고, 검정 결과 H_0이 유지됩니다.
10. 극단적인 경우: 자식 노드에서 A의 비율이 매우 다를 때 p값=0이므로 logworth는 무한대가 되며, 테스트 종료 시 H_1이 유지됩니다.
11. p값이 0.01 미만이므로 로그워터 값이 2보다 크고, 따라서 A(또는 의 비율에 유의미한 차이가 있으며, 이는 유의미한 구별을 의미합니다.
12. 따라서 가장 좋은 절단면은 통나무로 사용하기에 가장 적합한 절단면이기도 합니다.
13. 트리는 G²이 0이 되거나, 최소 크기에 도달하거나, R²이 더 이상 크게 증가하지 않을 때 성장을 멈춥니다.

도와주셔서 감사합니다.

루골프 또는 장 뤽

제목: 분류 트리

안녕하세요, 장 뤽.

각 부분에 관하여:

• 네, G2는 지니 불순도나 엔트로피와 같은 다른 기준들과 동일한 의미를 가집니다. G2는 엔트로피의 자연로그 값의 두 배에 해당합니다. 따라서 "순수한" 노드(완벽한 분리)를 얻을 수 있는 분리 조건을 찾으면 G2는 0(엔트로피 0)이 됩니다.
• 분할을 거듭할수록 G2 값은 감소할 것입니다. 왜냐하면 요인을 사용하여 관측치를 분류하는 능력이 점점 향상될 것이기 때문입니다.
• G2 개선 사항은 노드 정보( G2 후보 )에서 계산되어 확인할 수 있습니다.
• Logworth 검정과 관련하여 p값은 실제로 계산되지만, 이는 최적의 분할을 선택하는 데 도움을 주기 위한 용도로만 사용됩니다. 이 p값에 대한 검정은 말씀하신 가설, 즉 H0 ​​- 두 노드에서 A와 B의 비율이 동일하다 vs. H1 - 두 노드에서 A와 B의 비율이 다르다는 가설에 해당합니다.
• 첫 번째 답변에서 언급했듯이 최적의 분할은 가장 높은 로그워스 값에 해당하는 분할입니다.
• 트리 종료 기준은 분할의 최소 크기(옵션에서 조정 가능) 선택, 트리 깊이 선택, 또는 R2 값/변화(검증 샘플을 사용하여 R2가 더 이상 변화하지 않거나 검증 샘플에서 변화가 거의 없는 시점을 식별할 수 있음) 등과 연관됩니다.
  분할 횟수에 따른 R²의 변화는 "분할 내역"에서 확인할 수 있습니다.
  
• 사소한 디테일이지만, 공유 데이터셋에서는 최적의 분할이 X1 > 10 또는 < 10일 때(로그워스 값이 14일 때보다 더 큼)인 것으로 보입니다.
  

  X1 값이 14인 경우 분리가 최적화되지 않으며, Logworth 또는 G2에서 언급하신 값을 찾을 수 없습니다.

  
• 또한, 요인 X1과 X2는 상관관계가 매우 강하기 때문에(상관계수 > 0.99), 의사결정 트리는 두 변수 중 하나가 필연적으로 다른 하나에 비해 무시될 수 있으므로 가장 적절한 방법이 아닐 수 있습니다. 이러한 상관관계를 고려하는 방법이 더 적합할 것입니다.
  • 페널티가 적용된 로지스틱 회귀 모델(릿지 또는 라쏘 모델, 두 요인 모두 동일한 정보를 포함하므로)을 사용하거나, Fit Y by X 플랫폼을 사용하여 단일 요인(X1 또는 X2)을 가진 단순 로지스틱 모델을 사용할 수 있습니다.
    
  • 요인 간의 상관관계/다공선성을 관리할 수 있는 트리 기반 방법(예: 랜덤 포레스트(JMP의 부트스트랩 포레스트 플랫폼))이나 다른 머신러닝 모델(서포트 벡터 머신)을 선택하는 방법이 있습니다.
    
    특정 플랫폼의 작동 방식을 학습하고 이해하는 데 도움이 되는 JMP 데이터셋이 제공됩니다. 이러한 데이터셋은 "도움말" 및 "샘플 색인" 메뉴에서 찾을 수 있습니다. "탐색적 모델링" 하위 메뉴에는 Partition 플랫폼과 관련된 여러 데이터셋(예: Car Poll, Cereal, Diamonds Data, Mushroom, Titanic Passengers 등)이 있습니다.
    
    

이 답변이 Partition 플랫폼의 작동 방식을 명확히 이해하는 데 도움이 되었기를 바랍니다.

제목: 분류 트리

안녕하세요, 빅터님.

이렇게 후한 답변 주셔서 진심으로 감사드립니다.

내가 옳다는 것을 알겠습니다.

그렇지 않고 작은 파일을 선택한 것은 의도적인 것입니다. 예를 들어 단순 선형 회귀 분석에서 소프트웨어가 어떤 계산을 하는지 명확하게 확인하기 위해서입니다. 더 크고 실제적인 파일도 있습니다.

다시 한번 감사드립니다.

행운을 빕니다.

장 뤽