K Nearest Neighbours(KNN) 플랫폼은 해당 관측치의 로컬 이웃에 대한 관측치 응답을 사용하여 해당 관측치에 대한 응답 값을 예측합니다. 이는 범주형 응답을 분류하고 연속 응답을 예측하는 데 사용할 수 있습니다.
KNN은 비모수적 지도 머신러닝 알고리즘입니다. 이는 특정 매개변수(관측값)의 유사성이 다른 매개변수(예측)의 유사성을 반영한다는 기본 가정에 따라 작동합니다. 이 가정을 충족하기 위해 KNN은 주어진 관측값과 다른 모든 관측값 사이의 최소 거리 k개의 순위를 매깁니다.
이러한 사실 때문에 K-Nearest Neighbors는 예측 경계가 불규칙한 관측치를 분류할 수 있습니다. 그러나 알고리즘은 관련 없는 예측 변수에 민감하므로 예측 변수 선택이 결과에 영향을 미칠 수 있습니다.
거리를 계산하세요
JMP pro 17은 유클리드 거리를 사용하여 예측 변수 값과 다른 변수 값 사이의 거리를 계산합니다. 2D 공간에서 (x1, y1)과 (x2, y2) 사이의 유클리드 거리 d는 다음과 같습니다.
d = sqrt((x2-x1)^2 + (y2-y1)^2)
유클리드 방법에서는 모든 값이 실수여야 합니다.
예측하기
KNN은 응답 유형에 따라 예측을 제공합니다.
- 지속적인 응답
JMP는 가장 가까운 이웃 k개의 반응 평균으로 값을 예측합니다. 각 연속형 예측 변수는 표준 편차에 따라 조정됩니다. 연속형 예측 변수의 결측값은 해당 예측 변수의 평균으로 대체됩니다.
- 범주형 응답
JMP에서 예측값은 k개의 최근접 이웃에 대한 가장 빈번한 반응 수준입니다. 상위 반응이 두 개 이상 있는 경우 예측 반응은 이러한 수준 중 하나를 무작위로 선택하여 할당됩니다.
k 값 또는 n_neighbors
k의 값이 다르면 예측도 달라질 수 있습니다. JMP에서는 최대 k 개수만 지정하면 됩니다. 각 k, 1 ≤ k ≤ k_max에 대해 JMP는 훈련 세트 관측값만 사용하여 모델을 구축합니다. 이러한 각 모델은 검증 세트 관측값을 분류하는 데 사용됩니다. 검증 세트 결과는 오분류율이 가장 낮은 모델(최상의 k라고도 함)을 선택하는 데 사용됩니다.
JMP 모델링에서 KNN 검증
JMP Pro에서 KNN 모델링에 대한 검증으로 숫자 열을 추가할 수 있습니다. JMP는 모델링 전에 검증을 통해 데이터를 세트로 분할하여 과적합을 줄이고 좋은 예측 모델을 선택합니다. KNN의 경우 이 기능은 선택 사항입니다. 그러나 과적합은 훈련과 예측 사이의 불일치로 이어질 수 있습니다. 즉, 알고리즘이 훈련 데이터에 지나치게 특정하여 예측의 정확도가 떨어집니다.
KNN의 경우 다음 방법을 사용하여 데이터를 2개 또는 3개 세트로 분할할 수 있습니다.
|
방법
|
세트
|
기능
|
|
훈련 및 조정
|
훈련
|
모델 매개변수 추정
|
|
확인
|
모델 피팅 알고리즘에서 모델 매개변수를 조정하고 최종적으로 예측 능력이 좋은 모델을 선택합니다.
|
|
훈련, 조정 및 평가
|
훈련
|
모델 매개변수 추정
|
|
확인
|
모델 피팅 알고리즘에서 모델 매개변수를 조정하고 최종적으로 예측 능력이 좋은 모델을 선택합니다.
|
|
시험
|
적합 모델의 성능을 독립적으로 평가
|
JMP 다큐멘터리: Make Validation Column 플랫폼의 예(jmp.com) 에서 검증에 대해 자세히 알아보세요.
예
이 예에서는 KNN을 사용하여 재무 기록을 기반으로 고객을 Good Risk와 Bad Risk로 분류하려고 합니다.
- 도움말 > 샘플 데이터 폴더를 선택하고 Equity.jmp를 엽니다.
- 분석 > 예측 모델링 > K 최근접 이웃 을 선택합니다.
- BAD를 선택하고 Y, Response를 클릭합니다. 분석할 값입니다.
- LOAN 및 CLNO를 선택하고 X, Factor를 클릭합니다. 이것이 예측 변수입니다.
- 유효성 검사를 선택하고 유효성 검사를 클릭합니다. 이는 과적합을 방지하고 좋은 예측 모델을 선택하기 위해 모델링하기 전에 데이터를 세트로 분할하는 데 사용되는 값입니다. 예제에서는 Train, Tune 및 Evaluate 방법을 사용했습니다.
- 확인 을 클릭합니다.
예측 방정식을 저장하려면
- BAD 빨간색 삼각형을 마우스 오른쪽 버튼으로 클릭 하고 예측 공식 게시를 선택합니다.
- 이웃 수 K 옆에 기본값인 7을 그대로 둡니다.
- 확인 을 클릭합니다.
예측 방정식은 Formula Depot 에 저장됩니다. Formula Depot의 모델 비교 옵션을 사용하여 Formula Depot에 게시된 대체 모델의 성능을 K = 7 최근접 이웃 모델의 성능과 비교할 수 있습니다. 도움말/JMP 문서 라이브러리, 3763페이지 에서 공식 저장소에 대한 자세한 내용을 찾아보세요.
관심이 있으시면 4단계로 돌아가시면 됩니다. 이번에는 LOAN 과 CLNO 사이의 모든 매개변수를 X, Factor로 입력하세요. 무엇이 바뀌었고 그 이유는 무엇입니까?
Shuran,
검토자: Jeremy T. @jeteez
2024년 1월, JMP(R) Pro 17.2.0 기준
본 기사는 JMP Statistical Discovery나 SAS Institute의 입장과 의견을 반영하지 않습니다.
