884289_ko-KR

liliconcom

이상치의 영향을 줄이는 "견고한 적합"옵션의 사용 장면

아래 그림은, JMP의 「이변량의 관계」로 표시한 리포트입니다. 어느 그래프에서도, Y축의 「트리글리세리드」에 다른 데이터보다 값이 극단적으로 큰 값(이상치로 간주할 수 있는 값)이 존재하는 것을 알 수 있습니다.

JMP의 「이변량의 관계」에서는, Y에 연속 변수, X에 연속 변수를 지정했을 때의 「이변량」의 리포트, Y에 연속 변수, X에 명의 변수·순서 변수를 지정했을 때의 「일원 배치」의 리포트에 대해, 「견고한 맞추기」 의 옵션을 적용할 수 있습니다.

본 기사에서는 데이터에 이상치가 포함되어 있는 경우의 대처방법을 제시하고 그 중 하나인 견고한 추정에 대해 통상의 추정 방법과 비교하면서 그 사고방법과 실시예를 설명합니다.

이전에, 한 JMP의 고객으로부터, JMP에는 이 견고한 추정 기능이 있는 것이 좋다는 코멘트를 받은 적이 있어, 다른 유저에게도 도움이 되는 부분이 있을까 생각하고 있습니다.

이상치가 있었을 때의 대처 방법

데이터에 모델을 적용할 때 이상치의 영향을 줄이는 대표적인 접근법으로 다음 세 가지 방법이 있습니다.

1. 이상값 제거
2. 변수 변환(대수 변환 등) 수행
3. 이상치의 영향이 작은 피팅 (견고한 추정)

JMP에서는 많은 보고서가 먼저 그래프를 표시하므로 그래프를 신중하게 검토하고 이상값이 있는지 확인하는 것이 중요합니다.

1. 의 이상치를 제거하는 방법은 실무면을 포함하여 신중하게 판단할 필요가 있습니다.

2. 의 변수변환은 데이터의 분포나 성질에 따라서는 유용한 경우가 있습니다.

그 때문에, 이상치를 포함한 채로 모델 추정할 수 있는 3.의 「로버스트 추정」을 행하는 방법이 유력한 선택지가 됩니다.로버스트 추정 방법 은 견고한 피팅 과 캐시 피팅 의 두 가지 옵션이 있습니다 .

견고한 회귀

서두에 나타낸 트리글리세리드와 콜레스테롤의 관계를 나타내는 산포도를생각해 봅시다.[직선의 맞추기] 옵션으로 실시할 수 있는 통상의 회귀 분석(최소 제곱법을 사용)은, 데이터점과 회귀 직선과의 수직 거리(잔차)의 제곱의 합계가 가장 작게 되도록 직선을 그립니다.

이 때, 청환으로 둘러싼 점(이상치)은 잔차가 매우 크고, 이러한 값이 있으면 최소 제곱법의 직선이 당겨지기 쉬운 것을 알 수 있습니다.

따라서 이러한 이상치의 영향을 작게 억제하고 직선을 그리는 방법을 「로버스트 회귀」라고 부릅니다.

견고한 피팅 옵션은 Huber의 M 추정치를 사용합니다.

다음은 [견고한 피팅], [직선 피팅] 의 옵션을 적용했을 때의 보고서입니다. 빨간 점선은 최소 제곱법에 의한 회귀 직선, 녹색 실선은 강건 회귀에 의한 직선입니다. 제곱법에 의한 회귀의 기울기(=0.684)보다 작아지고 있습니다.

견고한 평균 비교

중앙 집중식 분석 보고서에서는 X에 지정된 변수의 각 수준 사이에서 Y의 평균값을 비교하는 '분산 분석(ANOVA)'을 수행할 수 있지만, 이 경우에도 Y의 이상값의 영향을 강하게 받습니다.

따라서 견고한 피팅 옵션을 사용하면 Huber의 M 추정치를 사용하여 이상 수준의 영향을 줄이는 견고한 평균을 각 수준에 대해 계산할 수 있습니다.

다음은 견고한 피팅 및 평균/ANOVA/풀링된 t-검정 옵션을 적용한 경우의 보고서입니다.

수준 "female"에서는 ANOVA에 의한 평균과 견고한 평균이 같기 때문에(=77.375) 선이 겹쳐 있습니다.

「분산 분석」의 리포트를 참조하면, p값은 0.0641이므로, 유의 수준을 0.05로 하면 「남녀간에 트리글리세리드의 값이 유의하게 다르다」라고는 결론지을 수 없습니다. 한편, 「견고한 맞추기」의 리포트를 참조하면 p값이 0.0205이며 유의간으로

참고 : "응답 스크리닝"플랫폼에 의한 견고한 추정

견고한 피팅은 한 번에 여러 조합의 테스트를 수행할 수 있는 "응답 스크리닝" 플랫폼에서도 수행할 수 있습니다.

「応答のスクリーニング」にて[ロバスト] のオプションを指定][응답 스크리닝]에서 [강력] 옵션 지정]

ロバスト推定のp値、対数価値などを出力견고한 추정의 p-값, 로그 가치 등을 출력

※본 기사에서는, JMP의 샘플 데이터 「Lipid Data.jmp」를 이용하고 있습니다.

by 마스카와 나오히로(JMP Japan)

마스카와 나오히로 - JMP 사용자 커뮤니티

기본 데이터 분석 및 모델링