안녕하세요 여러분. 저는 데일 휴먼입니다. 미국 위스콘신주 밀워키에 있는 GE 헬스케어에서 건축 엔지니어로 일하고 있습니다.
오늘은 시스템을 비교하는 방법에 대해 이야기해 보겠습니다. 일반적으로 측정 시스템에 초점을 맞출 것입니다. 가공 공정의 출력을 측정하는 가공 시스템이든, 그와 유사한 공정이든 말입니다.
저는 산업 환경에 초점을 맞추고 있지만, 이 비교 기술은 어떤 맥락에서든 사용될 수 있습니다. 하지만 저는 산업적 맥락에 더 초점을 맞추겠습니다.
여기 제 저널에서 우리가 다룰 다양한 주제들을 볼 수 있습니다. 애초에 왜 시스템을 비교해야 할까요? 측정 시스템에 대해 이야기하고 있으니, 측정 시스템 분석을 통해 서로 어떻게 비교되는지 확인해 보는 것을 고려해 볼 수 있습니다. 이 부분에 대해서는 나중에 좀 더 자세히 이야기해 보겠습니다.
T-검정이나 분산 분석 같은 통계적 비교 도구에 익숙하다면, 비교를 하는 또 다른 방법이 될 수 있습니다. 이 부분에 대해 살펴보겠습니다. 그런 다음, 측정 시스템 간 비교를 위해 특정 회귀 분석을 사용하는, 익숙하지 않을 수 있는 또 다른 기법을 살펴보겠습니다.
좋습니다. 시작해볼까요.
첫 번째 주제는 왜 시스템을 비교하는 것일까요? 산업 환경에서는 종종 동일한 시스템의 여러 복사본이 부품의 동일한 치수를 측정하고, 공정에서 동일한 결과를 측정하는 경우가 있습니다. 여기 이 그림에서 볼 수 있듯이, CMM 기계처럼 보이는 측정 시스템들이 있습니다.
동일한 출력을 측정하는 여러 대의 기계가 있는 경우, 모든 측정 시스템이 비교적 유사한 결과를 제공하는지 확인하고 측정 프로세스로 인해 차이가 발생하지 않도록 해야 합니다.
측정 방식을 약간 다르게 적용할 수도 있습니다. 예를 들어, 현재 CMM 기계를 사용하고 있는데, 예를 들어 터치 프로브를 사용하는 경우입니다. 좀 더 빠른 광학 측정 시스템으로 전환하고 싶을 수도 있습니다. 하지만 두 가지 다른 시스템을 사용하여 동일한 치수를 측정할 경우 두 시스템 간에 유사한 결과가 나오는지 확인해야 합니다.
이러한 비교의 목적은 두 시스템 중 하나에서 동일한 부품을 측정했을 때 허용할 수 없는 오차 범위 내에서 동일한 결과를 얻는지 확인하는 것입니다. 물론 측정 오차는 있을 수 있습니다.
바로 그 부분에 대해 이야기해 보겠습니다. "동일하다" 또는 "유사하다"의 의미에 대한 몇 가지 메모가 있습니다. 사실, 이 부분은 팀원들과의 논의와 고민이 필요합니다. 도메인 전문가 그룹을 모아 시스템 간의 차이점을 논의하고, 그러한 차이점이 해당 시스템에서 관찰되는 결과에 어떤 영향을 미칠지 생각해 보세요.
예를 들어 소프트웨어 버전 같은 것들을 생각해 보세요. 이것이 측정 방식에 영향을 미칠까요? 동일한 레시피를 사용해야 할까요, 아니면 각 기계마다 다른 레시피를 사용해야 할까요? 그리고 이로 인해 우려되는 차이가 발생할까요? 픽스처링 등을 사용해야 하는 경우, 모든 시스템에 동일한 픽스처링을 사용하시나요? 각 시스템마다 별도의 픽스처링이 있나요?
"이 시스템들은 동일한 결과를 내야 한다고 생각합니다."라고 말할 때, 물론 따옴표 안에 "동일"이라는 단어를 사용할 때, 이 모든 것을 고려해야 합니다. 하지만 도메인 전문가 시스템을 개발할 때는 이 부분에 시간을 투자해야 합니다.
여러분이 그 과정을 거쳤다고 가정해 보겠습니다. 비교하려는 기계가 두 대나 세 대, 네 대가 있고, 그것들이 비슷한 출력을 내는지 확인하고 싶다고 가정해 보겠습니다.
좋습니다. 어떻게 하면 좋을까요?
앞서 말씀드렸듯이, 측정 시스템에 대해 이야기하는 김에 측정 시스템 분석에 대해서도 이야기해 보겠습니다. 측정 시스템에 대한 측정 시스템 분석을 완료하셨기를 바랍니다.
하지만 여러 시스템을 사용하더라도 "두 시스템에 대해 Gage R&R을 수행하고 그 결과를 비교해 보자"라고 생각할 수 있습니다. 이렇게 생각해 볼 수도 있겠네요.
방금 열어본 데이터 테이블이 있는데, 여기서 열 통계를 켜면 두 작업자 간의 다섯 가지 부품에서 30개의 값을 얻을 수 있습니다. 두 작업자가 각각 세 번씩 측정한 다섯 가지 부품이 있는데, 이 경우 일반적인 게이지 R&R 설계 방식입니다. 두 대의 서로 다른 기계에서 측정했으므로 두 대의 기계에서 얻은 출력이 여기에 있습니다.
이 데이터에서 측정 시스템 분석을 살펴보고 차이점이 있는지 확인해 보겠습니다. "분석, 품질 및 공정" 메뉴에서 게이지 R&R 분석이나 측정 시스템 분석을 수행해 보겠습니다. 여기서 "측정 시스템 분석"으로 이동한 후, 두 기계에 대한 응답을 입력하겠습니다. 여기서 동시에 진행하겠습니다. 두 결과를 하나의 보고서에서 모두 확인할 수 있습니다.
그런 다음 연산자를 그룹화 요소로, 부품 샘플 필드에 부품 ID를 입력합니다. 다른 모든 설정은 기본값으로 유지하겠습니다. 현재로서는 상황에 따라 변경해야 할 이유가 있을 수 있습니다.
하지만 이 글에서는 모든 것을 기본값으로 두고 "확인"을 클릭하겠습니다. JMP에서 흔히 볼 수 있듯이 그래프가 몇 개 표시됩니다. 먼저 그래픽 출력으로 시작하여 데이터에 이상한 점이 없는지 확인할 수 있습니다.
하지만 지금은 이 그래프들을 숨기겠습니다. JMP에서 Ctrl 키를 누른 상태에서 명령을 브로드캐스트할 수 있습니다. Ctrl 키를 누른 상태에서 평균 차트와 범위 차트를 숨기겠습니다. 이렇게 하면 머신 1 출력과 아래에 있는 머신 2 보고서 모두에 적용됩니다. 좀 더 간편하게 하기 위해서입니다.
이번에는 CTRL 키와 Alt 키를 동시에 눌러 Gage R&R 또는 측정 시스템 분석 옵션 대화 상자를 불러오겠습니다. 간단하게 두 가지 옵션만 켜겠습니다.
측정 시스템 분석에 EMP 방법을 사용하시는 분들을 위해 EMP 결과를 살펴보겠습니다. 또한, 측정 시스템 분석 시 해당 지표의 허용 오차(%)를 살펴보시는 분들을 위해 AIAG Gage R&R 결과도 함께 살펴보겠습니다.
"확인"을 클릭하면 각 기계에 대한 보고서가 몇 개씩 나옵니다. EMP 프로세스 측면에서 1번 기계에 대한 출력은 다음과 같습니다. EMP 프로세스에 익숙하지 않으시다면, 이 분석은 AIAG 프로세스처럼 측정 시스템의 다양한 변동을 살펴보는 것입니다.
근본적으로 이는 측정 시스템에 대한 분류를 제공하는 것입니다.
1등급부터 4등급까지 사용할 수 있습니다. 각 등급의 정의는 아래에 있습니다. 이 보고서에서 기계 1을 살펴보고 있는데, 이 기계 1은 2등급 측정 시스템이라고 나와 있습니다. 즉, 1등급 시스템만큼 좋지는 않습니다. 측정 과정에서 약간의 변동이 있습니다. 반복성 오차, 즉 재검사 오차가 예상보다 약간 높을 수 있지만, 출력 관점에서는 이를 고려해야 합니다.
측정 2의 경우, 아래로 스크롤하면 측정 2의 출력 결과가 나옵니다. 이 결과는 오차가 약간 더 작은 최상급 측정 시스템입니다. 여기서는 0.023이었지만, 위에서는 0.35, 0.035였습니다. 오차가 조금 더 작기 때문에 분류 관점에서는 더 나은 측정 시스템입니다.
마찬가지로 AIAG 조직이라면 허용 오차(%) 같은 것에 관심이 있을 수 있습니다. 전체 게이지 R&R 허용 오차(%) 행은 다음과 같습니다. 1번 기계의 허용 오차는 약 24%로, 일반적으로 사용하는 10% 기준(30% 미만)보다 높습니다. 따라서 이제 좀 더 자세히 조사해 보는 것이 좋습니다.
그리고 아래 기계 2의 % 허용 오차를 보면, 15.8%로 조금 더 나은 것을 알 수 있습니다. 즉, 여전히 10% 위, 30% 미만입니다. 이 수치가 저희 공정에 적합한지 여부를 파악하려면 아마도 더 많은 연구가 필요할 것입니다.
하지만 여기서 진짜 질문은, 이 두 결과를 어떻게 비교할 것인가입니다. 두 시스템이 충분히 달라서 제가 신경 쓸 만한지, 아니면 두 시스템이 동일하다고 말할 수 있는 근거가 여기에 있을까요?
실제로 측정 시스템 분석만으로는 이를 달성하기 쉽지 않습니다.
자, 이제 다른 기법으로 넘어가겠습니다. 비교를 위한 가설 검정 접근법에 대해 이야기해 보겠습니다. 자, 이제 이 창을 닫고, 다른 것들은 치워두고, 가설 검정에 대해 이야기해 보겠습니다.
T-검정이나 분산 분석 같은 것을 해보셨다면, 이미 가설 검정을 해보셨을 겁니다. 이러한 검정은 차이를 감지하도록 설계되어 있는데, 지금 하고 계신 것도 그런 것일 수도 있습니다. 우리가 관심 있는 것은 이 시스템들이 동일한지 아닌지입니다. 아니면, 다르게 생각해 보면, 서로 다른지 아닌지입니다. 시스템을 비교하기 위해 T-검정이나 분산 분석 같은 것을 시도해 볼 수도 있습니다. 한번 살펴보죠.
여기 네 가지 시스템에서 수집한 데이터를 담은 또 다른 데이터 테이블이 있습니다. 다시 한번 열 통계를 열어 보겠습니다.
여기 네 가지 서로 다른 시스템에서 80개의 데이터 포인트가 있고, 각 데이터 포인트마다 약간의 차이가 있습니다. 이제 "이 시스템들이 동일한지 어떻게 판단할 수 있을까?"라는 의문이 생깁니다. 여기서 좀 더 자세히 설명해 드리겠습니다.
여기에는 측정하고자 하는 값인 반응 변수가 있고, 특정 값이 측정된 시스템인 그룹화 요인이 있으므로 여기서 "Y-X 적합 분석"을 수행할 수 있습니다.
X 플랫폼에서 Fit Y 분석으로 이동하실 수 있습니다. 관측값과 각 관측값을 측정하는 시스템 간의 관계를 이해하고 싶다면, 일원 분산 분석(ANOVA)을 수행하겠습니다. 계속 진행하겠습니다. 여기로 가져오겠습니다.
다시 한번, 그래프로 시작해 보겠습니다. 저는 개인적으로 연속형 데이터를 그룹화 요인별로 그룹화하는 이런 종류의 비교를 할 때 상자 그림을 활용하는 것을 좋아합니다.
다시 한번 말씀드리지만, 빨간색 삼각형을 클릭할 때 Alt 키를 누르고 있으면 다양한 옵션 대화 상자가 나타납니다. 점 표시는 끄고 상자 그림을 켭니다. 물론 이건 개인적인 취향입니다. 저는 이런 그룹이 있을 때 상자 그림을 보는 걸 좋아합니다. 시각적으로 비교할 수 있는 방식을 좋아하거든요. 점 표시는 계속 켜 두셔도 괜찮습니다.
하지만 여기 네 가지 시스템 각각의 데이터 분포를 보여주는 상자 그림이 있습니다. 시각적으로 보면 모두 매우 유사해 보입니다. 상자의 높이가 거의 같고, 이는 데이터의 중간 50%가 거의 같은 분포를 보인다는 것을 의미합니다.
우리 수염의 길이는 거의 비슷합니다. 시스템 4가 조금 더 나은 변이를 보이고, 시스템 4의 변이는 조금 더 적겠지만, 전반적으로 꽤 비슷해 보이니 괜찮아 보입니다. 하지만 좀 더 나아가서, 네 시스템 간의 성능을 비교하고 싶기 때문에 실제 분산 분석(ANOVA)을 수행할 수 있습니다.
두 개 이상이기 때문에 T-검정은 할 수 없지만, 분산 분석은 할 수 있습니다. 빨간색 삼각형으로 가서 분산 분석을 선택하겠습니다. 분산 분석에 익숙하시다면, 분산 분석은 네 가지 시스템의 평균을 비교하여 네 시스템 간의 평균 성능 차이가 있는지 확인하는 것입니다.
이것이 바로 ANOVA에서 우리가 답하고자 하는 질문입니다. ANOVA로 넘어가면, 녹색 다이아몬드는 각 시스템의 평균값에 대한 95% 신뢰 구간을 보여줍니다. 모두 상당히 유사하다는 것을 알 수 있습니다.
시스템 4는 약간 변경될 수 있습니다. 하지만 분산 분석표를 보면 바로 아래에 F보다 큰 확률로 표시된 p값이 있습니다. 바로 이 p값이 F 검정의 일부로 계산되는 것입니다.
이는 0.05나 여러분이 사용할 수 있는 합리적인 알파 값보다 훨씬 큽니다. 따라서 두 시스템 간에 차이가 있다는 증거는 없다고 결론 내릴 수 있습니다.
시스템을 비교하는 첫 단계는 매우 일반적입니다. "좋아요, 차이가 없으니 이 시스템들은 동일해요."라고 말하는 것은 올바른 접근 방식이 아닙니다. 두 가지를 생각해 보세요. 첫째, 여기서는 평균을 비교했지만, 그것만으로는 충분하지 않습니다. 왜냐하면 모집단을 비교할 때는 모집단의 중심 위치뿐만 아니라 모집단의 변이도 살펴봐야 하기 때문입니다.
이 아이디어를 잘 보여주는 작은 차트가 있습니다. 평균은 같지만 분명히 다른 두 분포가 있습니다. 각 분포에는 서로 다른 변형이 있습니다.
아마도 대부분의 상황에서는 이 두 가지가 동일하다고 생각하지 않을 것입니다. 지금까지 분산 분석(ANOVA)을 통해 평균을 비교했지만, 두 모집단이 서로 다르지 않음을 보여주려면 분산 비교(variation comparison)도 수행해야 합니다. 물론 JMP에서는 이 작업을 충분히 쉽게 수행할 수 있습니다.
여기 빨간색 삼각형에 대한 기능을 제공합니다. 같은 분석에서 빨간색 삼각형의 불균등 분산 검정을 수행하면 됩니다. 이제 여기에 해당 검정을 추가했습니다.
여기 차트는 네 가지 시스템 각각에 대한 표본 데이터의 표준 편차를 보여주는데, 모두 매우 유사합니다. 다시 한번 말하지만, 시스템 4는 약간 낮지만, 크게 다르지는 않습니다. 물론, 여기 아래에 p-값이 있습니다. 또 다른 p-값 목록이 있습니다. 이 경우 JMP는 여러 종류의 p-값을 제공합니다.
따라서 팀에서 어떤 방법을 사용할지 결정해야 할 것입니다. 여기서는 Lovine 검정에 집중하겠습니다. Lovine 검정은 비교적 표준적인 검정으로, 이상치에 강건하고, 강건하며 비정규적인 데이터에 적합합니다. 따라서 여기서는 Lovine 검정의 p-값에 집중하겠습니다.
다시 한번 말씀드리지만, 이 p-값은 0.05보다 훨씬 큽니다. 따라서 두 모집단 간에는 변동에 차이가 없다고 결론지을 수 있습니다. 따라서 이 시점에서 네 가지 시스템 간의 평균 성과와 변동을 비교한 결과, 이러한 결과는 차이가 없다는 결론을 내렸습니다.
이제 "좋아요, 평균에도 차이가 없고, 변동에도 차이가 없습니다."라고 말할 수 있습니다. 이 두 시스템은 동일합니다. 다시 말하지만, 성급하게 결론 내릴 수는 없습니다. 분산 분석과 같은 통계적 가설 검정을 수행할 때 명심해야 할 또 한 가지가 있습니다. "차이가 없습니다."라는 표현은 두 시스템이 동일하다고 말하는 것과는 다릅니다.
통계적 가설 검정에 대해 처음 배울 때 배우는 내용입니다. 우리는 이 두 시스템 간에 평균과 분산 모두에 차이가 없다는 증거를 보여주었습니다. 하지만 이것이 두 시스템이 동일하다는 것을 의미하지는 않습니다. 단지 현재 우리가 가지고 있는 데이터 샘플만을 기준으로 두 시스템이 다르다고 단정 지을 수 없다는 것을 의미합니다.
"둘이 같다고 말할 수 있을까?"라고 말할 수 있는 또 다른 방법을 생각해 봐야겠습니다. 다행히도, 이 질문에 대한 테스트도 있습니다.
동등성 검정을 보셨을지도 모르겠습니다. 동등성 검정에 대해 살펴보겠습니다. 동등성 검정은 가설 검정을 사용하여 "사물이 같다"라고 말할 수 있도록 하는 것입니다. 하지만 실제로는 사물이 다를 수는 있지만, 그 차이가 중요하지 않을 정도로 다르다는 것을 말하고 있는 것입니다.
"차이가 이 범위보다 작다면, 모든 실질적인 목적을 위해 이것들은 서로 동등하다고 간주할 것입니다."라고 말할 수 있는 동등성의 범위를 정의할 수 있어야 합니다. 이것이 바로 동등성 테스트가 여러분을 위해 하는 일입니다.
동등성 검정을 할 수 있습니다. 여기 사본이 있습니다. 여기 작성을 시작한 보고서에서 해 봅시다. 다시 한번, 같은 보고서에서 같은 데이터를 사용해서요. 이제 "내가 정의한 동등성 범위 내에서 이 네 가지 시스템을 동등하다고 볼 수 있을까?"라고 말할 수 있게 하려고 합니다.
빨간색 삼각형을 보면 동등성 검정 메뉴가 있습니다. 이 예시에서는 일단 평균만 살펴보겠습니다. 평균에 대한 동등성 검정의 목표는 "이 시스템들의 평균 성능 차이가 내가 원하는 값보다 작다"라고 말할 수 있도록 하는 것입니다.
이것이 동등성 검정의 개념입니다. 여기 동등성 검정을 수행하기 위한 대화 상자가 있습니다. 평균을 비교하기 위해 T-검정을 사용할 것입니다. 강하게 편향된 데이터나 강하게 비정규적인 데이터가 있는 경우, 순위를 매기기 위해 윌콕슨 검정을 사용할 수 있습니다. 하지만 이 목적을 위해 T-검정을 사용할 것입니다. 우리는 동등성을 입증하고자 합니다.
몇 가지 옵션이 있는 것을 보실 수 있습니다. 모든 옵션을 다 살펴보지는 않겠지만, 기본적으로 이 옵션들은 선택하는 버전에 따라 두 값이 동일하거나, 그보다 작거나 크다는 것을 나타냅니다. 저는 동등성 옵션을 계속 사용하겠습니다.
모든 시스템에서 통합 분산을 사용할지, 아니면 분산이 같지 않다고 가정할지 선택할 수 있습니다. 방금 등분산 검정을 수행했고 여기서는 차이가 없음을 확인했으므로 통합 분산 검정을 사용할 수 있습니다. 저는 그대로 두고 "확인"을 클릭하겠습니다.
여백 입력하는 걸 깜빡했네요. 죄송해요. 평균에 대한 동등성 검정을 해 봅시다. 이 경우, 해당 분야 전문가들과 함께 논의해서 두 시스템의 값이 10만큼 차이가 나지 않는 한 동등하다고 간주하기로 했다고 가정해 봅시다. 따라서 측정 단위가 무엇이든, 두 시스템의 값이 10 이상 차이가 나지 않는 한 동등하다고 간주할 것입니다.
여기 차이 상자에 10을 입력하고 '확인'을 클릭합니다. 그러면 동등성 분석 결과를 보여주는 보고서가 나타납니다. 이 분석은 TOST(two one-sided test) 방식, 즉 두 개의 단측 검정 방식을 사용합니다. 즉, 두 개의 가설 검정을 수행하지만, 이는 입력한 관심 범위보다 차이가 작다고 볼 수 있는지 여부를 보여주는 단측 가설 검정입니다.
여기 출력에는 두 시스템을 서로 비교하는 표가 있습니다. 각 쌍을 비교하고, 그 아래에는 차이의 범위를 보여주는 그래프도 있습니다.
목표가 동등함을 입증하는 것이라면, 각 시스템의 평균에 대해 계산된 신뢰 구간이 파란색 띠 안에 있어야 합니다. 파란색 띠는 실제 동등값 범위를 나타내며, 이 범위를 벗어나는 부분은 입력한 차이 값에 따라 다르다고 할 수 있습니다.
물론 여기서 우리는 모든 비교가 범위를 벗어났다는 것을 알 수 있습니다. 이는 기본적으로 이러한 시스템이 동등하다고 결론 내릴 수 없다는 것을 의미하며, JMP는 바로 여기에서 그 사실을 알려줍니다.
이는 비교되는 시스템의 다양한 조합 각각에 대한 평가를 제공합니다. 이 분석의 목표가 이 네 시스템이 모두 동등하다는 것을 보여주는 것이었지만, 안타깝게도 여기에 표시된 측정 단위의 10단위 이내에서는 그렇지 않다는 것을 보여주었습니다.
그러면 추가 분석을 해야 할 수도 있고, 물론 이 결과가 귀하의 맥락에서 의미하는 바에 따라 개발 경로를 변경해야 할 수도 있습니다.
하지만 시스템 간 동등성을 입증하는 데 사용할 수 있는 또 다른 도구는 동등성 검정입니다. 실제로는 차이 검정을 하는 것이지만, 차이가 있다면 그 차이가 프로세스나 시스템의 맥락에서 실질적으로 고려하는 값보다 작다고 말할 수 있도록 하는 것입니다. 하지만 이러한 관점에서 보면 여전히 차이 검정입니다.
좋아요. 동등성 검정과 가설 검정입니다. 이 창을 닫고 저널로 돌아가겠습니다.
실질적인 차이의 범위에 어떤 값을 사용할지 어떻게 결정하는지에 대한 몇 가지 참고 사항이 있습니다. 몇 가지 시도해 볼 만한 방법이 있습니다.
도메인 전문성은 일반적으로 매우 일반적인 접근 방식입니다. 분석 대상에 대한 자세한 지식을 가진 사람들을 만나고, 저희의 관점에서 "사물이 얼마나 달라야 다르다고 간주할 수 있을까?"라고 생각해 보는 것입니다. 하지만 이는 동등성 검증을 하기 전에 먼저 생각해야 할 부분입니다.
만약 여러분이 이 접근 방식에 성공하여 "아, 우리는 동등성을 입증했습니다."라고 말한다면, 이제 시스템 간에 사물이 정말로 동일하다고 말할 수 있을까요?
그리고 사실은 그렇지 않을 수도 있습니다. 왜냐하면 여러분은 이 모든 것을 생각하면서 "글쎄요, 제가 정말 알고 싶은 질문은 시스템 A에서 부분을 측정한 다음, 같은 부분을 시스템 B에서 측정하면 같은 값이 나올까?"라고 말할 수 있기 때문입니다.
지금까지 우리가 한 모든 것이 반드시 그렇다고 보장하는 것은 아닙니다. 차이가 있다는 증거가 없음을 보여주거나, 동등성 검정을 실행하여 모든 것이 동등함을 보인다고 하더라도, 이러한 가설 검정에서 명심해야 할 점은 모집단 통계량, 평균, 표준 편차 등을 비교한다는 것입니다.
이러한 테스트는 각 부분을 측정할 때 동일한 값을 얻는다는 것을 보장하지 않습니다. 예를 들어, 두 시스템에서 얻은 데이터 샘플을 평균적으로 동등하다고 가정해 보겠습니다. 이 평균선들은 서로 매우 가깝습니다. 우리가 파악한 실제 동등 범위보다 작습니다. 따라서 우리는 모든 것이 동등하다고 말하고 있는 것입니다.
하지만 개별 값을 살펴보면, 해당 부품이 2번 기계에서 측정되었고 4.75 정도의 값을 얻었다는 것을 알 수 있습니다. 하지만 1번 기계에서 같은 부품을 측정하면 9에 가까운 값이 나옵니다. 통계적 가설 검정에서는 이러한 값을 볼 수 없습니다. 이러한 검정은 평균이나 표준 편차와 같은 모집단 요약 통계량을 검토하기 때문입니다. 개별 값을 검토하는 것이 아닙니다. 이를 위해 회귀 분석을 실시합니다.
이것은 기술입니다. 측정 오차 내에서 모든 부분이 동일하다는 것을 보여주고 싶다면 이 기술을 사용하면 됩니다.
좋습니다. 이제 동일한 부품 세트를 측정한 데이터 세트를 살펴보겠습니다. 여기 두 개의 서로 다른 시스템에서 20개의 부품을 측정한 또 다른 데이터 테이블이 있습니다. 예를 들어, 수년간 사용해 온 기존 시스템에서 측정된 것과 동일한 20개의 부품이 있고, 이제 동일한 것을 측정하는 멋진 새 시스템이 있는데, 이 새 시스템에서 동일한 20개의 부품을 측정합니다.
질문은 "이 기계들이 똑같이 동작할 수 있을까?"입니다. 어떻게 해야 할까요? 예를 들어, 이 데이터를 서로 상대적으로 표시해 보면, 같은 부품을 측정하고 있고 측정값도 같아야 하므로, 두 시스템 사이에는 일반적으로 기울기가 1에 가깝고, 절편이 0에 가까운 직선이 그려질 것으로 예상할 수 있습니다. 예를 들어, 기존 시스템에서 부품의 값을 60으로 측정했다면, 새 시스템에서도 같은 매개변수를 측정하기 때문에 60 정도의 값을 얻을 수 있을 것입니다. 마찬가지로, 기존 시스템에서 120이었다면 새 시스템에서도 120 정도의 값을 얻을 수 있을 것입니다.
바로 그게 아이디어예요.
이 분석을 살펴볼 때 많은 사람이 사용하는 전형적인 회귀 분석인 최소 제곱 회귀 분석을 시도해 볼 수도 있습니다.
그리고 이 특정한 사례에서, "음, 직선 Y가 X와 같다면, 절편 0과 기울기가 1이 됩니다. 네, 제 데이터에 잘 맞는 것 같습니다."
하지만 그 데이터에 오류가 있다는 건 알고 있습니다. 최소제곱법을 적용해 볼까요? 제가 여기서 해 봤습니다. 여기 또 다른 방정식이 있는 걸 보실 수 있을 겁니다. 죄송하지만 레이저 포인터 좀 가져와 주세요.
최소제곱 회귀를 사용했는데, 다시 한번 절편이 0에 가까운 것을 볼 수 있습니다. 정확히 0은 아니지만, 크기가 작고 기울기는 1에 매우 가깝습니다. 이렇게 하면 "괜찮아 보이네요. 기울기는 1이고 절편은 0에 가깝습니다. 이 두 시스템이 제가 측정하는 값의 범위에 걸쳐 부분별로 동일한 값을 제공한다고 말할 수 있을 겁니다."라고 말할 수 있을 것입니다.
좋은 시작입니다. 문제는 이 경우 최소 제곱 회귀가 오류를 제대로 고려하지 못한다는 것입니다.
최소제곱 회귀에 대해 배우셨다면 회귀 분석의 잔차 오차에 대해서도 이미 알고 계실 겁니다. 왼쪽 그림처럼, 여러 개의 데이터 포인트가 있고, 최소제곱 회귀를 사용하여 이 데이터 포인트들을 통과하는 최적선을 그렸다고 가정해 보겠습니다. 최소제곱 회귀 분석의 일부로 수행하는 모든 모델 진단은 여기 회색 선으로 강조 표시된 최적선에서 관측치와 데이터 간의 잔차 오차를 살펴보는 것입니다.
최소제곱 회귀에서는 모든 오차가 항상 Y 차원에 있습니다. 오차는 반응 변수에 있다고 가정합니다. 이 회귀에서는 X 변수에는 오차가 없습니다.
하지만 이처럼 두 대의 기계가 측정을 수행하는 경우에는 당연히 두 기계 모두에 측정 오차가 발생합니다. 따라서 우리가 실제로 하고 싶은 것은 Y 방향과 X 방향 모두에 오차가 있는 방식입니다. 수년간 사용해 온 수율 시스템에도 오차가 있고, 새로운 시스템에도 오차가 있기 때문입니다. 오차는 같을 수도 있고 다를 수도 있습니다. 괜찮습니다. 그 오차를 감안할 수 있습니다.
하지만 여기서는 모델의 두 가지 요소 모두에서 오류를 허용해야 합니다.
어떻게 하면 될까요? 직교 회귀라고 합니다. 오차가 여기 있는 최적선에 직교하여 계산되기 때문에 직교 회귀라고 합니다. 그렇게 할 수 있습니다. 좋습니다.
다행히 두 시스템 간에 데이터가 있으면 "Fit Y by X" 분석을 수행할 수 있습니다. 다시 "Fit Y by X" 플랫폼으로 이동하겠습니다. 새 시스템을 Y로, 기존 시스템을 X로 설정하고 "확인"을 클릭합니다.
그리고 다시, 여기 이 차트를 보세요. 회귀 분석을 통해 "이 시스템들이 동일하다고 말할 수 있을까?"라는 의문을 해결하고 싶습니다.
빨간색 삼각형으로 넘어가겠습니다. 보통 최소제곱 회귀처럼 적합선으로 가겠지만, 저는 여기 아래에 있는 적합 직교(fitting orthogonal)로 내려가 보겠습니다. 적합 직교에 대해 한 가지 주의할 점은 두 시스템 간의 오차 관계를 이해해야 한다는 것입니다. 아마도 두 시스템의 변동이 동일하다고 생각해야 할 것입니다.
현재 사용하는 기계와 완전히 동일한 사본을 가져오는 경우, 두 시스템 간의 측정 시스템 차이가 동일할 것으로 예상하는 것이 합리적입니다. 따라서 등분산을 선택하거나 분산 비율을 지정할 수 있습니다.
그리고 여러분은 이 두 시스템 모두에 대한 측정 시스템 분석을 수행했기 때문에 이렇게 할 수 있고, 저널에 나와 있는 것처럼 측정 시스템의 표준 편차를 알고 있을 것입니다.
표준 편차를 계산하면 해당 표준 편차의 제곱 비율, 즉 분산 비율을 구하고, 이미 계산했다면 해당 값을 지정할 수 있습니다.
이 글에서는 "등분산"이라고 하겠습니다. 두 시스템 간의 분산이 같을 것으로 예상해서 등분산 분석을 선택했습니다. JMP에서 직교 회귀선을 적합했습니다. 다시 말하지만, 최소제곱 회귀와 매우 유사해 보입니다. 사실, 여기에서 "적합선"을 선택하여 최소제곱 회귀를 활성화할 수도 있습니다. 제가 저널에서 하는 것처럼 이 그래프를 확대해 보시면 알 수 있을 겁니다. 좀 더 보기 쉽게 하기 위해 약간 확대해 놓았습니다.
둘이 아주 비슷해 보여요. 근본적으로 서로 바로 위에 있죠. 다른 창문으로 돌아가 볼게요.
하지만 이 축들을 확대해서 보면, 예를 들어 이 작은 사각형을 잡아보면, 축들이 조금씩 분리되는 것을 볼 수 있을 겁니다. 좀 더 명확하게 보이네요.
하지만 근본적으로 이 선들은 서로 바로 위에 있습니다. 이 특별한 경우에는 "그래, 두 시스템 모두에서 측정 오차가 있더라도 Y와 X 모두 동일하기 때문에 내 선은 최소제곱 회귀선과 크게 다르지 않다"는 것을 의미합니다.
매우 다른 선으로 보이는 경우도 있습니다. 분석적으로는 같아 보일 수 있지만, 직교 회귀선에 집중해야 합니다. 이 경우 Y와 X 변수에 오차가 있기 때문에 직교 회귀선이 오차를 더 적절하게 포착하기 때문입니다.
아래에서 보시다시피, 여기서 직교 회귀를 하면 기울기와 절편에 대한 평가값을 얻을 수 있습니다. 동등성을 입증하는 것이 목표라면, 실제로 보여주고 싶은 것은 절편이 0에 가까워지는 것입니다.
이 경우에는 음수 0.95가 좋습니다. 그렇다면 기울기가 1이 되기를 바라는 겁니다. 더 구체적으로는, 여기에 표시된 기울기의 신뢰 구간을 살펴보는 겁니다. 신뢰 구간이 그 범위 내에 있는 한, 즉 하한 신뢰 수준은 1보다 작고 상한 신뢰 수준은 1보다 큰 값이라면, "네, 이 직선의 기울기는 합리적인 신뢰도로 1이 될 수 있습니다. 따라서 이 시스템들은 부분별로 동일하다고 결론지을 수 있습니다."라고 말할 수 있을 것입니다.
다시 한번 말씀드리지만, 여기서 핵심은 이 기법을 사용하면 측정하는 값 범위 전체에서 값별로 이 시스템들이 동일한 값을 제공한다는 것입니다. 이것이 바로 직교 회귀의 개념입니다. 최소제곱 회귀와 크게 다르지 않습니다. JMP에서도 마찬가지로 쉽게 할 수 있습니다. 다시 말씀드리지만, 빨간색 삼각형에 표시되어 있습니다. 훌륭하죠.
비교하려는 측정 시스템의 분산이나 오차 관계에 대해 조금만 알면 됩니다. 하지만 이 분석을 통해 어떤 결론을 내릴 수 있을까요? 네, 이 범위 내에서 이 값들이 동일하다고 볼 수도 있고 그렇지 않다고 볼 수도 있습니다.
그러면 "왜 둘이 똑같지 않을까?"라고 생각해야 할지도 몰라요. 물론, 그건 언제나 가능한 결과죠. 좋아요.
좋아요. 여기까지가 주제였습니다. 시스템을 비교하는 몇 가지 방법을 살펴보았습니다. 측정에 대해 이야기하고 있으니 측정 시스템 분석을 비교하는 방법을 생각해 볼 수도 있지만, 실제로는 쉬운 방법이 아닙니다. 물론 측정 시스템 분석을 통해 각 측정 시스템의 정확도와 정밀도를 이해하고 싶을 것입니다.
가설 검정을 고려해 볼 수도 있습니다. 가설 검정은 "상황이 다르다고는 말할 수 없다"라고 말할 수 있게 해주지만, 엄밀히 말하면 상황이 같다고 말할 수는 없습니다. 그렇다면 동등성 검정을 생각해 볼 수 있습니다. 동등성 검정은 적어도 "차이가 있더라도 그 차이가 내가 신경 쓰는 것보다 작다"라고 말할 수 있게 해줍니다. 이것이 바로 동등성 검정입니다.
그리고, 마지막에 이야기했듯이 직교 회귀 분석은 제가 이 시스템들이 동일한 값을 제공하는지 여부를 점별로 보여주는 것입니다. 물론, 이 부분에 대해서는 좀 더 생각해 보셔야 할 것 같습니다. 오늘은 여기까지입니다.
궁금한 점이 있으면 알려주세요. 정말 감사합니다.
