비교는 일상생활에서 흔히 볼 수 있는 일입니다. 레시피에 필요한 재료가 누락된 경우 좋은 대체 재료가 될 수 있는 다른 재료가 있을 수 있습니다. 데이터가 필요한 비교 결정의 경우 오래된 기계가 실험실이나 공장의 새 기계와 비슷한 성능을 발휘하는지 궁금할 수 있습니다. 오래된 기계를 수리하거나 교체할 시기입니까, 아니면 계속 사용할 수 있을 만큼 성능이 "충분히 좋은"가요? 그리고 이 맥락에서 "충분히 좋다"는 것이 무엇을 의미하는지 어떻게 수량화할 수 있을까요?
일반적으로 두 가지를 비교하려면 가설 검정을 사용하는 번거롭고 직관에 반하는 방법이 필요합니다. 그러나 단순히 귀무가설을 기각하거나 기각하지 못하는 것만으로는 우리가 답하고자 하는 질문을 충분히 다루지 못할 수도 있습니다. 그렇다면 두 가지가 동일한지, 비슷한지, 다른지 더 효과적으로 판단할 수 있는 방법은 무엇일까요? 그 답은 나다니엘 스티븐스(Nathaniel Stevens)의 전문 분야 중 하나인 실무적 동등성 평가를 위한 합의 확률(PoA) 방법론을 사용하여 찾을 수 있습니다. 그는 통계적으로 말하기(Statistically Speaking) 의 가장 최근 게스트 였으며 우리는 이 강력하고 유연한 프레임워크에 대해 더 많이 알게 되어 기뻤습니다.
Nathaniel은 워털루 대학교 통계 및 계리학과 통계학 조교수입니다. 그는 베이지안 합의 확률에 대한 연구로 가장 최근에는 2023년 미국 품질 협회(American Society of Quality) Feigenbaum 메달과 2021년 Søren Bisgaard 상을 비롯한 여러 상을 수상했습니다.
답변할 시간보다 더 많은 질문이 있었기 때문에 Nathaniel은 친절하게도 여기서 자신의 전문 지식을 더 많이 공유하는 데 동의했습니다.
PoA 프레임워크의 한계는 무엇입니까?
프레임워크는 동등성 임계값 𝛅에 크게 의존합니다. 따라서 이는 신중하게 결정해야 할 사항입니다. 특정 설정에서는 이 작업이 어려울 수 있습니다. 그리고 신중한 고려 없이는 원하는 결과를 위해 부주의하게 선택될 수 있습니다. 그러므로 문제 상황을 고려하여 𝛅를 선택하는 것이 필수적입니다.
PoA는 전통적인 가설 검정에 사용되는 0.05 임계값 대신 유의 수준을 0.1(예:)로 변경하는 것과 동일합니까?
아니요, PoA 분석과 가설 검정 간의 관계는 그다지 간단하지 않습니다. PoA의 많은 구현이 존재하지만 PoA가 정량화하는 내용과 다른 증거 측정값과 어떻게 관련되는지에 대한 직관을 구축하는 데 도움이 되도록 매개변수 θ가 간격 [-𝛅, 𝛅 내에 있는지 여부를 간단히 결정하려는 예시를 고려해 보겠습니다. ].
이는 (예를 들어) 2세대 p-값 [1] , 동등성 검정 [2] , 간격 기반 방법 [3],[4] 또는 빈도주의적 일치 확률 [5]을 사용하여 수행될 수 있습니다. 이러한 모든 접근 방식은 서로 다른 방법을 통해 간격 [-𝛅, 𝛅]과 관련하여 θ-hat의 샘플링 분포의 위치와 분산을 구체적으로 특성화하려고 합니다. 간격 기반 방법은 θ에 대한 신뢰 구간이 완전히 외부에 있는지 아니면 [-𝛅, 𝛅] 내에 있는지 확인하는 경향이 있습니다. 2세대 p-값은 이러한 통계적 간격이 [-𝛅, 𝛅] 겹치는 정도를 측정합니다. 두 개의 단측 테스트(TOS)와 연관된 p-값은 θ-hat의 샘플링 분포 비율을 전체적으로 측정합니다. [-𝛅, 𝛅] 밖에 있는 것입니다. 그리고 빈도주의 PoA는 [-𝛅, 𝛅] 내부에 있는 이 분포의 비율을 측정합니다. 이러한 모든 방법은 유사하지만 미묘하게 다른 방식으로 θ ∈ [-𝛅, 𝛅] 진술에 유리한 증거를 정량화합니다.
PoA는 학교에서 가르치나요? 그건 언제 시작 했습니까?
제가 아는 한, PoA는 아직 강좌에서 가르치지 않습니다. 이 아이디어는 매우 간단하며 이를 고려한 최초의 사람은 아닐 것으로 예상됩니다. 따라서 이 아이디어가 처음으로 구현된 시기가 언제인지 확실하게 말할 수 없습니다. 그러나 나와 공동 작업자가 구축하기 시작한 프레임워크는 대략 2015년에 시작되었습니다.
이는 실질적 동등성을 명시적으로 설명하는 방법론을 가르칠 때 더 일반적으로 발생하는 문제입니다. 이러한 방법론(예: 동등성 테스트)은 입문 과정에서 거의 가르치지 않습니다. 이러한 종류의 방법을 광범위하게 수용하려면 교육학의 패러다임 전환이 필요하며, 이는 통계적 중요성과 실제적 중요성과 관련하여 통계학 분야에서 경험하고 있는 패러다임 전환에 의해 일어날 수 있기를 바랍니다.
"HDI"은(는) 무슨 뜻인가요?
HDI는 "최고 밀도 간격"의 약어입니다. 일반적으로 HDI는 밀도가 가장 높은 일변량 분포 지원의 하위 집합입니다 [6] . 이 아이디어는 베이지안 추론에서 특정 유형의 사후 신뢰 구간으로 일반적으로 사용됩니다. 예를 들어 모수 θ에 대한 사후 분포를 고려하고 구간 [L, U ]를 고려합니다. 이는 분포의 95%를 포함하므로 θ를 포함합니다. 확률은 0.95입니다. 이러한 간격은 고유하지 않습니다. 95% HDI는 확률 0.95의 θ를 포함하는 가장 짧은 구간입니다.
"이분산성"이라는 용어를 어떻게 정의합니까?
일반적으로 이분산성은 일정하지 않은 분산을 의미합니다. 대조적으로, 등분산성은 일정한 분산을 의미합니다. 측정 시스템 비교 맥락에서 이분산성은 측정 시스템의 가변성(즉, 반복성)이 고정된 상수가 아닐 수 있기 때문에 관련이 있습니다. 대신 측정 중인 항목의 기능일 수도 있습니다. 예를 들어, 측정 중인 항목이 크거나 작을 경우 측정값이 다소 가변적일 수 있습니다. 그러나 동분산성과 이분산성의 구별은 더 광범위하게 관련됩니다. 예를 들어, 최소 제곱 회귀 분석 내 추론은 이분산성이 있는 경우 분산 안정화 변환(예: 로그 변환)이 필요한 일정한 분산 가정을 기반으로 합니다.
비율을 기준으로 일치도/비열등성을 평가하는 경우 특별히 고려해야 할 사항이 있나요?
PoA(및 관련 비교 확률 측정항목)는 가산적 차이 C 1 - C 2 또는 상대 차이 C 1 /C 2 에 대해 정의될 수 있습니다. C 1 /C 2 의 분포를 정확하게 지정하는 것 외에도 비율을 사용할 때 고려해야 할 유일한 다른 주요 고려 사항은 실제 동등성 및 그에 따른 실제 동등성(또는 비열등성) 영역을 정의하는 방법입니다.
이 경우 C 1 /C 2 여부를 판단하면 1과 실질적으로 다른 점이 흥미롭습니다. 따라서 실제 동등 영역을 [(1 + δ) -1 , 1 + δ] 로 정의하는 것이 합리적입니다. 여기 어디야 𝛅 100𝛅%의 백분율 증가가 실질적으로 중요한 가장 작은 증가라는 사실을 인식하여 선택되었습니다. 이러한 간격은 상대 척도에서 1을 중심으로 대칭이며 그룹 1과 그룹 2의 (잠재적으로 임의적인) 라벨링에 불변합니다. 그런 다음 PoA는 다음과 같이 정의됩니다.
Cox 모델의 동등성 한계는 어떻게 정의합니까? Cox 모델에서 동등성 한계를 어떻게 사용합니까?
PoA는 특별히 Cox 비례 위험 모델과 함께 사용하도록 개발되지 않았지만 확실히 가능할 수 있습니다. 이 경우 등가 마진을 정의하려면 두 위험 함수가 실질적으로 관련되기 전에 얼마나 달라야 하는지(추가적 또는 상대적 척도에서) 생각해야 합니다. 이 동등성 마진은 상수일 수도 있고 모형의 공변량에 따라 달라질 수도 있습니다. 이와 관련하여 뉘앙스와 유연성이 있습니다. 나는 누군가가 이러한 방법론적 발전을 추구할 것을 촉구합니다. 매우 유용할 수 있습니다.
모델을 평가하기 위해 이러한 방법을 사용하는 기후 모델러를 알고 계십니까?
구체적으로 아니죠. 내가 알고 있는 가장 가까운 것은 Ledwith et al.의 최근 논문입니다. (2023) [7] 은 합의 확률을 사용하여 계산 모델을 보다 일반적으로 검증합니다. 그러나 나는 이와 같은 방법론이 기후 모델 평가에 유용할 수 있다고 기대합니다.
이 유연하고 강력한 개념에 대해 시간을 내어 자신의 생각을 더 많이 공유해 주신 Nathaniel에게 감사드립니다. 실시간 스트리밍을 놓치셨다면 이 통계적으로 말하기의 주문형 에피소드를 확인하세요.
[1] https://www.tandfonline.com/doi/full/10.1080/00031305.2018.1537893
[2] https://www.routledge.com/Testing-Statistical-Hypotheses-of-Equivalence-and-Noninferiority/Wellek/p/book/9781439808184
[삼] https://www.tandfonline.com/doi/full/10.1080/00031305.2018.1564697
[4] https://psycnet.apa.org/record/2012-18082-001
[5] 베이지안 PoA는 여기서도 유용하지만 논의 범위를 좁히기 위해 빈도주의 버전에 초점을 맞추겠습니다.
[6] 최고 밀도 영역(HDR)은 다변량 아날로그입니다.
[7] https://asmedigitalcollection.asme.org/verification/article/8/1/011003/1156689/Probaries-of-Agreement-for-Computational-Model
