사물을 비교하는 것은 일상 생활에서 흔히 볼 수 있는 일입니다. 레시피의 재료가 누락된 경우 좋은 대체품이 될 수 있는 다른 재료가 준비되어 있을 수 있습니다. 데이터가 필요한 비교 결정의 경우 구형 기계가 연구실이나 공장의 새 기계와 비슷한 성능을 발휘하는지 궁금할 수 있습니다. 오래된 기계를 수리하거나 교체할 시기입니까, 아니면 계속 사용하기에 성능이 "충분히 좋은" 것입니까? 그리고 이 맥락에서 "충분히 좋다"는 것이 무엇을 의미하는지 어떻게 정량화할 수 있을까요?
일반적으로 두 가지를 비교하려면 번거롭고 종종 직관적이지 않은 가설 테스트를 사용해야 합니다. 그러나 단순히 귀무가설을 기각하거나 기각하지 못하는 것은 우리가 대답하고자 하는 질문을 충분히 다루지 못할 수 있습니다. 그렇다면 두 가지가 동일한지, 유사한지 또는 다른지를 보다 효과적으로 판단할 수 있는 방법은 무엇입니까? 그 답은 평가를 위한 PoA(probability of agreement) 방법론을 사용하여 찾을 수 있습니다. 현실적인 이는 Nathaniel Stevens의 전문 분야 중 하나입니다. 그는 우리의 가장 최근 게스트였습니다. 통계적으로 말하면 , 이 강력하고 유연한 프레임워크에 대해 자세히 알게 되어 기뻤습니다.
Nathaniel은 워털루 대학의 통계 및 계리학과 조교수입니다. 그는 여러 상을 수상했으며, 가장 최근에는 베이지안 일치 확률에 대한 연구로 2023년 American Society of Quality Feigenbaum 메달과 2021년 Søren Bisgaard Award를 수상했습니다.
대답할 시간보다 더 많은 질문이 있었기 때문에 Nathaniel은 여기에서 자신의 전문 지식을 더 많이 공유하는 데 친절하게 동의했습니다.
PoA 프레임워크의 한계는 무엇입니까?
프레임워크는 동등성 임계값 𝛅에 크게 의존합니다. 따라서 이것은 신중하게 결정해야 할 사항입니다. 특정 설정에서는 이 작업을 수행하기 어려울 수 있습니다. 그리고 주의 깊게 고려하지 않으면 원하는 결과를 위해 부도덕하게 선택할 수 있습니다. 따라서 문제 상황을 인식하여 해당 𝛅를 선택하는 것이 필수적입니다.
PoA는 전통적인 가설 테스트에서 사용되는 0.05 임계값 대신 유의 수준을 0.1(예:)로 변경하는 것과 동일합니까?
아니요, PoA 분석과 가설 테스트 간의 관계는 그리 간단하지 않습니다. PoA의 많은 화신이 존재하지만 정량화하는 것과 증거의 다른 측정과 어떻게 관련되는지에 대한 직관을 구축하는 데 도움이 되도록 매개변수 θ가 [-𝛅, 𝛅 ].
이것은 (예를 들어) 2세대 p-값으로 수행될 수 있습니다. [1] , 동등성 검정 [2] , 간격 기반 방법 [삼], [4] 또는 빈도주의적 합의 확률 [5] . 이러한 모든 접근 방식은 서로 다른 방법으로 특히 간격 [-𝛅, 𝛅]과 관련하여 θ-hat의 샘플링 분포의 위치와 분산을 특성화하려고 합니다. 간격 기반 방법은 θ에 대한 신뢰 구간이 [-𝛅, 𝛅] 외부 또는 내부에 있는지 확인하는 경향이 있습니다. 2세대 p-값은 이러한 통계적 간격이 겹치는 정도[-𝛅, 𝛅]를 측정합니다. 2개의 단측 테스트(TOST)와 관련된 p-값은 θ-hat의 샘플링 분포 비율을 집계하여 측정합니다. [-𝛅, 𝛅] 밖에 있는 그리고 빈도주의자 PoA는 [-𝛅, 𝛅] 안에 있는 이 분포의 비율을 측정합니다. 이 모든 방법은 유사하지만 미묘하게 다른 방식으로 진술 θ에 유리한 증거를 정량화합니다. ∈ [-𝛅, 𝛅] .
PoA는 학교에서 가르치고 있습니까? 그건 언제 시작 했습니까?
내가 아는 한 PoA는 아직 코스에서 가르치지 않습니다. 아이디어는 매우 간단하며, 내가 처음으로 고려한 것은 아니라고 생각합니다. 따라서 이 아이디어의 첫 사례가 언제 구현되었는지 확실하게 말할 수 없습니다. 그러나 공동 작업자와 내가 구축하기 시작한 프레임워크는 대략 2015년에 시작되었습니다.
이는 실제적 동등성을 명시적으로 설명하는 방법론을 가르치는 경우 보다 일반적으로 문제가 됩니다. 이러한 방법론(예: 동등성 테스트)은 입문 과정에서 거의 가르치지 않습니다. 이러한 종류의 방법을 광범위하게 수용하려면 교육학의 패러다임 전환이 필요하며, 이는 통계적 대 실제적 중요성과 관련하여 통계 분야에서 경험하고 있는 패러다임 전환에 의해 이루어질 수 있기를 바랍니다.
"HDI"는 무엇을 의미합니까?
HDI는 "Highest Density Interval"의 약어입니다. 일반적으로 HDI는 밀도가 가장 높은 단변량 분포 지원의 하위 집합입니다. [6] . 이 아이디어는 베이지안 추론에서 특정 유형의 사후 신뢰 구간으로 일반적으로 사용됩니다. 예를 들어 매개변수 θ에 대한 사후 분포를 고려하고 간격을 고려합니다. [엘, 유 ] 분포의 95%를 포함하므로 θ를 포함합니다. 확률 0.95. 이러한 간격은 고유하지 않습니다. 95% HDI는 최단 확률이 0.95인 θ를 포함하는 구간.
"이분산성"이라는 용어를 어떻게 정의합니까?
일반적으로 말하면, 이분산성 일정하지 않은 분산을 말합니다. 대조적으로, 동분산성 일정한 분산을 말합니다. 측정 시스템 비교 맥락에서 이분산성은 측정 시스템의 가변성(즉, 반복성)이 고정된 상수가 아닐 수 있기 때문에 관련이 있습니다. 대신 측정하는 항목의 기능일 수 있습니다. 예를 들어, 측정되는 항목이 크거나 작은 경우 측정값이 더 많거나 적을 수 있습니다. 그러나 동분산성과 이분산성의 구분은 더 광범위하게 관련이 있습니다. 예를 들어, 일반 최소 제곱 회귀 내 추론은 이분산성이 있는 경우 분산 안정화 변환(예: 로그 변환)의 필요성을 발생시키는 일정한 분산 가정에 근거합니다.
비율을 기준으로 합치/비열등성을 평가할 때 특별히 고려해야 할 사항이 있습니까?
PoA(및 관련 비교 확률 메트릭)는 추가 차이와 관련하여 정의할 수 있습니다. 씨 1 - 씨 2 또는 상대적 차이 씨 1 /씨 2 . 분포를 정확하게 지정하는 데 주의를 기울이는 것 외에도 씨 1 /씨 2 , 비율로 작업할 때 유일한 다른 주요 고려 사항은 실질적 동등성을 정의하는 방법이며 따라서 실질적 동등성(또는 비열등성) 영역입니다.
이 경우 여부를 판단하는 씨 1 /씨 2 1과 실질적으로 다릅니다. 따라서 실질적 동등성의 영역을 다음과 같이 정의하는 것이 합리적입니다. [(1 + δ) -1 , 1 + δ] 여기 어디𝛅 100𝛅%의 백분율 증가가 실질적으로 중요한 최소값이라는 사실을 인식하여 선택되었습니다. 이러한 간격은 상대 척도에서 1을 기준으로 대칭이며 그룹 1 대 그룹 2의 (잠재적으로 임의적인) 라벨링에 대해 불변입니다. PoA는 다음과 같이 정의됩니다.
Cox 모델에 대한 동등성 한계를 어떻게 정의합니까? Cox 모델에서 동등성 한계를 어떻게 사용합니까?
PoA는 특별히 Cox 비례 위험 모델과 함께 사용하도록 개발되지 않았지만 확실히 ~할 수 있었다 BE. 이 경우 등가 마진을 정의하려면 실질적으로 관련되기 전에 두 가지 위험 함수가 얼마나 다른지(가산적 또는 상대 척도에서) 생각해야 합니다. 이 등가 마진은 상수이거나 모델의 공변량에 따라 달라질 수 있습니다. 이와 관련하여 뉘앙스와 유연성이 있습니다. 나는 누군가에게 이 방법론적 발전을 추구할 것을 촉구합니다. 그것은 매우 유용 할 수 있습니다.
이러한 방법을 사용하여 모델을 평가하는 기후 모델러를 알고 있습니까?
구체적으로 아닙니다. 내가 아는 가장 가까운 것은 Ledwith et al의 최근 논문입니다. (2023) [7] 보다 일반적으로 계산 모델을 검증하기 위해 합의 확률을 사용합니다. 그러나 이와 같은 방법론이 기후 모델 평가에 유용할 수 있을 것으로 기대합니다.
시간을 내어 이 유연하고 강력한 개념에 대한 자신의 생각을 더 많이 공유해 준 Nathaniel에게 감사드립니다. 생중계를 놓치셨다면 온디맨드를 확인하세요 삽화 이것의 통계적으로 말하면.
[1] https://www.tandfonline.com/doi/full/10.1080/00031305.2018.1537893
[2] https://www.routledge.com/Testing-Statistical-Hypotheses-of-Equivalence-and-Noninferiority/Wellek/p/book/9781439808184
[삼] https://www.tandfonline.com/doi/full/10.1080/00031305.2018.1564697
[4] https://psycnet.apa.org/record/2012-18082-001
[5] 여기서도 베이지안 PoA가 유용하겠지만 논의 범위를 좁히기 위해 빈도주의 버전에 초점을 맞추겠습니다.
[6] HDR(Highest Density Regions)은 다변량 아날로그입니다.
[7] https://asmedigitalcollection.asme.org/verification/article/8/1/011003/1156689/Probabilities-of-Agreement-for-Computational-Model
