Logistic Analysis > Receiver Operator Curve Analysis: 데이터 구조, 분포 및 샘플링에 대한 가정은 무엇입니까?안녕하세요 JMP 커뮤니티,
로지스틱 분석(예: Y = 범주형 및 X = 연속형)을 수행할 때 특히 ROC 분석과 관련하여 데이터 구조, 분포 및/또는 샘플링 방법에 대한 가정이 있습니까?
구체적으로, 치료에 대한 반응의 예측 변수를 식별하기 위한 임상 연구에서 나는 동료 중 일부가 반응 분포의 "중간"을 제외하고 최상의 반응과 최악의 반응을 보이는 환자를 선택한다는 사실을 알게 되었습니다. 후보 예측자를 식별하면 AUC가 상당히 부풀려진 것처럼 보이는 ROC 분석(동일한 편향 데이터 세트)을 생성합니다.따라서 의도적으로 환자를 선택하는 것이 ROC 분석에 내장된 통계적 가정을 위반하는 것입니까?
도와주셔서 감사합니다.
최상의,
TS
해석학Re: Logistic Analysis > Receiver Operator Curve Analysis: 데이터 구조, 분포 및 샘플링에 대한 가정은 무엇입니까?아마도 누군가는 동료들에게 접근 방식의 타당성과 엄격성에 대해 질문해야 할 것입니다. 어떤 통계적 원리에 기반을 두고 있습니까? 이 접근법의 위험은 무엇입니까? 매개 변수, AUC 및 기타 데이터 종속 결과의 추정치에 어떤 편향이 있습니까? 동료가 통계 분석 전문가입니까? 접근 방식을 검증하기 위해 자격을 갖춘 전문가를 초대했습니까?
(또한 그러한 관행은 물류 모델 매개변수에 대한 불안정한 추정으로 이어지는 분리 또는 준 분리 문제를 일으킬 수 있음을 유의하십시오. 이 문제에 대해 이미 알고 계실 수도 있습니다.)
초창기 시절이 생각난다. 애드 혹 마이크로어레이의 데이터 분석...
Re: Logistic Analysis > Receiver Operator Curve Analysis: 데이터 구조, 분포 및 샘플링에 대한 가정은 무엇입니까?안녕 마크,
귀하의 피드백에 감사드립니다. 이것이 제가 질문을 한 이유입니다. 저는 이 편향된 접근 방식으로 불합리한 기대치를 설정하는 것에 대해 정말로 우려하고 있습니다. 대표적인 환자 모집단(무작위 선택)을 사용하여 ROC 분석 데이터를 제시할 때, 저는 종종 체리 피킹 동료의 결과가 훨씬 "강하다"는 말을 듣습니다. 따라서 내 부분에 대한 확실한 정당화가 필요합니다.
최상의,
TSRe: Logistic Analysis > Receiver Operator Curve Analysis: 데이터 구조, 분포 및 샘플링에 대한 가정은 무엇입니까?사용 사례가 환자 결과를 포함하지 않더라도 바이오마커 분포의 중간을 생략하면 민감도와 특이도의 추정치가 부풀려질 것입니다. 데이터에 대해 이러한 제외를 수행할 필요나 이유가 없습니다. 나중에 모든 데이터가 사용되었을 때 성능이 훨씬 낮거나 재현할 수조차 없다는 것을 알기 위해 기다릴 필요가 있습니까? 이 관행은 잘못된 기대치를 설정합니다.
Re: Logistic Analysis > Receiver Operator Curve Analysis: 데이터 구조, 분포 및 샘플링에 대한 가정은 무엇입니까?안녕,
의견을 보내 주셔서 감사합니다. 명확히 하기 위해, 제 원래 게시물에 인용된 예는 임상 개발이 아니라 탐색적 바이오마커 연구에 관한 것입니다. 환자의 건강에 대한 의사 결정은 결코 그런 식으로 수행되지 않습니다.
최상의,
TSRe: Logistic Analysis > Receiver Operator Curve Analysis: 데이터 구조, 분포 및 샘플링에 대한 가정은 무엇입니까?Re: Logistic Analysis > Receiver Operator Curve Analysis: 데이터 구조, 분포 및 샘플링에 대한 가정은 무엇입니까?이것은 복잡한 질문이지만 간단한 대답은 "예, 데이터가 ROC 곡선을 왜곡할 수 있습니다"입니다.그 이유는 ROC 곡선이 예측 모델을 기반으로 하며 해당 모델을 생성하는 데 "잘못된" 데이터가 사용된 경우 ROC 곡선도 좋지 않기 때문입니다.
ROC 곡선은 모델에 대한 다양한 임계값을 사용하여 결정 규칙(이산 이진 결과 Y=0|1을 예측하는 규칙)의 민감도와 특이성을 검사하는 방법입니다.모델(M)은 수치적인 출력 값을 가지고 있다고 가정하고 다음 규칙을 사용하여 임계값(T)을 기반으로 결정을 내립니다.
If(M > T) --> 예측 Y=1, 그렇지 않으면 --> 예측 Y=0.
ROC를 사용하면 임계값이 분류에 미치는 영향을 확인할 수 있으며 일반적으로 ROC 곡선 아래 영역이 높을수록 모델이 잠재적 임계값 범위에서 올바른 분류를 수행할 수 있는 능력이 향상됩니다.
기본 데이터 또는 배포에 대해 다른 가정은 실제로 이루어지지 않습니다.
