여러 방법 간의 민감도와 특이도를 어떻게 비교합니까?안녕하세요 여러분
참조 방법과 세 가지 대체 방법에 대한 데이터가 있습니다. 각 행에 대해 표본이 참양성(TP), 위양성(FP), 참음성(TN) 또는 위음성(FN)인지 나타내는 세 가지 대체 방법 각각에 대한 열이 있습니다. 민감도(TP/(TP+FN)), 특이도(TN/(TN+FP)), 양성예측도(TP/(TP+FP)), 음성예측도에 대한 세 가지 방법의 유의차를 평가하고 싶습니다. (TN/(TN+FN)) 및 정확도((TP+TN)/전체).
서로 다른 방법이 서로 크게 다른지 알 수 있도록 공식에서 요약 통계를 어떻게 만들 수 있습니까?
모린
고급 통계 모델링데이터 탐색 및 시각화Re: 여러 방법의 민감도와 특이도를 어떻게 비교하나요?안녕 @모린 ,
이익 매트릭스나 비용에 민감한 학습과 같은 작업을 원하는 것 같습니다. 이는 적합 모델 플랫폼에서 명목상 로지스틱 적합을 수행하여 수행됩니다.
그렇지 않으면 민감도, 특이성 등의 요약 통계에 대한 p-값을 결정할 수 있도록 각 방법에 대한 충분한 통계를 수집하기 위해 실험을 여러 번 반복해야 합니다.
예를 들어 실험 1의 실행 결과는 다음과 같습니다.
참조 = TP
A = FP
B = TP
C = FN
그러나 실행 1을 다시 반복하면(다른 모든 실행을 수행한 후) 다음과 같은 결과를 얻을 수 있습니다.
참조 = TP
A = FP
B = FN
C = TP
이로 인해 다양한 방법에 대해 실행 1의 수치 개수가 달라집니다. 결과적으로, Y축을 X로 맞춤(여기서 y축은 각각의 서로 다른 실행에 대한 개수이고 x축은 서로 다른 방법(ref, a, b, c)임)을 수행하면 각 방법은 (참조 방법 제외) 개수가 분산되어야 하며 이로 인해 요약 통계가 약간 달라집니다. ANOVA는 요약 통계의 평균과 표준 편차를 조사하여 방법 간에 유의미한 차이가 있는지 확인합니다. 네 가지 다른 방법을 비교하므로 Student's-t보다는 Tukey-Kramer 평균 분석을 수행하는 것이 좋습니다.
또 다른 옵션은 Bland-Altman 분석을 조사하는 것입니다. TP, TN, FP, FN을 실제 숫자 값으로 다시 코딩해야 합니다. 예를 들어 참조 여기 . 이 분석은 (기준에 대한) 한 가지 방법의 차이를 비교하고 측정에 대한 기준의 평균과 비교합니다. 즉, DIF = Ref-A(y축) 및 AVG = (Ref+A)/2(x축)를 살펴봅니다. FP, TN 등 또는 요약 통계에 대해 이 분석을 수행할 수 있습니다.
행 수(실험 실행)에 따라 첫 번째 단락과 같은 분석을 수행하는 것이 더 나을 수도 있다고 생각합니다.
앞서 언급했듯이 데이터 테이블을 공유할 수 있다면(언제든지 익명화할 수 있음(테이블 > 익명화)) 정확히 어떻게 도움을 줄 수 있는지 결정하는 것이 훨씬 쉬울 것입니다.
행운을 빌어요!,
DS
Re: 여러 방법의 민감도와 특이도를 어떻게 비교하나요?감사합니다. 이 모든 것은 설명대로 작동합니다. 그러나 나는 이러한 요약 통계 방법 간에 상당한 차이가 있는지 통계적으로 증명할 수 있는 방법을 원합니다.
입력을 사용하여 분할표를 작성할 수 있지만 각 요약 통계는 두 입력의 조합이므로 FP 수의 중요한 차이가 이를 사용하는 두 계산(특이성과 양수)에서 중요한 차이로 해석되는지 확실하지 않습니다. 예측 가치)
Re: 여러 방법의 민감도와 특이도를 어떻게 비교하나요?안녕 @모린 ,
귀하의 데이터가 어떻게 구성되어 있는지 이해하고 있는 것 같습니다. 그렇게 하고 각 방법의 통계적 평가를 어떻게 요약하려고 하는지 이해한다면 올바른 형식으로 가져오기 위해 데이터 테이블을 조작해야 할 것입니다. 내가 할 일은 다음과 같습니다.
- "그룹" 항목에 TP, FP, TN, FN이 포함된 열을 넣은 다음 해당 행이 참조, 방법 A, 방법 B 또는 방법 C인지 여부에 대한 정보가 포함된 열을 배치하는 누적 데이터 요약을 만듭니다. "하위 그룹"으로 지정합니다("원본 데이터 테이블에 대한 링크" 상자를 선택 취소해야 함). 이렇게 하면 FN, TN 등의 문자 열, 해당 값이 있는 행 수를 나타내는 "N 행" 열, 그리고 N(방법 A), N(방법)과 같은 이름을 가진 다른 여러 열이 있는 새 데이터 테이블이 생성됩니다.
, N(참조) 등. 이 열에는 각 TP, FP, TN, FN 이벤트의 수가 포함됩니다. - 그런 다음 이 테이블을 전치해야 합니다. "열 전치" 선택 항목에 "N(무엇의 이름)"이라는 제목의 모든 열을 넣은 다음 "레이블"에 대해 TP, TN 등의 값. 그러면 "Label"이라는 열이 있는 새 데이터 테이블이 생성됩니다. 여기에는 이전 테이블의 열 이름(예: "N(method A)" 등)이 포함됩니다. 이제 이름이 "TP", "TN", "FP", "FN"인 열이 있으며 각 행에는 특정 방법에 대해 특정 이벤트가 발생한 횟수가 포함됩니다.
- 이제 통계 요약 열을 수식으로 생성해 보겠습니다. 특이성은 계산하려는 각 요약 통계에 대해 TP/(TP+FN) 등이 됩니다.
- 마지막 단계는 Fit Y by X 플랫폼을 사용하여 플롯하는 것입니다. "레이블" 열을 X 요인("N(방법 A)" 등과 같은 값을 포함하는 열)으로 사용하고 요약 통계(민감도, 특이성 등)를 Y 응답으로 사용합니다. 안타깝게도 이는 요약 통계이고 각 행의 통계를 살펴보지 않으므로 데이터에 대한 분산 분석을 수행할 수 없습니다. 각 방법의 전체적인 그림과 각 방법이 다양한 통계에 대해 얼마나 좋은지 확인할 수 있습니다.
문제를 올바르게 이해했기를 바랍니다. 다시 말하지만, 현재 있는 곳에서 원하는 곳으로 이동하는 방법을 정확히 알기 위해 데이터 구조를 볼 수 있으면 도움이 됩니다.
도움이 되었기를 바랍니다!,
DS
Re: 여러 방법의 민감도와 특이도를 어떻게 비교하나요?값은 말 그대로 "TP", "TN", "FP", "FN"과 같은 문자입니다. 따라서 민감도, 특이도 등의 계산은 각 행에 대해 계산되는 것이 아니라 값의 개수를 사용하는 방법에 대한 요약 통계입니다. 데이터가 쌓여 있고 4개 카운트에 대해 카이 제곱을 수행할 수 있지만 각 요약 통계는 사용 가능한 4개 옵션 중 2개만 사용하므로 TP 및 FN 수만 사용하여 카이 제곱을 수행하는 방법을 잘 모르겠습니다. 이는 TN과 FP를 카이 제곱의 전반적인 중요성에 포함시키지 않고 민감도를 계산하는 데 사용됩니다.
Re: 여러 방법의 민감도와 특이도를 어떻게 비교하나요?안녕 @모린 ,
이를 해결하는 방법에는 몇 가지가 있으며 테이블 레이아웃에 따라 다릅니다. 예를 들어 "방법"이라는 열이 있고 "참조", "Alt A", "Alt B" 등의 항목이 있을 수 있는 스택형인 경우 각 항목에 대한 통계 열을 생성합니다. 보고 있는 통계, 민감도, 특이성 등. 각 통계는 귀하가 가지고 있는 공식에 의해 계산됩니다. 그런 다음 민감도 등을 위해 누적 열에 대한 ANOVA를 수행합니다. ANOVA 분석은 A, B, C 등의 민감도에 상당한 차이가 있는지에 대한 아이디어를 제공합니다. 이를 누적하면 세 가지 대체 방법 각각이 참조 방법과 어떻게 비교되는지 확인하는 데 도움이 될 뿐만 아니라 그들은 모두 서로 비교합니다.
실험 실행에 따라 테이블이 행 단위로 정렬된 경우 분산 분석을 실행하기 위해 통계 열을 기준으로 쌓는 새 데이터 테이블을 생성할 수 있습니다.
데이터 구조와 진행하려는 위치를 더 잘 이해하기 위해 데이터 테이블을 공유(필요한 경우 익명화)할 수 있다면 특정 문제를 해결하는 것이 더 쉬울 수 있습니다.
궁금한 점은 TP, FN, TN, FP 값이 이진수 0 또는 1입니까, 아니면 범위가 0과 1 사이입니까? 또한 모든 실험 실행에서 통계(민감도 등)를 합산하여 집계 값을 비교하시겠습니까, 아니면 실행별로 평가하시겠습니까?
도움이 되었기를 바랍니다!,
DS
