여러 방법의 민감도와 특이도를 어떻게 비교합니까?모두 안녕
참조 방법과 세 가지 대체 방법에 대한 데이터가 있습니다. 각 행에 대해 표본이 참 양성 (TP), 거짓 양성 (FP), 참 음성 (TN) 또는 거짓 음성 (FN)인지 나타내는 세 가지 대체 방법 각각에 대한 열이 있습니다. 민감도 (TP / (TP + FN)), 특이성 (TN / (TN + FP)), 양성 예측값 (TP / (TP + FP)), 음성 예측값에 대한 세 가지 방법 간의 유의 한 차이를 평가하고 싶습니다. (TN / (TN + FN)) 및 정확도 ((TP + TN) / 합계).
다른 방법이 서로 크게 다른지 알 수 있도록 공식에서 요약 통계를 만들려면 어떻게해야합니까?
모린
해석학Re : 여러 방법의 민감도와 특이성을 어떻게 비교합니까?안녕하세요 뿡뿡 ,
이에 대해 몇 가지 방법이 있으며 테이블 레이아웃에 따라 다릅니다. 예를 들어 "Method"라는 레이블이 붙은 열이 있고 "reference", "Alt A", "Alt B"등의 항목이있을 수있는 경우 각 항목에 대한 통계 열을 만들 수 있습니다. 보고있는 통계, 민감도, 특이성 등. 각 통계는 보유한 공식으로 계산됩니다. 그런 다음 감도 등을 위해 누적 열에서 ANOVA를 수행합니다. ANOVA 분석을 통해 A 대 B 대 C 등의 민감도에 유의 한 차이가 있는지 알 수 있습니다.이를 쌓아두면 세 가지 대체 방법을 기준과 비교하는 방법뿐만 아니라 그들은 모두 서로 비교합니다.
테이블이 실험 실행에 의해 행 방향으로 정렬 된 경우 분산 분석을 실행하기 위해 통계 열을 기준으로 누적하는 새 데이터 테이블을 생성 할 수 있습니다.
데이터 구조와 이동하려는 위치를 더 잘 이해하기 위해 데이터 테이블을 공유 (필요한 경우 익명화) 할 수 있다면 특정 문제를 해결하는 것이 더 쉬울 수 있습니다.
호기심에서 TP, FN, TN, FP 값이 이진수 0 또는 1입니까, 아니면 0과 1 사이입니까? 또한 실험의 모든 실행에 대한 통계 (민감도 등)를 합산하여 집계 값을 비교하거나 실행별로 평가 하시겠습니까?
도움이 되었기를 바랍니다!,
DS
Re : 여러 방법의 민감도와 특이성을 어떻게 비교합니까?값은 문자 그대로 "TP", "TN", "FP", "FN"을 말하는 문자입니다. 따라서 민감도, 특이성 등의 계산은 각 행에 대해 계산 된 것이 아니라 값의 개수를 사용하는 방법에 대한 요약 통계입니다. 데이터가 쌓여 있고 4 개 카운트에 대해 카이 제곱을 수행 할 수 있지만 각 요약 통계는 사용 가능한 4 가지 옵션 중 2 개만 사용하므로 TP 및 FN의 수만 사용하여 카이 제곱을 수행하는 방법을 모르겠습니다. TN 및 FP를 카이 제곱의 전체 유의성에 포함시키지 않고 감도를 계산하는 데 사용됩니다.
Re : 여러 방법의 민감도와 특이성을 어떻게 비교합니까?안녕하세요 뿡뿡 ,
귀하의 데이터가 어떻게 구성되어 있는지 이해합니다. 그렇게하고 각 방법의 통계적 평가를 요약하는 방법을 이해한다면 올바른 형식으로 만들기 위해 데이터 테이블을 조작해야합니다. 내가 할 일은 다음과 같습니다.
- "그룹"항목에 TP, FP, TN, FN을 포함하는 열을 넣은 다음 행이 참조, 방법 A, 방법 B 또는 방법 C인지 여부에 대한 정보를 포함하는 열을 넣은 누적 데이터를 요약합니다. "하위 그룹"으로 ( "원래 데이터 테이블에 연결"상자를 선택 취소해야 함) 이렇게하면 FN, TN 등의 문자 열, 해당 값이있는 행 수를 나타내는 "N Rows"열과 N (Method A), N (method)과 같은 이름을 가진 다른 여러 열이있는 새 데이터 테이블이 생성됩니다.
, N (참조) 등. 이러한 열에는 각 TP, FP, TN, FN 이벤트의 개수가 포함됩니다. - 그런 다음이 테이블을 전치해야합니다. "열 전치"선택에 "N (이름)"이라는 모든 열을 넣은 다음 "레이블"에 대해 다음을 포함하는 열 ( "데이터"로 명명 될 수 있음)을 사용할 수 있습니다. TP, TN 등 값. 그러면 "Label"이라는 열이있는 새 데이터 테이블이 생성됩니다. 여기에는 이전 테이블의 열 이름, 즉 "N (method A)"등이 포함됩니다. 이제 이름이 "TP", "TN", "FP", "FN"인 열이 있으며 각 행에는 특정 메서드에 대해 특정 이벤트가 발생한 횟수가 포함됩니다.
- 이제 통계 요약 열을 수식으로 만듭니다. 특이성은 계산하려는 각 요약 통계에 대해 TP / (TP + FN) 등이됩니다.
- 마지막 단계는 Fit Y by X 플랫폼을 사용하여 플롯하는 것입니다. "라벨"열을 X 요인 ( "N (방법 A)"등과 같은 값을 포함하는 열)으로 사용하고 요약 통계 (민감도, 특이성 등)를 Y 응답으로 사용합니다. 불행히도 이것은 요약 통계이고 각 행의 통계를 보지 않기 때문에 데이터에 대한 ANOVA를 수행 할 수 없습니다. 각 방법에 대한 전체적인 그림과 각 방법이 서로 다른 통계에 대해 얼마나 좋은지 볼 수 있습니다.
문제를 올바르게 이해했으면합니다. 다시 말하지만, 데이터 구조를 확인하여 현재 위치에서 원하는 위치로 이동하는 방법을 정확하게 알 수 있습니다.
도움이 되었기를 바랍니다!,
DS
Re : 여러 방법의 민감도와 특이성을 어떻게 비교합니까?감사합니다. 이 모든 것이 설명대로 작동합니다. 그러나 이러한 요약 통계에 대한 방법간에 유의 한 차이가있는 경우 통계적으로 증명하는 방법을 원합니다.
입력 값으로 분할 표를 작성할 수 있지만 각 요약 통계는 두 입력 값의 조합이므로 FP 수의 유의 한 차이가이를 사용하는 두 계산 (특이성 및 양수)에서 유의 한 차이로 변환되는지 확실하지 않습니다. 예측 값)
Re : 여러 방법의 민감도와 특이도를 어떻게 비교합니까?안녕하세요 뿡뿡 ,
이익 매트릭스 또는 비용에 민감한 학습과 같은 것을하고 싶은 것 같습니다. 이는 적합 모델 플랫폼에서 명목상 로지스틱 적합을 수행하여 수행됩니다.
또는 민감도, 특이성 등의 요약 통계에 대한 p- 값을 결정할 수있는 각 방법에 대한 충분한 통계를 수집하기 위해 실험을 여러 번 복제해야합니다.
예를 들어 실험의 실행 1 결과가 다음과 같은 경우 :
참조 = TP
A = FP
B = TP
C = FN
그러나 실행 1을 다시 반복하면 (다른 모든 실행을 수행 한 후) 다음과 같은 결과를 얻을 수 있습니다.
참조 = TP
A = FP
B = FN
C = TP
이로 인해 다른 방법에 대해 실행 1에 대해 숫자 개수가 달라집니다. 결과적으로 Fit Y by X를 수행하면 y 축은 각 다른 런에 대한 개수이고 x 축은 다른 방법 (ref, a, b, c) 인 경우 각 방법 (참조 방법을 제외하고) 개수에 분산이 있어야하므로 요약 통계가 약간 달라집니다. ANOVA는 해당 요약 통계의 평균과 표준 편차를 조사하여 방법간에 유의 한 차이가 있는지 확인합니다. 네 가지 방법을 비교할 것이기 때문에 Student's-t 대신 Tukey-Kramer 평균 분석을 수행하고 싶을 것입니다.
또 다른 옵션은 Bland-Altman 분석을 조사하는 것입니다. TP, TN, FP, FN을 실제 숫자 값으로 다시 코딩해야합니다. 예를 들어 여기 . 이 분석은 한 방법 (참조에 대한)의 차이를 비교하고이를 측정에 대한 참조의 평균과 비교합니다. 즉, DIF = Ref-A (y 축) 및 AVG = (Ref + A) / 2 (x 축)가 표시됩니다. FP, TN 등 또는 요약 통계에서이 분석을 수행 할 수 있습니다.
행 수 (실험 실행)에 따라 첫 번째 단락과 같은 분석을 수행하는 것이 더 나을 것이라고 생각합니다.
앞서 언급했듯이 데이터 테이블을 공유 할 수 있다면 (항상 익명화 할 수 있습니다 (테이블> 익명화)), 정확히 어떻게 도울 수 있는지 결정하는 것이 훨씬 더 쉬울 것입니다.
행운을 빕니다!,
DS
