안녕하세요 여러분,
저는 통계에 익숙하지 않으며 여기에 도움이 정말 필요합니다.
내 질문은 다음과 같습니다. 2개의 p-값이 < 5%인 등가 한계를 찾기 위해 동등성 테스트를 여러 번 수행하면 괜찮습니까?
아래와 같은 2개의 그룹 데이터가 있고 동일한지 다른지 테스트하고 싶습니다.
첫 번째 단계 t-test를 수행했고 Pvalue> 5%는 H0(Test= ref)를 거부하지 못했다는 것을 의미합니다. 다음 행동을 정의하는 데 별로 도움이 되지 않습니다.
따라서 실제 범위로 +/-0.1의 등가 한계를 사용하여 동등성 테스트를 수행합니다.
그러나 다시 결과는 정말 좋지 않습니다. 내 테스트 그룹이 REF 0.1 단위보다 높거나 낮다는 결론을 내릴 수 있습니다.
아직 다음 작업에 대한 유용한 결과가 아닙니다.
따라서 등가 한계 0.16 단위에 도달할 때까지 여러 번 증가하고 2 P-값 <5%를 갖습니다.
결과를 2 그룹으로 해석할 수 있는 것은 0.16 단위 범위에서 동일합니다.
내 TEST 그룹이 REF +/- 0.16 단위보다 높거나 낮을 수 있음을 의미합니다. (또는 동일할 수도 있음)
따라서 이 0.16 단위 더 높거나 낮은 전류가 다음 작업에 적합한 경우 가장 좋은 경우를 추정할 수 있습니다.
내 결론이 맞습니까? & 내가 그렇게 할 수 있습니까? 아니면 내가 P-hacking인가?
통계의 초보자는 당신의 도움이 필요합니다.
모두 감사합니다
안녕 @Justin_Bui ,
좋은 질문입니다. 하지만 p-hacking은 제쳐두고, 나는 당신이 동등성 테스트를 잘못 해석하고 있다고 생각합니다. 이런 것들이 혼란스러워, 나도 알아!
마지막 경우의 낮은 p-값은 두 그룹이 실질적으로 동일하다는 것을 알려줍니다. 추정된 차이 주변의 신뢰 범위는 +/- 0.16의 실제 범위 내에 있습니다.
도움말 문서 이 테스트에 유용해야 합니다.
이것이 도움이 되기를 바랍니다.
필
에 추가 @필_케이 , 수행할 테스트에 대해 명확하고 잘 정의된 질문이나 목적이 있어야 합니다. 귀하의 예는 p-hacking의 경우입니다. 이 테스트 중 하나만 귀하의 목적과 관련이 있습니다. 유리한 결과를 찾을 때까지 하나 이상의 테스트를 적용해서는 안됩니다. 한 번의 테스트로 충분하며 어느 쪽이든 답을 수락합니다.
개선을 위해 변경했다고 가정해 보겠습니다. 그런 다음 유의미한 차이에 대한 검정을 사용하려고 합니다. (귀무 가설 또는 '악마의 옹호자'는 변화나 개선이 없다는 것입니다.) 첫 번째 비교는 이러한 종류의 테스트의 예입니다.
대신, 아마도 당신은 변경했지만 그것이 아무런 차이가 없기를 바랍니다. 같은 결과를 계속 보기 위해 새 장비를 오래된 장비로 교체하는 것과 같습니다. 그런 다음 중요하거나 실용적인 동등성에 대한 검정을 사용하려고 합니다. 두 번째 비교 쌍은 이러한 종류의 테스트의 예입니다.
위험 수준은 일반적으로 사전에 설정됩니다. 테스트를 수행하면서 실질적인 차이나 유의 수준을 조정하는 것도 일종의 p-hacking입니다.
