<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />
안녕,
저는 현재 분포에서 자동으로 이상값을 추출하는 방법을 찾고 있습니다.
JMP 데이터 테이블에서 Dixon의 Q 테스트를 실행하는 스크립트를 갖고 있는 사람이 있는지 궁금합니다.
미리 감사드립니다.
제롬
저희 스크립트를 이용해 주셔서 감사합니다. 유용하다니 기쁘네요. File Exchange를 사용하는 많은 이유 중 하나는 JMP를 보완하는 유용한 도구를 제공하기 위해서입니다. 이 특이치 테스트를 JMP에 내장하려면 여기 JMP 커뮤니티의 JMP 위시 리스트를 방문하여 요청하세요. 먼저 검색해 본 다음(저는 아직 검색하지 않았습니다) 해당 요청이 이미 제출된 경우 해당 요청에 투표하여 가능성을 높일 수 있습니다.
나는 당신이 인용한 논문(Rorabacher 1991)을 몰랐기 때문에 그것이 내 대본의 기초가 아니었습니다. 하지만 나는 그가 인용한 출처 중 하나를 사용했습니다. 비록 Rorabacher가 사용한 것보다 새로운 판이기는 하지만 나는 Bartlett and Lewis(1994)를 사용했습니다. 나는 그러한 테스트가 중요하고 유용할 수 있다는 그의 의견에 동의합니다. 나는 더 많은 과학자들이 그것이 무엇을 의미하는지, 그리고 그것을 적절하게 사용하는 방법을 배웠으면 좋겠다. 나는 일반적으로 테스트 중 하나가 "통계적으로 유의미"할 때까지 테스트가 적용되는 "p-값 낚시"라고 부르는 동작을 봅니다. 이 동작은 이상값 테스트에서 특히 만연합니다.
테스트는 수십 년 동안 개발되고 재검토되었습니다. 컴퓨팅 기술과 통계 이론의 개선은 기존 방법에 도움이 되므로 우리 모두에게 도움이 됩니다.테스트는 객관적인 기반이지만 주관적인 선택에 의존합니다.
- 특이치를 합리적으로 테스트하기 위한 최소 표본 크기는 얼마입니까?
- 제1종 오류와 제2종 오류의 어떤 위험을 감수할 의향이 있습니까?
- 테스트의 가정이 얼마나 잘 충족되었나요?
- 가정이 얼마나 잘 충족되는지 얼마나 잘 확인할 수 있습니까?
- 어떤 테스트를 사용해야 합니까? 즉, 이러한 데이터에 작용하는 특정 오염 프로세스에 대한 나의 믿음은 무엇입니까?
구체적인 문제에 대해서는 다음과 같이 말씀하셨습니다. 첫 번째 문제는 스크립트의 임계 값이 단측 테스트를 참조하는 것처럼 보이거나 0.05 옵션을 선택할 때 실제로 CL이 90%라는 것입니다. 참고하세요 로라바허 특히 중요한 가치 목록의 경우 95% CL의 경우. "
스크립트를 주의 깊게 검토한 결과 95% 및 99% 신뢰도에 대해 올바른 임계 값 세트를 사용하고 있음을 확인했습니다. 나는 스크립트의 결과와 일치하는 게시된 예제를 추가로 테스트했습니다.
또한 스크립트에서 제공하는 첫 번째 테스트("상위 또는 하위 특이치")만 양면 테스트로 올바르게 적용됩니다. 다른 모든 테스트는 단측 테스트이므로 이러한 테스트에 대해 알파를 두 배로 늘리거나 양측 신뢰 구간을 사용하는 것은 의미가 없습니다. Rorabacher는 141페이지에서 이런 실수를 한 것 같습니다. 모든 검정이나 신뢰구간 구성에서 귀무가설과 대립가설을 명확히 하는 것이 중요합니다.
당신은 " 첨부된 예에서 값 11.66은 분명히 이상치입니다. "
그렇게 간단하고 명확했으면 좋겠습니다. 분석 화학자로서 근무하면서 나는 관찰을 특이치라고 부르고 싶었지만 단 3개의 관찰에만 기초하여 그러한 호출은 타당하지 않은 경우를 많이 보았습니다. 두 개의 음수 값이 이상값이 아닌지 어떻게 알 수 있나요? 모집단의 표본에서 볼 수 있는 것과 같은 무작위 변이는 놀랍지만 여전히 유효한 관찰을 제공할 수 있습니다. 모집단에 대한 사전 지식을 사용하여 테스트를 강화할 수 있지만 이러한 테스트에서는 표본 외부 정보를 사용하지 않습니다.
임계값을 사용하면 관측값이 이상값이거나 이상값이 아니라는 환상을 만들 수도 있습니다. 사실 이러한 테스트에 사용된 거리가 멀수록 증거는 더욱 강력해집니다. 그것은 믿음의 지속적이고 비선형적인 변화입니다.
당신은 " 스크립트가 표시하는 임계 값은 Q0=1이며 실제로는 0.971이어야 하며 테스트 결과와 비교할 때 Q=0.98은 이상값을 나타내야 합니다. "
Rorabacher는 수십 년에 걸쳐 얼마나 다양한 임계값이 나타났는지를 지적하므로 "사실 0.971이어야 한다"고는 말할 수 없습니다. 각 저자는 위에서 언급한 바와 같은 주관적 선택을 바탕으로 비판적 가치를 발전시키기 위한 정직한 노력을 보여주었습니다. 0.971이라는 값은 이러한 테스트에 대한 또 다른 주관적인 선택을 나타냅니다. 나는 그 출처에 대한 나의 선택을 지지합니다. q0 스크립트에서 사용하는 값입니다. 하지만 대신 Rorabacher의 값을 선호한다면 스크립트를 수정하는 것이 좋습니다. 스크립트의 장점 중 하나는 JMP 개발자가 기능을 추가하거나 향상할 때까지 기다릴 필요가 없다는 것입니다.
안녕하세요 마크님,
매우 유용한 Dixon 테스트용 스크립트를 제공해 주셔서 감사합니다. Dixon 테스트를 실행하는 기능이 JMP의 표준 기능이 되기를 바랍니다. 나는 이 스크립트를 보고 있었는데 뭔가 빠진 것이 없다면 두 가지 문제가 있을 수 있다고 생각합니다.
이를 보여주기 위해 첨부된 예와 같이 세 개의 숫자가 포함된 양측 테스트(목록의 첫 번째 옵션)를 사용했습니다.
첫 번째 문제는 스크립트의 임계 값이 단측 테스트를 참조하는 것처럼 보이거나 0.05 옵션을 선택할 때 실제로 CL이 90%라는 것입니다. 참고하세요 로라바허 특히 중요한 가치 목록의 경우 95% CL의 경우.
첨부된 예에서 값 11.66은 분명히 특이치이며 단측 또는 양측 테스트를 사용하는 경우 이를 감지해야 합니다. 스크립트가 표시하는 임계 값은 Q0=1이며 실제로는 0.971이어야 하며 테스트 결과와 비교할 때 Q=0.98은 이상값을 나타내야 합니다.
다시 한 번 정말 감사드립니다. 귀하의 의견에 감사드립니다.
스크립트와 자세한 사용자 가이드를 제공해 주신 Mark에게 감사드립니다!
이제 Grubbs 테스트와 Dixon Q 테스트용 스크립트를 새로운 JMP File Exchange에서 사용할 수 있습니다.
Grubbs의 특이치 검정
특이치에 대한 Dixon Q 테스트
스크립트가 거의 완성되었습니다. 작동 및 계산을 검증하고 더 많은 조회 테이블을 추가하고 있습니다. 가능한 한 빨리 JMP 사용자 커뮤니티의 파일 교환소에 제출하겠습니다. Grubb 테스트를 위해 완성한 스크립트도 제출하겠습니다.
