현재 시스템과 비교하여 판독 소프트웨어 검증좋은 아침이에요,
- 억제 직경을 측정하기 위한 소프트웨어 검증의 일환으로 우리는 현재 소프트웨어(ExploraNova)와 새로운 CirclesMeasure 소프트웨어를 사용하여 여러 분석의 일련의 판독을 수행하고 2개 소프트웨어에 대한 역가(%)를 얻었습니다.
예:
| | | 노바 탐색 | 원 측정 |
M11 / 바실러스 푸밀루스 | | | | |
| | GZ23AA2796-1,1 | 97,0 | % | 97,2 | % |
| | GZ23AA2796-1,2 | 96,7 | % | 95,9 | % |
| | GZ23AA2821-1,1 | 95,5 | % | 95,0 | % |
| | GZ23AA2821-1,2 | 94,5 | % | 93,6 | % |
| | GZ23AA2829-1,1 | 97,4 | % | 98,2 | % |
| | GZ23AA2829-1,2 | 97,1 | % | 96,2 | % |
귀하의 의견으로는 새 소프트웨어가 현재 소프트웨어와 비교하여 일관된 결과를 제공하고 따라서 사용할 수 있다고 말할 수 있는 가장 관련성이 높은 통계 테스트는 무엇입니까?
이전에는 소프트웨어 자격을 얻기 위해 둘 사이에 +/- 3%만 합의했지만 통계 테스트를 통해 이 질문에 답할 수 있는지 알고 감사 중에 품질 보증에 더욱 완전하고 성공적인 파일을 제출할 수 있는지 알고 싶었습니다.
도움을 주셔서 감사합니다.
감사합니다
알랭 폰토니에
기본 데이터 분석 및 모델링Re: 현재 시스템과 비교하여 판독 소프트웨어의 검증JMP에서 동등성 테스트에 대한 한 가지 생각은 다음과 같습니다.JMP에서의 동등성 테스트 .
Re: 현재 시스템과 비교하여 판독 소프트웨어의 검증안녕,
매우 감사합니다
저는 생물통계학자보다 기술적인 사람이기 때문에 JMP를 발견했습니다.
나는 이 해결책을 시도해 볼 것이다
Re: 현재 시스템과 비교하여 판독 소프트웨어의 검증초기 답변을 편집하려고 했지만 사용자 인터페이스 문제가 있었습니다... 그래서 몇 가지 추가 생각을 말씀드리겠습니다. 이런 작업에는 한 번에 모은 데이터 한 세트만 사용하는 것이 매우 조심스러울 것입니다. 두 측정 시스템은 얼마나 안정적일까요? 얼마나 많은 '노이즈'가 그러한 사람, 재료, 환경, 장비, 공급업체 등에 노출되었을까요? 따라서 시간 경과에 따른 프로세스 안정성 작업도 포함해야 합니다. 통제 차트는 여러분의 친구입니다.
제목: 현행 시스템과의 비교를 통한 판독 소프트웨어의 유효성 검증안녕하세요 @Alain04 님 ,
커뮤니티에 오신 것을 환영합니다!
@P_Bartell 님의 표본 크기와 대표성에 대한 의견에 전적으로 동의합니다. 여기에 제시된 데이터셋은 더 큰 데이터셋의 축소판일 뿐이라고 생각되지만, 비교의 신뢰성과 공정성을 확보하기 위해서는 수집된 데이터(및 생성 과정)에 주의를 기울여야 합니다. 테스트를 진행하기 전에 시각화부터 시작해 보세요. 상자 그림(box-plots)과 같은 시각화만으로도 충분할 수 있습니다.
제시하신 주제를 살펴보면, 목표에 따라 몇 가지 선택지가 있을 수 있습니다.
- @P_Bartell 님 이 제안하신 것처럼, 평균 차이가 실질적인 등가 구간 내에 있는지 또는 두 측정 시스템이 비교 불가능한지 분석하기 위해 등가성 검정을 수행할 수 있습니다. 그러나 등가성 검정은 t-검정을 기반으로 하므로 검증해야 할 몇 가지 가정이 있습니다( https://www.jmp.com/en_ch/statistics-knowledge-portal/t-test.html ).
- 연속 데이터
- 표본 데이터는 모집단에서 무작위로 추출되었습니다(따라서 이는 표본의 대표성 문제로 다시 돌아갑니다).
- 분산의 동질성이 존재합니다(각 그룹 내 데이터의 변동성이 유사합니다).
- 분포는 대략 정규분포를 따릅니다(백분율의 경우에는 그렇지 않을 수도 있습니다...).
여기에 제시된 데이터 세트는 일부 가정을 검증하기에 너무 작아서 이 부분에 대해서는 도움을 드릴 수 없습니다.
하지만 이 분석을 계속 진행하려면 두 측정값의 차이를 포함하는 수식 열을 만들고, 분포 플랫폼을 사용하여 차이 열의 분포를 표시한 다음, 빨간색 삼각형을 클릭하여 실질적 차이 3을 동등성 기준으로 하는 동등성 검정을 실행하세요(두 검정의 결과를 신뢰 수준 0.95로 표시하려면 가설 평균은 0, 신뢰 수준은 0.975로 설정하세요). 데이터 세트를 기준으로 다음과 같은 결과를 예상할 수 있습니다.
이 동등성 검정은 평균 차이만 검정하므로 두 측정 시스템 간의 분산 차이에 대한 정보는 제공하지 않는다는 점을 기억하십시오 (예를 들어 정밀도 향상을 강조하는 데 매우 유용할 수 있는 정보입니다).
- 데이터 테이블을 스택 형식으로 사용하면 플랫폼의 'Y를 X로 맞추기' 기능을 통해 다른 분석 옵션을 활용할 수 있습니다. 프로세스를 X로, 측정값을 Y로 사용하여 평균 차이(데이터 분포에 따라 스튜던트 t-검정 또는 비모수 검정)와 두 측정 프로세스 간의 분산 동등성("분산이 같지 않음")을 빨간색 삼각형 메뉴를 통해 검정할 수 있습니다. 수집할 수 있는 정보 유형은 다음과 같습니다.
분산의 동질성 검정 (평균 차이에 대한 Welsh 검정 포함):
평균 차이에 대한 t-검정 :
또한 이 플랫폼에 표시되는 시각화 자료만으로도 평균과 분산 측면에서 결과가 비교 가능한지 여부를 파악하기에 충분할 수 있습니다.
-
측정 시스템 분석 플랫폼을 사용하여 두 프로세스를 비교하고 결과의 일관성을 확인할 수도 있습니다. 이 플랫폼에서 제공하는 시각화 기능은 두 프로세스를 비교하는 데 매우 유용합니다.
게이지 R&R 평가를 사용하면 (제공된 소규모 데이터 세트를 통해) 측정 프로세스 변경으로 인한 변동보다 반복성으로 인한 변동이 더 클 수 있음을 확인할 수 있습니다.
이것들은 데이터를 분석하는 데 사용할 수 있는 몇 가지 옵션이지만, 다른 추가적인 옵션도 있을 수 있습니다. 결국 모든 것은 목표와 수집된 데이터에 따라 달라집니다.
세 가지 옵션을 테스트하는 데 사용된 데이터 세트와 저장된 스크립트를 결합하여 제안된 다양한 옵션을 평가할 수 있도록 했습니다.
@P_Bartell 님 의 말씀처럼 특정 시점의 두 프로세스를 비교하는 것은 유익할 수 있지만, 측정 프로세스가 안정적이고 시간적으로 통제되는지 확인해야 합니다.
이 답변이 도움이 되셨으면 좋겠습니다.
