809048_es-ES

liliconcom

Validación del software de lectura respecto al sistema actual

Buen día,

• Como parte de la validación del software para medir diámetros de inhibición, realizamos series de lecturas de varios análisis, uno con nuestro software actual (ExploraNova) y otro con el nuevo software CirclesMeasure) y obtuvimos títulos en % para los 2 software.

Ejemplos:

		Explora Nova	Medida de círculos
M11 / Bacillus pumilus
	GZ23AA2796-1,1	97,0	%	97,2	%
	GZ23AA2796-1,2	96,7	%	95,9	%
	GZ23AA2821-1,1	95,5	%	95,0	%
	GZ23AA2821-1,2	94,5	%	93,6	%
	GZ23AA2829-1,1	97,4	%	98,2	%
	GZ23AA2829-1,2	97,1	%	96,2	%

En su opinión, ¿cuál sería la prueba estadística más relevante para poder decir que el nuevo software da resultados consistentes en comparación con el software actual y que por tanto se puede utilizar?

Antes, para calificar el software, simplemente acordábamos +/- 3% entre los dos, pero me hubiera gustado saber si una prueba estadística podría responder a esta pregunta y así presentar un expediente más completo y exitoso a Control de Calidad durante una auditoría.

Gracias por tu ayuda.

Atentamente

Alain PONTONNIER

Análisis y modelado de datos básicosRe: Validación del software de lectura comparado con el sistema actual

Un pensamiento para ti es la prueba de equivalencia en JMP:Prueba de equivalencia en JMP .

Re: Validación del software de lectura comparado con el sistema actual

Hola,

Muchas gracias
Siendo más técnico que bioestadístico descubro JMP.
Probaré esta solución

Re: Validación del software de lectura comparado con el sistema actual

Intenté editar mi respuesta inicial, pero tuve algunos problemas con la interfaz de usuario... así que aquí hay algunas ideas adicionales. Yo tendría mucho cuidado de usar solo un conjunto de datos recopilados en un período de tiempo para un trabajo como este. ¿Qué tan estables son ambos sistemas de medición? ¿A cuántos "ruidos" han estado expuestos, como personas, materiales, entorno, equipos, proveedores, etc.? Por lo tanto, también se debe incluir algún tipo de trabajo de estabilidad del proceso a lo largo del tiempo. Los gráficos de control son tus amigos.

Re: Validación de un software de lectura en comparación con el sistema actual.

Hola @Alain04 ,

¡Bienvenidos a la comunidad!

Coincido plenamente con @P_Bartell respecto al tamaño y la representatividad de tu muestra. Supongo que el conjunto de datos que se muestra aquí es solo una versión reducida de uno más extenso, pero debes prestar atención a los datos recopilados (y al proceso de generación) para garantizar que tu comparación sea fiable y justa. Empieza por la visualización antes de realizar las pruebas; la visualización (por ejemplo, mediante diagramas de caja) podría ser suficiente para tus necesidades.

En función de tus temas, puede haber varias opciones dependiendo de tus objetivos:

1. Como sugirió @P_Bartell , se podría realizar una prueba de equivalencia para analizar si la diferencia media se mantiene dentro de un intervalo de equivalencia práctico o si los dos sistemas de medición no son comparables. Sin embargo, dado que la prueba de equivalencia se basa en pruebas t, existen algunos supuestos que deben verificarse ( https://www.jmp.com/en_ch/statistics-knowledge-portal/t-test.html
   1. Datos continuos
   2. Los datos de la muestra se han obtenido mediante muestreo aleatorio de una población (por lo que volvemos al tema de la representatividad de la muestra).
   3. Existe homogeneidad de la varianza (la variabilidad de los datos en cada grupo es similar).
   4. La distribución es aproximadamente normal (lo cual podría no ser el caso con los porcentajes...).
      Dado que el conjunto de datos que se muestra aquí es demasiado pequeño para verificar algunas de las suposiciones, no puedo ayudarle en este punto.
      Sin embargo, si desea continuar con este análisis, cree una columna de fórmula con la diferencia entre las dos medidas, utilice la plataforma de Distribución para mostrar la distribución de la columna Diferencia y, desde allí, puede hacer clic en el triángulo rojo y ejecutar una prueba de equivalencia considerando la diferencia práctica de 3 como equivalencia (y la media hipotética = 0, nivel de confianza = 0,975 si desea que el resultado combinado de las dos pruebas se muestre con un nivel de confianza de 0,95). Según su conjunto de datos, esto es lo que podría esperar:
      

      Recuerde que esta prueba de equivalencia solo evalúa la diferencia de medias, por lo que no proporcionará información sobre la diferencia de varianza entre los dos sistemas de medición (lo cual podría ser muy útil para destacar una mejora en la precisión, por ejemplo).

2. Utilizando su tabla de datos en formato apilado, podría tener una opción de análisis diferente usando la plataforma Ajustar Y por X. Usando su proceso como X y la medida como Y, puede probar la diferencia de medias (con la prueba t de Student o una prueba no paramétrica, según la distribución de sus datos) así como la igualdad de varianza ("varianzas desiguales") entre los dos procesos de medición usando las opciones del triángulo rojo. Este es el tipo de información que puede recopilar:
   Pruebas de igualdad de varianza (con la prueba de Welch para la diferencia de medias):
   

   Prueba t para la diferencia de medias :

   

   Además, la visualización que se muestra en esta plataforma podría ser suficiente para comprender si sus resultados son comparables, en términos de medias y varianza:

   

3. También puedes usar la plataforma de Análisis de Sistemas de Medición para comparar los dos procesos y ver cuán consistentes son los resultados. Las visualizaciones disponibles en esta plataforma son bastante útiles para comparar los dos procesos:

   

   Utilizando la evaluación Gauge R&R, puede ver (con el pequeño conjunto de datos proporcionado) que puede haber más varianza debido a la repetibilidad que debido a un cambio en el proceso de medición:

   
   

Estas son algunas de las opciones disponibles para analizar sus datos, pero podría haber otras adicionales. Una vez más, todo depende de sus objetivos y de los datos recopilados.

Adjunto el conjunto de datos utilizado para probar las tres opciones con los scripts guardados para que puedas evaluar las diferentes opciones propuestas.

Como bien señala @P_Bartell , comparar los dos procesos en un momento específico puede resultar informativo, pero hay que asegurarse de que el proceso de medición sea estable y esté controlado en el tiempo.

Espero que esta respuesta te ayude.