809048_fr-FR

liliconcom

Validation d'un software de lecture par rapport à un l'actuel système

Bonjour,

• dans le cadre de la validation d'un logiciel de mesure de diamètres d'inhibitions nous avons fait des séries de lectures de plusieurs analyses, une avec notre logiciel actuel (ExploraNova) et une avec le nouveau logiciel CirclesMeasure) et avons obtenues des titres en % pour les 2 logiciels 

Exemples :

		Explora Nova	CirclesMeasure
M11 / Bacillus pumilus
	GZ23AA2796-1,1	97,0	%	97,2	%
	GZ23AA2796-1,2	96,7	%	95,9	%
	GZ23AA2821-1,1	95,5	%	95,0	%
	GZ23AA2821-1,2	94,5	%	93,6	%
	GZ23AA2829-1,1	97,4	%	98,2	%
	GZ23AA2829-1,2	97,1	%	96,2	%

 

Selon vous quel serait le test statistique le plus pertinent pour pouvoir dire que le nouveau logiciel donne des résultats conformes par rapport à l’actuel logiciel et qu’il peut donc être utilisé.

Avant pour qualifier un logiciel on s’accordait simplement +/- 3% entre les 2 mais j’aurai aimé savoir si un test statistique pouvait répondre à cette question et ainsi présenter en Assurance Qualité lors d’audit un dossier plus complet et abouti.

 

Merci pour votre aide.

 

Cordialement

Alain PONTONNIER

Basic Data Analysis and ModelingRe: Validation d'un software de lecture par rapport à un l'actuel système

Une idée pour vous est le test d'équivalence dans JMP :Test d'équivalence dans JMP .

Re: Validation d'un software de lecture par rapport à un l'actuel système

Salut,

Merci beaucoup
étant plus technicien que biostatisticien je découvre JMP.
Je vais essayer cette solution

Re: Validation d'un software de lecture par rapport à un l'actuel système

J'ai essayé de modifier ma réponse initiale, mais j'ai rencontré quelques problèmes d'interface utilisateur... alors voici quelques réflexions supplémentaires. Je ferais très attention à n'utiliser qu'un seul ensemble de données collectées dans un seul laps de temps pour un travail comme celui-ci. Quelle est la stabilité des deux systèmes de mesure ? À combien de « bruits » ont-ils été exposés par des personnes, des matériaux, un environnement, des équipements, des fournisseurs, etc. Il faut donc également inclure un certain type de travail sur la stabilité des processus au fil du temps. Les cartes de contrôle sont vos amies.

Re: Validation d'un software de lecture par rapport à un l'actuel système

Bonjour @Alain04 ,

Bienvenue dans la communauté !

Je partage entièrement l'avis de @P_Bartell concernant la taille et la représentativité de votre échantillon. Je suppose que l'ensemble de données présenté ici n'est qu'une version réduite d'un ensemble plus vaste, mais il est important de soigner les données collectées (et leur génération) afin de garantir la fiabilité et l'équité de votre comparaison. Commencez par une visualisation avant d'effectuer des tests ; une visualisation (à l'aide de diagrammes en boîte, par exemple) pourrait suffire à vos besoins.

Au vu de vos sujets, plusieurs options peuvent s'offrir à vous en fonction de vos objectifs :

1. Comme l'a suggéré @P_Bartell , vous pourriez réaliser un test d'équivalence afin d'analyser si la différence moyenne reste dans un intervalle d'équivalence pratique ou si les deux systèmes de mesure ne sont pas comparables. Cependant, comme le test d'équivalence repose sur des tests t, certaines hypothèses doivent être vérifiées ( https://www.jmp.com/en_ch/statistics-knowledge-portal/t-test.html ).
   1. Données continues
   2. Les données de l'échantillon ont été prélevées aléatoirement dans une population (ce qui nous ramène à la question de la représentativité de votre échantillon).
   3. Il existe une homogénéité de la variance (la variabilité des données dans chaque groupe est similaire).
   4. La distribution est approximativement normale (ce qui pourrait ne pas être le cas pour les pourcentages...).
      Comme l'ensemble de données que vous présentez ici est trop petit pour vérifier certaines hypothèses, je ne peux pas vous aider sur ce point.
      Toutefois, si vous souhaitez poursuivre cette analyse, créez une colonne de formule avec la différence entre les deux mesures, utilisez la plateforme Distribution pour afficher la distribution de la colonne Différence, puis cliquez sur le triangle rouge pour lancer un test d'équivalence. La différence pratique de 3 sera considérée comme équivalente (et la moyenne hypothétique sera de 0, avec un niveau de confiance de 0,975 si vous souhaitez que le résultat combiné des deux tests soit affiché à un niveau de confiance de 0,95). En fonction de votre jeu de données, voici ce à quoi vous pouvez vous attendre :
      

      N'oubliez pas que ce test d'équivalence ne teste que la différence de moyennes, il ne fournira donc pas d'informations sur une différence de variance entre les deux systèmes de mesure (ce qui pourrait être très instructif pour mettre en évidence un gain de précision par exemple).

2. En utilisant votre tableau de données sous forme empilée, vous pouvez accéder à une option d'analyse différente grâce à la plateforme « Ajuster Y par X » . En considérant votre processus comme variable X et votre mesure comme variable Y, vous pouvez tester la différence des moyennes (avec un test t de Student ou un test non paramétrique, selon la distribution de vos données) ainsi que l'égalité des variances (« variances inégales ») entre les deux processus de mesure à l'aide des options du triangle rouge. Voici le type d'informations que vous pouvez recueillir :
   Tests d'égalité des variances (avec test de Welsh pour la différence des moyennes) :
   

   Test T de différence de moyennes :

   

   La visualisation affichée sur cette plateforme peut également suffire à comprendre si vos résultats sont comparables, en termes de moyennes et de variance :

   

3. Vous pouvez également utiliser la plateforme d'analyse des systèmes de mesure pour comparer les deux processus et évaluer la cohérence des résultats. Les visualisations disponibles sur cette plateforme sont très utiles pour comparer les deux processus.

   

   En utilisant l'évaluation Gauge R&R, vous pouvez constater (avec le petit ensemble de données fourni) que la variance due à la répétabilité peut être plus importante que celle due à un changement du processus de mesure :

   
   

Voici quelques options pour analyser vos données, mais il peut en exister d'autres. Tout dépend de vos objectifs et des données collectées.

Je joins l'ensemble de données utilisé pour tester les trois options aux scripts enregistrés afin que vous puissiez évaluer les différentes options proposées.

Comme le dit @P_Bartell , comparer les deux processus à un moment précis peut être instructif, mais il faut s'assurer que le processus de mesure est stable et contrôlé dans le temps.

J'espère que cette réponse vous sera utile.