809048_de-DE

liliconcom

Validierung der Lesesoftware im Vergleich zum aktuellen System

Guten Morgen,

• Im Rahmen der Validierung von Software zur Messung von Hemmungsdurchmessern führten wir Messreihen mehrerer Analysen durch, eine mit unserer aktuellen Software (ExploraNova) und eine mit der neuen Software CirclesMeasure) und ermittelten Titer in % für die beiden Softwares

Beispiele:

		Entdecken Sie Nova	KreiseMessen
M11 / Bacillus pumilus
	GZ23AA2796-1,1	97,0	%	97,2	%
	GZ23AA2796-1,2	96,7	%	95,9	%
	GZ23AA2821-1,1	95,5	%	95,0	%
	GZ23AA2821-1,2	94,5	%	93,6	%
	GZ23AA2829-1,1	97,4	%	98,2	%
	GZ23AA2829-1,2	97,1	%	96,2	%

Was wäre Ihrer Meinung nach der relevanteste statistische Test, um sagen zu können, dass die neue Software im Vergleich zur aktuellen Software konsistente Ergebnisse liefert und daher verwendet werden kann?

Früher haben wir uns bei der Qualifizierung von Software einfach auf +/- 3 % zwischen den beiden geeinigt, aber ich hätte gerne gewusst, ob ein statistischer Test diese Frage beantworten und so der Qualitätssicherung während eines Audits eine vollständigere und erfolgreichere Datei präsentieren könnte.

Vielen Dank für Ihre Hilfe.

Aufrichtig

Alain PONTONNIER

Grundlegende Datenanalyse und ModellierungBetreff: Validierung der Lesesoftware im Vergleich zum aktuellen System

Ein Gedanke für Sie ist der Äquivalenztest in JMP:Äquivalenztest in JMP .

Betreff: Validierung der Lesesoftware im Vergleich zum aktuellen System

Hallo,

Vielen Dank
Da ich eher ein Techniker als ein Biostatistiker bin, habe ich JMP entdeckt.
Ich werde diese Lösung versuchen

Betreff: Validierung der Lesesoftware im Vergleich zum aktuellen System

Ich habe versucht, meine ursprüngliche Antwort zu bearbeiten, hatte aber einige Probleme mit der Benutzeroberfläche ... also hier einige zusätzliche Gedanken. Ich wäre sehr vorsichtig, für Arbeiten wie diese nur einen Datensatz zu verwenden, der in einem bestimmten Zeitraum gesammelt wurde. Wie stabil sind beide Messsysteme? Wie vielen „Störungen“ waren sie ausgesetzt, wie Menschen, Materialien, Umgebung, Ausrüstung, Lieferanten usw.? Daher sollte auch eine Art von Arbeit zur Prozessstabilität über einen bestimmten Zeitraum hinweg einbezogen werden. Kontrolldiagramme sind Ihr Freund.

Betreff: Validierung einer Lesesoftware im Vergleich zum aktuellen System

Hallo @Alain04 ,

Willkommen in der Community!

Ich stimme @P_Bartell hinsichtlich der Größe und Repräsentativität Ihrer Stichprobe vollkommen zu. Vermutlich handelt es sich bei dem hier dargestellten Datensatz lediglich um eine kleinere Version eines größeren. Sie sollten jedoch die erhobenen Daten (und deren Generierung) sorgfältig prüfen, um einen zuverlässigen und fairen Vergleich zu gewährleisten. Beginnen Sie zunächst mit der Visualisierung, bevor Sie Tests durchführen. Die Visualisierung (z. B. mithilfe von Boxplots) könnte für Ihre Zwecke bereits ausreichend sein.

Wenn man sich Ihre Themen ansieht, gibt es je nach Ihren Zielen möglicherweise mehrere Optionen:

1. Wie @P_Bartell vorschlug, könnte man einen Äquivalenztest durchführen, um zu analysieren, ob die mittlere Differenz in einem praktischen Äquivalenzintervall liegt oder ob die beiden Messsysteme nicht vergleichbar sind. Da der Äquivalenztest jedoch auf t-Tests basiert, müssen einige Annahmen überprüft werden ( https://www.jmp.com/en_ch/statistics-knowledge-portal/t-test.html ).
   1. Kontinuierliche Daten
   2. Die Stichprobendaten wurden zufällig aus einer Grundgesamtheit entnommen (daher die Frage der Repräsentativität Ihrer Stichprobe).
   3. Es herrscht Varianzhomogenität (die Variabilität der Daten in jeder Gruppe ist ähnlich).
   4. Die Verteilung ist annähernd normal (was bei Prozentangaben möglicherweise nicht der Fall ist...).
      Da Ihr hier gezeigter Datensatz zu klein ist, um einige der Annahmen zu überprüfen, kann ich Ihnen in diesem Punkt nicht weiterhelfen.
      Wenn Sie diese Analyse dennoch fortsetzen möchten, erstellen Sie eine Formelspalte mit der Differenz der beiden Messwerte. Nutzen Sie die Verteilungsplattform, um die Verteilung der Differenzspalte anzuzeigen. Klicken Sie anschließend auf das rote Dreieck, um einen Äquivalenztest zu starten. Die praktische Differenz von 3 wird dabei als Äquivalenz betrachtet (und der angenommene Mittelwert beträgt 0, das Konfidenzniveau 0,975, wenn das kombinierte Ergebnis beider Tests mit einem Konfidenzniveau von 0,95 angezeigt werden soll). Basierend auf Ihren Daten können Sie Folgendes erwarten:
      

      Beachten Sie, dass dieser Äquivalenztest nur die Mittelwertdifferenz prüft und daher keine Informationen über eine Varianzdifferenz zwischen den beiden Messsystemen liefert (was beispielsweise sehr aufschlussreich sein könnte, um einen Präzisionsgewinn hervorzuheben).

2. Durch die Verwendung Ihrer Datentabelle im gestapelten Format stehen Ihnen mit der Plattform „Y an X anpassen“ verschiedene Analysemöglichkeiten zur Verfügung. Indem Sie Ihren Prozess als X und die Messung als Y definieren, können Sie mithilfe der Optionen im roten Dreieck Unterschiede in den Mittelwerten (mittels t-Test oder nichtparametrischem Test, abhängig von der Verteilung Ihrer Daten) sowie die Varianzgleichheit (bzw. ungleiche Varianzen) zwischen den beiden Messprozessen prüfen. Folgende Informationen können Sie erfassen:
   Tests auf Varianzgleichheit (mit dem walisischen Test auf Mittelwertdifferenz):
   

   T-Test zum Vergleich der Mittelwerte :

   

   Die auf dieser Plattform dargestellte Visualisierung könnte auch ausreichen, um zu verstehen, ob Ihre Ergebnisse hinsichtlich Mittelwert und Varianz vergleichbar sind:

   

3. Sie könnten auch die Plattform für Messsystemanalyse nutzen, um die beiden Prozesse zu vergleichen und die Übereinstimmung der Ergebnisse zu überprüfen. Die auf dieser Plattform verfügbaren Visualisierungen sind sehr hilfreich für den Vergleich der beiden Prozesse.

   

   Mithilfe der Gauge R&R-Auswertung können Sie (anhand des bereitgestellten kleinen Datensatzes) erkennen, dass die Varianz eher auf die Wiederholbarkeit als auf eine Änderung des Messprozesses zurückzuführen sein kann:

   
   

Dies sind einige der Möglichkeiten zur Datenanalyse, es gibt aber möglicherweise noch weitere. Letztendlich hängt alles von Ihren Zielen und den erhobenen Daten ab.

Ich verknüpfe den Datensatz, der zum Testen der drei Optionen verwendet wurde, mit den gespeicherten Skripten, damit Sie die verschiedenen vorgeschlagenen Optionen bewerten können.

Wie @P_Bartell bereits erwähnte, kann ein Vergleich der beiden Prozesse zu einem bestimmten Zeitpunkt aufschlussreich sein, allerdings muss sichergestellt werden, dass der Messprozess über die Zeit stabil und kontrolliert abläuft.

Ich hoffe, diese Antwort hilft Ihnen.