809048_it-IT

liliconcom

Validazione del software di lettura rispetto al sistema attuale

Buongiorno,

• nell'ambito della validazione del software per la misurazione dei diametri di inibizione, abbiamo effettuato serie di letture di diverse analisi, una con il nostro attuale software (ExploraNova) e una con il nuovo software CirclesMeasure) e ottenuto titoli in % per i 2 software

Esempi:

		Esplora Nova	CerchiMisura
M11 / Bacillus pumilus
	GZ23AA2796-1,1	97,0	%	97,2	%
	GZ23AA2796-1,2	96,7	%	95,9	%
	GZ23AA2821-1,1	95,5	%	95,0	%
	GZ23AA2821-1,2	94,5	%	93,6	%
	GZ23AA2829-1,1	97,4	%	98,2	%
	GZ23AA2829-1,2	97,1	%	96,2	%

Quale sarebbe secondo te il test statistico più rilevante per poter affermare che il nuovo software dà risultati coerenti rispetto al software attuale e che quindi può essere utilizzato.

Prima, per qualificare il software, ci accordavamo semplicemente sul +/- 3% tra i due, ma mi sarebbe piaciuto sapere se un test statistico potesse rispondere a questa domanda e presentare così un file più completo e vincente al Controllo Qualità durante un audit.

Grazie per l'aiuto.

Sinceramente

Alain PONTONNIER

Analisi e modellazione dei dati di baseRe: Validazione del software di lettura rispetto al sistema attuale

Un'idea per te è il test di equivalenza in JMP:Test di equivalenza in JMP .

Re: Validazione del software di lettura rispetto al sistema attuale

CIAO,

Grazie mille
essendo più tecnico che biostatistico scopro JMP.
Proverò questa soluzione

Re: Validazione del software di lettura rispetto al sistema attuale

Ho provato a modificare la mia risposta iniziale ma ho avuto alcuni problemi con l'interfaccia utente... quindi ecco alcune considerazioni aggiuntive. Farei molta attenzione a usare solo un set di dati raccolti in un intervallo di tempo per un lavoro come questo. Quanto sono stabili entrambi i sistemi di misurazione? A quanti "rumori" sono stati esposti, persone, materiali, ambiente, attrezzature, fornitori e così via. Quindi dovrebbe essere incluso anche un qualche tipo di lavoro di stabilità del processo nel tempo. I grafici di controllo sono tuoi amici.

Oggetto: Validazione di un software di lettura rispetto al sistema attuale

Ciao @Alain04 ,

Benvenuto nella community!

Concordo pienamente con @P_Bartell riguardo alle dimensioni e alla rappresentatività del tuo campione. Suppongo che il dataset qui presentato sia solo una versione ridotta di uno più ampio, ma dovresti prestare attenzione ai dati raccolti (e al processo di generazione) per assicurarti che il confronto sia affidabile ed equo. Inizia prima con la visualizzazione, prima di effettuare i test; la visualizzazione (utilizzando ad esempio i box plot) potrebbe essere sufficiente per le tue esigenze.

Considerando gli argomenti che hai proposto, potrebbero esserci diverse opzioni a seconda dei tuoi obiettivi:

1. Come suggerito da @P_Bartell , si potrebbe realizzare un test di equivalenza per analizzare se la differenza media rimane in un intervallo di equivalenza pratico o se i due sistemi di misura non sono comparabili. Tuttavia, poiché il test di equivalenza si basa sui test t, ci sono alcune ipotesi da verificare ( https://www.jmp.com/en_ch/statistics-knowledge-portal/t-test.html
   1. Dati continui
   2. I dati del campione sono stati estratti casualmente da una popolazione (quindi si torna al punto della rappresentatività del campione).
   3. Vi è omogeneità della varianza (la variabilità dei dati in ciascun gruppo è simile).
   4. La distribuzione è approssimativamente normale (il che potrebbe non valere per le percentuali...).
      Poiché il set di dati che hai presentato è troppo piccolo per verificare alcune delle ipotesi, non posso aiutarti su questo punto.
      Tuttavia, se si desidera procedere con questa analisi, creare una colonna formula con la differenza tra le due misure, utilizzare la piattaforma Distribuzione per visualizzare la distribuzione della colonna Differenza e da qui, è possibile fare clic sul triangolo rosso e avviare un test di equivalenza considerando la differenza pratica di 3 come equivalenza (e media ipotizzata = 0, livello di confidenza = 0,975 se si desidera che il risultato combinato dei due test venga visualizzato al livello di confidenza 0,95). In base al proprio set di dati, ecco cosa ci si può aspettare:
      

      Ricorda che questo test di equivalenza verifica solo la differenza tra le medie, quindi non fornirà informazioni sulla differenza di varianza tra i due sistemi di misura (che potrebbe essere molto utile per evidenziare, ad esempio, un miglioramento della precisione).

2. Utilizzando la tabella dati in formato impilato, è possibile effettuare un'analisi diversa tramite la piattaforma Fit Y by X. Utilizzando il processo come X e la misura come Y, è possibile verificare la differenza tra le medie (con il test t di Student o un test non parametrico, a seconda della distribuzione dei dati) e l'uguaglianza delle varianze ("varianze disuguali") tra i due processi di misurazione, utilizzando le opzioni indicate dal triangolo rosso. Ecco i tipi di informazioni che è possibile raccogliere:
   Test per l'uguaglianza delle varianze (con test di Welsh per la differenza delle medie):
   

   Test t per la differenza tra le medie :

   

   Anche la visualizzazione offerta da questa piattaforma potrebbe essere sufficiente per capire se i vostri risultati sono comparabili, in termini di medie e varianza:

   

3. Potresti anche utilizzare la piattaforma di analisi dei sistemi di misurazione per confrontare i due processi e verificare la coerenza dei risultati. Le visualizzazioni disponibili in questa piattaforma sono molto utili per confrontare i due processi:

   

   Utilizzando la valutazione Gauge R&R, è possibile osservare (con il piccolo set di dati fornito) che la varianza potrebbe essere maggiore a causa della ripetibilità piuttosto che a causa di una modifica del processo di misurazione:

   
   

Queste sono alcune delle opzioni disponibili per analizzare i tuoi dati, ma potrebbero essercene altre. Anche in questo caso, tutto dipende dai tuoi obiettivi e dai dati raccolti.

Ho unito il dataset utilizzato per testare le tre opzioni con gli script salvati, in modo che possiate valutare le diverse opzioni proposte.

Come suggerito da @P_Bartell , confrontare i due processi in un momento specifico potrebbe essere utile, ma è necessario assicurarsi che il processo di misurazione sia stabile e controllato nel tempo.

Spero che questa risposta ti sia d'aiuto,