Presso Francis Medical, la cannula del nostro dispositivo di somministrazione monouso viene inserita nell'uretra e un piccolo catetere rotondo fuoriesce dalla cannula nella prostata, dove il vapore che fuoriesce dal catetere viene utilizzato per l'ablazione del tessuto. A causa della pressione idrostatica della vescica, la tenuta dinamica tra la cannula e il catetere rappresenta l'unica barriera a un possibile ingresso di liquidi nel dispositivo di somministrazione, il che è indesiderabile.
Il test della tenuta dinamica sul banco di prova viene eseguito pressurizzando la cannula utilizzando un tester pneumatico a decadimento di pressione. Sebbene l'output di questo tester sia continuo, la distribuzione è bimodale e può essere modellata al meglio come un output binario: la tenuta perde o non perde. In JMP, non esiste un metodo semplice per calcolare la potenza e la dimensione del campione per consentire il confronto di diversi studi di progettazione sperimentale (DOE) per un output di attributi.
In questo articolo, descriviamo la metodologia di processo utilizzata per determinare il numero di fattori da testare e il numero di cicli da completare, inclusa un'analisi di potenza simulata. Inoltre, abbiamo scoperto un modo unico per condizionare i campioni prima dei test di decadimento di pressione, in modo da generare più guasti dinamici della tenuta rispetto a quelli ottenuti tramite test storici. Alla fine, i risultati dell'esperimento ci hanno permesso di prendere decisioni progettuali definitive con sicurezza e di migliorare le prestazioni della tenuta dinamica di un fattore 25 rispetto al progetto attuale.
Ciao a tutti. Sono Rebecca Breuer e oggi sono in compagnia di Chad Naegeli. Oggi parleremo dell'utilizzo del DOE per migliorare le prestazioni di una tenuta dinamica ad alta velocità.
Qualche informazione su questa tenuta dinamica. La tenuta dinamica ad alta velocità fa parte del nostro dispositivo medico, che utilizza la tecnologia di ablazione del vapore acqueo per trattare il cancro alla prostata. I componenti del dispositivo di interesse in questo DOE sono mostrati sullo schermo. Il funzionamento del nostro dispositivo prevede l'inserimento della cannula nell'uretra, il posizionamento del catetere nella prostata e la fuoriuscita del vapore attraverso piccoli fori nel catetere, che consentono l'ablazione del tessuto circostante.
Una cosa da sapere è che la vescica esercita una pressione idrostatica sul nostro dispositivo, e questo potrebbe causare l'ingresso di liquidi al suo interno. Per impedire l'ingresso di liquidi, è necessario un sigillo che riempia lo spazio tra il catetere e la cannula e impedisca l'ingresso di liquidi.
Siamo in grado di testare l'efficacia di tale tenuta utilizzando un test di decadimento della pressione. Il modo in cui lo facciamo è sigillare il nostro dispositivo utilizzando un dispositivo di prova e poi pressurizzarlo con un tester pneumatico di decadimento della pressione, e siamo in grado di misurare il decadimento della pressione, che equivale al tasso di perdita della tenuta. Il problema che stavamo riscontrando era che il tasso di perdita della tenuta era superiore al previsto, quindi l'obiettivo di questo DOE era identificare i fattori che avrebbero ridotto il tasso di perdita della tenuta.
Ora diamo un'occhiata all'aspetto dell'output del test di decadimento della pressione. Sullo schermo qui, potete vedere due distribuzioni, entrambe mostrano gli stessi dati, solo in modi diversi. La distribuzione in alto mostra i risultati del test di decadimento della pressione in PSI, che è un output continuo. La distribuzione in basso mostra gli stessi dati modellati come un output binario di superamento o fallimento. Osservando la distribuzione in alto, potete vedere che i punti di superamento sono colorati in verde. Questo grande contenitore qui corrisponde al superamento, mentre i punti di fallimento sono evidenziati in rosso. C'è una porzione molto piccola di test che fallisce.
Un aspetto importante è che l'output continuo che otteniamo dal test di decadimento della pressione non è necessariamente rilevante o utile per noi. Ciò che ci interessa veramente è se il test viene superato, ovvero se la guarnizione non perde, o se viene fallito, ovvero se la guarnizione perde. Per questo DOE, modelleremo il risultato come una risposta binaria.
Prima di eseguire questo DOE, abbiamo fatto un brainstorming su tutti i possibili fattori che avrebbero potuto influire sul tasso di perdita della tenuta, li abbiamo organizzati in un diagramma a spina di pesce creato con JMP e abbiamo ridotto l'elenco ai sei fattori che ritenevamo più rilevanti per questo caso. Potete vedere questi fattori, i fattori da X1 a X6, elencati qui nei rispettivi livelli. I fattori da 1 a 5 hanno ciascuno 2 livelli e il fattore 6 ne ha 3. Ora passo la parola a Chad.
Salve. Sono Chad Naegeli e vi parlerò brevemente di come utilizziamo il processo di condizionamento per ridurre il numero di guasti che abbiamo riscontrato durante la verifica della tenuta stagna. Abbiamo esaminato cinque diversi parametri. Abbiamo analizzato la sterilizzazione. In precedenza, senza il processo di condizionamento, non c'era sterilizzazione, e abbiamo aggiunto un processo di sterilizzazione. Prima del processo di condizionamento, avevamo un singolo ciclo di test e ne abbiamo eseguiti diversi. Per quanto riguarda la tenuta stagna, prima lo testavamo in stato statico, in cui il catetere non si muoveva, ma nel processo di condizionamento lo abbiamo mostrato o testato in stato dinamico.
Infine, per la temperatura della guarnizione, invece che a temperatura ambiente, abbiamo eseguito i test a temperatura elevata, e questo processo di condizionamento ha sollecitato la guarnizione e ha generato un tasso di guasto del 95%, molto più alto di quello che avremmo ottenuto senza il processo di condizionamento. Il motivo per cui abbiamo fatto questo è per aumentare la potenza statistica e ridurre al minimo la dimensione del campione.
Come ha detto Rebecca, per un output binario, utilizziamo l'equazione logistica per modellare quell'output. Nel nostro caso, avevamo un tasso del 95% dopo il processo di condizionamento. Quello che abbiamo fatto è stato usare l'equazione logistica e calcolare l'intercetta sull'asse Y come mostrato in basso a sinistra. Quindi siamo stati in grado di creare la tabella a destra inserendo diversi input per il tasso di base.
Nel caso di cui abbiamo appena parlato, per 95, l'intercetta sull'asse Y sarebbe 2,944. Poi abbiamo esaminato quattro scenari diversi, ad esempio cosa succede per diverse percentuali di base al 75%, 50%, 25% o 1%, e poi le corrispondenti intercette sull'asse Y. Useremo questi numeri tra poco in una demo di presentazione JMP per mostrarvi come li abbiamo usati per creare una simulazione di potenza.
La prossima diapositiva è: ora faremo una simulazione di potenza di JMP, e condividerò il mio schermo, e creerò un journal JMP. Quello che faremo è cercare di capire quale dovrebbe essere la dimensione del campione per questo DOE. Uno degli aspetti che consideriamo è la potenza, e la potenza è definita come la capacità di rilevare e influenzare quando è presente un effetto. Se avessimo una dimensione del campione troppo piccola e facessimo un DOE e non ci fosse un effetto forte, e non potessimo rilevarlo perché non abbiamo analizzato un numero sufficiente di campioni, quello sarebbe uno scenario negativo.
L'altro scenario è se eseguissimo troppi campioni e potessimo rilevarne l'effetto, ma sprecassimo risorse. Ciò che vogliamo fare è creare la giusta dimensione del campione. Il modo in cui lo faremo con il piede binario* è tramite la simulazione.
Come riscaldamento, faremo un DOE a un fattore, e lo aprirò qui. Siamo andati al designer personalizzato e abbiamo creato un DOE con un fattore, un fattore categoriale a due livelli, abbiamo eseguito 10.000 esecuzioni, poi l'ho fatto solo per dimostrare se questa formula funziona o meno. Farò clic su questo file qui e si aprirà questa tabella JMP. Potete vedere 10.000 righe, e le inserirò in questa formula.
Questa è la stessa formula che vi ho mostrato nella diapositiva precedente, e abbiamo inserito il nostro 2,944, che proviene dalla tabella che ho mostrato per il tasso di fallimento del 95%. Quello che fa è semplicemente eseguire una distribuzione binomiale casuale con una prova, e poi usa questa formula. Quello che faremo è semplicemente eseguire una distribuzione qui e vedere se otteniamo un fallimento del 95%. Se clicco qui, potete vedere che per 10.000 esecuzioni abbiamo ottenuto circa il 95%. Questo verifica che la nostra formula funzioni correttamente ed è solo un modo per aumentare la fiducia in ciò che faremo in seguito.
La prossima cosa che faremo è creare... Rebecca ha appena parlato di un DOE a sei fattori. Lo creeremo in JMP con sei fattori categorici a due livelli. Useremo un modello a effetti principali e poi, se possibile, interazioni di secondo ordine e poi 16 esecuzioni. Poi simuleremo. Il più delle volte, il tasso di errore sarà del 95%. Quindi, se X1 è attivo, ci chiederemo: cosa succede se il tasso di perdita per X1 è del 75% se è attivo?
Ci clicco sopra. È uno script che ho creato con la progettazione personalizzata DOE e ho creato questo DOE. Inseriamo questa formula. Ecco cosa abbiamo creato basandoci su... È un po' più complicato. È quello che vi ho già mostrato nella simulazione precedente, ma quello che abbiamo fatto è stato creare un'istruzione if-then e abbiamo detto che se X1, che è il primo fattore, è uguale a L1, allora avremo un tasso di fallimento del 95%. Altrimenti, avremo un tasso di fallimento del 75%.
Diamo un'occhiata adesso. In pratica, questo ha creato un 1 o uno 0 in questa colonna, e poi c'è stata una prova. Eseguiamo questo modello qui. Vi mostrerò cosa abbiamo fatto qui. Abbiamo inserito Y simulato e Y nelle prove nella riga Y. Per gli effetti del modello, abbiamo inserito da X1 a X6, poi per la personalità, abbiamo creato un modello lineare generalizzato con la distribuzione binomiale e la funzione di collegamento logit. Lo eseguiremo.
Mentre eseguiamo il modello qui, vogliamo inserirlo su questa piattaforma proprio qui, dove c'è scritto "Effect Test". Quello che faremo è cliccare con il tasto destro del mouse e avviare la simulazione. Quando lo facciamo, otteniamo Y simulato e Y simulato, corrisponde e verranno eseguite 2.500 esecuzioni. Se lo facessi adesso, fondamentalmente rieseguirebbe questa distribuzione o questo modello per 2.500 volte, ma ci vorrebbe troppo tempo. Ora lo chiudo. L'abbiamo già fatto. Questo è quello che abbiamo qui sotto. Ci clicco sopra. Se premo "Esegui", questa è la tabella che otterrei, 2.500 righe, e abbiamo sei fattori diversi.
Quello che faremo è eseguire una distribuzione su quei sei fattori, e poi spostarla, in modo che tutti possano vederla. La indicheremo su X1. Andremo fino all'ultima tabella qui, dove si dice potenza simulata, e cercheremo alfa 0,05, e guarderemo la colonna del tasso di rifiuto, e otteniamo il 23%. Il 23% è la nostra potenza simulata per questa simulazione. Se osserviamo gli altri effetti, potete vedere che i tassi di rifiuto sono molto bassi. Si aggirano intorno allo 0,1.
Se ripeto la stessa simulazione con un'intercetta Y del 95% e poi del 50%. Se lo faccio molto velocemente, ed eseguo questa analisi di potenza, potete vedere qui per X1, otteniamo l'84%. La nostra potenza è passata dal 23% all'84%. È stato un notevole aumento. Gli altri, che non dovrebbero essere attivi da X2 a X6, hanno un tasso di rifiuto molto basso. Ne farò un'altra, e poi penso che tutti capiscano cosa faremo. Facciamone una che sia davvero... Quindi 95% per l'intercetta Y nell'1% per X1. Eseguiamola molto velocemente. Potete vedere qui ora che la potenza simulata per X1 è del 100%. Abbiamo una potenza davvero buona.
Quello che abbiamo fatto è stato creare un paio di altre variabili. Abbiamo provato a modificare il numero di prove da 1 a 5. In tutti i casi che ho mostrato qui, tutti avevano una sola prova, ma potete immaginare che per ogni ciclo sperimentale avremmo potuto analizzare più campioni. Quello che abbiamo fatto è stato modificare questo nel DOE e siamo riusciti a farlo. Lo abbiamo riassunto qui.
Le due simulazioni, o le tre, che vi ho mostrato erano al 23% di potenza, all'84% di potenza e poi al 100%. Abbiamo anche provato con diverse quantità di prove per ogni condizione sperimentale, che questa qui rappresenta la dimensione totale del campione. Quindi il design che abbiamo scelto alla fine è stato questo qui sotto, che era ancora a sei fattori, ma abbiamo eseguito 48 prove e con una sola prova. Il motivo per cui lo abbiamo fatto è che ha risolto alcune delle correlazioni che avevamo sulle interazioni a due fattori, e abbiamo pensato che fosse semplicemente un modello migliore per noi.
Ecco come abbiamo creato la nostra simulazione di potenza per un fattore attivo, e come potete vedere qui, siamo in grado di rilevare una differenza dal 95% fino a un valore compreso tra il 50% e il 75% del tasso di perdita della guarnizione, ottenendo una potenza di circa il 90%, il che ci sembra un buon punto di riferimento per questo progetto. Passo la parola a Rebecca, che ci parlerà di come analizziamo il DOE.
Utilizziamo diversi metodi per visualizzare i dati e analizzare i risultati di questo DOE. Sono elencati sullo schermo. I primi tre, la visualizzazione univariante, il modello di partizione e la media del modello stepwise, servono solo a visualizzare i dati, a individuare le maggiori discontinuità e a individuare quali termini del modello sembrano avere il rapporto segnale/rumore più elevato. Utilizziamo poi il modello lineare generalizzato per prevedere quale combinazione di fattori e dei loro livelli minimizzerebbe la probabilità di perdite dalle guarnizioni.
Ora passerò a JMP e vi mostrerò come abbiamo eseguito alcune di queste analisi. La prima cosa che abbiamo fatto è stata utilizzare una piattaforma di distribuzione e JMP, solo per esplorare i nostri fattori. Ho selezionato il risultato di una perdita di tenuta e sembra che il fattore X6, il livello 9, il fattore X3 originale e i fattori X4 abbiano molti campioni che rientrano in questa categoria di perdita di tenuta.
Successivamente, abbiamo creato un JMP per la modellazione delle partizioni. Ho già creato il modello qui utilizzando il modello di partizione. Abbiamo utilizzato una dimensione di suddivisione di quattro, perché quella dimensione di suddivisione era buona... Era correlata ai diversi fattori nei nostri livelli che erano... I diversi trattamenti nel nostro DOE. Poi abbiamo suddiviso questo modello 5 volte e potete vedere qui a sinistra che abbiamo un gruppo in cui nessuna delle guarnizioni ha perso. Sembra che il fattore X6, parziale nei livelli completi, e il fattore X3 siano stati migliorati come buoni con nessuna perdita. Quindi, se scorriamo verso il basso fino ai contributi delle colonne, potete vedere che il fattore X6 è stato il più significativo, seguito da X3, X1 e X4.
Successivamente, utilizziamo la funzione di media del modello e JMP. Utilizzando la piattaforma di adattamento del modello, abbiamo selezionato un modello stepwise e utilizzato la funzione di media del modello. JMP ha creato moltissimi modelli. Ha esaminato il 5% dei modelli con l'AICC più basso e ha calcolato la media dei termini, ovvero i coefficienti per tali termini. Questi sono riassunti in questa tabella. Abbiamo 27 termini nel nostro modello e fornisce una stima e un errore standard per ciascuno di essi.
Ciò che ci interessa è il rapporto segnale/rumore. Ho una formula qui, e dividiamo le stime per l'errore standard e prendiamo la deviazione standard. Questo ci dà il rapporto segnale/rumore. Poi, usando Graph Builder, possiamo rappresentarlo graficamente e vedere quale fatto o quali termini del modello hanno avuto il rapporto segnale/rumore più alto.
Stiamo esaminando solo un sottoinsieme dei termini qui. Quelli con il rapporto segnale/rumore più alto, ma sembra che i fattori X6, X3 e X4 abbiano tutti rapporti segnale/rumore superiori a due, che è il valore che abbiamo determinato come soglia. Sembra anche che l'interazione tra i fattori X4 e X6 sia vicina a... Sono leggermente inferiori a due.
Uno svantaggio di questo modello è che non possiamo usarlo per le previsioni perché ha un output continuo e potremmo finire con risultati inferiori a 0 o superiori a 1, il che non è probabile, quindi non possiamo usare questo modello per le previsioni.
Infine, abbiamo creato un modello lineare generalizzato, includendo solo gli effetti principali, utilizzando la distribuzione binomiale e il collegamento logit per prevedere quali fattori e combinazioni avrebbero ridotto al minimo il verificarsi di perdite di tenuta. Ridurrò i fattori nel mio modello. Inizierò dal basso con il fattore con il valore P più alto e rimuoverò termini dal mio modello finché tutti i termini rimanenti non avranno un valore P inferiore a 0,05. Fatto questo, rimangono tre turni nel modello. X6 è il più significativo, seguito da X3 e X4.
Quindi, se ci spostiamo qui al profiler di previsione, ho impostato le desiderabilità per ridurre al minimo il verificarsi di perdite di tenuta. Questo è ciò che stiamo osservando qui. Probabilità che il risultato sia una perdita di tenuta, quindi ho massimizzato la mia desiderabilità. Con questo modello, inclusi i fattori X4, X3 e X6 e i loro livelli di piccolo, migliorato e pieno, questo modello prevede una probabilità di perdita di tenuta inferiore allo 0,1%, il che è piuttosto buono. Inoltre, noteremo che l'AICC di questo modello è 39,8.
Quindi, creeremo un altro modello lineare generalizzato. Questa volta, però, includeremo le interazioni tra fattori nel modello. Continueremo a usare il collegamento logit della distribuzione binomiale, ma questa volta attiveremo la correzione del bias. Ho già ridotto questo modello ai termini significativi, giusto per risparmiare tempo. Sembra che X6, X3 e X4 siano i più significativi, il che corrisponde al nostro altro modello. Abbiamo anche alcune interazioni tra fattori.
Osservando questo profiler, in cui ho impostato le desiderabilità e massimizzato la desiderabilità, proprio come ho fatto con l'altro modello, considerando i nostri fattori significativi e i livelli di progettazione uno, piccolo, migliorato, no e completo, stiamo osservando una probabilità prevista molto, molto piccola che la perdita della guarnizione arrivi a quasi lo 0%.
Ora torno alla presentazione PowerPoint. Questa tabella riassume i quattro diversi modelli che ho appena esaminato e tutti i livelli di fattore che si sono dimostrati più desiderabili. Potete vedere il riepilogo per ogni modello. In base al livello di fattore più frequente nei quattro modelli, siamo stati in grado di elaborare un gruppo ottimale di impostazioni per ciascun fattore.
X1, il fattore X3, X4 e X6 erano significativi in tutti i modelli. Abbiamo scelto il design 1, potenziato, piccolo e pieno come livelli di quei fattori, poi non abbiamo scelto nulla per i fattori X2 e X5 perché il nostro modello mostrava che quei livelli non erano significativi, o quei fattori non erano significativi. Ora passo la parola a Chad.
Ciao. In pratica, Rebecca ha appena mostrato l'analisi del DOE, e poi riassumeremo il progetto originale per i fattori X1-X6. In che modo i livelli ottimali differiscono dall'originale, e come si può vedere ci sono molte variazioni rispetto all'ottimale. Poi abbiamo finito per non scegliere il progetto ottimale. Abbiamo scelto l'ultima colonna a destra, che è un progetto selezionato.
Le modifiche principali per quel lavoro, se ricordate, X3 hanno avuto un impatto molto ampio. Siamo passati dall'originale al migliorato. In X6, siamo passati da nessuno a parziale. Gli altri quattro fattori li abbiamo lasciati sostanzialmente invariati, tranne che per X5, che non aveva un'opinione precisa, ma la volevamo per altri motivi. Questo è ciò che abbiamo scelto per il design, e ora parleremo delle conclusioni.
Sottoposto a questo esteso processo di condizionamento, in cui siamo stati in grado di creare circa il 95% di fallimenti nei nostri campioni, il progetto originale prevedeva il 94%, un risultato molto vicino a quello dello studio iniziale che abbiamo condotto. Con un intervallo di confidenza piuttosto ampio, del 95%. Il progetto ottimale era quello che abbiamo mostrato nella colonna centrale, e prevedeva un tasso di perdita molto basso. Presentava anche un intervallo di confidenza molto stretto, del 95%.
Il design selettivo, anche se non all'altezza di quello ottimale, prevede comunque un tasso di saldatura molto basso. Bisogna ricordare che questo è per il processo di condizionamento esteso. Il nostro tasso di saldatura effettivo sarà ancora più basso. Se si confronta il modello selezionato con l'originale, il tasso di saldatura con questo processo di condizionamento esteso è oltre 25 volte inferiore. Abbiamo ritenuto che fosse un esperimento davvero valido e che corrispondesse perfettamente. I risultati corrispondevano a quanto previsto dall'esperto in materia, ovvero il produttore del sigillo, che ha fornito molti di questi fattori da testare, e i risultati corrispondevano davvero a quanto previsto.
Rebecca passerà alla diapositiva successiva. Abbiamo dei riferimenti. Abbiamo ricevuto un grande aiuto da JMP in questo. Don McCormack di JMP e anche il nostro rappresentante locale ci hanno aiutato parecchio a determinare la dimensione del campione e a definire questa metodologia. Don ha tenuto un discorso molto interessante a marzo per il Discovery Summit Europe, che entra molto più nel dettaglio su come determinare la dimensione del campione per le risposte di tipo "superato/non superato". Poi abbiamo anche un paio di altri riferimenti.
Infine, nelle ultime pagine, abbiamo un'appendice con la simulazione di potenza e un riepilogo dell'analisi di Rebecca. Infine, nell'ultima appendice C, abbiamo alcuni suggerimenti e trucchi che abbiamo imparato gestendo DOE di grandi dimensioni come questo, solo per rimanere organizzati e garantire buoni risultati. A questo punto, vorrei ringraziarvi tutti per aver ascoltato il nostro intervento, che è stato molto proficuo per noi, e siamo davvero felici di presentarvi questi ottimi risultati e di come utilizziamo JMP per risolvere il nostro problema. Grazie ancora.
