Ciao, mi chiamo Abby Collins e sono una statistica presso FUJIFILM Biotechnologies. Oggi presenterò il nostro componente aggiuntivo di analisi comparativa che ho sviluppato per consentirci di effettuare analisi statistiche. Ecco alcune motivazioni per questo componente aggiuntivo. Qui in FUJIFILM, siamo un'organizzazione di sviluppo e produzione di farmaci a contratto. Parte del nostro lavoro di sviluppo include l'esecuzione di un'analisi di modelli su scala ridotta o di un'analisi di modelli su piccola scala. Tale analisi determina l'equivalenza tra i nostri dati di produzione su larga scala e quelli su piccola scala, in modo da poter sviluppare e studiare ulteriormente il processo e gli attributi di qualità critici su larga scala.
Un modo per determinare l'equivalenza tra queste due scale è tramite analisi statistica. Lo scopo di questo componente aggiuntivo e la motivazione alla base della sua implementazione derivano da tale analisi. Questo componente aggiuntivo ci consente di eseguire tutte le analisi statistiche previste per il modello di scalabilità verticale.
Passiamo allo sfondo. Potete vedere qui l'immagine di un bioreattore da 2.000 litri, che proviene dai dati di produzione commerciale su larga scala. Potete vedere quanto sia più grande in proporzione a questo minuscolo bioreattore da 250 millilitri. Questo sarà il modello che svilupperemo nei nostri processi in laboratorio. Quindi dobbiamo determinare l'equivalenza tra queste due scale.
Per fare ciò, statisticamente, abbiamo bisogno di tre punti dati su larga scala per effettuare l'analisi. Siamo ancora nelle prime fasi di sviluppo quando eseguiamo questa analisi. Spesso non disponiamo di grandi set di dati. Dobbiamo averne almeno tre. E poi consigliamo sempre di rivalutare e riutilizzare questo componente aggiuntivo man mano che diventano disponibili più dati, man mano che procediamo nel processo di sviluppo e produzione.
Passiamo al componente aggiuntivo vero e proprio. Come potete vedere nell'immagine della struttura dati qui, ho uno screenshot di un set di dati che funzionerebbe bene con questo componente aggiuntivo. Gli unici requisiti necessari per eseguire effettivamente il componente aggiuntivo sono una colonna di identificazione dell'esecuzione o di identificazione della riga, che potete vedere evidenziata in giallo, e una colonna di identificazione del gruppo. Pertanto, i dati devono essere raggruppati in base a questi due livelli di raggruppamento. A parte questo, il componente aggiuntivo è robusto a qualsiasi nome di colonna, ai nomi dei livelli di gruppo. Questo non ha importanza. Si esegue l'ID, i nomi dei gruppi, i nomi delle colonne. Niente di tutto ciò ha importanza. Lo script è robusto a tutto questo. È solo necessario che i dati siano impilati correttamente e che si disponga di almeno queste due colonne di informazioni oltre ai dati effettivi.
Passiamo all'esecuzione del componente aggiuntivo. La prima finestra visualizzata è quella del test di equivalenza SSM. Si tratta semplicemente di uno spazio in cui è possibile immettere l'aspetto dei dati in modo che lo script possa riconoscerli e analizzarli. Per quanto riguarda la riga o la colonna di identificazione dell'esecuzione, per me, in questo esempio, sarebbe il numero dell'esecuzione. Quale colonna contiene il tipo di esecuzione o la variabile di raggruppamento? Quella sarebbe la scala. E chiede il gruppo di riferimento all'interno di quella variabile di raggruppamento, e questi saranno i nostri dati su larga scala. E il gruppo di test con cui vogliamo confrontarli sono i nostri dati su piccola scala, in scala ridotta. Quindi sarebbe piccolo. La colonna che contiene il primo parametro per il test di equivalenza effettivo, o qual è la prima colonna numerica, sarebbe la colonna 3.
Passiamo al prompt successivo. La finestra successiva che si apre chiede all'utente di identificare su quali colonne numeriche del set di dati si desidera effettivamente eseguire l'analisi. Elenca tutte le colonne numeriche del set di dati ed è possibile selezionarne una o più. Questo è utile perché il componente aggiuntivo produrrà effettivamente un sottoinsieme specifico solo per le colonne selezionate. Quindi, se si inizia con un set di dati molto grande, non è necessario preoccuparsi di suddividerlo in sottoinsiemi. Sarà possibile farlo qui.
Mentre eseguiamo il componente aggiuntivo, cosa fa in background? In background, questo piccolo diagramma di flusso mostra cosa sta facendo il componente aggiuntivo. In questo riquadro in alto, dopo la sezione di input utente, vediamo che otteniamo statistiche di riepilogo per scala per i dati. Non ne parlerò troppo. Lo mostrerò quando arriveremo all'output. E parlerò anche di questo riquadro in basso, dove si trova il grafico a dispersione Six Sigma. Ne parleremo nell'output. Ma un diagramma di flusso qui al centro, è quello di cui vorrei parlare qui.
In background, il componente aggiuntivo verifica l'uguaglianza della varianza tra i due gruppi. Lo fa esaminando il test di Brown-Forsythe, il test di Leven e un test F. Se due di questi test hanno valori di p superiori a 0,05, il componente aggiuntivo procede assumendo che la varianza tra i gruppi sia uguale. Quindi, esegue un test t aggregato, un test di Welch e un test TOST, oppure due test t unilaterali con varianza aggregata. Allo stesso modo, se due di questi test falliscono, il che significa che il valore di p è inferiore a 0,05, il componente aggiuntivo procede assumendo che la varianza tra i due gruppi sia disuguale e, pertanto, produrrà i risultati di un test t standard, di un test di Welch e di un test TOST con ipotesi di varianza disuguale.
Ora, se avete mai eseguito un TOST in JMP, sapete che è necessario determinare l'equivalenza pratica e inserirla nella piattaforma di test di equivalenza. Tuttavia, questo componente aggiuntivo produce automaticamente risultati TOST e utilizza un'equivalenza pratica pari a tre volte la deviazione standard del gruppo di riferimento. Per noi, questo equivale a tre volte la deviazione standard dei nostri dati su larga scala per ogni parametro incluso nell'analisi.
Per noi, nella fase iniziale dello sviluppo, non abbiamo ancora un'equivalenza solida, scientificamente fondata e pratica da utilizzare, nella maggior parte dei casi, a volte sì. Ma questo è un buon punto di partenza per utilizzare il triplo della deviazione standard, dato che spesso non disponiamo di queste informazioni, ed è proprio ciò che fa questo componente aggiuntivo. Lo utilizzerà e produrrà automaticamente i risultati TOST. Successivamente, il componente aggiuntivo crea una tabella riepilogativa di tutti i risultati dei test, insieme a tutto l'output JMP effettivo associato a tali test.
Ora, farò una dimostrazione del componente aggiuntivo e parlerò dei risultati.
Ecco la tabella dati che hai visto nel poster. Vado ai miei componenti aggiuntivi. Faccio clic su "Analisi di confronto" e compilo questa prima finestra. Qual è la colonna "ID esecuzione"? Sarà il numero di esecuzione. Qual è il gruppo del tipo di esecuzione? È la scala. E il mio gruppo di riferimento è costituito dai miei dati su larga scala. Il mio gruppo di test è su piccola scala. E la prima colonna che vorrei testare è la colonna 3. Digitando in maiuscolo e minuscolo, è sensibile a questo. Quindi devi assicurarti di scrivere in maiuscolo se è già in maiuscolo nel set di dati. Faccio clic su "Ok". Forse non voglio includere i parametri 5 e 6. Quindi tengo premuto Ctrl e seleziono tutto tranne questi. Faccio clic su "Ok".
La cosa interessante è che ora abbiamo un report JMP di tutti i risultati di questa analisi comparativa. In alto, abbiamo un sottoinsieme dei dati che sono stati selezionati da me in questa analisi. Abbiamo tutti i parametri, tranne i parametri 5 e 6, che mancano perché non li ho selezionati. Successivamente, abbiamo le statistiche di riepilogo per i parametri selezionati in base alla nostra scala. Quindi abbiamo i nostri dati su larga e piccola scala. L'impostazione predefinita al momento per il componente aggiuntivo include il minimo, il massimo, la media, la deviazione standard e la dimensione del campione per gruppo. Successivamente, si ottiene una bella tabella di riepilogo di tutti i risultati del confronto effettuati in questo componente aggiuntivo. Potete vedere le prime tre colonne qui, e il gruppo di test, abbiamo il conteggio degli errori e la percentuale di successo. Queste tre colonne di informazioni si abbinano al grafico a dispersione Six Sigma che potete vedere qui.
Osservando questo grafico, l'area verde è la regione Six Sigma. Se lavorate nel settore, potreste avere familiarità con questo termine, ma si tratta solo di tre deviazioni standard sopra e sotto i nostri dati su larga scala, che rappresentano il nostro gruppo di riferimento. E questo crea quest'area ombreggiata in verde. Scorrendo verso il basso, potete vedere una linea rossa. Questa è semplicemente la media dei vostri dati su piccola scala o del vostro gruppo di test. Abbiamo una linea blu per la media dei nostri dati su larga scala. Abbiamo tracciato i singoli punti dati e abbiamo anche una linea nera media complessiva. Il gruppo di test è il numero di punti dati presenti nel vostro gruppo di test. Questi sono i miei dati su piccola scala. Il conteggio dei fallimenti è il numero di punti dati che si trovano al di fuori dell'intervallo Six Sigma per i vostri dati su piccola scala. Pertanto, la percentuale di successo è la proporzione di punti dati che rientrano nel vostro Six Sigma. Poiché 7 su 8 sono inclusi in quest'area ombreggiata in verde, la nostra percentuale di successo è dell'88%, in base a questo diagramma di dispersione.
Passando alla colonna successiva di informazioni, c'è la nostra ipotesi di test. È qui che il componente aggiuntivo in background esegue i test di uguale varianza. Indica uguale varianza se superiamo due dei tre test di uguale varianza. E se falliamo, vedrete che indica varianza disuguale. Da qui, abbiamo il valore P del t-test appropriato che si adatta a quell'ipotesi di test. Quindi, se abbiamo uguale varianza, abbiamo il valore P che corrisponde a un t-test aggregato. E se abbiamo varianza disuguale, questo sarà il valore P del vostro t-test standard. Quindi lo trasformeremo in una colonna che nasconde un superato o un fallito, dove superato è se abbiamo un valore P maggiore di 0,05, il che significa che non abbiamo una differenza media pari a zero tra quei due gruppi. E se abbiamo un valore P inferiore a 0,05, allora sarebbe un fallito perché avremmo una differenza significativa nelle medie tra quei due gruppi. Allo stesso modo, abbiamo il valore P per il test di Welch e anche il superamento/fallimento basato su quel valore P.
Successivamente, abbiamo i risultati della valutazione TOST. Abbiamo "equivalente" e "non equivalente". Queste sono le uniche opzioni generate di default in JMP. Se scorro verso il basso dopo aver esaminato i risultati di riepilogo, possiamo effettivamente vedere che tutte le informazioni di adattamento Y per X per ottenere quei risultati del test sono ancora presenti in questo registro. Qui abbiamo il nostro grafico standard con i rombi della media e abbiamo anche i cerchi di Tukey-Kramer tracciati. Abbiamo le informazioni sul t-test, le informazioni sul test della varianza e il test di Welch. Scorrendo verso il basso, abbiamo anche i risultati del test di equivalenza o TOST. Abbiamo il nostro intervallo di confidenza, la nostra regione di equivalenza ombreggiata in blu, la regione di errore in rosso e tutte queste informazioni per tutti i parametri inclusi sono presenti anche in questo report.
Per impostazione predefinita, il componente aggiuntivo rimane aperto. Se lo riduco a icona, si apre la finestra della piattaforma di adattamento Y per X individuale. Si apre anche la piattaforma individuale in cui sono stati creati questi grafici a dispersione, in modo da poterli salvare nella tabella dati. Qui viene prodotto questo sottoinsieme DT, che è il sottoinsieme dei dati con solo i parametri selezionati. Ho scelto di lasciarlo attivo e di lasciare queste informazioni aperte dal componente aggiuntivo, in modo da poterle salvare nella tabella dati e salvare la tabella dati se si desidera tornare indietro o se i dati vengono aggiornati, senza dover rieseguire il componente aggiuntivo. Avrete tutto salvato proprio qui. Riduco a icona questi grafici e torno alla presentazione.
Un altro aspetto di cui volevo parlare per il nostro output specifico. Quello che facciamo è creare questa tabella dei risultati finali. Come potete vedere, tutto quello che ho fatto è stato creare una tabella combinata o una tabella dati, cliccare con il tasto destro del mouse sui risultati di riepilogo e trasformarla in una tabella dati. Quindi potete vedere che abbiamo una conclusione statistica e una conclusione scientifica. Determiniamo una conclusione statistica sulla base di questi risultati statistici. Sarà verde se avremo superato al 100% tutti i test scelti per essere inclusi in questa analisi.
Ora, se un test per qualche motivo fallisce, statisticamente, lo renderemmo semplicemente rosso e diremmo che stiamo fallendo da qualche parte. L'unico caso in cui vedremmo un giallo è se passiamo tutto, tranne quando abbiamo un risultato TOST inconcludente. Definiamo un TOST inconcludente come se il tuo intervallo di confidenza, come in questo esempio, si sovrapponesse sia nella regione equivalente che in quella non equivalente. Quindi, poiché non siamo al 100% nel superamento o al 100% nel fallimento, tecnicamente, per noi, abbiamo scelto di definirlo come un risultato inconcludente. Ecco dove sarebbe giallo. Altrimenti, se abbiamo un risultato inconcludente ma falliamo qualsiasi altra cosa, allora avresti il rosso proprio qui.
Come potete vedere, in questo esempio abbiamo un rosso perché non abbiamo una valutazione positiva del 100% basata sulle informazioni del grafico a dispersione e abbiamo un TOST inconcludente. Ecco perché questo è rosso. Dopodiché, lo inviamo ai nostri scienziati. Esaminiamo tutto con loro, tutti i risultati. E poi loro utilizzeranno le loro conoscenze scientifiche sull'attributo in fase di studio o sul processo e useranno le statistiche e le loro conoscenze scientifiche per giungere alla conclusione finale di equivalenza per la nostra analisi del modello di scala ridotta.
Alcuni lavori futuri e la situazione attuale del componente aggiuntivo. Sto lavorando per consentire agli utenti di inserire un'equivalenza pratica per il TOST. Come ho detto, l'impostazione predefinita del componente aggiuntivo è quella di utilizzare tre volte la deviazione standard dei dati del gruppo di riferimento come regione di equivalenza pratica. Tuttavia, se non è sempre così e si desidera utilizzare un moltiplicatore diverso per la deviazione standard, o se si dispone effettivamente di una vera equivalenza pratica da inserire, sto lavorando per rendere questa opzione possibile, inserendola direttamente all'inizio del componente aggiuntivo invece di dover procedere manualmente e compilare il TOST individualmente. Questa opzione è in fase di sviluppo al momento.
L'altra cosa che vorrei aggiungere è che vorrei decodificare la tabella di riepilogo in modo che quel risultato TOST inconcludente possa apparire direttamente nella nostra tabella di riepilogo, invece di dover modificare l'impostazione predefinita, ovvero "equivalente" e "non equivalente". Anche questo è in fase di sviluppo. Vorrei anche che fosse più personalizzabile per i nostri scienziati che utilizzano il componente aggiuntivo. Se ci sono altri test che vorrebbero includere o che consentano di selezionare un sottoinsieme o di utilizzare visualizzazioni diverse, vorrei poter raccogliere il loro feedback e incorporarlo. C'è sempre margine di miglioramento per rendere l'output gradevole e gradevole. Anche questo è un aspetto su cui stiamo lavorando.
In conclusione, questo componente aggiuntivo è stato davvero utile per noi, riducendo il tempo necessario per eseguire l'analisi statistica. Se avete mai eseguito TOST in JMP, sapete che dovete inserire manualmente l'equivalenza pratica, selezionare il tipo di varianza, se desiderate un gruppo di controllo, e dovete farlo per ogni parametro per cui state eseguendo l'analisi.
Avere un TOST automatico, generare automaticamente tabelle di riepilogo e ottenere tutti questi grafici già pronti con un solo clic è stato davvero fantastico per noi, riducendo i tempi e migliorando l'efficienza di questa analisi. È stato anche un ottimo strumento per i nuovi utenti di JMP e per gli scienziati, che hanno potuto eseguire analisi statistiche in autonomia. Potrebbero non essere utenti JMP particolarmente esperti, ma vengono formati su come utilizzare il componente aggiuntivo e interpretare l'output, ed è molto facile da usare, basta un clic. Quindi è stato davvero fantastico per noi e speriamo di implementare questi miglioramenti in futuro, diffondere la conoscenza della statistica e creare altri componenti aggiuntivi. Grazie.
