Buongiorno. Mi chiamo Ray Bunkofske e lavoro per Regeneron Pharmaceuticals. Presenterò un'applicazione che ho scritto in JMP per semplificare l'individuazione delle variazioni nei nostri indicatori chiave di prestazione (KPI) e quindi l'individuazione della causa principale di eventuali risultati insoliti. Per ogni analisi sono disponibili diverse statistiche riassuntive e i KPI sono combinazioni lineari di queste, che ho dimostrato essere utili per individuare eventuali problemi con questi risultati.
In tutta l'azienda, ci sono decine di test diversi, ognuno con diversi parametri da monitorare e rivedere quando vengono rilevati problemi. L'idea è quella di fornire un'unica applicazione in cui gli utenti possano individuare i test che presentano problemi e determinare le probabili fonti di variazione in tali test. C'è anche la possibilità di visualizzare metriche per la gestione della salute a lungo termine e identificare le fonti di variazione sistematica. Sfrutta l'analisi multivariata supportata da JMP per fornire un'unica pagina con i risultati normalizzati di ogni test, facilitando l'identificazione delle tendenze emergenti. Le metriche principali che utilizzo sono il T² di Hotelling e la distanza dal modello. Queste sono utili in quanto più KPI possono essere incorporati in un unico grafico di controllo, eliminando la necessità di esaminare più grafici per ogni test.
Supporta anche i grafici univariati convenzionali, così gli utenti possono andare a un parametro specifico, esaminare i risultati e fare un po' di drill-down per individuare le possibili cause di eventuali risultati anomali. Passiamo ora a JMP. Qui è dove è possibile esaminare i singoli grafici di controllo. Per ogni parametro, i limiti di controllo sono memorizzati in una proprietà di colonna e in alto a sinistra si trova l'elenco dei test disponibili e il numero di volte in cui ciascun test è stato eseguito nell'ultimo anno. Poi ci sono un paio di colonne che mostrano i parametri che sono stati contrassegnati come i più alti per una determinata settimana. Infine, c'è un grafico semaforico, che è verde se tutto è entro 1 sigma, giallo se è tra 1 e 3 sigma e poi rosso se è fuori da 3 sigma. Per visualizzare un grafico specifico, è sufficiente evidenziare quello di interesse. Fare clic su "Mostra parametri". Questi parametri appaiono qui e quindi è possibile scegliere quelli che si desidera esaminare, che sia uno o più di uno. Quindi puoi selezionare "Crea grafici" e i parametri sono mostrati di seguito. Ora, qui puoi vedere un esempio in cui ho un paio di punti che sono molto al di fuori dei limiti di controllo.
Se si desidera espandere la scala, il modo più semplice è cliccare sui punti anomali del grafico, creare nuovamente i grafici e quindi rappresentare graficamente eventuali valori alti o bassi come stelle sul limite di controllo 3 sigma. È possibile spostarsi tra i grafici con il successivo e il precedente. È disponibile una piccola funzionalità di legenda in cui è possibile selezionare i punti che presentano errori di laboratorio, segnalazioni di eventi, errori generali. È possibile colorare in base alla versione del test. Chi ha eseguito l'analisi? Questi sono pseudonimi. I responsabili hanno una chiave, quindi sanno che il nome 8 è Sally e il nome 35 è Johnny.
Poi c'è anche il tipo di campione, che si tratti di un campione non di routine, di un campione rilasciato o di uno stabile. Poi vengono colorati di conseguenza. L'altra cosa che puoi fare è andare a quella che chiamo la pagina "Situazione a colpo d'occhio". Qui ci sono molte cose in corso, quindi inizierò dall'alto a sinistra. Puoi selezionare un intervallo di tempo. In questo caso, sono gli ultimi 60 giorni. Ecco i test con dati negli ultimi 60 giorni, la quantità, il T² massimo di Hotelling e il DModX massimo. Qualsiasi cosa con almeno uno di questi valori oltre il limite di controllo superiore di 1 è colorata in rosso.
Qui abbiamo analisi che non hanno ricevuto dati negli ultimi 60 giorni. Poi qui ci sono le singole osservazioni che hanno attivato i punti rossi. Scorrendo verso il basso, abbiamo un grafico del T² di Hotelling per tutte le analisi. Ogni punto rappresenta il valore massimo di Hotelling per una data settimana lavorativa. Sono stati tutti normalizzati, quindi il limite è 1. Queste due barre verticali rappresentano le ultime due settimane, giusto per dare un'occhiata. Potete vedere che alcuni degli adattamenti spline presentano delle irregolarità e non ci sono punti. Questo perché quei punti sono fuori dal grafico. Se cliccate sulla barra, verranno rappresentati graficamente quei punti al limite 3 sigma per rendere più facile vedere cosa sta realmente accadendo lì. Quindi, se volete vedere i dettagli di uno qualsiasi di questi, potete semplicemente cliccare sul grafico e verrete indirizzati alla pagina dei dettagli. Questo è il CTP numero 21. Ecco l'analisi di capacità eseguita da JMP. Abbiamo la stabilità sull'asse X e la capacità sull'asse Y. Questo grafico al momento non sembra molto buono. Se ricordate, avevamo alcuni valori anomali in questo grafico.
Eliminerò quei valori anomali e rieseguirò il report per vedere se cambia qualcosa. In effetti, cambia. La mia capacità è ora superiore a 1,33 e la mia stabilità è ancora buona. I numeri dettagliati sono qui in alto. Scendendo, ecco i singoli T² di Hotelling, dove ogni punto rappresenta ogni analisi, non più il massimo settimanale, e il DModX. Di nuovo, posso colorare in base a un LTIF, a una notifica di evento o a un errore generale. La versione della SOP, l'analista o il tipo di campione. Se si passa il mouse su un punto, JMP visualizza un piccolo diagramma di Pareto dei singoli parametri che mostra cosa sta succedendo. Si può quindi fare clic su di esso e passare di nuovo il mouse, e si otterrà il grafico di controllo di quel parametro, che verrà visualizzato in una finestra separata, dove è possibile visualizzarne i dettagli. Per ora lo lascerò perdere.
L'altra cosa che puoi fare è approfondire ulteriormente e vedere, abbiamo un sacco di analisi di laboratorio proprio qui alla fine. Cosa c'è di diverso tra questi punti? Lo chiamerò Gruppo A. Imposterò tutti gli altri al Gruppo B, poi farò uno screening predittivo, e questo si presenterà così, dove vedo che la differenza tra i due gruppi è la pipetta numero 5, la pipetta numero 3, il reagente numero 1 e così via.
Crea un grafico per qualsiasi cosa con una porzione superiore a 0,1. Puoi scorrere verso il basso e vedere diversi tipi di grafici, a seconda dei dati. Puoi decidere autonomamente se è qualcosa che merita un'indagine. In questo caso, sembra probabilmente di no. Abbiamo solo una pipetta molto diversa qui sotto, e la stessa storia su questa. L'altra cosa che puoi fare qui è evidenziare alcuni punti e cliccare su "Crea un elenco di piastre", e poi vedi un elenco come questo, che per ciascuno dei punti evidenziati mostra se ci dovrebbero essere tre piastre, e dovrebbero tutte dire "Vero", ovvero che sono state superate. Ne abbiamo alcune che hanno superato una, altre che hanno superato tutte. Rende abbastanza facile vedere quante piastre sono state analizzate per ogni analisi. Quindi, se ci sono note associate, vengono visualizzate qui, e puoi accedere al nostro sistema di tracciamento e vedere cosa sta succedendo. Se vuoi vedere maggiori dettagli, puoi guardare le osservazioni e i punti evidenziati. Clicca su "Mostra osservazioni". Quindi, per ciascuna delle analisi, vedrai di nuovo quel numero, il numero di riferimento e poi le note inserite dall'analista al momento dell'esecuzione dell'esperimento.
Muovendoci un po'. Per il test che hai scelto, vengono visualizzati i parametri. Se vuoi approfondire uno di essi, evidenzia semplicemente quello che ti interessa. Fai clic su "Crea grafico". Viene creato un grafico di controllo per il parametro con tutte le varie statistiche che lo accompagnano. Tra le altre schede che abbiamo, c'è un rapporto di validità. Qui a sinistra, c'è tutta la nostra analisi SOP individuale. In quale percentuale di volte hanno soddisfatto i requisiti e in quale percentuale non li hanno soddisfatti. Poi, se desideri maggiori dettagli, puoi andare qui a destra. In questo caso, abbiamo evidenziato lo stesso test. Poi puoi vedere cosa sta succedendo per mese. Vedi quanti test sono stati eseguiti durante ogni mese, in quale percentuale di volte in quel mese abbiamo avuto errori di laboratorio noti, i dettagli qui sotto in una tabella della percentuale di volte in cui ogni singolo parametro ha avuto difficoltà, che si allinea con questa legenda qui in alto a destra. Se vuoi approfondire ulteriormente, ad esempio qui a marzo 2025, scegliamo marzo 2025 e il grafico viene suddiviso per settimana lavorativa.
È possibile visualizzare i risultati di una determinata settimana, oppure è possibile tracciare un grafico per aliquota e visualizzare i risultati di qualsiasi analisi. Il vantaggio in questo caso è che se si notano risultati imprevisti e tutti gli altri stanno andando bene, l'analisi è probabilmente corretta, ma forse c'è stato un nuovo analista o un problema con l'agente a questo punto, e quindi è necessario approfondire un po' la questione. L'altro strumento di reporting che abbiamo qui è la segnalazione degli errori di laboratorio noti. Per impostazione predefinita, elenca tutte le analisi in basso, quindi è codificata a colori per mese. Si può notare che l'analisi numero 1 e l'analisi numero 33 sembrano presentare i maggiori problemi. È anche possibile visualizzare diversi tipi di errori e visualizzarli in grafici a torta o a barre sovrapposte, a seconda di ciò che si sta osservando. Quindi, se si desidera approfondire ulteriormente, è possibile selezionare un'analisi specifica e il sistema traccia un grafico a barre per ogni mese, oppure è possibile capovolgere la visualizzazione e selezionare un mese per visualizzare i risultati di tutte le diverse analisi. Tornerò a PowerPoint.
Abbiamo creato questo strumento per fornire revisioni settimanali e fornire un punto di riferimento semplice per dimostrare che i test stanno procedendo sotto controllo. Quando qualcosa va storto, un modo semplice per determinare le probabili cause della variazione. Poter includere reagenti e lotto è stato utile, così come identificare alcune combinazioni di pipette per analisti che potrebbero non funzionare come dovrebbero. Infine, vorrei ringraziare i miei colleghi che hanno reso possibile tutto questo. Non sarei stato in grado di farlo senza di loro. Abbiamo il team dei test. Questi sono i responsabili dei gruppi che eseguono i test, le persone che sviluppano i test, i gruppi che forniscono l'attrezzatura e il supporto per i reagenti, e poi il team di automazione che mette effettivamente in atto tutti i componenti affinché l'attrezzatura funzioni o si connetta alle nostre applicazioni di analisi. Grazie. Ci sono domande?
