JMP ist ein leistungsstarkes Werkzeug zur Auswertung großer Datensätze. In dieser Fallstudie wurde eine Untersuchung eingeleitet, um die Ursache einer Reihe von Geräteausfällen zu ermitteln. Mithilfe von JMP konnte das Team Fehlerquellen identifizieren, Trendanalysen durchführen und die Daten visualisieren. Dadurch konnte die Untersuchung abgeschlossen und die Ursache ermittelt werden.
Diese Präsentation enthält Informationen über die Untersuchung und eine kurze Demonstration, wie wir die Funktion „96-Bohrloch-Karte“ im Graph Builder in Verbindung mit unserem Wissen über die Instrumentierung genutzt haben, um die Ursache zu ermitteln.
Hallo zusammen. Ich bin Holly Oxley. Ich bin Anwendungswissenschaftlerin und Managerin bei Exact Sciences und möchte Ihnen heute eine Untersuchung vorstellen, bei der wir JMP zur Ermittlung der Ursache einsetzen.
In vielen unserer Projekte spielen Ermittlungen eine große Rolle. Dabei ist uns bewusst, dass Ermittlungen ein wenig wie unfertige Puzzles sind. Damit meine ich, dass sie aus vielen Einzelteilen bestehen.
Sie unterscheiden sich in ihrer Komplexität. Sie erfordern die Betrachtung sowohl kleiner als auch großer Elemente. Einzelne Elemente lassen sich in der Regel gruppieren und miteinander verknüpfen, um zusätzliche Informationen zu gewinnen. Meist weisen sie ein erkennbares Muster auf. Fast immer ist ein gewisses Maß an Experimentierfreude erforderlich. Am Ende entsteht ein Datenkunstwerk.
Für dieses konkrete Szenario werde ich erläutern, wie diese Puzzleteile zusammenpassen und wie JMP uns geholfen hat, zu verstehen, was vor sich ging, was zur eigentlichen Ursache des Problems führte.
Zunächst einmal gibt es Komponenten mit unterschiedlichem Komplexitätsgrad, vergleichbar mit der Anzahl der Puzzleteile. Die Daten für die Untersuchungen stammen aus einer Vielzahl von Quellen innerhalb unserer Labore und umfassen beispielsweise Reagenziendaten, Gerätedaten, Umweltdaten, Beobachtungen der Bediener und Trenddaten.
Diese Datensätze und die dazugehörigen Untersuchungen können sehr unterschiedlich komplex sein. Mein Team nutzt JMP für Ergebnisse, die von einem einzelnen Durchlauf bis hin zu über fünf Millionen Datenzeilen mit mehr als 200 Spalten reichen. Die JMP-Importe umfassen sowohl einzelne Dateien als auch vollständige SQL-Abfragedateien, die direkt mit Datenbanken verbunden sind.
Die Fallstudie in diesem speziellen Fall ist zwar kleiner, behandelt aber eine erhöhte Rate ungültiger Abtastwerte. Betrachtet man die kleinen und großen Elemente, so erkennt man, dass sie unterschiedlich geformte Teile enthalten.
Zu diesen kleineren Elementen gehören beispielsweise bestimmte Datumsbereiche, Laufdaten und Reagenzieninformationen. Zu den größeren Elementen zählen hingegen Standortvergleiche (wenn ich in mehreren Laboren arbeite), Kenntnisse über andere Probleme innerhalb der Organisation oder in laufenden Untersuchungen sowie historische Trends – letzteres ist für uns besonders wichtig. Wir verfügen über eine große Datenmenge, und diese historischen Trends sind von entscheidender Bedeutung. Hinzu kommen die Instrumentierung und die Gesamtauswirkungen auf die Proben.
Die Analyse unserer Daten mit JMP umfasst unter anderem den Import mehrerer Dateien, Verteilungen, Tabellen, Anpassungstabellen (Y = X), Variabilitätsdiagramme, den Graph Builder, Umkodierung, Zeit- und Datumsänderungen sowie die Erstellung von Formeln. Wo immer möglich, setzen wir außerdem Skripte ein, um unsere Arbeit und Datenanalyse so effizient wie möglich zu gestalten.
In diesem Fall eskalierte das Labor ein Problem, bei dem wir eine Zunahme ungültiger Ergebnisse aufgrund unzureichender Probenqualität in den ersten Analyseschritten feststellten. Wir gruppieren und verknüpfen die einzelnen Elemente dieses Problems, um zu verstehen, welche zusätzlichen Informationen wir gewinnen können, die uns bei der Untersuchung helfen.
Bei dieser Analyse haben wir verschiedene Datenarten zusammengefasst – ich nehme an, Kontrolldaten, Kalibrierungsdaten, Instrumentierungsdaten – und sind zu dem Schluss gekommen, dass keine dieser spezifischen Daten die Ursache des aktuellen Problems ist.
Nachdem diese Faktoren ausgeschlossen waren, konnten wir andere mögliche Zusammenhänge untersuchen, wie beispielsweise eine Häufung von Problemen mit Verbrauchsmaterialien, die wir bereits in anderen Untersuchungen festgestellt hatten. Dadurch konnten wir unter anderem mit der Chargenverfolgung beginnen, um zu verstehen, wo die Produkte verwendet wurden.
Wartungsarbeiten an den Instrumenten schlossen nicht aus, dass dasselbe Instrument kurz nach Abschluss der ursprünglichen Wartungsmaßnahme ein weiteres Problem aufwies. Aus diesem Grund konnten wir feststellen, dass die Instrumentierung zwar ein mitwirkender Faktor sein könnte, aber wahrscheinlich nicht die Hauptursache darstellt.
Bei der Auswertung kleinerer Elemente wie Kalibrierung und Kontrolle, Fehlerdaten oder Informationen zu Reagenzienfehlern stellten wir fest, dass die Trendanalyse der vorliegenden Daten keinen Anstieg der ungültigen Raten gegenüber einem einzelnen Durchlauf zeigte. Dies betraf eher die Ebene einzelner Proben.
Die Informationen zu den Reagenzien zeigten uns, dass es keine Änderungen an den spezifischen Reagenzien gab, die an einem einzelnen Standort verwendet wurden, und dass wir das Problem an zwei Standorten beobachteten, die unterschiedliche Reagenziensätze verwendeten.
Als wir diesen Punkt erreicht hatten, zeigten sich bei der Fehlersuche an den Messgeräten deutliche Muster. Wir stellten fest, dass zwar zeitweise viele Messgeräte aufgrund dieses Problems außer Betrieb genommen wurden, die betroffenen Geräte aber repariert wurden und nach der Reparatur keine bessere Leistung aufwiesen als vor der Reparatur.
Dies veranlasste uns, die Muster genauer zu untersuchen. Mithilfe des JMP Graph Builders und der Funktion „Kartenform“ konnten wir visualisieren, wo die ungültigen Proben auftraten. In dieser kleinen Abbildung sind rote und blaue Punkte in jeder Vertiefung der 96-Well-Platte zu sehen.
Man kann ein gewisses Muster erkennen. Die roten Punkte stellen gültige, die blauen ungültige Proben dar. Auf der rechten Seite der Platte sind deutlich mehr blaue als rote Punkte zu sehen. Sie folgen außerdem einer gewissen Tendenz zu bestimmten Spalten. Das betrifft nicht nur die Zeilen, sondern auch die Spalten. Mein Team hat daraufhin angefordert, dass das nächste Auftreten einer hohen Anzahl ungültiger Proben umgehend gemeldet wird.
Die Kenntnis der Messtechnik in Verbindung mit diesem Datenmuster ermöglichte uns die Ermittlung von Chargentrends bei Verbrauchsmaterialien. Die Chargenrückverfolgung hatten wir bereits im Rahmen einer anderen laufenden Untersuchung eingeleitet. Selbstverständlich ist ein gewisses Maß an Experimentierfreude immer erforderlich.
In diesem Fall wurde ein einzelnes Instrument ausgewählt, um das Problem im Labor nachzustellen, da wir es mit den vom Untersuchungsteam bereitgestellten Materialien nicht reproduzieren konnten. Wir nutzten daher deren Labormaterialien.
Das sporadisch auftretende Problem ließ sich mit etwa 20 der fraglichen Verschleißteile reproduzieren. Experimente ergaben eine eindeutige, visuell erkennbare Ursache bei der Platzierung des betreffenden Verschleißteils in den Messgeräten. Dies wurde anschließend durch die während der Fehlersuche an diesen Platten erfassten Daten bestätigt.
Nachdem all dies abgeschlossen war, konnten wir endgültig feststellen, dass unsere Deep-Well-Platte die eigentliche Ursache für den Anstieg ungültiger Ergebnisse war. Der Hersteller bestätigte daraufhin, dass die von uns im Rahmen dieser Untersuchung beschafften und aufbewahrten Platten außerhalb der vom Lieferanten definierten Toleranzbereiche lagen. Dies führte bei unseren Laborpartnern zu einer fehlerhaften Bestückung der Platten mit den Analysegeräten und somit zu der beobachteten Häufung der Proben, die die ungültigen Ergebnisse verursachte.
Die Kunst der Einfachheit ist im Grunde genommen ein komplexes Rätsel, und genau das haben wir in diesem speziellen Fall beobachtet. Da wir JMP für diese Untersuchung verwendet haben, möchte ich Ihnen kurz ein paar Tipps geben, was wir gesehen haben und wie wir dieses Tool einsetzen konnten. In der JMP-Community gibt es verschiedene Kartentypen. Sie können sogar eigene erstellen. Ich habe hier einen Beitrag verlinkt, der erklärt, wie Sie ein eigenes Layout erstellen.
Der zweite Beitrag ist das Well-Format, das wir für diese Untersuchung verwendet haben. Es handelt sich um die Datei Plate96Welsl-Name.jmp, die über den unten stehenden Link zu finden ist.
Damit ist meine Präsentation beendet. Ich hole schnell das Material für die eigentliche Demonstration. So habe ich das bei der Analyse verwendet. Dies ist ein Beispieldatensatz, den ich für diese Bestimmung mithilfe der Karte verwendet habe.
Hier sehen Sie die Platten-ID, die Well-Nummer, eine Spalte namens „Well“, den Probenstatus und die Seriennummer des Messgeräts. Die Seriennummer ist dem Messgerät zugeordnet. Der Probenstatus zeigt eindeutig an, ob das Ergebnis gültig oder ungültig ist.
Um die gewünschte Kartenfunktion nutzen zu können, musste ich aufgrund der Konfiguration unserer Software eine neue Spalte für die Wells erstellen. Dabei habe ich die Reihenfolge der Wells in der 96-Well-Platte genau angegeben und diese Spalte mit A1 bis H12 nummeriert.
Sobald Sie sich in dieser Spalte befinden und die entsprechenden Informationen erstellt haben, können Sie die Spalteninformationen aufrufen. Mein spezifisches Datenmodell ist „Character“ und in diesem Beispiel „nominal“. Anschließend öffnen Sie das Dropdown-Menü „Spalteneigenschaften“ und wählen dort „Rolle zuordnen“ aus.
Sie haben hier die Wahl zwischen Form, Name und Verwendung oder Form, Name und Definition. Ich bleibe bei Form, Name und Verwendung und suche dann die gewünschte Datei aus, die… Moment, 96-Well-Platte. Anschließend definiere ich die Spalte mit dem Namen „Well“ als die Spalte, auf die ich diese Mapping-Form anwenden möchte. Dann klicke ich auf OK.
Anschließend öffne ich den Graph Builder und ziehe die soeben definierte Spalte für die Form in die Kartenform. Nun sehen Sie ein Layout mit 96 Bohrungen. Für diese Analyse habe ich den Probenstatus in die Farbauswahl und die Seriennummer bzw. die eingerichtete Seriennummer auf die Seite gezogen. Jetzt sehe ich, dass für die Anzahl der Läufe mit dieser Seriennummer unterschiedliche Populationen gültiger und ungültiger Ergebnisse angezeigt werden.
Anschließend wollte ich mir die Ergebnisse nach Ausführungen anzeigen lassen. Ich habe einen lokalen Datenfilter angewendet, der auch die Beispielkonfiguration bzw. den Status umfasste, und dann die beiden Elemente ausgewählt, die ich sehen wollte.
Anschließend ging ich innerhalb der Karte selbst zu „Kartenformen“ und änderte die Einstellung auf „Punkte“, sodass ich bei Messreihen, die mehr als einmal mit einem Instrument durchgeführt wurden, alle repräsentativen Daten sehen konnte, die in der jeweiligen Tabelle dargestellt waren.
Hier oben sehen Sie einen einzelnen Durchlauf, an dem das Muster der ungültigen Ergebnisse erkennbar ist. Im zweiten Beispiel sehen Sie ein anderes Muster ungültiger Ergebnisse und mehrere Durchläufe. Dies ist ein Beispiel für einen Vorher-Nachher-Test, bei dem wir wussten, dass ein Problem vorlag. Wir haben vor der Wartung getestet und anschließend erneut.
Man kann sehen, dass sich die Population nicht wesentlich verschoben hat. Es gab zwar eine leichte Bewegung, aber beide Szenarien zeigen uns zwei Dinge darüber, wie die Platte positioniert war. In diesem Fall war die Platte wahrscheinlich so auf unserem Messgerät platziert, dass die rechte Seite des Plattenverbrauchsmaterials gekippt war, was diesen spezifischen Fehler verursachte.
Beim zweiten Beispiel, dem Vergleich vor und nach der Wartung, ist zwar keine wirkliche Veränderung erkennbar, aber es zeigt sich weiterhin, wie wichtig die Plattenplatzierung war, denn man sieht, dass sich diese Bohrungen in der gleichen Art von Bereich auch nach einer Wartungsmaßnahme reproduzieren.
Als wir das Problem genauer erkennen und die Ursache auf das Verbrauchsmaterial zurückführen konnten, hatten wir Grund, unseren Lieferanten zu kontaktieren und mit ihm zu sprechen. Daraufhin erhielten wir die Informationen, die ich auf der letzten Folie präsentiert habe: Die Abmessungen des Lieferanten lagen außerhalb der Spezifikation. Das war's für heute. Vielen Dank fürs Zuschauen und viel Spaß mit Graph Builder. Ich hoffe, es war hilfreich.
