850182_de-DE

liliconcom

Verwenden von JMP® zum Analysieren von Daten aus einem geplanten Experiment mit einigen Antworten unterhalb der Nachweisgrenze

Autoren

William D. Kappele, Präsident, Objective Experiments
Julie Kidd, Werkstoffingenieurin, US Synthetic
Heather Schaefer, Werkstoffingenieurin, US Synthetic

Einführung

Manchmal stößt man im Rahmen seiner normalen Arbeit auf ein interessantes Problem. So erging es uns. Bei der Herstellung synthetischer Diamanten in einem geplanten Experiment konnten wir bei einigen Versuchen keine Reaktion messen – sie lagen unterhalb der Nachweisgrenze unseres Messsystems.

Wir hätten die Faktoreinstellungen ändern können, bis wir eine Messung durchführen konnten, aber wir wollten diesen Aufwand nicht unnötig erhöhen.

Zunächst haben wir einfach alles, was wir nicht messen konnten, mit „Null“ bewertet. Das hat uns allerdings etwas nervös gemacht – schließlich haben wir JMP angelogen – und das tun wir nicht gerne!

Unser Abenteuer begann mit dem Wunsch nach Ehrlichkeit.

https://www.youtube.com/watch?v=Zf0REURPFU0

Das Abenteuer

Zwei unserer Ergebnisse lagen unterhalb der Nachweisgrenze unseres Messsystems. Wir wussten lediglich, dass diese Ergebnisse irgendwo zwischen der Nachweisgrenze und Null lagen. Daten, von denen bekannt ist, dass sie nur in einem bestimmten Bereich liegen, werden als „zensierte Daten“ bezeichnet. Wir wussten zwar, wie man in der Zuverlässigkeitsanalyse mit zensierten Daten umgeht, wussten aber nicht, wie man in einem geplanten Experiment damit umgeht.

Wir fragten Bill, ob er wüsste, was zu tun sei. Er schlug die Maximum-Likelihood-Schätzung vor – war sich aber nicht sicher, wie das in JMP funktioniert. Er kontaktierte Brad Jones (von JMP), und Brad verwies ihn auf die Parametric Survival-Plattform. Diese war zwar nicht genau auf unsere Anforderungen zugeschnitten, konnte aber dennoch unsere Antwort liefern.

Wir wollten unsere Erkenntnisse teilen – den Vergleich der verschiedenen Analysen und ihre Durchführung mit JMP –, doch unser Projekt war urheberrechtlich geschützt. Es schien, als müssten wir unser Wissen geheim halten, bis Heather eine großartige Idee hatte: Wir sollten unsere Arbeit so tarnen, als würden wir Schokoladenkekse backen! Daraufhin erstellten sie und Julie erfolgreich einen „Cookie“-Datensatz, der unserer Arbeit entsprach und keine Geheimnisse preisgab.

Wie alle Analogien wirkt auch unser Cookie-Vergleich etwas konstruiert. Wenn Sie jedoch Geduld haben, werden Sie das tatsächliche Problem erkennen und lernen, wie Sie mit ähnlichen Problemen umgehen können, wenn sie in Ihrer Arbeit auftreten.

Eine einfache Analogie: Kekse backen

Angenommen, wir würden tatsächlich Schokoladenkekse backen. Unser Ziel wäre es, mit unserem Rezept möglichst dünne Kekse herzustellen. (Wir haben Ihnen ja gesagt, dass es vielleicht etwas konstruiert wirkt! Wir hätten tatsächlich versucht, dicke Kekse zu backen.) Das von uns verwendete Rezept ist das klassische Nestlé-Toll-House-Keksrezept in Abbildung 1.

Abbildung 1 – Das offizielle Toll House Cookie-Rezept, mit freundlicher Genehmigung von Nestlé.

Wir haben die Zutaten logisch gruppiert, um fünf Faktoren für unser Experiment zu erstellen. Die Faktoren sind in Abbildung 2 aufgeführt.

Chips Trocken (Mehl, Backpulver, Salz) Rahm (Butter, Zucker, brauner Zucker, Vanille) Temperatur Zeit

Abbildung 2 – Die Faktoren.

Hier sind die Faktoren und Ebenen, die wir zur Erstellung unseres Versuchsdesigns verwendet haben:

Faktor	Typ	Niedriges Niveau	Hohes Niveau
Chips	Mischung	0	0,5
Rahmspinat	Mischung	0	0,5
Trocken	Mischung	0	0,8
Temperatur	Kontinuierlich	375	450
Zeit	Kontinuierlich	5	12

Wir hatten auch mehrere Einschränkungen. Ein Teil eines Versuchsdesigns mit diesen Einschränkungen (siehe Abbildung 3) ist in Abbildung 4 dargestellt.

Abbildung 3 – Erstellen des Designs mit Einschränkungen

Abbildung 4 – Ein Teil unseres Versuchsdesigns.

Dann haben wir Kekse gebacken….

Verwenden von JMP zur Datenanalyse

Nachdem wir unsere Kekse gebacken hatten, mussten wir die Dicke messen. Und wer hätte das gedacht! Wir hatten kein gutes Lineal. Wir konnten wirklich nichts unter 1 mm messen. Wir konnten zwar feststellen, dass der Keks dünn war, aber nicht genau, wie dünn. Unsere Nachweisgrenze lag bei 1 mm.

Zunächst haben wir einfach eine „Null“ für die Dicke der Kekse eingegeben, die wir nicht messen konnten – also unterhalb unserer Nachweisgrenze. Wir wussten zwar, dass wir einen Keks hatten, also konnte „Null“ nicht richtig sein, aber wir dachten, wir probieren es einfach mal.

Diese Daten waren leicht zu analysieren. Wir haben einfach den Befehl „Modell anpassen“ mit der Eigenschaft „Standard Least Squares“ verwendet.

Um zu verstehen, wie wir die zensierten Daten analysiert haben, benötigen wir ein paar Hintergrundinformationen.

Maximum-Likelihood-Schätzung

Die Methode der kleinsten Quadrate ist zwar eine hervorragende Methode zum Anpassen von Daten an Modelle, lässt sich jedoch bei zensierten Daten nicht einfach anwenden. Eine andere Methode, die Maximum-Likelihood-Schätzung, ist bei zensierten Daten deutlich einfacher anzuwenden. JMP verwendet die Maximum-Likelihood-Schätzung an verschiedenen Stellen im Befehl „Modell anpassen“ (z. B. bei Auswahl der Option „Verallgemeinerte lineare Modelle“), bietet diese Option jedoch nur für zensierte Daten in der Plattform „Parametric Survival“.

Wir mussten JMP dazu „überreden“, das zu tun, was wir wollten.

Die parametrische Überlebensplattform

Die „Parametric Survival“-Plattform von JMP verwendet die Maximum-Likelihood-Schätzung und bietet die Möglichkeit, zensierte Daten zu analysieren. Sie ist für die Verarbeitung von „Time to Failure“-Antworten – nicht von Cookie-Höhen – konzipiert, was sich jedoch leicht umgehen ließ. Wenn JMP nach der „Time to Event“ fragt, wählen Sie einfach „Cookie-Höhe“ wie in Abbildung 5.

Auswählen einer Verteilung

Die Parametric Survival-Plattform erfordert die Auswahl einer Verteilung. Die Normalverteilung wäre unsere erste Wahl gewesen, war aber nicht verfügbar. Wir haben uns für die Lognormalverteilung entschieden, da sie die Normalverteilung sehr gut imitieren kann. Da wir uns zudem in der Nähe der Nullhöhe befanden, hätte eine Normalverteilung möglicherweise Rauschen modelliert, das Vorhersagen negativer Höhen ermöglicht hätte (was bei einem Cookie nicht erwünscht ist!). Die Lognormalverteilung vermeidet dieses Problem.

Hinzufügen einer „Zensor“-Spalte

Durch das Hinzufügen einer Zensurspalte zur Tabelle können wir JMP mitteilen, welche Läufe zensierte Daten (Daten unterhalb der Nachweisgrenze) enthalten. Diese werden dann anders behandelt als die übrigen Messungen. (Sie werden nicht als Nullwerte behandelt, sondern differenzierter.)

Optimierung des Rezepts: Median vs. Mittelwert

Der Optimierer der Parametric Survival-Plattform behandelt die „Ausfallwahrscheinlichkeit“ als Faktor. Dies ist für unsere Analyse nicht erforderlich. Wie hoch sollten wir sie also einstellen?

Normalerweise prognostizieren wir bei der Response Surface Methodology den Mittelwert. Da wir erwarten, dass die lognormale Verteilung der Normalverteilung nahekommt, sollte der Median recht nahe am Mittelwert liegen. Wenn wir die „Ausfallwahrscheinlichkeit“ auf 0,5 setzen, sollten wir das gewünschte Ergebnis erhalten. Abbildung 6

Abbildung 5 – Die parametrische Überlebensplattform

zeigt, wie die „Ausfallwahrscheinlichkeit“ am Median „fixiert“ wird.

Beachten Sie auch, dass die Antwort immer mit „Zeit“ beschriftet ist. Natürlich wissen Sie, dass es sich tatsächlich um „Cookie-Höhe“ handelt.

Sie können die „Wünschbarkeitsfunktionen“ hinzufügen und die Wünsche wie gewohnt festlegen. Den „Sweet Spot“ finden Sie auch wie gewohnt mit „Wünschbarkeit maximieren“.

Wenn Sie Konturdiagramme erstellen möchten, müssen Sie die Vorhersageformel speichern und den „Konturprofiler“ unter „Diagramm“ verwenden.

Abbildung 6 – Der Quantil-Profiler

Ergebnisse

Was haben wir also herausgefunden?

Zuerst haben wir ein gutes Lineal ausgegraben, um die tatsächliche Keksdicke zu bestimmen (das war ziemlich schwierig und hat lange gedauert). Anschließend konnten wir ein Diagramm mit den tatsächlichen Werten und den prognostizierten Werten erstellen (siehe Abbildung 7). Dieses Diagramm lieferte jedoch nicht die ganze Wahrheit, da das Rauschen nicht berücksichtigt wurde. Daher erstellten wir zusätzlich ein Diagramm mit den tatsächlichen Werten und den Residuen (siehe Abbildung 8). Betrachtet man beide Diagramme, erkennt man, dass die Ergebnisse ähnlich waren. Die Residuen waren ähnlich groß, mit unterschiedlicher Tendenz.

Anschließend haben wir mit beiden Modellen die Sweet Spots vorhergesagt. Beide Modelle prognostizierten im Wesentlichen den gleichen Sweet Spot und unterschieden sich nur geringfügig in der prognostizierten Backzeit (siehe Abbildungen 9 und 10). Wir haben für jeden Sweet Spot 50 Kekse gebacken und die Ergebnisse verglichen (siehe Abbildung 11).

Abbildung 7 – Tatsächliche vs. prognostizierte Kurven

Abbildung 8 – Tatsächliche vs. Residuenkurven

Abbildung 9 – Der Sweet Spot für die Analyse zensierter Daten

Abbildung 10 – Der optimale Punkt für die Nulldatenanalyse

Die beiden Sweet Spots ergaben die gleiche Keksdicke . Wir fanden mit beiden Modellen im Wesentlichen den gleichen Sweet Spot, daher war die Analysetechnik für die Ermittlung des Sweet Spots unerheblich.

Schauen Sie sich die Abbildungen 9, 10 und 11 genauer an. Obwohl sie denselben Sweet Spot vorhersagten, war die tatsächliche Vorhersage des zensierten Modells genauer. Sogar die Konfidenzgrenzen für die Vorhersage des zensierten Modells lagen näher an der Realität. Wenn Sie also genaue Vorhersagen benötigen, ist das zensierte Modell besser geeignet.

Abbildung 11 – Sweet Spot-Vergleich

Wir hatten wirklich 2 Probleme

1. Wir hatten zensierte Daten.
2. Wir mussten das Rauschen mit einer Verteilung modellieren, die keine negativen Cookie-Höhen vorhersagte.

Das Modell mit den Nulldaten löste keines dieser Probleme. Das Modell, das die zensierten Daten berücksichtigte, berücksichtigte beide Probleme. Eine naheliegende Frage ist: „Würde die Lösung nur eines dieser Probleme zu ebenso guten Ergebnissen führen wie das zensierte Modell?“

Während wir Problem 1 nicht einfach testen können (in JMP können wir zensierte Daten mit Normalverteilung nicht betrachten), können wir Problem 2 untersuchen. Die Plattform für verallgemeinerte lineare Modelle ist nicht ohne weiteres nutzbar, da sie nicht für Mischungen geeignet ist. Wir können unsere Daten jedoch logarithmisch transformieren und mit der Methode der kleinsten Quadrate analysieren. Dadurch werden die Daten so behandelt, als wären sie logarithmisch normalverteilt.

Ein Problem bei diesem Ansatz ist, dass das Nullsetzen der Daten nicht funktioniert. Stattdessen haben wir die Nullen durch den Durchschnitt des zensierten Bereichs (0,5) ersetzt. Natürlich haben wir JMP trotzdem belogen ! Wir haben diese Daten zum Vergleich auch ohne die Log-Transformation analysiert.

Die Ergebnisse dieser Analyse sind in den Abbildungen 12 und 13 dargestellt. Beachten Sie, dass die Sweet Spots mit der Standard-Kleinstquadrate-Anpassung für normalverteilte Daten mit Nullen identisch sind. Die Vorhersagen von 0,63 mit 95%-Konfidenzgrenzen von 0,53 und 0,76 für die Log-Transformation und 0,68 mit 95%-Konfidenzgrenzen von 0,42 und 0,93 für den Mittelwert des zensierten Bereichs sind jedoch deutlich besser als die Vorhersage für die Nulldatenanalyse. Ein Vergleich aller vier Modelle ist in Abbildung 14 dargestellt.

Abbildung 12 – Der Sweet Spot für die Log-Transformationsanalyse

Abbildung 13 – Der Sweet Spot für die Mittelwertanalyse

Abbildung 14 – Diagramme „Tatsächliche Werte vs. Residuen“ für alle drei Modelle

Sie sehen, dass sowohl das zensierte Datenmodell als auch das log-transformierte Modell recht gute Vorhersagen lieferten – das zensierte Modell prognostizierte etwas zu hohe Werte, das log-transformierte Modell etwas zu niedrige. Es scheint, als wäre die Verwendung der lognormalen Verteilung nicht notwendig gewesen.

Zusammenfassung

1. Die Zuweisung von „Null“ an Reaktionen unterhalb der Nachweisgrenze lieferte zwar eine schlechte Vorhersage, führte aber zu einem brauchbaren Sweet Spot.
2. Zuweisung des Mittelwerts des zensierten Bereichs zu Antworten unterhalb der vorhergesagten Nachweisgrenzegut undergab einen brauchbaren Sweet Spot.Das funktioniert im Allgemeinen wahrscheinlich nicht – diesmal hatten wir anscheinend Glück.
3. Eine Log-Transformation des Datensatzes in (2) ergab ähnliche Ergebnisse wie (2), allerdings mit einem ähnlichen Vorbehalt.
4. Verwendung der Parametric Survival-Plattform von JMP mit zensierten Daten und einer LogNormalverteilung zur Modellierung des Rauschensvorhergesagtgut undergab einen brauchbaren Sweet Spotfür den Median. Dies funktioniert im Allgemeinen wahrscheinlich am besten.

Abschluss

Bei unserer Arbeit sind wir auf zwei Probleme gestoßen:

1. Zensierte Daten
2. Wir mussten das Rauschen so modellieren, dass negative Werte (zumindest am unteren Ende) vermieden werden.

Mit unseren Daten konnten wir diese Probleme auf zwei Arten lösen:

1. Analysieren Sie mit zensierten Daten und einer lognormalen Verteilung mithilfe der Parametric Survival Platform.
2. Analysieren Sie die Log-Transformation der Daten, wobei die zensierten Werte mithilfe der Methode der kleinsten Quadrate durch den Mittelwert des Bereichs ersetzt werden.

Wie sich herausstellte, funktionierte die Normalverteilung hier gut – es wurden keine negativen Cookie-Höhen vorhergesagt.

Beide Methoden lieferten bessere Vorhersagen als ein einfaches Nullsetzen der Daten unterhalb der Nachweisgrenze. Beide Methoden fanden im Wesentlichen den gleichen Sweet Spot.

Was haben wir also wirklich gelernt?

1. Die Zuweisung von Nullen für unbekannte Werte funktionierte recht gut. Dies war wahrscheinlich Glückssache. Wir würden nicht erwarten, dass dies für alle Datensätze funktioniert.
2. Die Zuweisung des Mittelwerts des zensierten Bereichs funktionierte besser, war aber wahrscheinlich auch nur Glück. Wir würden nicht erwarten, dass dies im Allgemeinen eine gute Strategie ist.
3. Mit der Parametric Survival-Plattform von JMP konnten wir die Daten zensiert analysieren, lieferte in diesem Fall jedoch keine besseren Ergebnisse als der Mittelwert des zensierten Bereichs. Dennoch dürfte dies in Zukunft die beste Strategie sein. Während (1) und (2) lediglich Vermutungen sind, ist die Maximum-Likelihood-Schätzung der Parametric Survival-Plattform etabliert.
4. Sowohl die Normal- als auch die Lognormalverteilung haben bei uns gut funktioniert.

Und nun haben wir unser Abenteuer (und unsere Erkenntnisse) mit euch geteilt. Jetzt ist es Zeit für Kekse!

Auf der Suche nach mehr?

Hier einige interessante Referenzen zur weiteren Information:

Russell B. Millar, Maximum-Likelihood-Schätzung und Inferenz: Mit Beispielen in R, SAS und ADMB , J. Wiley and Sons, 2011, ISBN 978-0470094822 .

http://ussynthetic.com/ (für Informationen zu US Synthetic)

http://www.ObjectiveExperiments.com (für Informationen zu Schulungen und Workshops)

http://www.jmp.com/ (für Informationen zur JMP-Software)

http://en.wikipedia.org/wiki/Censoring_(statistics) (für eine gute Erklärung der Zensur)

http://mathworld.wolfram.com/MaximumLikelihood.html (für eine kurze Erklärung der Maximum-Likelihood-Schätzung)

http://en.wikipedia.org/wiki/Chocolate_chip_cookie (für eine Geschichte des Chocolate Chip Cookies)

Über die Autoren

Julie Kidd ist Werkstoffingenieurin bei US Synthetic. Ihre Spezialgebiete sind Keramik- und Verbundsysteme sowie die Werkstoffcharakterisierung, einschließlich forensischer Metallurgie und Schadensanalyse.

Heather Schaefer ist Werkstoffingenieurin bei US Synthetic. Ihr Spezialgebiet sind gegossene und gepresste energetische Werkstoffe mit Schwerpunkt auf der Entwicklung von Infrarot-Täuschkörpern.

Gemeinsam entwickeln sie derzeit verbesserte synthetische Diamanten für die Öl- und Gasindustrie.

Bill Kappele istPräsident von Obobjektive Experimente.Er ist für die Kursdurchführung und -entwicklung verantwortlich.JulieUnd Heidekrauthabe von Bill die Versuchsplanung gelernt.