Autoren
William D. Kappele, Präsident, Objective Experiments
Julie Kidd, Materialingenieurin, US Synthetic
Heather Schaefer, Materialingenieurin, US Synthetic
Einführung
Manchmal stößt man im Rahmen seiner normalen Arbeit auf ein interessantes Problem. Das ist uns passiert. Während wir ein geplantes Experiment zur Formulierung synthetischer Diamanten verwendeten, hatten wir einige Versuche, bei denen wir keine Reaktion messen konnten – sie lagen unterhalb der Nachweisgrenze unseres Messsystems.
Wir hätten die Faktoreinstellungen ändern können, bis wir eine Messung durchführen konnten, aber wir wollten diesen Aufwand nicht hinzufügen, wenn es nicht nötig wäre.
Zuerst haben wir einfach alles, was wir nicht messen konnten, mit „Null“ versehen. Allerdings waren wir deswegen etwas nervös – schließlich Wir haben JMP angelogen – etwas, das wir nicht gerne tun!
Mit dem Wunsch nach Ehrlichkeit begann unser Abenteuer.
https://www.youtube.com/watch?v=Zf0REURPFU0
Das Abenteuer
Zwei unserer Antworten lagen unterhalb der Nachweisgrenze unseres Messsystems. Wir wussten von diesen Reaktionen nur, dass sie irgendwo zwischen der Nachweisgrenze und Null lagen. Daten, von denen nur bekannt ist, dass sie in einem bestimmten Bereich liegen, werden als „zensierte Daten“ bezeichnet. Wir wussten über den Umgang mit zensierten Daten in der Zuverlässigkeitsanalyse Bescheid, wussten aber nicht, wie wir in einem geplanten Experiment damit umgehen sollten.
Wir fragten Bill, ob er wisse, was zu tun sei. Er schlug vor, die Maximum-Likelihood-Schätzung zu verwenden – aber er war sich nicht sicher, wie man das in JMP machen sollte. Er kontaktierte Brad Jones (von JMP) und Brad führte ihn zur Parametric Survival-Plattform. Auch wenn es nicht darauf ausgelegt war, genau das zu tun, was wir brauchten, könnte es doch genutzt werden, um unsere Antwort zu erhalten.
Wir wollten mitteilen, was wir gelernt hatten – wie die verschiedenen Analysen verglichen wurden und wie man sie mit JMP durchführt – aber unser Projekt war proprietär. Es sah so aus, als müsste unser Lernen unser Geheimnis bleiben, bis Heather eine tolle Idee hatte: Unsere Arbeit so zu tarnen, als würden wir Schokoladenkekse backen! Sie und Julie haben dann erfolgreich einen „Cookie“-Datensatz erstellt, der unserer Arbeit entspricht und keine Geheimnisse preisgibt.
Wie alle Analogien wird auch unsere Cookie-Analogie etwas konstruiert wirken. Wenn Sie jedoch Geduld mit uns haben, werden Sie in der Lage sein, das Problem zu erkennen, mit dem wir tatsächlich konfrontiert waren, und lernen, wie Sie mit der gleichen Art von Problem umgehen können, wenn es bei Ihrer Arbeit auftaucht.
Eine einfache Analogie: Kekse backen
Angenommen, wir würden tatsächlich daran arbeiten, Schokoladenkekse zu backen. Unser Ziel wäre es, mit unserem Rezept den dünnsten Keks herzustellen, den wir könnten. (Wir haben Ihnen gesagt, dass es vielleicht ein wenig gekünstelt wirkt! Wir hätten es wirklich mit dicken Keksen versucht.) Das Rezept, das wir verwendeten, war das klassische Keksrezept von Nestle Toll House in Abbildung 1.
|
Abbildung 1 – Das offizielle Toll House Cookie-Rezept, mit freundlicher Genehmigung von Nestle. |
Wir haben die Zutaten logisch gruppiert, um 5 Faktoren für unser Experiment zu erstellen. Die Faktoren sind in Abbildung 2 aufgeführt.
Chips Trocken (Mehl, Backpulver, Salz) Rahm (Butter, Zucker, brauner Zucker, Vanille) Temperatur Zeit |
Abbildung 2 – Die Faktoren. |
Hier sind die Faktoren und Ebenen, die wir zur Erstellung unseres Experimentdesigns verwendet haben:
Faktor | Typ | Niedriges Niveau | Hohes Level |
|---|
Chips | Mischung | 0 | 0,5 |
Gerahmt | Mischung | 0 | 0,5 |
Trocken | Mischung | 0 | 0,8 |
Temperatur | Kontinuierlich | 375 | 450 |
Zeit | Kontinuierlich | 5 | 12 |
Wir hatten auch einige Einschränkungen. Ein Teil eines Versuchsplans mit diesen Einschränkungen (siehe Abbildung 3) ist in Abbildung 4 dargestellt.
|
Abbildung 3 – Erstellen des Designs mit Einschränkungen |
|
Abbildung 4 – Ein Teil unseres Experimentdesigns. |
Dann haben wir Kekse gebacken ….
Verwenden von JMP zum Analysieren der Daten
Nachdem wir unsere Kekse gebacken hatten, mussten wir die Dicke messen. Würdest du es nicht wissen! Wir hatten keinen sehr guten Herrscher. Wir konnten wirklich nichts unter 1 mm messen. Wir konnten sicherlich erkennen, dass wir einen dünnen Keks hatten, aber wir konnten nicht genau sagen, wie dünn. Unsere Nachweisgrenze lag bei 1 mm.
Zunächst haben wir einfach eine „Null“ für die Dicke der Kekse eingegeben, die wir nicht messen konnten – die unterhalb unserer Erkennungsgrenze liegen. Denken Sie daran, wir wussten, dass wir einen Keks hatten, also konnte „Null“ nicht richtig sein, aber wir dachten, wir würden es versuchen.
Diese Daten waren leicht zu analysieren. Wir haben einfach den Befehl „Modell anpassen“ mit der Persönlichkeit „Standard kleinste Quadrate“ verwendet.
Um zu verstehen, wie wir die zensierten Daten analysiert haben, benötigen wir ein wenig Hintergrundwissen.
Maximum-Likelihood-Schätzung
Obwohl die Methode der kleinsten Quadrate eine hervorragende Technik zum Anpassen von Daten an Modelle ist, ist ihre Verwendung bei zensierten Daten nicht einfach. Eine andere Technik, die Maximum-Likelihood-Schätzung, ist bei zensierten Daten viel einfacher anzuwenden. JMP verwendet die Maximum-Likelihood-Schätzung zu verschiedenen Zeitpunkten im Befehl „Modell anpassen“ (z. B. wenn Sie die Option „Verallgemeinerte lineare Modelle“ wählen), bietet jedoch nur eine Option für zensierte Daten in der Parametric Survival-Plattform.
Wir mussten JMP „überreden“, das zu tun, was wir wollten.
Die parametrische Überlebensplattform
Die „Parametric Survival“-Plattform von JMP nutzt die Maximum-Likelihood-Schätzung und bietet die Möglichkeit, zensierte Daten zu analysieren. Es ist so konzipiert, dass es mit „Time to Failure“-Antworten funktioniert – nicht mit Cookie-Höhen –, aber es stellte sich heraus, dass es einfach war, dies zu umgehen. Wenn JMP nach der „Time to Event“ fragt, wählen Sie einfach „Cookie Height“ wie in Abbildung 5.
Auswahl einer Distribution
Für die Parametric Survival-Plattform müssen Sie eine Distribution auswählen. Die Normalverteilung wäre unsere erste Wahl gewesen, aber diese war nicht verfügbar. Wir haben uns für die logNormal-Verteilung entschieden, weil sie die Normalverteilung hervorragend imitieren kann. Da wir uns außerdem in der Nähe der Nullhöhe befanden, könnte eine Normalverteilung modelliertes Rauschen aufweisen, das Vorhersagen einer negativen Höhe ermöglichen würde (etwas, das Sie wissen). niemals will in einem Keks!). Die logNormal-Verteilung vermeidet dieses Ärgernis.
Hinzufügen einer „Zensor“-Spalte
Durch das Hinzufügen einer Zensurspalte zur Tabelle können wir JMP mitteilen, welche Läufe zensierte Daten enthalten (Daten unterhalb der Nachweisgrenze). Diese werden anders behandelt als die übrigen Messungen. (Es wird sie nicht so behandeln, als ob sie Null wären – es wird auf eine ausgefeiltere Art und Weise mit ihnen umgehen.)
Optimierung des Rezepts: Median vs. Mittelwert
Der Optimierer in der Parametric Survival-Plattform behandelt „Fehlerwahrscheinlichkeit“ als Faktor. Dies ist für unsere Analyse unnötig. Auf welchen Wert sollten wir es also einstellen?
Normalerweise sagen wir in der Response-Surface-Methodik den Mittelwert voraus. Da wir erwarten, dass sich die logNormalverteilung der Normalverteilung annähert, sollte der Median ziemlich nahe am Mittelwert liegen. Wenn wir die „Fehlerwahrscheinlichkeit“ auf 0,5 setzen, sollten wir bekommen, was wir brauchen. Abbildung 6
|
Abbildung 5 – Die parametrische Überlebensplattform |
zeigt, wie man die „Ausfallwahrscheinlichkeit“ am Median „festlegt“.
Beachten Sie außerdem, dass die Antwort immer mit „Zeit“ gekennzeichnet ist. Natürlich wissen Sie, dass es sich in Wirklichkeit um „Cookie Height“ handelt.
Sie können die „Desirability Functions“ hinzufügen und die Desirabilities wie gewohnt festlegen. Den „Sweet Spot“ finden Sie auch wie gewohnt mit „Maximize Desirability“.
Wenn Sie Konturdiagramme erstellen möchten, müssen Sie die Vorhersageformel speichern und den „Contour Profiler“ unter „Graph“ verwenden.
|
Abbildung 6 – Der Quantil-Profiler |
Ergebnisse
Was haben wir also gefunden?
Zuerst haben wir ein wirklich gutes Lineal ausgegraben, damit wir die tatsächliche Keksdicke ermitteln konnten (das war ziemlich schwierig und hat lange gedauert). Dann konnten wir ein tatsächliches vs. vorhergesagtes Diagramm erstellen (siehe Abbildung 7). Dies erzählte nicht die ganze Geschichte, da der Lärm weggelassen wurde. Deshalb haben wir auch ein Diagramm „Ist vs. Residuen“ erstellt (siehe Abbildung 8). Wenn man sich die beiden anschaut, sieht man, dass die Ergebnisse ähnlich waren. Die Residuen hatten eine ähnliche Größe mit unterschiedlicher Tendenz.
Als nächstes haben wir Sweet Spots für beide Modelle vorhergesagt. Beide Modelle sagten im Wesentlichen den gleichen Sweet Spot voraus und unterschieden sich nur geringfügig in der vorhergesagten Backzeit (siehe Abbildungen 9 und 10). Wir haben für jeden Sweet Spot 50 Kekse gebacken und die Ergebnisse verglichen (siehe Abbildung 11).
|
Abbildung 7 – Tatsächliche vs. vorhergesagte Kurven |
|
Abbildung 8 – Ist- und Residuenkurven |
|
Abbildung 9 – Der Sweet Spot für die Analyse zensierter Daten |
|
Abbildung 10 – Der Sweet Spot für die Zeroed-Data-Analyse |
Die beiden Sweet Spots ergaben die gleiche Keksdicke . Wir fanden bei beiden Modellen im Wesentlichen den gleichen Sweet Spot, sodass die Analysetechnik für die Suche nach einem Sweet Spot keine Rolle spielte.
Schauen Sie sich die Abbildungen 9, 10 und 11 genauer an. Obwohl sie denselben Sweet Spot vorhersagten, war die tatsächliche Vorhersage des zensierten Modells genauer. Sogar die Vertrauensgrenzen für die zensierte Modellvorhersage waren näher an der Realität. Wenn Sie also genaue Vorhersagen benötigen, ist das zensierte Modell besser.
|
Abbildung 11 – Sweet-Spot-Vergleich |
Wir hatten wirklich zwei Probleme
- Wir hatten zensierte Daten.
- Wir mussten das Rauschen mit einer Verteilung modellieren, die keine negativen Cookie-Höhen vorhersagte.
Das Modell mit den auf Null gesetzten Daten konnte keines dieser Probleme beheben. Das Modell, das die zensierten Daten berücksichtigt, berücksichtigte beide Probleme. Eine natürliche Frage lautet: „Würde die Lösung nur eines dieser Probleme zu ebenso guten Ergebnissen führen wie das zensierte Modell?“
Während wir keine einfache Möglichkeit haben, Problem 1 zu testen (wir haben in JMP keine Möglichkeit, zensierte Daten mit einer Normalverteilung zu betrachten), können wir uns Problem 2 ansehen. Wir können die Plattform für verallgemeinerte lineare Modelle nicht einfach verwenden, da sie nicht mit Mischungen verwendet werden kann. Wir können jedoch eine Protokolltransformation unserer Daten durchführen und mit der Methode der kleinsten Quadrate analysieren. Dies hat zur Folge, dass die Daten so behandelt werden, als wären sie lognormalverteilt.
Ein Problem bei diesem Ansatz besteht darin, dass das Nullsetzen der Daten nicht funktioniert. Stattdessen haben wir die Nullen durch den Durchschnitt des zensierten Bereichs (0,5) ersetzt. Natürlich waren wir das immernoch am Lügen zu JMP ! Auch diese Daten haben wir analysiert ohne die Log-Transformation zum Vergleich.
Die Ergebnisse dieser Analyse sind in den Abbildungen 12 und 13 dargestellt. Beachten Sie, dass die Sweet Spots mit der Standardanpassung der kleinsten Quadrate für normalverteilte Daten mit Nullen identisch sind. Allerdings sind die Vorhersagen von 0,63 mit 95 %-Konfidenzgrenzen von 0,53 und 0,76 für die logarithmische Transformation und 0,68 mit 95 %-Konfidenzgrenzen von 0,42 und 0,93 für den Mittelwert des zensierten Bereichs viel besser als die Vorhersage für die auf Null gesetzte Datenanalyse. Ein Vergleich aller vier Modelle ist in Abbildung 14 dargestellt.
|
Abbildung 12 – Der Sweet Spot für die Log-Transformationsanalyse |
|
Abbildung 13 – Der Sweet Spot für die Mean-of-Range-Analyse |
|
Abbildung 14 – Darstellung der tatsächlichen vs. Residuen für alle drei Modelle |
Sie können sehen, dass sowohl das zensierte Datenmodell als auch das logarithmisch transformierte Modell ziemlich gute Vorhersagen lieferten – das zensierte Modell sagte etwas hoch, das logarithmisch transformierte Modell etwas niedrig vorher. Es sieht so aus, als ob die Verwendung der logNormal-Verteilung nicht notwendig war.
Zusammenfassung
- Die Zuweisung von „Null“ für Reaktionen unterhalb der Nachweisgrenze ergab eine schlechte Vorhersage, ergab jedoch einen brauchbaren Sweet Spot.
- Zuweisen des Mittelwerts des zensierten Bereichs zu Antworten unterhalb der vorhergesagten Nachweisgrenze gut und ergab einen brauchbaren Sweet Spot.Es ist unwahrscheinlich, dass das im Allgemeinen funktioniert – diesmal hatten wir offenbar Glück.
- Eine logarithmische Transformation des Datensatzes in (2) ergab ähnliche Ergebnisse wie (2) mit einer ähnlichen Einschränkung.
- Verwendung der Parametric Survival-Plattform von JMP mit zensierten Daten und einer logNormalverteilung zur Modellierung des Rauschens vorhergesagt gut und ergab einen brauchbaren Sweet Spot für den Median . Dies dürfte im Allgemeinen am besten funktionieren.
Abschluss
Bei unserer Arbeit sind wir auf zwei Probleme gestoßen:
- Zensierte Daten
- Wir mussten das Rauschen so modellieren, dass negative Werte vermieden werden (zumindest am unteren Ende).
Mit unseren Daten konnten wir diese Probleme auf zwei Arten lösen:
- Analysieren Sie mit zensierten Daten und einer logNormalverteilung mithilfe der Parametric Survival Platform.
- Analysieren Sie die logarithmische Transformation der Daten, wobei die zensierten Werte durch den Mittelwert des Bereichs unter Verwendung der Standard-Kleinstquadrate ersetzt werden.
Wie sich herausstellte, funktionierte die Normalverteilung hier gut – es wurden keine negativen Cookie-Höhen vorhergesagt.
Beide Methoden lieferten bessere Vorhersagen, als die Daten einfach unterhalb der Nachweisgrenze auf Null zu setzen. Beide Methoden fanden im Wesentlichen den gleichen Sweet Spot.
Was haben wir also gemacht? Wirklich lernen?
- Das Zuweisen von Nullen für unbekannte Werte hat gut funktioniert. Das lag wohl am Glück. Wir würden nicht erwarten, dass dies für alle Datensätze funktioniert.
- Das Zuweisen des Mittelwerts des zensierten Bereichs funktionierte besser, aber das war wahrscheinlich auch nur Glückssache. Wir würden nicht erwarten, dass dies im Allgemeinen eine gute Strategie ist.
- Mit der Parametric Survival-Plattform von JMP konnten wir die Daten zensiert analysieren, obwohl sie in diesem Fall keine besseren Ergebnisse lieferten als der Mittelwert des zensierten Bereichs. Dennoch dürfte dies die beste Strategie für die Zukunft sein. Während (1) und (2) lediglich Vermutungen sind, ist die Maximum-Likelihood-Schätzung hinter der Parametric Survival Platform gut etabliert.
- Sowohl die Normal- als auch die LogNormal-Verteilung haben für uns gut funktioniert.
Und jetzt haben wir unser Abenteuer (und unser Lernen) mit Ihnen geteilt. Jetzt ist es Zeit für Kekse!
Auf der Suche nach mehr?
Hier finden Sie einige interessante Referenzen für weitere Informationen:
Russell B. Millar, Maximum-Likelihood-Schätzung und Inferenz: Mit Beispielen in R, SAS und ADMB , J. Wiley and Sons, 2011, ISBN 978-0470094822 .
http://ussynthetic.com/ (für Informationen über US Synthetic)
http://www.ObjectiveExperiments.com (für Informationen zu Schulungen und Workshops)
http://www.jmp.com/ (für Informationen zur JMP-Software)
http://en.wikipedia.org/wiki/Censoring_(statistics) (für eine schöne Erklärung der Zensur)
http://mathworld.wolfram.com/MaximumLikelihood.html (für eine kurze Erläuterung der Maximum-Likelihood-Schätzung)
http://en.wikipedia.org/wiki/Chocolate_chip_cookie (für eine Geschichte des Schokoladenkekses)
Über die Autoren
Julie Kidd ist Materialingenieurin bei US Synthetic. Ihre Spezialitäten sind Keramik- und Verbundsysteme sowie Materialcharakterisierung, einschließlich forensischer Metallurgie und Fehleranalyse.
Heather Schaefer ist Materialingenieurin bei US Synthetic.Ihr Spezialgebiete sind gegossene und gepresste energetische Materialien mit Schwerpunkt auf der Entwicklung von Infrarot-Täuschungsfackeln.
Gemeinsam entwickeln sie derzeit verbesserte synthetische Diamanten für die Öl- und Gasindustrie.
Bill Kappele ist Präsident von Ob Jektive Experimente. Er ist für die Durchführung und Entwicklung der Kurse verantwortlich.Julie Und Heidekraut lernte Design of Experiments von Bill.
