JMP veranstaltete Anfang des Monats ein „Statistically Speaking“-Seminar zum Thema Design of Experiments (DOE). Ein ganz besonderer Dank geht an Julia O'Neill von Moderna, Andrea Geistanger von Roche und Rachel Findlay von CPI für die spannende Diskussion mit Moderator Malcolm Moore. Die Teilnehmer hörten auch zwei Keynote-Vorträge. Der erste wurde von Dame Sally Davies, geschäftsführende Vorsitzende der Trinity Challenge, gehalten, die die Herausforderungen beschrieb, mit denen Wissenschaftler in der aktuellen Datenlandschaft konfrontiert sind, und was erreicht werden kann, wenn Analysen eingesetzt werden. Dr. O'Neill hielt die zweite Keynote, in der sie erklärte, wie Moderna mithilfe von DOE und Analytik ein reales Problem erfolgreich löste, nämlich die Entwicklung eines Impfstoffs gegen das neuartige Coronavirus SARS-CoV-2.
Die Veranstaltung stieß auf großes Interesse, gemessen an der Anzahl der Fragen, die die Diskussionsteilnehmer erhielten. Obwohl sie bei der Beantwortung vieler Fragen hervorragende Arbeit geleistet haben, war es nicht möglich, alle innerhalb der vorgegebenen Zeit zu beantworten. Wir haben uns daher entschieden, sie in diesem Beitrag zu beantworten.
F: Könnten Sie bitte die Stichprobengröße mit den Möglichkeiten einer zuverlässigen Innovation in Beziehung setzen?
A: Wir können es besser machen. Die neuen Sample Size Explorers, eingeführt in JMP 16 Und JMP Pro 16 wurden erstellt, um die Erforschung des Zusammenhangs zwischen Aussagekraft, Stichprobengröße und anderen Schlüsselmetriken zu fördern, die bei der Bestimmung, wie Sie am besten sicherstellen können, dass Ihre Experimente ein Erfolg werden, wie in erläutert dieser Blogbeitrag von Caleb King ( @calking ). Wir empfehlen jedem, der sich für die Zuweisung von Ressourcen oder Budgets zwischen Entwicklungsprojekten, die Planung von Zeitplänen oder einfach nur für die Berechnung der Stichprobengröße interessiert, diese neue Funktion auszuprobieren.
F: Haben Sie Empfehlungen zu Ressourcen, um den schwierigsten Teil der DOE zu bewältigen: Faktoren auswählen und Bereiche definieren?
A: Dies ist ein Thema von großem Interesse und das aus gutem Grund: Die Auswahl von Faktoren, die Ihre Reaktion beeinflussen und deren Bereiche groß genug sind, um einen Effekt zu erkennen, sind die entscheidenden ersten Schritte bei der Planung und Durchführung eines erfolgreichen DOE. An dieser Stelle wäre es auch hilfreich, den Erfolg zu definieren. Ein DOE ist erfolgreich, wenn es zu einem Modell führt, das genügend Verständnis des Prozesses umfasst, um eine Geschäftsanforderung zu erfüllen: „Wie können wir unsere Faktoren festlegen, um etwas zu erreichen?“ Das Qualitätsniveau unserer Produktion?“ Zum Beispiel.
Ein DOE ist auch dann erfolgreich, wenn es signifikante Faktoren identifiziert, die vom Modell nicht erfasste Variation quantifiziert und den Weg für ein Folgeexperiment (ein erweitertes DOE) weist. Ein Experiment, bei dem es nicht gelingt, einen einzelnen signifikanten Faktor zu identifizieren, wäre ein Misserfolg, obwohl die Erkenntnis darin bestehen würde, dass die falschen Faktoren ausgewählt wurden oder die Bereiche nicht breit genug angesetzt waren. Jede gute Ressource zum Thema DOE beinhaltet einige Diskussionen darüber, wie man Faktoren und Bereiche auswählt, obwohl es oft nicht viel mehr ist als „Wählen Sie Faktoren aus, die wahrscheinlich Ihre Reaktion beeinflussen, und Bereiche, die breit genug sind, um einen Effekt zu sehen, falls vorhanden, aber.“ nicht so breit, dass die Läufe scheitern könnten.“ Dies liegt daran, dass die Wahl der Faktoren und Bereiche vollständig von den Besonderheiten der jeweiligen Situation abhängt. Daher sind Prozessexperten die besten Personen, um diese zu bestimmen, und nicht Statistiker mit großem Verständnis für DOE, aber begrenztem Verständnis für die Anwendung. Schauen Sie sich das alles an Diese Diskussion finden Sie in der JMP User Community , das viele nützliche Erkenntnisse zu diesem Thema enthält.
F: Wie stellen Sie die Zuverlässigkeit „historischer“ Daten oder Daten sicher, die aus „externen Quellen“ stammen? Jemand hat einmal gesagt: „Analysieren Sie niemals Daten, die Sie nicht selbst gesammelt haben.“ Wie überwinden Sie dieses Problem, um sicherzustellen, dass Ihre historischen Daten zuverlässig und aussagekräftig sind, das verwendete Messsystem in der Lage ist, die Prozessschwankungen auf ein Minimum zu reduzieren usw.?
A: Ich weiß nicht, wer das über Daten gesagt hat, die Sie nicht selbst gesammelt haben, aber ich bin damit nicht einverstanden. In ihrer Keynote erörterte Dame Sally Davies die Vielzahl der Arten, wie Daten generiert und gesammelt werden, sowie die Risiken für Analysten, die „in Silos arbeiten“ und unterschiedliche Datensätze verwenden, die „sich gegenseitig nicht informieren“. In ihren Worten gebe es derzeit „eine größere Interaktion zwischen Wissenschaftlern und Daten als je zuvor“, und eine Beschränkung unserer Analyse auf Daten, die wir selbst sammeln, würde den Fortschritt erheblich behindern.
Natürlich sollten wir Daten immer skeptisch gegenüberstehen, genauso wie wir den aus den Daten generierten Modellen skeptisch gegenüberstehen. Aber etwas mit Skepsis zu betrachten, bedeutet nicht, es gänzlich abzulehnen. Nichts ist perfekt, und das gilt sicherlich auch für Daten und Modelle, wie George Box es in seinem berühmten Aphorismus treffend zum Ausdruck brachte. Daraus folgt nicht, dass aus etwas, das nicht perfekt ist oder dem man nicht vertrauen kann, nichts daraus gelernt werden kann. Wir stellen zu Recht Fragen zur Quelle oder Richtigkeit der Daten. Alle aus der Analyse gezogenen Schlussfolgerungen sollten zusammen mit unserem eigenen Prozesswissen und unserer Fachkompetenz berücksichtigt und niemals blind akzeptiert werden.
F: Wären Sie bereit, näher auf die häufigsten Fehler einzugehen, die neue DOE-Benutzer beachten sollten?
A: Einer der Fehler, den Menschen machen, besteht darin, sich zu sehr auf das Design zu konzentrieren und nicht darauf, warum sie überhaupt ein DOE durchführen. Es kommt viel zu oft vor, dass jemand zunächst ein Design auswählt und dann seine experimentellen Anforderungen kompromittiert, um es an dieses Design anzupassen. Der Maßgefertigtes Design Plattform hinein JMP ermöglicht es Ihnen, optimale Designs zu erstellen, die auf jede Situation zugeschnitten sind. Darüber hinaus gab Rachel Findlay von CPI während der Veranstaltung einige tolle Ratschläge: „Teilen Sie Ihre Erkenntnisse und Fehler“ mit Kollegen. Je mehr wir DOE in unserer Organisation fördern, desto mehr wird die Organisation davon profitieren.
F: Was ist der wichtigste Faktor, den Sie bei der Auswahl eines DOE beachten sollten?
A: Bei der Auswahl des richtigen DOE spielen viele wichtige Faktoren eine Rolle, angefangen bei der Geschäftsfrage, die wir beantworten möchten. Was genau wollen wir mit der Durchführung eines DOE überhaupt erreichen? Wollen wir Mängel minimieren oder Erträge steigern? Vielleicht möchten wir Material von einem neuen Lieferanten in unseren Prozess integrieren, herausfinden, wie wir die Produktion beschleunigen oder die Kosten senken können. DOE ist oft ein iterativer Prozess des inkrementellen Lernens, und das Verständnis unseres Ziels ist entscheidend, wenn wir entscheiden, ob wir weiter experimentieren möchten. Wir müssen uns auch fragen, wie viele Variablen unseren Prozess sowie unseren Zeitplan und unser Budget beeinflussen könnten. Sobald dies alles geklärt ist, können wir mit der Auswahl eines Designs beginnen.
Wenn wir beispielsweise bereits wissen, dass eine kleine Anzahl von Variablen von Bedeutung ist, und wir nach der besten Kombination von Einstellungen suchen, um die Ausgabe zu maximieren, können wir uns für eine entscheiden Reaktionsoberflächenexperiment . Alternativ können eine Vielzahl von Faktoren und ein knappes Budget den Weg zu einem weisen Definitives Screening-Design . Klar definierte Antworten auf unsere Situation, unsere Einschränkungen, Einschränkungen und das, was wir zu lösen versuchen, weisen den Weg zu einem Entwurf oder einer Reihe von Entwürfen, die sicherstellen, dass unsere Anforderungen erfüllt werden. Es sollte auch erwähnt werden, dass die Design bewerten Und Design vergleichen Plattformen sind nützliche Hilfsmittel, um die bestmögliche Entscheidung zu treffen.
F: DOE kann eine äußerst wirkungsvolle Technik sein, wenn sie richtig eingesetzt wird. Aber ich habe auch zu viele Beispiele für stark überangepasste Modelle gesehen, die nicht prädiktiv sind, und das ist für unerfahrene Statistiker/Biologen oft nicht offensichtlich. Wie können wir Anfängern besser helfen, die von ihnen verwendeten Tools und die tatsächliche Bedeutung der Ergebnisse zu verstehen?
A: Es gibt zahlreiche Ressourcen, die neuen Experimentatoren helfen, sich schnell mit der Versuchsplanung vertraut zu machen. Sie behandeln auch die verschiedenen Möglichkeiten, unbedeutende Terme aus einem Modell zu entfernen und eine Validierung zu verwenden, um eine Überanpassung zu vermeiden. Letztendlich ist der beste Beweis eines Modells die Verifizierung mit unabhängigen Daten: Wird die vorgeschlagene Vorhersage als die aus unserem Modell ermittelte Lösung durch Verifizierungsläufe unterstützt? Ein ausgezeichneter Ausgangspunkt ist das Statistisches Denken zur industriellen Problemlösung Online-Kurs, der ein Modul zum Thema DOE beinhaltet. Es sind auch mehrere Lehrbücher erhältlich Hier . Diejenigen, die neu bei JMP und DOE sind, können vorbeikommen das Willkommenskit für neue Benutzer Und Einführungskit zur Versuchsplanung . Der JMP beherrschen Webinare umfassen auch DOE. Endlich, das JMP-Benutzergemeinschaft ist eine leistungsstarke Ressource, in der jeder, der eine bestimmte Frage hat, diese als Diskussionsthema posten kann; Fragen werden in der Regel innerhalb weniger Stunden von einem der 30.000 Community-Mitglieder beantwortet.
F: Wie kann künstliche Intelligenz DOE ergänzen?
A: Das Thema Künstliche Intelligenz (KI) wurde bereits in einem früheren Artikel diskutiert Statistisch gesehen ein Ereignis . Zu sagen, dass es sich um ein sehr vielversprechendes Feld handelt, wird dem Ganzen nicht ganz gerecht. Viele seiner Versprechen wurden bereits eingelöst. Die größten Risiken, die sich aus der KI ergeben, bestehen jedoch darin, dass wir uns zu sehr darauf verlassen, dass sie alle Probleme löst, oder dass wir die Lösungen, die sie vorgibt, blind akzeptieren. Das Sprichwort, dass „Korrelation nicht gleichbedeutend mit Kausalität“ ist, verdeutlicht die Mängel der KI. Um die beiden zu trennen und zum Kern des Verständnisses eines Prozesses vorzudringen, ist DOE erforderlich. Natürlich ist DOE nicht in der Lage, einen Arbeitsprozess autonom zu steuern. Ich würde sagen, dass sowohl KI als auch DOE Möglichkeiten haben, sich gegenseitig zu ergänzen.
Um mehr darüber zu erfahren, wie DOE Innovationen beschleunigen kann, melden Sie sich bitte für diese kostenlosen Veranstaltungen im November an:
