Wir haben uns sehr gefreut, das großartige Vater-Tochter-Duo Dr. Chris Nachtsheim und Dr. Abby Nachtsheim bei unserem ersten Film vorstellen zu dürfen Statistisch gesehen von 2023. Wir haben vergangene Veranstaltungen mit Chris wie dieser ausgezeichnet genossen Plenarvortrag auf einem vergangenen Discovery Summit Americas (wieder sehenswert!). Und wir waren sehr daran interessiert, mehr über Abbys faszinierende Projekte zu erfahren.
Chris ist Frank A. Donaldson-Lehrstuhl für Operations Management in der Abteilung Supply Chain and Operations der Carlson School of Management der University of Minnesota. Seine Forschungsinteressen umfassen optimale Designs industrieller Experimente, prädiktive Modellierung und Qualitätsmanagement. Er ist Mitautor mehrerer Bücher und hat zahlreiche Artikel in der Statistikliteratur veröffentlicht.Er ist Fellow der American Statistical Association und erhielt zahlreiche Auszeichnungen, darunter die folgenden:
- Viermaliger Empfänger des American Society for Quality Brumbaugh Award
- Zweimaliger Empfänger des Lloyd S. Nelson Award
- Dreimaliger Empfänger des Jack Youden-Preises für den besten Expository-Aufsatz im Bereich Technometrie.
Abby ist Statistikerin in der Gruppe für statistische Wissenschaften am Los Alamos National Lab. Sie arbeitet regelmäßig mit Physikern, Chemikern, Biologen, Informatikern und Ingenieuren zusammen, um Lösungen für komplexe, interdisziplinäre Probleme zu entwickeln. Ihre Forschungsinteressen konzentrieren sich auf die Gestaltung und Analyse von Experimenten und sie stellt DOE-Expertise für ein breites Anwendungsspektrum am Los Alamos National Lab zur Verfügung. Sie ist außerdem ein aktives Mitglied der nationalen Statistikgemeinschaft und fungiert derzeit als Präsidentin der Twin Cities-Abteilung der American Statistical Association.
Ihre Plenarsitzung im statistischen Sinne war so spannend, wie die vielen Zoom-Reaktionen und Kommentare im Chat belegen, wie zum Beispiel diese:
- „Ich *liebe* DOE! Es hat die Wirksamkeit, mit der meine Forschungs- und Entwicklungswissenschaftler arbeiteten, buchstäblich verändert.“
- „Ich liebe die Zusammenarbeit von Abbys Arbeit!!!“
- „Aufschlussreiche Präsentation, vielen Dank!“
- "Das ist großartig."
- „Es ist eine Schande, dass DOE in der Datenwissenschaft nicht häufiger eingesetzt wird, da es sehr hilfreich sein kann, einen möglichst informativen und repräsentativen Trainingsdatensatz zu erstellen.“
- „Vielen Dank für die tolle Diskussion.“
Ihre Plenarsitzung inspirierte auch zu vielen guten Fragen, von denen einige während der begrenzten Zeit, die wir für Fragen und Antworten hatten, unbeantwortet blieben, aber Abby und Chris haben sich freundlicherweise bereit erklärt, weitere der tollen Fragen zu beantworten, die die Zuschauer in diesem Blogbeitrag gestellt haben.
Welche weiteren Fähigkeiten könnten diese Unternehmen mit Abteilungen für Experimente oder Kausalmodellierung benötigen, insbesondere wenn ein Experiment möglicherweise nicht durchführbar ist?
Sie müssen ein gutes Verständnis von Regression und prädiktiver Modellierung haben, wahrscheinlich auch die Fähigkeit, in R und/oder Python zu programmieren, und P Vielleicht sind Sie mit einigen kausalen Modellierungstechniken vertraut. Und was noch wichtiger ist: Sie müssen den Unterschied zwischen Beobachtungs- und experimentellen Studien gut verstehen.Experimente geben Ursache und Wirkung an.Beobachtungsstudien liefern Hypothesen.
Können Sie das Plackett-Burman-Design für chemische Formulierungen verwenden, um einzelne Komponenten zu bewerten? Oder sollten immer Mischungsdesigns verwendet werden? Ich habe die Screener- und Modellierungstools von Minitab unter dem DOE-Assistenten für Mischungen verwendet, aber nicht das Mischungsdesign, da ich normalerweise mehr als drei Faktoren für Screener und etwa 3–4 für die Modellierung auswerte.
Ja, Sie können ein Plackett-Burman-Design für chemische Formulierungen verwenden. Wenn die Summe der Prozentanteile der Komponenten 100 % oder eine andere Konstante (z. B. 40 % der Gesamtmischung) beträgt, müssten Sie entweder 1) ein Mischungsexperiment durchführen oder 2) eine der Komponenten weglassen und Verwenden Sie ein Standarddesign wie Plackett-Burman. Das Weglassen einer davon wird als Slack-Variablen-Ansatz bezeichnet. Mischungsauslegungen greifen natürlich nicht, wenn die Summe der Komponentenanteile keine feste Konstante ist.
Welche Vor- und Nachteile hat die Verwendung von DOE gegenüber dem stochastischen Gradientenabstieg für die Hyperparameter-Abstimmung? Können diese Methoden zusammen (vielleicht DoE zuerst?) Neuronale Netze verwendet werden? Könnten sie in Betracht gezogen werden? Könnten sie für den komplexen Fall in Betracht gezogen werden?
Der stochastische Gradientenabstieg ist eine wichtige Optimierungstechnik, die häufig verwendet wird, um die (vielleicht Millionen) Parameter im neuronalen Netzwerk an einen festen Satz von Hyperparametern anzupassen. Aber ich würde es nicht zur Optimierung von Hyperparametern verwenden – es wäre im Vergleich zur Verwendung eines geplanten Experiments teuer.
Was ist mit PCA/PLS? Können sie von DOE „unterstützt“ werden?
Aus Diskussionen zu diesem Thema mit Professor Dennis Cook an der University of Minnesota wissen wir, dass es theoretische Gründe gibt, warum PLS (Partial Least Squares) *nicht* durch DOE unterstützt werden kann.Und obwohl dies möglich sein mag, ist uns kein nützlicher Zusammenhang zwischen DOE und PCA bekannt.
Wo sehen Sie die größten Chancen für Statistiker, die im modernen DoE für Big Data arbeiten, um Einfluss zu nehmen? Ich weiß, dass sich A/B-Tests offenbar zu einem neuen Bereich mit großem Potenzial entwickeln (siehe Nicholas Larsen, Jonathan Stallrich, Srijan Sengupta, Alex Deng, Ron Kohavi und Nathaniel Stevens, „ Statistische Herausforderungen bei kontrollierten Online-Experimenten: Ein Überblick über die A/B-Testmethodik .“
Statistiker im DOE können einen großen Einfluss auf A/B-Tests haben, sowohl durch den effizienten Einsatz von Probanden als auch durch die Durchführung von Multifaktor-Experimenten, die in der Lage sind, Wechselwirkungen zwischen Faktoren abzuschätzen – also über OFAAT-Tests hinauszugehen.Wir vermuten jedoch, dass die Beteiligung an der Entwicklung und Erprobung von KI-Modellen den größten Einfluss haben wird.
Nutzen erfolgreiche Unternehmen das Experimentieren?
Absolut.Der Grad kann je nach Produkt variieren, in den besten Unternehmen wird jedoch häufig experimentiert.Hierzu gibt es jede Menge Literatur.Ein Ausgangspunkt ist dieser aktuelle Artikel im Harvard Business Review : SCHÖPPNER, F.; THOMKE, S.; LOVEMAN, GW Benimm dich wie ein Wissenschaftler.Harvard Business Review , [sl] , v. 100, n. 3, S. 120–129, 2022.
In Diskussionen, die ich höre, klingt ML gegenüber DOE „bevorzugt“. Wie würden Sie die Vorteile der auf DOEs (nicht auf ML) basierenden Modellierung und auch den Ansatz beschreiben, DOE zum Sammeln von Daten für die ML-Analyse zu verwenden?
Wir betrachten ML und DOE nicht als konkurrierende Methoden.DOE ist einfach eine effiziente Methode zum Sammeln von Daten, um zu erfahren, wie sich verschiedene kontrollierbare Faktoren auf eine interessierende Reaktion auswirken.ML ist eine Möglichkeit, hochkomplexe Modelle an (normalerweise) große Mengen vorhandener Daten anzupassen.Die Daten könnten Beobachtungsdaten sein oder das Ergebnis eines geplanten Experiments sein.
Welche Themen sollten in einem DOE-Kurs für Data Analytics- und Data Science-Programme enthalten sein? Sollten wir uns beispielsweise auf Themen wie A/B-Tests konzentrieren, die normalerweise nicht in einem Standard-DOE-Kurs enthalten sind?
Zu den DoE-Themen sollten neben A/B-Tests auch Design und Analyse faktorieller Experimente, Blockierung, Kovarianzanalyse und Screening-Designs gehören.Ein gutes Verständnis des Unterschieds zwischen Haupteffekten und Wechselwirkungen ist von entscheidender Bedeutung.
Wie beurteilen Sie die Qualität Ihres DOE?
Vor oder nach dem Experiment?Vor dem Experiment gibt es viele standardmäßige statistische Maße für die Güte des Entwurfs, einschließlich der Fähigkeit zur Erkennung der Effekte, die wir sehen möchten, Grad der Orthogonalität zwischen/unter Faktoren, erwartete Präzision, Robustheit, Freiheitsgrade für Fehler, D- Effizienz usw. Nicht statistisch: Haben wir kontrolliert alle Welche Faktoren können die Reaktion beeinflussen?Haben wir randomisiert? Ist die Antwortmessung zuverlässig?Nach dem Experiment: Sagt das statistische Modell zuverlässig voraus?Ist das Experiment reproduzierbar?
Wären die Max-Entropy-Entwürfe für die Schätzung von Parametern für mechanistische/deterministische Modelle nützlich?
Die von uns besprochenen Designs mit maximaler Entropie wären in dieser Anwendung nicht nützlich.Unsere Designs sind auf die Unterscheidung zwischen zwei oder mehr Modellen zugeschnitten, die mechanistisch/deterministisch sein können.
Wie finden Sie die relevanten Faktoren für ein DOE? Ich habe die Erfahrung gemacht, dass wir oft eine Versuchsplanung durchführen und feststellen, dass wir einen unklaren, aber wichtigen Faktor übersehen haben, und dass wir dann den Entwurf erneut durchführen müssen.
Das ist ein großes Problem, und wir haben diese Erfahrungen auch gemacht.Als Experimentdesigner müssen wir uns darauf verlassen, dass die Fachexperten die wichtigen Faktoren im Voraus identifizieren.Arbeiten Sie also zunächst mit wirklich klugen Leuten zusammen, wenn Sie können.Bei großer Unsicherheit kann man kostengünstig eine Vielzahl potenzieller Faktoren durchsieben und die Menge auf die relevanten reduzieren.Dann gehen Sie von dort aus.
Haben Sie einen konkreten Vorschlag, wie DOE in datenwissenschaftliche Programme und Lehrpläne integriert werden kann?
Konzentrieren Sie sich auf A/B- und A/B/n-Tests, führen Sie aber auch die Konzepte faktorieller Experimente, Blockierung, Kovarianzanalyse und Screening-Designs ein.Ein gutes Verständnis des Unterschieds zwischen Haupteffekten und Wechselwirkungen ist von entscheidender Bedeutung.
Wenn Sie bereits über große Beobachtungsdatensätze verfügen, benötigen wir dann noch DOE?
Beobachtungsstudien können Ursache und Wirkung nicht nachweisen, und die meisten Beobachtungsdatensätze stellen sehr schlecht konzipierte Studien dar, die oft nicht reproduzierbar sind.Wenn Sie Ursache-Wirkungs-Zusammenhänge zuverlässig identifizieren wollen, benötigen Sie DOE.Beobachtungsstudien können hilfreich sein, um potenzielle Faktoren für Folgeexperimente zu identifizieren.
Eine Frage, die wir während des Livestreams stellten, auf die wir jedoch keine Antwort parat hatten, lautete: „Gibt es Teilnehmer, die mit DOE für die Verbesserung des Krankenhausbetriebs arbeiten und/oder aktiv daran interessiert sind?“ Eine hilfreiche Ressource für den Anfang könnte sein: Versuchsplanung in der Dienstleistungsbranche: eine kritische Literaturübersicht und zukünftige Forschungsrichtungen . Wenn andere, die diesen Blogbeitrag lesen, weitere Ressourcen zur Anwendung von DOE im Krankenhausbetrieb kennen, laden wir Sie ein, diese in den Kommentaren zu teilen. Danke!
Vielen Dank an Chris und Abby, die sich die Zeit genommen haben, mehr von ihrem statistischen Fachwissen weiterzugeben.Wir hoffen, dass Sie sich die Sendung auf Abruf ansehen Folge of Statistical Speaking, um einige wirklich inspirierende Anwendungen geplanter Experimente zu sehen, die uns allen zugute kommen.
