Bei JMP sind wir Fans von Dennis Lendrem, seinen Büchern, seinen LinkedIn-Posts und seinem Newsletter.Affen im Laborkittel, seine Leidenschaft für bessere Wissenschaft und seinen wunderbaren britischen Witz. Wir hatten mehr Fragen, als wir in dieser Folge von „Statistically Speaking“ beantworten konnten, daher hat Lendrem freundlicherweise Antworten für diesen Blogbeitrag bereitgestellt. Wir freuen uns, seine Botschaft von der Notwendigkeit besserer Wissenschaft und schnellerer Problemlösungen unterstreichen zu können.
In Ihrer Zusammenarbeit mit Wissenschaftlern zeigen Sie ihnen, wie DOE ihre Experimente besser gestalten kann effizient und effektiv, war einer von ihnen von der Leistungsfähigkeit des DOE so überwältigt, dass er motiviert war, sich damit zu befassen und es selbst zu nutzen?
Ein paar. Aber machen Sie sich keine Hoffnungen. Für die meisten ist es, als würden sie einem Höhlenmenschen Feuer zeigen. Anfangs sind sie erstaunt, aber am nächsten Tag reiben sie wieder Stöcke aneinander. Warum? Weil es keine Gewohnheit ist. Kein Instinkt. So wurden sie nicht erzogen. Diejenigen, die sich bekehren, sind in der Regel diejenigen, die schon vorher geahnt haben, dass etwas nicht stimmt. Sie haben jahrelang nach Nahrung gesucht und nichts erreicht.
Wir beobachten eine geringe Nahrungsdichte im Ingenieurwesen, bei Softwaretests und in anderen Bereichen. Sollten wir anfangen, intelligentes Experimentieren bereits in der High School zu lehren und den Ansatz, immer nur einen Faktor zu berücksichtigen, endlich verdrängen?
Ja. Tatsächlich sollten wir uns dafür entschuldigen, dass wir es nicht schon vor 30 Jahren getan haben.
Ein Faktor nach dem anderen ist wissenschaftlicher Junkfood. Es ist einfach, befriedigend und völlig irreführend. Spätestens an der Universität ist es für Studierende bereits fest verankert. Sie hinterfragen es nicht einmal. Wir müssen anerkennen, dass die Welt komplex ist und dass das Denken in einer einzigen Variable eine Lüge ist, die wir uns selbst erzählen, um es uns bequem zu machen. Es geht nicht um Statistik – es geht um Neugier, strukturiertes Entdecken und strukturiertes Erkunden. Diese Denkweise sollte frühzeitig vermittelt werden. (Siehe auch die entsprechende Zusatzfrage unten.)
Zu Ihrem Punkt über freundliche und unfreundliche Lernräume: Sehen Sie angesichts der zunehmenden Komplexität in so vielen Bereichen mehr Möglichkeiten für kombinatorische Tests und abdeckende Array-Designs? Software wird beispielsweise immer allgegenwärtiger – denken Sie an selbstfahrende Autos..
Absolut. Der Lernraum ist nicht mehr freundlich – er ist hochdimensional, spärlich und voller Fallen. Man kann sich nicht auf Intuition oder das Herumprobieren mit einzelnen Variablen verlassen. So verpasst man die tödliche Interaktion. Kombinatorisches Testen und abdeckende Arrays sind keine Option mehr, sondern Überlebenswerkzeuge. Softwaretests haben das erkannt. Die Technik holt auf. Die Wissenschaft leugnet es noch immer. Und ja, selbstfahrende Autos sind das Paradebeispiel mit Millionen möglicher Eingabekombinationen. Entweder man gestaltet seine Tests selbst, oder man überlässt sie der realen Welt – mit Fußgängern.
Der 5,4 Milliarden Dollar schwere Ausfall/Absturz im Jahr 2024 war kein Fehler, sondern eine Panne. Eine fehlende Eingabeprüfung und BOOM, Flugausfälle und Krankenhäuser offline. Deshalb ist kombinatorisches Testen kein Luxus, sondern ein Risiko‐Schadensbegrenzung. Crowdstrike sieht sich einer Klage von Delta Airlines in Höhe von 500 Millionen US-Dollar gegenüber, weitere werden folgen.
Eine Variable nach der anderen? Was ist mit Blockieren und den Robotern sowie mit fraktionalem faktoriellem DOE und Störfaktoren?
Wir brauchen ein Gesetz, das das Experimentieren mit jeweils nur einer Variable verbietet.
Blockieren ist der Schlüssel, auch in der Robotik, denn Geräte können ausfallen und Dinge können schiefgehen. Siehe Murphys Gesetz inGorillas in Anzügen.
Durch die Verwendung von Bruchfaktorialen werden die Ressourcen erheblich reduziert, während der Informationsverlust nur geringfügig abnimmt.
Und sowohl das Blockieren als auch das Auswählen von Brüchen trägt dazu bei, Verwirrung zu vermeiden.
In drei verschiedenen Branchen habe ich Produktentwicklungen erlebt, bei denen das Team auf festgelegte Grenzen und einen vorgegebenen Zeitrahmen ausgerichtet war. Das kollektive Denken verhinderte jedoch letztlich die effektive Nutzung geplanter Experimente. Der Grund dafür war, dass die schnelle Datenerfassung (ohne Design, der Wissenschaftler bestimmte die Bedingungen) eine sich selbst erfüllende Prophezeiung darstellte und zum führenden und einzigen Ansatz wurde. Ich habe großartige Unterstützung aus der Statistikwissenschaft erhalten, ob intern oder extern, bin aber gespannt auf weitere Ideen, wie man das wissenschaftliche Denken, insbesondere im Bereich der Produktentwicklung, stärker beeinflussen kann.
Forschung und Entwicklung sind fehlgeschlagen; fehlerhafte Experimente sind weit verbreitet. Seien Sie sich bewusst, dass Sie nicht allein sind. Behalten Sie den Glauben. Seien Sie Teil der neuen Welle. Suchen Sie die Gesellschaft derer, die wissen, dass es einen besseren Weg durch solche Ereignisse gibt. Und siehe unten.
Ist Ihr Datensatz für Zufallsexperimente im Vergleich zur wissenschaftlichen Nahrungssuche online verfügbar (JMP Live?)? Ich würde ihn gerne als Beispiel in meiner eigenen Gruppe verwenden (natürlich mit vollständiger Quellenangabe!).
Noch nicht. Es wird als Anhang zum dritten Buch in derAffen im LaborkittelTrilogie,Affen & Anoraks, dessen Starttermin der 1. November ist. Für eine vollständigere und aktuellere Kopie des vollständigen Datensatzes wenden Sie sich bitte an Harrold Fellerman von der Newcastle University, der über eine Fülle neuer Daten verfügt.
Ich glaube, ein Missverständnis über den DOE-Ansatz besteht darin, dass er mehr „kostet“ oder mehr „Bedingungen“ erfordert (etwas, das ich immer wieder gehört habe). Ich habe das genaue Gegenteil festgestellt! Es ist der effizienteste Weg zum Ergebnis, da man die Auswirkungen von Faktoren auf die Antworten modellieren und vorhersagen kann, ohne jede mögliche Kombination durchspielen zu müssen. Es ist iterativ! Wir beginnen nicht mit einer vollständigen Fakultät – wir enden damit!
Erstens: Wenn Sie die Anzahl der Bedingungen und den Ressourcenverbrauch minimieren und gleichzeitig die Menge an Informationen über das Geschehen in einem mehrdimensionalen Raum maximieren möchten, dann ist ein designter Ansatz die einzige Möglichkeit. Genau das machen Designs. Punkt. Der einzige Weg, dies mit weniger Ressourcen zu erreichen, besteht darin, auf Informationen zu verzichten. Ende der Geschichte.
Zweitens: Betrachtet man den Ressourcenverbrauch im Feld bei der traditionellen wissenschaftlichen Datensammlung, so werden mehr Ressourcen verbraucht, um schlechtere Informationen zu generieren. Zudem sind die Ressourcen, die man bereitstellen muss, unvorhersehbarer. Manchmal stößt man auf etwas, das irgendwie funktioniert, und kann es schnell auf den Markt bringen. Manchmal stolpert man herum, bis die Zeit abläuft, bevor man es auf den Markt bringen kann. In beiden Fällen besteht die Möglichkeit, dass die Informationen unvollständig sind und die Lösung im Handumdrehen scheitert – ein Albtraumszenario für das F&E-Management. SieheGorillas in Anzügen.
Fällt es Ihnen schwer, einem Wissenschaftler, der seiner Intuition vertrauen möchte, diese Botschaft persönlich zu vermitteln? Abstrakt darüber zu sprechen, scheint einfacher zu sein, als dem Wissenschaftler zu sagen, dass er seinen Ansatz ändern muss.
Ja. Nicht jeder versteht es. Wir arbeiten mit den Wissenschaftlern zusammen, die es verstehen. Sie wählen sich selbst als Lead User aus. Wir bitten sie lediglich, ihre Skepsis zu überwinden, während wir sie durch die erste Studie führen. Und wir arbeiten mit ihnen zusammen, um erfolgreiche Fallstudien zu entwickeln, die dem Unternehmen das Design schmackhaft machen. Nichts verkauft sich besser als Erfolg. Und das DOE ist außerordentlich erfolgreich.
Gibt es derzeit Arbeiten zur Entwicklung eines objektiven Maßstabs für die Anwendung multidimensionaler Versuchsplanung und statistischer Best Practices in einer Studie? Anders ausgedrückt: ein Bewertungssystem, das nicht versucht, die Ergebnisse oder Schlussfolgerungen der Studie zu bewerten, sondern eine Bewertung der Objektivität der Studie, die auf multidimensionaler Versuchsplanung und statistischen Best Practices beruht.
Das ist eine wirklich gute Idee. Derzeit ist sie lückenhaft. DieÄQUATORNetzwerke (z. B. STROBE, STARD, CONSORT) waren proaktiv, obwohl sie eher klinisch orientiert waren. Und es gab in der Vergangenheit Bemühungen, die nicht öffentlich zugänglich sind. Beispielsweise hat GSK eine Reihe einseitiger DOE-Spickzettel für den internen Gebrauch seiner Forschungswissenschaftler erstellt.
Es besteht eindeutig Bedarf an einer stärkeren Zusammenarbeit mit Wissenschaftlern und DOE-Experten. Wie können wir diese Zusammenarbeit fördern?
Die Schaffung einer angenehmen Lernumgebung, in der Menschen die Möglichkeit haben, sicher zu lernen, ist entscheidend. Veranstaltungen wie Webinare, Workshops und Konferenzen bringen Gleichgesinnte zusammen und helfen ihnen, ein gemeinsames Verständnis für reale Anwendungen zu entwickeln. Weitere Möglichkeiten sind die gemeinsame Nutzung von Softwaretools für die Zusammenarbeit , die einfache Visualisierung von Ergebnissen und die Abbildung multidimensionaler Interessensräume sowie die Unterstützung von Benutzern bei der Förderung des Mentalitätswandels in ihrem Unternehmen.
Ich bin überzeugt, dass ich DOE verwenden sollte. Aber ich bin mir nicht sicher, wo ich anfangen soll! Irgendwelche Ratschläge?
Halten Sie es einfach. Finden Sie jemanden, der es schon einmal gemacht hat. Lassen Sie ihn den Nagel halten, wenn Sie den Hammer zum ersten Mal schwingen. Bleiben Sie konservativ. Bleiben Sie bei einem relativ sicheren Design. Und denken Sie an Moores Beobachtung: Fast jedes Design ist besser als gar kein Design.
Es gibt so viele Gründer in der Biotech-Branche und führende Wissenschaftler in der Wissenschaft, die ihre gesamte Karriere und ihren Ruf auf wissenschaftlicher Forschung aufgebaut haben. Sie sind immer noch an der Macht. Wie schaffen wir den Durchbruch? Von unten nach oben scheint es unmöglich. Was denken Sie?
Jeder Wandel beginnt mit einer Person. Und jeder Wandel vollzieht sich von unten nach oben, bis diese Person an die Spitze gelangt und den Wandel von oben nach unten vorantreibt. Erinnern Sie sich an die Geschichte von Imo, dem jungen Japanmakaken, der seiner Gruppe beibrachte, Sand von Süßkartoffeln zu waschen, bevor sie diese aß. Der neue Trend verbreitete sich in allen Reihen, doch die dominanten Männchen waren die letzten, die dieses Verhalten übernahmen.
Mich würde interessieren, wie man Ihrer Meinung nach das Problem der Unterversorgung des DOE mit naturwissenschaftlichen Fächern am besten lösen kann? Wird es heimlich in die Lehrpläne der High Schools integriert? Werden Kurse auf Ph.D.-Niveau angeboten? Werden Dekane hinzugezogen? Oder wird es vergessen und die Industrie die Lücke füllen?
All das müssen wir jetzt tun. Wir brauchen JETZT die nächste Generation . Bis dahin: Gymnasien? Ja. Lehranteil in Ph.D.-Studiengängen? Ja. Dekane? Für die meisten zu spät, aber ein oder zwei Dekane für Forschung und Innovation könnten anbeißen. Die Industrie? Ja.
Wir müssen DOE früher im Entwicklungszyklus einführen – schon in der Schule. Kinder verstehen es. Niemand hat ihnen bisher gesagt, dass sie sich immer nur auf eine Variable beschränken sollen. Sie mögen DOE-Lehrmittel – wie Hubschrauber und Katapulte. Zeigen Sie ihnen Dinge wie das Paradox der selbsterfüllenden Prophezeiung, und sie werden lachen, wenn Sie ihnen sagen, dass die meisten Wissenschaftler Ansätze verfolgen, bei denen nur eine Variable verwendet wird. Wir müssen Kindern beibringen, dass die Welt komplex ist und dass das Denken in nur einer Variable eine Lüge ist, die sich Erwachsene selbst erzählen, um sich wohlzufühlen und nicht überfordert zu werden. Es geht darum, eine wissenschaftliche Denkweise zu entwickeln: die natürliche Neugier zu nutzen, Möglichkeiten für strukturiertes Forschen zu bieten und wissenschaftliche Entdeckungen zu fördern.
Ich stimme voll und ganz zu, dass DOE in den industriellen Biowissenschaften Einzug hält, in der Wissenschaft jedoch deutlich seltener vorkommt. Dies könnte zum Teil an der nach wie vor hohen Kostenschwelle für Roboter, Automatisierung und Verbrauchsmaterialien liegen. Wie können Wissenschaftler und Studierende mit begrenztem Budget DOE effektiver nutzen?
Sie brauchen keine Roboter. Wenn Sie Zugang haben, großartig, aber Sie brauchen keine Roboter. Wenn Sie den Verbrauch minimieren wollen, maximiert DOE die Informationen und minimiert gleichzeitig die Kosten. Wissenschaftliche Sammler unterschätzen die Kosten, die mit dem Herumstolpern in der multidimensionalen Dunkelheit verbunden sind.
Können Sie anhand Ihres Beispiels von Wissenschaftlern, die voreilige Schlüsse ziehen wollen, erläutern, wie sequenzielles Experimentieren hilfreich, aber auch ein wenig gefährlich sein kann?
Sequenzielles Experimentieren kann wertvoll sein, wenn die Kosten jedes einzelnen Experiments völlig unverschämt hoch sind. Paralleles Experimentieren ist jedoch ideal, weshalb Roboter so nützlich sein können. In der Wissenschaft gilt jedoch: Je länger die Sequenz, desto anfälliger für Störfaktoren durch Veränderungen im Laufe der Zeit, desto größer die Möglichkeit analytischer Abweichungen und anderer Trends und desto wahrscheinlicher ist es, dass Murphys Gesetz zuschlägt. (Siehe das Kapitel über Murphys Gesetz inGorillas in Anzügen.) Halten Sie Sequenzen kurz, nutzen Sie Blockierungen aus und prüfen Sie auf Laufeffekte.
Hat Dennis auf Ronald Fishers Buch über DOE verwiesen?
Nicht mehr im Druck, aber von historischem Interesse:
- Fisher RA 1935 The Design of Experiments. Herausgeber: Oliver & Boyd, Edinburgh.
Aber für eine modernere und relevantere Behandlung von DOE:
Erwarten Sie, dass sich das Ergebnis von JMP DOE von dem anderer Apps unterscheidet? Wenn ja, warum?
Anstatt die Software als Hindernis zu betrachten, führten wir DOE-Schulungen in der vom Kunden gewählten Software durch. Dadurch lernten wir die meisten verfügbaren DOE-Pakete kennen (Modde, DesignExpert, SPSS, BMDP und verschiedene R-basierte DOE-Pakete). JMP DOE liefert zwar rechnerisch ähnliche Ergebnisse wie andere Pakete, bietet aber eine hervorragende Benutzerfreundlichkeit: Benutzerfreundlichkeit, Datenvisualisierung und -interpretation.
Wir danken Dennis nicht nur für die Beantwortung der Fragen, die wir im Livestream nicht beantworten konnten, sondern auch für die Erläuterung der von ihm beantworteten Fragen. Wir hoffen, dass Sie sich das aufschlussreiche und unterhaltsame On-Demand-Buch „Statistically Speaking“ ansehen werden. Wir freuen uns auf den dritten Band der Trilogie „Apes in Lab Coats“, der im November erscheint.
