Überprüfung der zufälligen Versuchsreihenfolge und der Gültigkeit des Versuchsdesigns in JMP DOE
Hallo zusammen,
Ich arbeite derzeit mit einem in JMP erstellten Versuchsplan (Design of Experiments, DOE) und möchte die Qualität der randomisierten Versuchsreihenfolge bewerten. Obwohl JMP die Versuchsreihenfolge während der Versuchsplanung automatisch randomisiert, möchte ich die Effektivität dieser Randomisierung objektiv beurteilen.
Insbesondere möchte ich wissen, ob JMP integrierte Funktionen oder etablierte Arbeitsabläufe bietet, um Folgendes zu ermöglichen:
- Trends, systematische Muster oder Abweichungen im Verlauf der Laufsequenz erkennen,
- Clusterbildung oder ungleichmäßige Verteilung der Faktorstufen identifizieren,
- Führen Sie formale statistische Tests auf Zufälligkeit durch (z. B. Lauftests, Autokorrelations- oder Unabhängigkeitstests).
- oder auf andere Weise quantifizieren, wie genau die Ausführungsreihenfolge einer echten Randomisierung entspricht.
Falls JMP keine direkte Methode für diese Art von Bewertung bietet, gibt es empfohlene JSL-Skripte, Add-ins oder Best-Practice-Ansätze zur Bewertung der Zufälligkeit in der Ausführungsreihenfolge von DOE?
Darüber hinaus interessiert mich, ob JMP Werkzeuge bereitstellt, um zu überprüfen, ob die Integrität und die statistischen Eigenschaften des Versuchsaufbaus nach einer manuellen Neuanordnung der Versuche erhalten bleiben.
Vielen Dank im Voraus für Ihre Einschätzungen.
BayesKnight
VersuchsplanungBetreff: Überprüfung der zufälligen Versuchsreihenfolge und der Versuchsdesigngültigkeit in JMP DOEHallo @BayesKnight ,
Willkommen in der Community!
Ich sehe mindestens zwei Möglichkeiten, die Ihnen helfen können, Antworttrends aufgrund eines möglichen Mangels an Randomisierung oder aufgrund einer Zeitsensitivität in den Optionen der Modellanpassung zu erkennen:
- Grafische Option: Residuen zeilenweise darstellen : Diese Darstellung kann Ihnen helfen, Muster zu erkennen, die sich aus der Zeilenreihenfolge der Beobachtungen ergeben.
- Statistische Testoption: Durbin-Watson-Test : Testverfahren zur Prüfung, ob die Residuen eine Autokorrelation erster Ordnung aufweisen. Nur geeignet, wenn die Zeilen in zeitlicher Reihenfolge vorliegen (Experimente in der gleichen Reihenfolge wie in der Datentabelle durchgeführt).
Möglicherweise stehen Ihnen auch weitere grafische oder statistische Optionen zur Verfügung, beispielsweise Kontrollkarten (mithilfe von Kontrollkarten und Westgard-Regeln lässt sich beurteilen, ob die Verteilung der Faktorstufen einem Trend folgt) und Optionen zur Zeitreihenanalyse. Mithilfe der hierarchischen Clusteranalyse können Sie außerdem prüfen, ob die Punktclusterung unausgewogen ist oder geordnete Zeilengruppen bildet. Schließlich können Sie mit der Plattform „Multivariate Analyse“ auch prüfen, ob signifikante Korrelationen zwischen Faktoren und Zeilenreihenfolge bestehen.
Die Auswertung von Designs über die Plattform Design bewerten berücksichtigt nicht die Reihenfolge der Zeilen in den verschiedenen Auswertungen. Falls Sie bei der Ausführung Ihres Designs einen möglichen Zeittrend vermuten und die Verteilung der Faktorstufen gegenüber solchen Trends robust gestalten möchten, können Sie die folgenden Beiträge konsultieren:
https://community.jmp.com/t5/RD-Blog/How-to-create-an-experiment-design-that-is-robust-to-a-linear/ba-p/30138
Kovariaten in definierter Reihenfolge im benutzerdefinierten Design
Ich hoffe, diese Antwort hilft Ihnen weiter.
Betreff: Überprüfung der zufälligen Versuchsreihenfolge und der Versuchsdesigngültigkeit in JMP DOEHallo @Victor_G ,
Vielen Dank für den freundlichen Empfang und die bereitgestellten Informationen. Ich möchte klarstellen, dass mein Hauptinteresse darin besteht, die Qualität der randomisierten Versuchsreihenfolge vor Beginn des Experiments zu beurteilen. Sobald die Daten erhoben sind, ist es zu spät, mögliche Probleme aufgrund einer nicht-randomisierten Reihenfolge zu beheben. Gibt es eine Möglichkeit, dies zu überprüfen?
Betreff: Überprüfung der zufälligen Versuchsreihenfolge und der Versuchsdesigngültigkeit in JMP DOEIn Ihrem ursprünglichen Beitrag wollten Sie „ quantifizieren, wie genau die Ausführungsreihenfolge einer echten Randomisierung entspricht“.
Sagen Sie mir, wie echte Randomisierung aussieht, und ich könnte wahrscheinlich einen Weg finden, zu quantifizieren, wie nahe ich ihr komme.
Letztendlich dient die Randomisierung der Versuchsdurchläufe als eine Art Versicherung gegen unbekannte/unerwartete Fehlerquellen, die mit der Zeit oder der Reihenfolge der Experimente zusammenhängen könnten. Solche Fehlerquellen würden sich, falls vorhanden, in den erhobenen Messdaten bemerkbar machen, weshalb @Victor_G diesen Hinweis gegeben hat.
Solange ein zuverlässiger Zufallszahlengenerator verwendet wird (und JMP bietet zuverlässige Zufallszahlengeneratoren), ist im Allgemeinen jedes Zufallsmuster geeignet. In bestimmten Situationen kann dies jedoch unzutreffend sein; dazu müssten Sie diese Situationen aber kennen.
Angenommen, eine Maschine macht beispielsweise beim vierten produzierten Teil immer einen Fehler. In diesem Fall könnte ein gültiges Zufallsmuster einen der Faktoren jedes vierte Mal auf den höchsten Wert setzen. Bei einem Versuchsplan mit acht Durchläufen wäre das durchaus plausibel. Das würde die Ergebnisse aber sicherlich beeinflussen. Man würde das erst bei der Analyse und vor allem bei der Ergebnisüberprüfung feststellen. Ich habe in der Praxis schon ähnliche Fälle beobachtet, trotz eines scheinbar gültigen Zufallsmusters.
Abschließend sei angemerkt, dass die von Ihnen angesprochenen statistischen Analysen und Eigenschaften voraussetzen, dass die Fehlerterme des Modells unabhängig und identisch verteilt sind. Eine manuelle Neuanordnung der Versuchsdurchläufe sollte dies nicht beeinflussen. Tatsächlich ist eine Randomisierung nicht einmal erforderlich, wenn Sie wissen, dass jeder Durchlauf tatsächlich unabhängig ist. Die meisten Anwender randomisieren jedoch, um sich gegen unbekannte Fehlerquellen (wie oben erwähnt) abzusichern. Sollte die manuelle Verschiebung der Versuchsdurchläufe die Unabhängigkeit beeinträchtigen, müssen Sie diese zeitlichen Merkmale in Ihrem Versuchsdesign (und Ihrer Analyse) berücksichtigen.
Ich hoffe, diese Informationen helfen. Und denken Sie daran: Alle Experimente sollten überprüft werden, und selbst die Sequenz 1, 2, 3, 4, 5 ist ein mögliches Zufallsmuster!
Betreff: Überprüfung der zufälligen Versuchsreihenfolge und der Versuchsdesigngültigkeit in JMP DOEIch biete eine andere Perspektive. Es gibt zahlreiche Methoden, die Effektivität der experimentellen Strategie nach dem Experiment zu evaluieren. Ich schlage vor, mehr Zeit in die Planung zu investieren. Meiner Ansicht nach ist Randomisierung in Experimenten eine Methode, um zu verhindern, dass ein unbekannter, ungetesteter Faktor (ich nenne ihn Rauschen) mit einem Faktor im Experiment verwechselt wird. Ich denke, wir können dadurch effektiver sein. Wohin verschwindet also dieser Rauscheffekt? Möchten Sie mehr darüber erfahren? Randomisierung verhindert die Zuordnung (Shewhart). Ich möchte mehr über das Rauschen wissen. Welches Rauschen ist signifikant? Wie führe ich Rauschen in das Experiment ein? Wie kann ich robust gegenüber Rauschen sein? Ich stimme GEP Box zu:
„Blockiere, was du kannst, und lasse zufällig entscheiden, was du nicht kannst.“
Damit meint er, dass, wenn man das Rauschen identifizieren kann, das Vermischen des Rauschens mit dem Block effektiver ist als die Randomisierung. Es ist zuordenbar. Bei Rauschen, das man nicht identifizieren kann (ich bin mir nicht sicher, warum), sollte man randomisieren.
Ich schlage Ihnen folgende Artikel vor:
Youden, WJ, Randomisierung und Experimente, Technometrics, Band 14, Nr. 1, Februar 1972
Hwan, Marilyn (2000), „ Randomisieren oder nicht randomisieren, das ist hier die Frage “, ASQ-Newsletter der Statistikabteilung , Bd. 17, Nr. 1, S. 26
Betreff: Überprüfung der zufälligen Versuchsreihenfolge und der Versuchsdesigngültigkeit in JMP DOEHallo @BayesKnight ,
Zusätzlich zu dem, was bereits von anderen treffend dargelegt wurde, möchte ich noch einige weitere Gedanken zur Überlegung hinzufügen.
1. Wie planen Sie, die Reihenfolge der Versuchsdurchführung (DOE) zu quantifizieren, BEVOR Sie das Experiment durchführen? Wenn die Versuche vom Zustand einer Größe abhängen (Probenzustand, Gerätezustand, Ofentemperatur oder etwas, das Sie in der Versuchsdurchführung nicht berücksichtigen), wird sich dies in den Daten zeigen, jedoch erst NACH Abschluss aller Versuche, und kann wie zuvor besprochen ausgewertet werden.
2. Um die Zufälligkeit eines Versuchsdesigns (DOE) vorab zu testen, können Sie Hunderte oder Tausende von DOEs generieren. Bei 20 Durchläufen (1 bis 20) lässt sich die Häufigkeit jedes einzelnen Durchlaufs statistisch erfassen. Bei genügend generierten DOEs sollte kein Muster im Auswahlprozess erkennbar sein. Doch welches DOE wählen Sie dann? Welches ist das zufälligste? Dies lässt sich mit einem JSL-Skript schnell und einfach bewerkstelligen. Achten Sie dabei unbedingt auf die korrekte Definition Ihres DOE, um versteckte Einflussfaktoren auszuschließen. Selbst mit dieser Analyse lassen sich jedoch keine versteckten Variablen erfassen, die die Reihenfolge der Durchläufe beeinflussen.
3. Nach Abschluss der Versuchsplanung gibt es, wie bereits erwähnt, verschiedene Möglichkeiten, die Zufälligkeit der Läufe zu bewerten (die Residuen pro Zeile sind ein guter Ausgangspunkt). Zusätzlich könnte man eine Spalte mit der Bezeichnung „Laufreihenfolge“ hinzufügen und diese in die Analyse einbeziehen, um festzustellen, ob eine statistisch signifikante Abhängigkeit der Ergebnisse von der Laufreihenfolge besteht. Man könnte sogar einen „Nullfaktor“ einführen (Informationen zur automatischen Validierung in JMP finden Sie hier – es gibt einen JSL-Code, aber es ist keine integrierte Funktion). Dieser Nullfaktor ist ein völlig zufälliger Faktor, und alle Faktoren, die statistisch weniger oder gleich wichtig wie dieser Nullfaktor sind, können ignoriert werden.
Eine sorgfältige Vorplanung ist entscheidend und beansprucht oft einen Großteil der Diskussionszeit. Ein gut geplantes Versuchsdesign (DOE) ist weniger zeitaufwendig in der Analyse als ein schlecht geplantes und liefert schnellere Erkenntnisse. Berücksichtigen Sie dabei beispielsweise folgende Punkte: Spielt die Reihenfolge eine Rolle? Wenn ja, warum? Woher kommt sie? Wie können wir sie in unserem Versuchsdesign berücksichtigen? Welche anderen Faktoren könnten die Ergebnisse beeinflussen und können wir diese berücksichtigen? Woher kommt das Rauschen in unserem Signal? Wie können wir das Rauschen minimieren bzw. im Versuchsdesign berücksichtigen?
Ich hoffe, das hilft!
DS
Betreff: Überprüfung der zufälligen Versuchsreihenfolge und der Versuchsdesigngültigkeit in JMP DOEHallo @Dan_Obermiller ,
Vielen Dank für Ihre ausführliche Antwort.
Sie haben völlig Recht. Eine „perfekte“ oder „wahre“ Randomisierung gibt es nicht. Dennoch können manche Randomisierungen besser sein als andere, da sie unerwünschte Muster vermeiden (z. B. lange Sequenzen identischer Faktorstufen, periodische Strukturen usw.).
Deshalb wollte ich herausfinden, ob JMP Werkzeuge bietet, um diese Aspekte objektiv zu bewerten, anstatt sich ausschließlich auf das Vertrauen in den Zufallszahlengenerator oder auf eine visuelle Inspektion zu verlassen.
Ich suche nach zusätzlichen Möglichkeiten, die Qualität der Ausführungsreihenfolge zu bewerten, insbesondere in Situationen, in denen subtile zeitbezogene Risiken oder das Verhalten der Geräte die Ergebnisse beeinflussen können.
Vielen Dank nochmals für Ihre hilfreichen Einblicke. Sie sind sehr nützlich.
Betreff: Überprüfung der zufälligen Versuchsreihenfolge und der Versuchsdesigngültigkeit in JMP DOEHallo @SDF1
Danke für die Antwort.
Ich stimme vollkommen zu, dass die Definitions-/Planungsphase eines Versuchsdesigns entscheidend ist; genau deshalb habe ich diese Frage gestellt. Ich möchte mit dem bestmöglichen Design beginnen und sicherstellen, dass die randomisierte Versuchsreihenfolge vor der Durchführung robust ist.
Mir ist bewusst, dass es versteckte Variablen geben mag, die wir nicht vorhersehen können, aber mein Hauptaugenmerk liegt auf Folgendem:
- Wie man eine robuste randomisierte Ausführungsreihenfolge generiert
- wie man die Qualität vor der Durchführung des Experiments beurteilen kann.
Vielen Dank nochmals für die Perspektive.
Betreff: Überprüfung der zufälligen Versuchsreihenfolge und der Versuchsdesigngültigkeit in JMP DOEWenn Sie Muster in der Verteilung der Faktorstufen vermeiden möchten, könnte Ihnen die Plattform Muster entdecken dabei helfen, unerwünschte univariate Muster zu erkennen.
Bevor Sie mögliche Muster in der Randomisierung untersuchen (die ja Teil des Randomisierungsprozesses sind), haben Sie die Eigenschaften und die Leistungsfähigkeit Ihres Designs mit der Plattform „Design bewerten“ evaluiert? Wahrscheinlich treten mehr Fehler aufgrund ungeeigneter Stichprobengröße/Teststärke oder unzureichender Aliasing-Struktur auf als aufgrund möglicher Muster in der Randomisierung.
Betreff: Überprüfung der zufälligen Versuchsreihenfolge und der Versuchsdesigngültigkeit in JMP DOEHallo @BayesKnight , ich habe das mit Interesse verfolgt … und, ehrlich gesagt, mit etwas Verwirrung. Mir scheint, Sie fragen: Ist die von JMP generierte „zufällige“ Ausführungsreihenfolge wirklich zufällig? Wie @Dan_Obermiller sagte: „Solange ein zuverlässiger Zufallszahlengenerator verwendet wird (und JMP bietet zuverlässige Zufallszahlengeneratoren), ist im Prinzip jedes Zufallsmuster zulässig.“ Natürlich sind auch „seriöse“ Zufallszahlengeneratoren größtenteils Pseudozufallszahlengeneratoren. Und als solche verwenden sie typischerweise einen Algorithmus, um eine Folge von Zufallszahlen zu erzeugen, die die Eigenschaften einer Zufallsfolge aufweisen. Die Antwort lautet also: „Ja.“
Eine einfache Möglichkeit, die Reihenfolge der Durchläufe zu randomisieren, wäre, für jeden Durchlauf eine Gleichverteilungszahl (0,1) zu generieren. Anschließend ordnet man die Durchläufe anhand dieser Gleichverteilungszahl (0,1) neu an.
Meine Frage an Sie lautet jedoch: Was hat Sie zu Ihrer Frage veranlasst?
Betreff: Überprüfung der zufälligen Versuchsreihenfolge und der Versuchsdesigngültigkeit in JMP DOEHallo @statman
Vielen Dank für Ihre Antwort und die Zusendung der Referenzdokumente.
Ich stimme zu, dass es viele Möglichkeiten gibt, ein Design zu evaluieren, aber wie Sie bereits erwähnt haben, werden die meisten davon erst nach Abschluss des Experiments angewendet.
Mein Ziel ist es, Probleme nicht erst am Ende zu entdecken, wenn es zu spät ist, sie zu beheben.
Ich stelle weder den Sinn der Randomisierung noch der Blockbildung in Frage. Ich möchte lediglich mögliche Probleme so früh wie möglich erkennen. Insbesondere möchte ich im Vorfeld prüfen, ob die zufällige Reihenfolge nicht versehentlich Muster oder Trends erzeugt, die das Design schwächen könnten.
Nochmals vielen Dank für Ihre hilfreiche Sichtweise.
Betreff: Überprüfung der zufälligen Versuchsreihenfolge und der Versuchsdesigngültigkeit in JMP DOEHallo @BayesKnight ,
JMP generiert automatisch eine zuverlässige, randomisierte Versuchsreihenfolge für Ihr Versuchsdesign. Darüber brauchen Sie sich keine Sorgen zu machen (und sollten es auch nicht). JMP ist seit über 35 Jahren Branchenführer in diesem Bereich. Das Unternehmen wäre sicherlich nicht mehr am Markt, wenn seine Software nicht zuverlässig wäre.
Selbst wenn Sie vor der Versuchsplanung (DOE) eine Methode zur Quantifizierung und Bewertung der Wiedergabereihenfolge entwickeln würden, würden Sie letztendlich nur den Randomisierungsalgorithmus von JMP testen, um festzustellen, ob er wirklich zufällig ist. Wie @MRB3855 bereits erwähnte, ist kein (digitaler) Zufallszahlengenerator absolut zufällig. Testen Sie die Zufallswiedergabe Ihrer Lieblingsmusik-App. Tatsächlich ist diese eingeschränkt, da jedes Lied in der Playlist einmal abgespielt wird, bevor die Liste neu gemischt wird. Das ist keine wirklich zufällige Reihenfolge.
Ich stimme auch @MRB3855 zu. Was hat Sie dazu veranlasst, die Frage nach der Bewertung der Zufälligkeit VOR der Durchführung des Versuchsdesigns aufzuwerfen? Warum glauben Sie, dass JMP keine robuste zufällige Ausführungsreihenfolge bietet?
Falls historische Daten darauf hindeuten, dass dies der Fall ist, würde ich zunächst mehr Zeit in die Planung des Versuchsablaufs investieren und Blockbildung oder eine andere Methode zur Berücksichtigung dieses Sachverhalts einsetzen. Ich würde nicht JMP infrage stellen und annehmen, dass ein Fehler auf deren Seite vorliegt – es ist viel wahrscheinlicher, dass der Versuchsablauf von vornherein nicht korrekt geplant wurde.
DS
Betreff: Überprüfung der zufälligen Versuchsreihenfolge und der Versuchsdesigngültigkeit in JMP DOEHallo @BayesKnight . Ich stimme @MRB3855 zu, dass dies ein sehr interessanter Thread ist. Es gibt hier viele gute und durchdachte Antworten mit unterschiedlichen Perspektiven. Es scheint, als wärst du nach jeder Antwort noch nicht zufrieden, und wie bereits erwähnt, scheinst du einfach nur wissen zu wollen, ob es eine Möglichkeit gibt, die „Qualität des Zufalls“ zu bewerten. Ich bin der Meinung, dass Zufall Zufall ist, und manchmal, wenn wir mit bloßem Auge Muster erkennen, halten wir etwas nicht für zufällig, selbst wenn es zufällig ist.
Mir ist keine anerkannte statistische Methode bekannt, um die Qualität der Zufälligkeit zu bewerten, außer die Reihenfolge der Faktorstufen zu betrachten und zu prüfen, ob sie ausreichend durcheinandergewürfelt sind. Vielleicht liegt die Lösung genau darin, so vorzugehen und so lange weiter zu randomisieren, bis die Reihenfolge möglichst durcheinander erscheint? Man könnte argumentieren (und als Statistiker würde ich das wohl auch), dass dies die Versuchsreihenfolge verfälscht und möglicherweise die Zufälligkeit verringert.
Eine einfache Lösung wäre, die Faktoren auf der y-Achse, die Reihenfolge der Durchläufe auf der x-Achse und eine Heatmap mit den Faktorstufen (-1, 0, +1) als Farbskala zu verwenden. Das könnte helfen, visuell Muster zu erkennen.
