Reh und MachtHallo,
Bei der Planung eines Experiments und der Betrachtung des Designs und der Leistung für jeden Parameter (beim ersten Designschritt) besteht die Möglichkeit, den RMSE zu ändern. Durch die Änderung wird natürlich auch die Leistung verändert. Die Frage ist, wie wir diesen Parameter im Voraus vorhersagen oder annehmen können (z. B. in einem Screening-Experiment).
DankeVersuchsplanungRe: Reh und MachtEs gibt keine Debatte darüber, das Messsystem immer in Frage zu stellen. Sie können es entweder a priori oder während eines Experiments mit verschachtelten Komponenten innerhalb von Behandlungen verstehen. Ich glaube, dass es bessere Methoden gibt als die „typische“ Messgeräte-R&R (siehe Wheeler).
Aber mein Punkt hat weniger mit Messfehlern zu tun, als vielmehr damit, wie experimentelle Fehler geschätzt werden und was sie während eines Experiments darstellen.
Re: Reh und Macht@statman Sie sprechen hier einen wirklich guten Punkt an. Wahrscheinlich möchten wir in den meisten Fällen, dass das Rauschen (RMSE) im Experiment typische Prozessschwankungen widerspiegelt, weil wir wirklich verstehen wollen, ob die Behandlungseffekte im Vergleich zu dem, was wir normalerweise in der Produktion erwarten würden, groß sind.Wenn wir beispielsweise drei Wiederholungen über die Dauer eines DOE-Durchlaufs mit 15 oder 20 Durchläufen durchführen – eine am Anfang, eine in der Mitte und eine gegen Ende – und im Durchschnitt erhalten wir „ähnliche“ Ergebnisse mit geringer Streuung , dann haben wir einen vernünftigen Hinweis darauf, dass der Messprozess stabil ist.
Aber wie viel Spread ist ein „Little“?Ein Gauge R&R sollte uns dabei helfen, über eine Möglichkeit nachzudenken, die Präzision unserer Messmethode für Y zu bestimmen, vielleicht sogar bevor wir eine DOE (zur Prozesscharakterisierung und -erkennung) durchführen.Wenn wir die Wiederholbarkeit und Reproduzierbarkeit (Präzision) des Messsystems in Gauge R&R charakterisieren können, haben wir zumindest eine Basislinie für das, was wir als „akzeptable Präzision“ bei der Messung von Y festlegen, bevor wir diese DOE durchführen. Natürlich könnten wir dies gleichzeitig mit einem DOE tun. Es hängt wirklich alles ab – meiner Meinung nach von Dingen wie der „Robustheit“ des Messsystems (die von Dingen abhängt wie: wie gut wir es zuvor charakterisiert haben, wie komplex wir glauben, dass das System ist). , wie viel wir über die Wechselwirkung des Messsystems mit dem interessierenden Teil verstehen, der möglicherweise im Rahmen der Gauge R&R-Studie liegt oder nicht ... & das ist noch eine Frage, die zur Debatte steht!)
Re: Reh und MachtVielleicht, aber die Frage ist: Sind die Behandlungseffekte (Faktoren und Wechselwirkungen) im Vergleich zur „typischen“ Variation im Prozess signifikant? Wenn es sich bei den Mittelpunktläufen um die aktuellen Bedingungen handelt, können Replikationen davon (randomisiert über die gesamte Entwurfsreihenfolge) eine gute Schätzung der aktuellen Variation des Prozesses liefern und zeigen, ob eine der Behandlungen im Vergleich zu dieser Variation signifikant ist. Das Ziel besteht nicht darin, die Bedeutung von Behandlungseffekten im Designraum zu bestimmen. Es soll festgestellt werden, ob die Behandlungseffekte in Zukunft signifikant und nützlich sein werden.
Re: Reh und MachtTolle Diskussion; als einer meiner lieben Mentoren in der Industrie, @charles_chen sagt gerne: „Messen Sie R&R und DOE gemeinsam.“
Re: Reh und MachtHallo Phil,
Dies ist ein guter Punkt und man ist sich einig über das Rauschen im gesamten Faktorraum. Wenn wir tatsächlich Experimente durchführen und messen, können die Ergebnisse bei extremen Einstellungen aufgrund von Einschränkungen der Geräte-/Maschinen-/Rohstoffeigenschaften variieren. In einem solchen Fall ist es meiner Meinung nach, den Durchschnittswert für Rauschen und Signal zu berücksichtigen, um das DoE-Design zu initiieren.
Re: Reh und MachtJa, @PatrickGiuliano Ich denke, es wird viele Fälle geben, in denen das „Rauschen“ im gesamten Faktorraum keine Konstante ist. Intuitiv ist die experimentelle Variation höher, wenn Sie Faktoren auf die Extremwerte ihrer Bereiche einstellen. Dies wird häufig als Argument gegen die Verwendung wiederholter Mittelpunktdurchläufe zur Schätzung des RMSE nach dem Experiment angeführt; Die Variation in der Mitte des Faktorraums ist wahrscheinlich keine gute Schätzung der Variation anderswo im Faktorraum.
Re: Reh und Macht@Phil_Kay So wie Sie es erklärt haben, ergibt das alles sehr viel Sinn. Vielen Dank, dass Sie geantwortet und meine Überlegungen in einigen Punkten klargestellt haben.Der RMSE spiegelt die Varianz in Y wider als eine Funktion der X's.Wir müssen also Y zumindest auf festen Ebenen entlang der X messen, um eine einigermaßen genaue „historische“ Schätzung des RMSE zu erhalten, so viel ist ziemlich klar.
Das andere, was Sie darüber erwähnt haben, dass die Varianz auf verschiedenen Ebenen von X möglicherweise nicht konstant ist, ist eine gute Überlegung.Wenn wir diese Werte nicht (wiederholt) getestet haben, wissen wir es nicht genau und gehen daher von einer Annahme aus, die manchmal nicht zutrifft. Es ist sehr offensichtlich, dass die Varianz von Y auf verschiedenen Ebenen von X unterschiedlich sein kann, z. B. aus einer Reihe von Gründen, zu denen nicht zuletzt Probleme mit dem Messsystem gehören könnten. Ich erinnere mich an Fälle in der Industrie, in denen wir bei optischen Messmessungen „Parallaxe“ sahen, z. B. wenn Messungen in der Nähe des Randes eines zylindrischen Teils zu größeren Abweichungen im Sichtfeld führten als in der Mitte des Teils, weil die Reflexion der Hintergrundbeleuchtung zu Randverzerrungen führte. Erkennungsprobleme.
Re: Reh und MachtIch stimme zu, vielen Dank für Ihre hilfreichen Beiträge @Mark_Bailey
Re: Reh und MachtVielen Dank, ich stimme Ihnen voll und ganz zu – der DOE-Ansatz selbst ist viel analytischer und professioneller als jeder andere (normalerweise intuitionsgesteuert).
Re: Reh und MachtHier ist ein anderer Ansatz. Die Anfangswerte für RMSE und Koeffizienten könnten unrealistisch erscheinen. Wie oft wären die erwarteten Werte 1? In der Praxis sehr unwahrscheinlich. Andererseits stellen diese Werte zusammen auch den Fall dar, in dem Sie erwarten, dass der von jedem Term beigesteuerte Effekt (doppelter Koeffizient) doppelt so groß ist wie der RMSE. Das heißt, es handelt sich um ein relatives Maß für die Antwortvarianz. Dieser Ansatz kann hilfreich sein, wenn es schwierig ist, absolute Werte für den RMSE und die Koeffizienten zu bestimmen.
Re: Reh und Macht@PatrickGiuliano - Sie könnten Schätzungen der Varianz in den Prädiktoren (Faktoren) verwenden, aber Sie müssten auch wissen, wie sich diese Faktoren auf die Antwort auswirken, um zu berechnen, wie sich die Varianz auf die Antwort ausbreitet. Das bedeutet, dass Sie ein Modell der Reaktion im Vergleich zu den Faktoren benötigen würden, die Ihnen nur zur Verfügung stehen nach Sie haben das Experiment durchgeführt. (Und Sie müssten auch eine Schätzung der Messabweichung für die Antwort hinzufügen.)
Ganz einfach: Sie benötigen lediglich die Standardabweichung der Antwort für wiederholte Durchläufe bei konstanten Faktoreinstellungen. Wie Sie sagen, wird es nützlich sein, sich den KI-Wert für diese Schätzung anzusehen, denn wenn Sie nicht über eine große Stichprobe zur Schätzung der Standardabweichung verfügen, besteht eine große Unsicherheit. Und dies wird einen großen Einfluss auf die Leistungsschätzung haben. Sie müssen sich auch Gedanken darüber machen, ob diese Schätzung die Variation für den gesamten Faktorraum widerspiegelt oder nur für die Einstellungen, in denen Sie wiederholte Läufe durchgeführt haben.
Zurück zu meinem Punkt, dass die absolute Schätzung der Leistung in industriellen Experimenten sehr oft nicht nützlich ist.
Re: Reh und MachtEs freut mich, dass ich Ihnen helfen konnte, @YanivD . Ich befürchte, dass die Leistungsanalyse Menschen davon abhalten könnte, DOE zu nutzen. Oft hört man, dass die Leistung >0,8 sein muss. Wenn sie sich also die Leistungsanalyse in ihrer DOE-Software ansehen und einen Wert unter 0,8 sehen, denken sie einfach, dass sie sich lieber nicht um ein geplantes Experiment kümmern sollten. Sie müssen jedoch verstehen, dass die absolute Zahl nur dann aussagekräftig ist, wenn Sie gute Schätzungen des Rauschens und des Signals verwenden, das Sie erkennen müssen. Oft haben wir keine guten Schätzungen für einen oder beide dieser Punkte. Daher ist die Leistungsschätzung nicht aussagekräftig. Das heißt aber nicht, dass mit dem geplanten Experiment etwas nicht stimmt.
Re: Reh und Macht@ich h , @Phil_Kay Ich denke, dass die Gesamtschätzung des RMSE für die Antwort einfach die Summe der quadrierten Varianzen sein könnte, die jedem der Prädiktoren zugeschrieben werden.Scheint das eine vernünftige Punktschätzung für den RMSE zu sein?Oder müssten Sie unbedingt ein vorläufiges multifaktorielles Experiment durchführen (oder Beobachtungsdaten sammeln) und den RMSE für die Reaktion auf der Grundlage eines angepassten Modells für die Reaktion im Vergleich zu den Prädiktoren berechnen?
Wäre es sinnvoll, möglicherweise die Verwendung der Worst-Case-Schätzung (höchstmöglich) des RMSE (gegenüber der niedrigstmöglichen) in Betracht zu ziehen?Ich würde beispielsweise denken, dass die Berücksichtigung einer oberen Konfidenzgrenze von 95 % für die durchschnittliche Sigma-Schätzung konservativer sein könnte (was zu niedrigeren Schätzungen der Leistung führen könnte, unter der Annahme, dass das gesamte durchschnittliche Sigma (RMSE) in der Bevölkerung tatsächlich größer ist). als das, was in der Probe beobachtet wurde).
Re: Reh und MachtDanke, werde es ausprobierenRe: Reh und MachtDanke Phil, ich schätze deine Unterstützung auch hier wie immer :folded_hands: :smiling_face_with_smiling_eyes:Re: Reh und MachtIch stimme voll und ganz zu @ich h . Ich würde auch sagen, dass die Antwort manchmal ist, dass man es einfach nicht kann. Leistung (und andere Designdiagnosen) sind oft nur als wirklich nützlich relativ Maßnahmen, um ein Design mit einem anderen zu vergleichen. Oftmals verfügen wir nicht über genügend Informationen für verlässliche Schätzungen absolut Leistung. Hier ist eine Antwort auf eine frühere Frage wie diese die Sie vielleicht nützlich finden.
Re: Reh und MachtHier hilft ein Verständnis des untersuchten Systems.Wie gut glauben Sie, dass Sie die Arbeit bei der Modellierung des Systems leisten können?Wenn Sie über historische Daten verfügen, messen Sie die Variation Ihrer Antworten, wenn sich das System im stabilen Zustand befindet.Wenn Sie wirklich keine Ahnung haben, müssen Sie möglicherweise zuerst einige Messungen durchführen und die Standardabweichung dieser Antworten als grobe Schätzung des niedrigstmöglichen RMSE Ihres endgültigen Modells verwenden.
