540621_de-DE

liliconcom

DOE: Würde ein „Top-Down“-Ansatz mit der konventionelleren „Bottoms-Up“-Faktorenanalyse konvergieren?

Ich bin ein relativer Neuling in der Verwendung von DOE in Forschung und Entwicklung: Ich war lange Zeit skeptisch, habe aber vor kurzem die RIESIGE Leistung erkannt, die es bietet, und habe JMP als Werkzeug meiner Wahl angenommen. Während ich lernte, wie man DOE-Methoden anwendet, bin ich zu der Ansicht gelangt, dass ihre bevorzugte Implementierung eine Art „Bottom-up“-Ansatz ist: Wir beginnen damit, ALLE Faktoren zu identifizieren, die zu einem gemessenen Ergebnis beitragen könnten, und erstellen dann ein Design, das es uns ermöglicht, die Auswirkungen jedes Faktors zu überprüfen und die kritischsten zu identifizieren. Wir können ein Modell generieren, um das interessierende System darzustellen, indem wir Faktoren, die keinen wesentlichen Beitrag leisten, aus diesem Modell herausnehmen und unser Modell dann mit diesen Treibern verfeinern. Es scheint mir, dass wir gelegentlich feststellen werden, dass unser Modell unsere Beobachtungen NOCH nicht gut wiedergibt – und vielleicht haben wir den einen oder anderen Faktor übersehen. Wir können dies beheben, indem wir unser Modell erweitern. Für ein komplexes System mit einem Bündel von Faktoren ergibt dieser herkömmliche Ansatz eine große Testmatrix. Ich weiß, dass ich die Größe dieser Matrix reduzieren kann, indem ich fraktionale Fakultäten und benutzerdefinierte / optimale Designs verwende. Für einen skeptischen Kunden UND ein komplexes System ist dies immer noch ein harter Verkauf. Aber: Ist es notwendigerweise etwas SCHLECHTES daran, mit einem „Top-down“-Ansatz zu beginnen? Könnten wir unser Fachwissen nutzen, um einige wenige Faktoren zu identifizieren, von denen wir glauben, dass sie die Leistungstreiber sind, und damit eine Testmatrix und dann ein statistisches Modell der beobachteten Daten? Wenn dies zu einer guten Übereinstimmung der beobachteten Daten führt, dann GROSSARTIG. Aber wenn dieses Modell die Beobachtungen nicht angemessen berücksichtigt, dann könnten wir diesen offensichtlichen Mangel im Modell nutzen, um es zu verbessern, indem wir zusätzliche Faktoren einbeziehen (einige von dem großen Bündel, das wir zu Beginn beiseite gelegt hatten …) und mehr testen? Würde die Mathematik von „Top-Down“- und „Bottom-Up“-Ansätzen nicht dazu neigen, auf dasselbe Modell zu konvergieren? Oder ist meine Vorstellung von einem „Top-down“-Ansatz wirklich nur eine Variation eines individuellen Designs?

DAMHIRSCHKUHBetreff: DOE: Würde ein „Top-Down“-Ansatz mit der konventionelleren „Bottoms-Up“-Faktorenanalyse konvergieren?

Es gibt viele Gründe für die mangelnde Passform, einschließlich Ihres Vorschlags. Ich werde diesen Teil Ihrer Diskussion jetzt nicht ansprechen.

 

DOE wird normalerweise als Teil eines umfassenderen Qualitätsprogramms oder einer Initiative betrachtet. Das Design folgt früheren Arbeiten, um die relevanten Faktoren und Reaktionen zu identifizieren. Dieses Ergebnis kann beispielsweise durch die Verwendung der Seven Quality-Tools erzielt werden. Es kann aus einem Six Sigma- oder Quality by Design-Projekt stammen. Fachliche Expertise ist immer unerlässlich, obwohl ich oft auf erstickende Kommentare wie „Aber wir wissen das …“ gestoßen bin, die auf anekdotischen Erfahrungen beruhen, nicht auf wissenschaftlichen Daten. (Wenn wir bereits so viel wissen, warum können wir dann nicht erklären, was passiert, oder wissen, was dagegen zu tun ist?) Viele verwandte Tools beinhalten das Sammeln vieler Ideen und deren anschließende Organisation und Priorisierung für das Studium.

Betreff: DOE: Würde ein „Top-Down“-Ansatz mit der konventionelleren „Bottoms-Up“-Faktorenanalyse konvergieren?

An dem „Top-down“-Ansatz, wie Sie ihn nennen, ist wirklich nichts auszusetzen. Denken Sie jedoch an das Worst-Case-Szenario. Sie kontrollieren einige Faktoren für das Design und stellen dann fest, dass es nicht zu den Daten passt. Oh, wir müssen mehr Faktoren hinzufügen. Aber wo wurden diese Faktoren während der ersten Läufe eingestellt? Haben sie sich verändert? Abhängig von den Antworten auf diese Fragen müssen Sie möglicherweise von vorne beginnen. Auch wenn aufgezeichnet, muss man befürchten, dass die Versuchsläufe damals nicht randomisiert waren.

 

Wie Mark vorschlägt, müssen Sie bei den meisten anderen Ansätzen Faktoren identifizieren, die Sie ändern möchten, aber auch Faktoren, die das Design beeinflussen KÖNNTEN, das Sie nicht ändern möchten. Diese Gruppe, die sich in der MAY-Gruppe befindet, muss auf irgendeine Weise berücksichtigt werden (konstant gehalten, zu blockierenden Variablen werden usw.).

Betreff: DOE: Würde ein „Top-Down“-Ansatz mit der konventionelleren „Bottoms-Up“-Faktorenanalyse konvergieren?

Hier sind meine Gedanken:

Es gibt zwei wesentliche Gründe, warum wir kontinuierlich „optimieren“:

1. Wir fangen nie mit allem an. Die Faktoren, die wir untersuchen, sind immer eine kleine Teilmenge aller Faktoren. Es werden Entscheidungen darüber getroffen, was in die Erststudien aufgenommen werden soll (oder nicht). Dies ist meistens eine Funktion der Intuition, des Bauchgefühls, der Erfahrung und der Zusammenarbeit. Es ist interessant festzustellen, dass die Ermittler Faktoren aus der Studie ohne Daten streichen werden. Was passiert mit diesen Faktoren in späteren Studien?

2. Es werden ständig neue oder alternative Anwendungen von Materialien/Technologien erfunden.

 

Ich denke, Ihr Vorschlag lässt einige wichtige Untersuchungselemente aus, die nicht unbedingt DOE-bezogen sind, aber die Verwendung von Experimenten erheblich verbessern. Zum Beispiel eine gezielte Probenahme, um zu verstehen, welche Variationskomponenten (X-Sätze) die größte Hebelwirkung haben, eine Bewertung der Stabilität bereitzustellen und die Messunsicherheit zu bewerten. Iteration ist der Schlüssel zur Entwicklung eines gründlichen Verständnisses (Induktions-Deduktions-Zyklen). Ich glaube auch, dass typische Ermittler das nicht einschließen Lärm in ihren experimentellen Strategien ausreichend, um zu beurteilen, ob das Modell über weitere Bedingungen eine konsistente "Leistung" aufweisen wird. Es gibt eine große Tendenz zur Entwicklung optimaler Strategien für die Designfaktoren und sehr wenig zu Rauschstrategien.

Betreff: DOE: Würde ein „Top-Down“-Ansatz mit der konventionelleren „Bottoms-Up“-Faktorenanalyse konvergieren?

Vielen Dank @STAT - und @Dan_Obermiller und @Mark_Bailey – für die Rückmeldung. Deine Kommentare sind sehr hilfreich.

@Statman , „Wir fangen nie mit allem an“ ist ein toller Punkt für meine mentale Kalibrierung. Und Ihre Kommentare zu: Lärm sind genau richtig. Mein Fall von Interesse kommt spät in einem Entwicklungsprojekt, in dem wir noch eine klare systematische Untersuchung der Faktoren durchführen müssen, die die größte Hebelwirkung ausüben. Gleichzeitig versuchen wir, das nominelle Leistungsband zu definieren / zu verstehen - und das Rauschen darin.

@Dan_Obermiller , Sie geben mir einige Ideen, wie diese "anderen" Faktoren - die "KANN"-Gruppe - berücksichtigt werden können. Mir war „aktive Ignoranz“ unangenehm, obwohl ich eine Möglichkeit sehe, diese Faktoreinstellungen zu identifizieren und zu dokumentieren – auch wenn wir sie nicht explizit in der Testmatrix untersuchen.

Und @Mark_Bailey , " Wenn wir schon so viel wissen, warum können wir es dann nicht erklären …“ traf es nur allzu genau. Wie ich oben erwähnt habe, versuche ich, einige systematischere Tests an einem Punkt einzufügen, der spät und wohl „zu spät“ im Spiel ist. Aus meiner Sicht erfordert meine beste Gelegenheit dazu eine sehr dünne Reihe von Faktoren, wobei viele andere absichtlich beiseite gelassen werden, um die Auswirkungen dessen zu klären, was unser kollektives KMU uns als wahrscheinliche Treiber mit hoher Hebelwirkung bezeichnet.

Nochmals vielen Dank an alle.

Betreff: DOE: Würde ein „Top-Down“-Ansatz mit der konventionelleren „Bottoms-Up“-Faktorenanalyse konvergieren?

Wir könnten viele Kommentare machen, um Ihnen zu helfen, aber ich möchte jetzt noch einen machen. Ich sehe oft, dass Designs in einem sehr engen Bereich variieren. Wieso den? Weil wir wissen oder denken, dass wir in dieser Nachbarschaft „die Antwort“ finden werden. Auch hier gibt es nicht viele Beweise für eine solche Entscheidung. Es ist auch ein Beispiel für eine „Pick the Winner“-Mentalität. Wenn Sie bekommen, was Sie wollen, sind Sie fertig. Sie wissen jedoch nicht, ob dies das Beste ist, was Sie hätten erreichen können, wenn Sie für alle Ihre Faktoren eine größere Region erkundet hätten. Enge Bereiche behindern auch die Fähigkeit des Designs, tatsächliche Effekte zu erkennen. Sie können die Leistung verbessern, indem Sie die Anzahl der Durchläufe erhöhen oder den Faktorbereich erweitern.

 

Außerdem geht es bei DOE nicht darum, den Gewinner auszuwählen. Es geht um Kuratieren eines Modells . Der Zweck eines Entwurfs besteht darin, die Parameter im Modell abzuschätzen und zu testen. Zeitraum. Alles andere ist „den Gewinner auswählen“-Zeug. Sie möchten, dass Ihre Modelle eine lange Lebensdauer haben. Sie sollten in der Lage sein, Ihre Realität gut genug darzustellen, um hilfreich zu sein, also kümmern Sie sich um sie.

Betreff: DOE: Würde ein „Top-Down“-Ansatz mit der konventionelleren „Bottoms-Up“-Faktorenanalyse konvergieren?

Ich trage sicherlich eine gewisse Schuld an dem „Wählen Sie den Gewinner“-Denken, und es ist eine Kritik, die ich in Zukunft im Hinterkopf behalten werde. Ihr Kommentar "das Modell kuratieren" kommt dem Ideal, das ich suche, näher und appelliert an die Kraft, die ich in der Fähigkeit des experimentellen Designs sehe, ein mathematisches Modell, das beobachtete Ergebnisse beschreibt, iterativ zu verfeinern. Darüber hinaus stößt Ihr Argument, eine breite Palette von Faktoren zu untersuchen, auf offene Ohren: Ich denke, wir wissen nicht wirklich, wie man ein Systemdesign spezifiziert, bis wir dieses Design an einen Bruchpunkt gebracht haben. Für mein aktuelles System von Interesse denke ich, dass das wertvollste nächste Datenelement a ist Versagen in der anfänglichen leistung: alles, was wir darauf werfen, scheint gut zu funktionieren (zuerst …).

Ich sehe Fehler in meiner Vorstellung, ein „Top-Down“-Modell zu entwickeln, aber ich sehe einen „Bottom-Up“-Ansatz zu spät im Spiel als zu zeitaufwändig an. Ein „Top-Down“-Ansatz könnte uns dabei helfen, ein Modell zu erstellen, das gut genug ist, um Diskussionen darüber anzuregen, wie wir dieses Modell iterativ verbessern und unser System besser kontrollieren können, indem wir diese anderen – einschließlich einiger „KÖNNEN“-Faktoren einbeziehen, die wir absichtlich beiseite gelassen haben. Es gibt so vieles, was wir nicht wissen, aber wir haben zumindest ein System, das uns ermutigt, dass wir ETWAS richtig machen.

Vielen Dank.

Betreff: DOE: Würde ein „Top-Down“-Ansatz mit der konventionelleren „Bottoms-Up“-Faktorenanalyse konvergieren?

Nur um einen weiteren Gedanken hinzuzufügen ... eines meiner Lieblingszitate trifft auf viele Situationen zu:

"Alle Modelle sind falsch, einige sind nützlich" GEP Kasten

In Wirklichkeit ist der Ansatz, den Sie wählen, situationsabhängig. Es gibt "Hinweise", nach denen wir suchen, die uns helfen, die Situation zu verstehen und daher rationale und logische Entscheidungen zu treffen, wie wir vorgehen sollen. Es ist unwahrscheinlich, dass irgendjemand jemals das perfekte Experiment entwerfen wird, da die meisten Experimente ein Element des Unbekannten enthalten. Mein Rat lautet daher, mehrere Experimente (oder Stichprobenpläne) zu entwerfen, das potenzielle Wissen, das für jeden Plan gewonnen werden kann (z. B. Ressourcen, Zeit). Letztendlich können Sie nur eine Due Diligence durchführen und dann die Daten abrufen. Seien Sie auf Iterationen vorbereitet (sagen Sie tatsächlich ALLE möglichen Ergebnisse voraus und was Sie mit diesen Informationen tun werden).