Was ist OFAT? Was ist falsch daran?
Bei OFAT-Experimenten (One Factor At A Time) werden im Allgemeinen alle Faktoren bis auf einen konstant gehalten, der verbleibende Faktor variiert und beobachtet, wie sich dies auf die Reaktion auswirkt. Ohne nähere Betrachtung scheint OFAT eine intuitive und „wissenschaftliche“ Methode zur Problemlösung zu sein. Bevor ich persönlich von der Versuchsplanung (Design of Experiments, DOE) erfuhr, stellte ich OFAT nie als Standardmethode in Frage. Ich ging sogar so weit, zu glauben, dass ich nicht mehr als einen Faktor gleichzeitig variieren könnte , wenn ich ein Problem lösen wollte. Ich erinnere mich, dass ich einmal etwa drei Tage mit einem Prozessingenieur verbrachte, um einen Prozess mit OFAT-Methoden zu optimieren. Ich dachte, ich würde methodisch und wissenschaftlich vorgehen und das Problem auf die richtige Weise lösen, während ich möglichst wenig Ressourcen benötige. Ich lag falsch. Bei näherer Betrachtung ist OFAT weder a) gut darin, die besten Prozesseinstellungen – den Sweet Spot – zu finden, noch b) eine effiziente Nutzung von Ressourcen.
Moment, OFAT findet den Sweet Spot nicht?
Nein, OFAT findet nicht immer die besten Prozesseinstellungen. Um dies zu sehen, laden Sie das Add-In OFAT vs. DOE herunter und installieren Sie es. Es generiert eine gekrümmte Antwort für zwei Prozessfaktoren (genannt „x“ und „y“) und zeigt ein Diagramm dieser Antwort zusammen mit einigen Schaltflächen auf der rechten Seite des Diagramms an. Die Schaltfläche „Scatterplot 3D“ generiert eine interaktive Möglichkeit, die Form der Antwort zu visualisieren. Die Schaltfläche „Sichtbarkeit umschalten“ schaltet die Ansicht der gesamten Antwortoberfläche ein oder aus.
Stellen Sie sich in diesem Beispiel vor, Sie versuchen, die höchstmögliche Prozessausgabe zu finden, die im Quadrat x=2, y=8 liegt. Die Schaltfläche „OFAT Once“ ahmt einen Standard-OFAT-Ansatz nach:
- Wählen Sie nach dem Zufallsprinzip einen Ort aus.
- Halten Sie alle anderen Faktoren konstant (in diesem Fall „y“) und variieren Sie den verbleibenden Faktor („x“) über den zulässigen Raum, um das Maximum zu finden.
- Wählen Sie aus dem gefundenen Maximum einen weiteren zu variierenden Faktor aus (,y‘ ist der einzige, der in diesem Experiment übrig bleibt), halten Sie alle anderen konstant und suchen Sie nach dem Maximum.
- Wiederholen Sie Schritt 3, bis alle Faktoren getestet wurden (in diesem Fall nicht notwendig, da insgesamt nur 2 Faktoren vorhanden waren).
- Feiern Sie, weil Sie mithilfe der Wissenschaft den Sweet Spot gefunden haben! Aber warten Sie, sind Sie sicher?
Probieren Sie es selbst aus. Klicken Sie auf die Schaltfläche „Sichtbarkeit umschalten“, um das Diagramm zu löschen (um so zu tun, als wüssten Sie nicht, wie die Dinge bereits aussehen). Beobachten Sie mithilfe der Schaltfläche „OFAT Once“, wie sich der experimentelle Prozess entwickelt. Wenn Sie Glück haben (etwa 20 % der Zeit), finden Sie das Prozessmaximum/den Sweet Spot. In den übrigen Fällen werden Sie das Maximum nicht finden. Manchmal landen Sie sogar im unteren rechten Quadranten und denken, dass die maximale Prozessleistung etwa 1,5 Einheiten beträgt. Unten sehen Sie ein Beispiel für ein glückliches OFAT-Experiment (links) und ein unglückliches (rechts).
Verwenden Sie die Schaltfläche „OFAT 10x“, um die schnelle Ausführung eines OFAT-Experiments 10 Mal zu simulieren. Sie werden sehen, dass der Sweet Spot nur in etwa 30 % der Fälle gefunden wird (Ihre Zahl kann aufgrund der zufälligen Stichprobennahme variieren).
Mit der Schaltfläche „OFAT 1000x“ können Sie schnell 1.000 Experimente ausführen und die Ausgabe sehen, wie oft OFAT den Sweet Spot findet. Dass der Sweet Spot nur in etwa 25 % der Fälle gefunden wird, zeigt, dass man sich auf OFAT-Experimente nicht verlassen kann.
Aber OFAT ist doch sicher effizient. Für diesen ausgefallenen DOE-Ansatz sind noch weitere Versuchsanläufe nötig, oder?
Falsch. DOE bedeutet weniger Durchläufe. Jedes OFAT-Experiment im interaktiven Skript dauert 19 Durchläufe (10 für den Faktor „x“ und 9 für den Faktor „y“). Die DOE-Schaltfläche auf der rechten Seite des Fensters öffnet eine Datentabelle, die die Ergebnisse eines DOE enthält, das im Custom Designer von JMP erstellt wurde und alle Haupteffekte, alle 2-Wege-Interaktionen, alle quadrierten Terme und alle Terme in der dritten Potenz enthält. JMP hat daraus ein DOE mit 14 Durchläufen gemacht und findet nicht nur den Sweet Spot, sondern generiert auch ein Modell, das den gesamten Bereich beider Faktoren vorhersagt, wie im Profiler unten gezeigt (um mit diesem Profiler zu interagieren, führen Sie das Skript „Modell“ in der DOE-Datentabelle aus).
Die Ergebnisse werden mit zunehmender Komplexität nur besser. Ein Prozess mit 5 kontinuierlichen Faktoren und derselben OFAT-Methode würde 46 Durchläufe erfordern (10 für den 1. Faktor, 9 für jeden der übrigen Faktoren) und möglicherweise nicht einmal den optimalen Punkt finden . Der Custom Designer von JMP generiert ein Design für dieselben fünf Faktoren, das nur 12 Durchläufe (nur Haupteffekte) oder 27 Durchläufe (Haupteffekte, alle 2-Wege-Interaktionen, alle quadrierten Terme) erfordert. Diese Designs umfassen auch wiederholte Durchläufe, sodass eine Schätzung der Antwortvariation berechnet werden kann. Ein DOE-Ansatz für Experimente ist eindeutig besser als OFAT-Experimente: DOE verwendet weniger Experimente und findet den optimalen Punkt regelmäßiger.
Das ist ein überzeugendes Argument für das DOE. Gibt es noch etwas anderes?
Ja. Der DOE-Ansatz findet nicht nur häufiger Lösungen und erfordert weniger Ressourcen, sondern generiert auch ein Modell, mit dem andere Fragen zu den untersuchten Faktoren beantwortet werden können. Bei OFAT bestimmt das Glück, ob neue Umstände ohne weitere Experimente berücksichtigt werden können, wenn sich die Umstände ändern. Was wäre beispielsweise, wenn der Kunde des obigen Beispielprozesses nur eine Prozessleistung von etwa 1,5 Einheiten benötigt und Zutat „y“ extrem teuer wird? Ein OFAT-Ansatz hat möglicherweise keine Antwort darauf. Ein DOE-Ansatz verfügt über ein Modell, das einen neuen Sweet Spot von x=0 und y=1 generieren kann.
Wie ist Ihre Erfahrung? Haben Sie in Ihrer Arbeit Beispiele für diese beiden Arten experimenteller Ansätze gesehen? Möchten Sie etwas hinzufügen, das ich übersehen habe? Bitte kommentieren Sie unten.
