Was ist OFAT? Was stimmt damit nicht?
Ein Faktor-zu-Zeit-Experiment (OFAT) beinhaltet im Allgemeinen, alle bis auf einen Faktor konstant zu halten, den verbleibenden Faktor zu variieren und zu beobachten, wie dies eine Reaktion verändert. Ohne nähere Betrachtung scheint OFAT ein intuitiver und "wissenschaftlicher" Weg zu sein, um Probleme zu lösen. Persönlich habe ich, bevor ich etwas über den Design of Experiments (DOE)-Ansatz für Experimente erfuhr, OFAT nie als Standardansatz in Frage gestellt, sogar so weit zu denken, dass ich konnte nicht mehr als einen Faktor gleichzeitig variieren, wenn ich versuche, ein Problem zu lösen.Ich erinnere mich, dass ich einmal ungefähr 3 Tage mit einem Verfahrenstechniker verbracht habe, der versuchte, einen Prozess mit OFAT-Methoden zu optimieren. Ich dachte, ich wäre methodisch und wissenschaftlich und würde das Problem auf die richtige Weise lösen, während ich die wenigsten Ressourcen benötige. Ich hab mich geirrt. Bei näherer Betrachtung ist OFAT weder a) gut darin, die besten Prozesseinstellungen zu finden – den Sweet Spot, noch ist es b) eine effiziente Nutzung von Ressourcen.
Warten Sie, OFAT findet den Sweet Spot nicht?
Nein, OFAT findet nicht immer die besten Prozesseinstellungen. Um dies zu veranschaulichen, generiert das angehängte Skript eine gekrümmte Antwort für 2 Prozessfaktoren (als „x“ und „y“ bezeichnet) und zeigt ein Diagramm dieser Antwort zusammen mit einigen Schaltflächen entlang der rechten Seite des Diagramms an. Die Schaltfläche „Scatterplot 3D“ generiert eine interaktive Möglichkeit, die Form der Antwort zu visualisieren. Die Schaltfläche „Sichtbarkeit umschalten“ schaltet die Ansicht der gesamten Antwortoberfläche ein oder aus.
Stellen Sie sich in diesem Beispiel vor, Sie versuchen, die höchstmögliche Prozessleistung zu finden, die im Quadrat x=2, y=8 liegt. Die Schaltfläche „OFAT Once“ ahmt einen standardmäßigen OFAT-Ansatz nach:
- Wählen Sie zufällig eine Stelle aus.
- Halten Sie alle anderen Faktoren konstant (in diesem Fall 'y'), variieren Sie den einen verbleibenden Faktor ('x') über den zulässigen Bereich und versuchen Sie, das Maximum zu finden.
- Wählen Sie aus dem gefundenen Maximum einen anderen zu variierenden Faktor ('y' ist der einzige verbleibende in diesem Experiment), halten Sie alle anderen konstant und suchen Sie das Maximum.
- Wiederholen Sie Schritt 3, bis alle Faktoren getestet wurden (in diesem Fall nicht erforderlich, da insgesamt nur 2 Faktoren vorhanden waren).
- Feiern Sie mit, denn Sie haben den Sweetspot gefunden Wissenschaft! Aber warte, bist du sicher?
Probieren Sie dies selbst aus. Klicken Sie auf die Schaltfläche „Sichtbarkeit umschalten“, um das Diagramm zu löschen (um so zu tun, als wüssten Sie nicht, wie die Dinge bereits aussehen). Beobachten Sie mit der Schaltfläche „OFAT Once“, wie sich der experimentelle Prozess entfaltet. Wenn Sie Glück haben (etwa 20 % der Zeit), finden Sie das Prozessmaximum/den Sweet Spot. Den Rest der Zeit werden Sie am Ende nicht das Maximum finden. Manchmal landen Sie sogar im unteren rechten Quadranten und denken, dass die maximale Prozessleistung etwa 1,5 Einheiten beträgt. Unten ist ein Beispiel für ein glückliches OFAT-Experiment (links) und ein unglückliches (rechts).
Verwenden Sie die Schaltfläche „OFAT 10x“, um schnell zu simulieren, wie Sie ein OFAT-Experiment 10 Mal ausführen, und Sie werden sehen, dass der optimale Punkt nur in etwa 30 % der Fälle gefunden wird (Ihre Zahl kann aufgrund zufälliger Stichproben variieren).
Die Schaltfläche „OFAT 1000x“ führt schnell 1.000 Experimente durch und gibt aus, wie oft OFAT den optimalen Punkt findet. Dass der Sweet Spot nur in etwa 25 % der Fälle gefunden wird, zeigt, dass man sich auf OFAT-Experimente nicht verlassen kann.
Aber sicherlich ist OFAT effizient. Dieser ausgefallene DOE-Ansatz wird mehr experimentelle Durchläufe erfordern, oder?
Falsch. DOE bedeutet weniger Läufe. Jedes OFAT-Experiment im interaktiven Skript dauert 19 Durchläufe (10 für den „x“-Faktor und 9 für den „y“-Faktor). Die DOE-Schaltfläche auf der rechten Seite des Fensters öffnet eine Datentabelle, die die Ergebnisse eines im JMP Custom Designer erstellten DOE enthält, das alle Haupteffekte, alle 2-Wege-Wechselwirkungen, alle quadratischen Terme und alle kubischen Terme enthält. JMP hat dies zu einem DOE mit 14 Durchläufen gemacht, und es findet nicht nur den optimalen Punkt, sondern generiert auch ein Modell, das den gesamten Bereich beider Faktoren vorhersagt, wie im Profiler unten gezeigt (um mit diesem Profiler zu interagieren, führen Sie das 'Model' aus script in der DOE-Datentabelle).
Die Ergebnisse werden mit zunehmender Komplexität nur besser. Ein Prozess mit 5 kontinuierlichen Faktoren mit derselben OFAT-Methode würde 46 Durchläufe erfordern (10 für den 1. Faktor, 9 für jeden der verbleibenden Faktoren). und vielleicht nicht einmal den Sweet Spot finden . Der benutzerdefinierte Designer von JMP generiert ein Design für die gleichen 5 Faktoren, das nur 12 Läufe (nur Haupteffekte) oder 27 Läufe (Haupteffekte, alle 2-Wege-Wechselwirkungen, alle quadratischen Terme) benötigt. Diese Designs umfassen auch wiederholte Läufe, sodass eine Schätzung der Antwortvariation berechnet werden kann.Ein DOE-Ansatz für Experimente ist eindeutig besser als OFAT-Experimente: DOE verwendet weniger Experimente und findet den optimalen Punkt regelmäßiger.
Das ist ein überzeugendes Argument für DOE. Gibt es noch etwas?
Ja. Neben dem häufigeren Finden von Lösungen bei geringerem Ressourcenverbrauch generiert der DOE-Ansatz auch ein Modell, das verwendet werden kann, um andere Fragen zu den untersuchten Faktoren zu beantworten. Wenn sich die Umstände ändern, bestimmt bei OFAT das Glück, ob die neuen Umstände ohne weiteres Experimentieren angegangen werden können. Was ist zum Beispiel, wenn der Kunde des obigen Beispielprozesses nur eine Prozessleistung von etwa 1,5 Einheiten benötigt und die Zutat „y“ extrem teuer wird? Ein OFAT-Ansatz kann darauf keine Antwort haben. Ein DOE-Ansatz hat ein Modell, das einen neuen Sweetspot von x = 0 und y = 1 erzeugen kann.
Was ist mit Ihrer Erfahrung? Haben Sie in Ihrer Arbeit Beispiele für diese 2 Arten von experimentellen Ansätzen gesehen? Möchten Sie etwas hinzufügen, das ich verpasst habe? Bitte kommentieren Sie unten.
