Space Filling Design + ML-Algorithmen – Wie kann man die ausreichende Anzahl von Durchläufen abschätzen?Hallo,
Für eine JMP Inspire-Sitzung mit Danone baten mich zwei Benutzer, über die Verwendung von Space Filling Design in Verbindung mit Algorithmen für maschinelles Lernen zu sprechen. Sie fragten mich, wie man die optimale Anzahl an Läufen ermittelt.
Hätten Sie eine Strategie oder einen empirischen Ansatz, um dies festzustellen?
Vielen Dank für Ihre Hilfe
Betreff: Space Filling Design + ML-Algorithmen – Wie kann man die angemessene Anzahl von Durchläufen abschätzen?Ich bin mir nicht sicher, ob die Anwendung unseres eigenen Space Filling Designs in unserem eigenen XGBoost-Add-in für Ihre Frage relevant ist.
Wenn Ihre „Anzahl der Durchläufe“ etwa den folgenden beiden Einträgen (eingekreist) im Add-In entspricht, dann vermute ich, dass es sich um eine Art Antwortoberflächenproblem handelt. Und was @malcolm_moore1 vorgeschlagen hat, ist auch damit verwandt.
Betreff: Space Filling Design + ML-Algorithmen – Wie kann man die angemessene Anzahl von Durchläufen abschätzen?+1 für frühere Antworten und unter der Annahme, dass dies mit der Optimierung von Hyperparametern beim maschinellen Lernen zusammenhängt, könnte dies auch eine Gelegenheit sein, Feedback und Ideen an @chris_gotwalt1 zur Bayesianischen Optimierung/Adaptives Lernen zu senden.
Betreff: Space Filling Design + ML-Algorithmen – Wie kann man die angemessene Anzahl von Durchläufen abschätzen?Wenn wir uns in die stochastische Welt begeben, ist das beigefügte Papier wahrscheinlich relevant und eigentlich immer noch eine offene Frage. Wenn Sie sich insbesondere Abschnitt 4 zum experimentellen Design ansehen:
Es fehlen geeignete Empfehlungen für die Werte von n1; n2;N und die Replikate bei jedem einzelnen Input (bei Ankenman et al. (2010) sind die Empfehlungen ad hoc) und können, wie bei einstufigen Experimenten, untersucht werden. Ein Design der dritten Stufe (oder tatsächlich jedes mehrstufige Design) kann durch Wiederholen von Stufe 2 im obigen Prozess erstellt werden.
Was ich oft gesehen habe, ist, dass man mit „genügend“ Punkten in seinem ursprünglichen Design beginnt (basierend auf der Komplexität, die eine beträchtliche Menge sein kann) und dann die Bayes'sche Optimierung übernehmen lässt, bis man keine Verbesserung mehr sieht – was man nicht tut Ich weiß es nicht immer.
Generell ist jedoch sicherlich eine offene Frage: Wie viel Forschung sollten wir mit der Raumfüllung betreiben? In der zweiten beigefügten Arbeit wurde festgestellt, dass es für Praktiker in manchen Fällen besser ist, sich an einfachere und klassischere Modelle zu halten.
Betreff: Space Filling Design + ML-Algorithmen – Wie kann man die angemessene Anzahl von Durchläufen abschätzen?Hallo @Steph_Georges , wenn der Kunde daran interessiert ist, zu erkunden, wie Space-Filing-Designs für die Optimierung von ML-Hyperparametern verwendet werden können, könnte meine Aufzeichnung unten hilfreich sein:
https://community.jmp.com/t5/JMP-in-the-Upstream/JMP-in-the-Upstream-7-Optimizing-your-Python-machine-learning/ba-p/467039
Betreff: Space Filling Design + ML-Algorithmen – Wie schätzt man die angemessene Anzahl von Durchläufen?Gute Antworten, aber wir können alle nur die Absicht des Benutzers erraten. Ich könnte mir verschiedene Verwendungsmöglichkeiten von Space Filling + Algorithmus vorstellen (Training, Feinabstimmung, Testen, Sensibilitätstests usw. usw.). Die nächste Frage wäre: Wofür ist die optimale Anzahl von Durchläufen sinnvoll? Wir können Fragen oft nicht beantworten, ohne viel mehr Informationen zu haben.
Betreff: Space Filling Design + ML-Algorithmen – Wie schätzt man die angemessene Anzahl von Durchläufen?@Steph_Georges, in einem früheren Leben haben wir raumfüllende Designs verwendet, wie sie andere für deterministische Experimente beschrieben haben. Wir haben für die Modelle entweder Gaußsche Prozesse oder neuronale Netze verwendet. Wir haben neuronale Netze aufgrund der Flexibilität der Modelle bevorzugt, die viel besser für die Arbeit mit den typischerweise stark nichtlinearen Ergebnissen geeignet waren, auf die wir stoßen würden.
Der Gaußsche Prozess eignet sich hervorragend zum Modellieren, wenn Sie nach dem genauen Wert Ihrer Datenpunkte suchen, aber er ist nicht immer gut zum Modellieren dessen, was zwischen den Datenpunkten passiert. In deterministischen Experimenten gibt es kein Rauschen, aber es kann eine Verzerrung geben, und hier kann GP weniger effektiv sein als NN.
Die optimale Anzahl von Durchläufen ist eine andere Sache. Wir haben immer die Faustregel „10x die Anzahl der Faktoren“ verwendet, aber das heißt nicht, dass es die optimale Anzahl ist. Für unsere Anforderungen hat es funktioniert.
HTH
Rechnung
Betreff: Space Filling Design + ML-Algorithmen – Wie schätzt man die angemessene Anzahl von Durchläufen?@peng_liu @russ_wolfinger Ich kann nicht anders, als mich in das Kaninchenloch zu vertiefen, aber dies ist ein besonders faszinierendes Problem, zu dem ich keine Literatur kenne (aber schicken Sie es mir bitte, wenn Sie davon wissen). Für die inneren Falten möchten Sie so entwerfen, dass konkurrierende Einstellungen gefunden werden, die in nachfolgenden Entwürfen als „Gewinner“ in einer der inneren Falten ausgewählt werden können. Andernfalls verschwenden Sie Ressourcen für Hyperparametereinstellungen, die keinen Einfluss darauf haben, was am Ende zusammengestellt wird.
Betreff: Space Filling Design + ML-Algorithmen – Wie schätzt man die angemessene Anzahl von Durchläufen?Guten Abend,
Entschuldigen Sie, mir ist klar, dass ich mich nicht sehr deutlich ausgedrückt habe und dass meine Nachricht viel Interpretationsspielraum lässt.
Danone (und andere Unternehmen wie beispielsweise L'Oréal) möchten im Rahmen ihrer Formulierungsentwicklung die Methodik des Mixture DoE in Kombination mit Algorithmen der neuen Generation nutzen.
Der Trend wird in dieser Präsentation von Victor Guiller von L'Oréal (bei der French User Group und dem Manchester Discovery Summit) gut erklärt, der die Verwendung von Space Filling Design und dem SVM-Algorithmus zur Modellierung von Verhalten mit einem unbekannten a priori-Modell zeigt (modellagnostischer Ansatz, Vorkenntnisse über die Form des Modells sind nicht mehr erforderlich): https://community.jmp.com/t5/Online-Abstracts/Synergy-Between-Design-of-Experiments-and-Machine-Learning-for/ec-p/708147#M2
Die Verwendung des Space Filling Design ermöglicht eine regelmäßige Pflasterung des zu untersuchenden Bereichs ... was dabei hilft, Machine-Learning-Modelle besser zu steuern (zu weit auseinander liegende Punkte lassen zu viel Spielraum für Interpolation, was aus betriebswirtschaftlicher Sicht zu abweichenden Antwortflächen führt).
Betreff: Space Filling Design + ML-Algorithmen – Wie schätzt man die angemessene Anzahl von Durchläufen?Hallo Stephane,
Space-Filling-Designs werden normalerweise mit Computersimulationsexperimenten mit einer deterministischen Antwort (kein Zufallsfehler oder Sie erhalten den gleichen Antwortwert, wenn Sie identische Faktoreinstellungen verwenden) in Verbindung gebracht, siehe dieses Dokument.
Vielleicht können Sie mehr Einzelheiten über ihre experimentelle Situation herausfinden, da sie sich nicht wie ein typisches raumfüllendes Designproblem liest und es möglicherweise eine alternative, effizientere Lösung gibt.
Betreff: Space Filling Design + ML-Algorithmen – Wie schätzt man die angemessene Anzahl von Durchläufen?Ich unterstütze den Kommentar von @peng_liu . Eine Anwendung von raumfüllenden Designs besteht darin, die Abstimmungsparameter zu optimieren, damit Sie eine bessere Modellanpassung erhalten.
Wenn sich die Frage jedoch auf die Verwendung eines raumfüllenden Designs für ein Experiment bezieht, dann denke ich, dass die derzeit beste Möglichkeit hierfür darin besteht, raumfüllende Designs mit unterschiedlichen Anzahlen von Designpunkten zu erstellen und dann „Designs vergleichen“ zu verwenden.
Betreff: Space Filling Design + ML-Algorithmen – Wie schätzt man die angemessene Anzahl von Durchläufen?Ich denke, Sie müssen bei der Art des Designs, das Sie mit SVEM verwenden, vorsichtig sein, insbesondere bei Mischungsoptimierungsproblemen. Sie möchten sicherstellen, dass Sie eine gute und gleichmäßige Abdeckung des gesamten Mischungsraums haben, den Sie optimieren möchten. Und es hängt von einer Reihe von Faktoren ab, einschließlich des erwarteten Fehlers im experimentellen Prozess und bei der Messung.
Evaluate Design kann hierbei hilfreich sein, insbesondere wenn Sie verschiedene Designs vergleichen.
