Prädiktor-Screener vs. DOE?Ich bin nur neugierig, ob der Prädiktor-Screener zur Identifizierung wichtiger Variablen verwendet werden kann, so wie es ein Screening-DOE tut – sodass Sie im Grunde direkt mit der Optimierung beginnen können? Ich bin nur neugierig, ob/wie die Leute Prädiktor-Screener und DOE kombinieren – wenn überhaupt, oder welche Empfehlungen/Best Practices die Leute haben.
VersuchsplanungBetreff: Prädiktor-Screener vs. DOE?Ich bin mir nicht sicher, ob ich Ihre Frage ganz verstehe, aber hier sind meine Gedanken:
Welche Fragen Sie beantworten können, welche Informationen die Daten offenbaren, welche Schlussfolgerungen Sie ziehen, welche Tools Sie für die Analyse verwenden, wie sicher Sie bei der Extrapolation der Ergebnisse sind und wie Sie angemessen auf die Daten reagieren, hängt vollständig davon ab, wie die Daten erfasst wurden, wie repräsentativ sie sind und wie umfassend sie sind Datensatz ist.
Allerdings haben Sie nicht angegeben, woher Sie die Daten für das Prädiktor-Screening beziehen. Wenn es sich um historische Daten handelt, verfügen Sie möglicherweise nicht über den richtigen Kontext für die Daten. Man könnte dies Data Mining nennen. Daran ist nichts auszusetzen, aber dies geschieht, um Hypothesen zu entwickeln, die dann in einem Experiment überprüft werden (wissenschaftliche Methode: ist ein kontinuierlicher Zyklus von Induktion/Deduktion). Beispielsweise können Ihre historischen Daten einflussreiche Variablen enthalten, die nicht aufgezeichnet wurden, sich aber während der Datenerfassung änderten. Es kann sein, dass Sie Messfehler hatten, die nicht geschätzt wurden. Zu viele Unbekannte.
Hoffentlich ist das DOE gut geplant. Sie sollten die zu manipulierenden Faktoren identifiziert haben (und warum Sie sie manipulieren möchten) sowie die Faktoren, die Sie nicht manipulieren werden (Rauschen). Sie haben wahrscheinlich ein Modell im Sinn, das Sie mit Ihrem Experiment bewerten möchten. Sie haben das Messsystem studiert oder planen, es in die Behandlung einzubinden.
Betreff: Prädiktor-Screener vs. DOE?Hallo @mjz5448 ,
Wie von @statman angegeben, ist das Predictor-Screening ein nettes Data-Mining-Tool, um mögliche wichtige Faktoren auf der Grundlage historischer Daten zu untersuchen, aber es ersetzt nicht eine ordnungsgemäße Studie, die mit DoE und klaren Zielen durchgeführt wird.
Predictor Screening ist eine Methode, die auf dem Random Forest-Algorithmus basiert und Ihnen dabei hilft, wichtige Variablen (identifiziert durch die Berechnung der Wichtigkeit von Merkmalen) für Ihre Antwort(en) in Ihren historischen Daten zu identifizieren. Abhängig von der Repräsentativität Ihrer Daten, der Abdeckung des experimentellen Raums, fehlenden Werten, dem Vorhandensein von Ausreißern, Wechselwirkungen, Korrelationen oder Multikollinearität zwischen Ihren Faktoren kann diese Plattform einige Abkürzungen und viele Unbekannte aufweisen und man sollte ihr nicht blind vertrauen.
- Beispielsweise stellt Ihnen die Predictor-Screening-Plattform kein Modell zur Verfügung (im Gegensatz zum in JMP Pro verfügbaren Bootstrap Forest), sondern nur die Wichtigkeit von Merkmalen/Faktoren, sodass Sie keinen Zugriff auf einzelne Bäume und Zweige haben, die dabei helfen könnten, Interaktionen zwischen ihnen zu identifizieren Faktoren.
- Da Sie die Qualität des dahinter stehenden Modells nicht kennen (durch R², RMSE oder andere relevante Metriken gemäß Ihren Zielen), wissen Sie auch nicht, wie viel Variabilität dadurch erklärt wird (oder wie genau das Modell ist) und ob Die Berechnungen der Feature-Wichtigkeit sind für Ihr Thema relevant/angemessen.
- Da alle Faktoren geordnet sind, ist die Schwelle/Grenze zwischen wichtigen und unwichtigen Faktoren nicht trivial. Um Ihnen dabei zu helfen, können Sie einen Zufallsfaktor (mit Zufallswerten) hinzufügen. Ein Beispiel für diese Technik wird hier mit dem Diamanten-Datensatz von JMP mit Preis als Antwort gezeigt, wobei ein Zufallsfaktor hinzugefügt und das Karatgewicht als mögliche Eingabe weggelassen wurde (da es ein sehr wichtiger Prädiktor ist, also wollte ich Ihnen ein Beispiel zeigen, bei dem es schwierig ist um die anderen Prädiktoren auszusortieren):
- Diese Plattform gibt Ihnen keine Hinweise auf mögliche Korrelationen oder Multikollinearität zwischen Faktoren. Sie können die Multivariate- Plattform verwenden, um Korrelationen zwischen Eingaben, Ausgaben und Eingabe-Ausgaben zu untersuchen. Sie können auch Dummy-Regressionsmodelle erstellen, um VIF-Werte zwischen Ihren Faktoren zu berechnen und so Multikollinearität zu erkennen.
- Kategorialfaktoren mit hoher Kardinalität können auch die Berechnungen der Merkmalswichtigkeit beeinflussen. Je größer die Kardinalität (Anzahl der Klassen), desto höher ist die Verzerrung, da die Daten eine große Anzahl kleiner Gruppen/Klassen bilden, die das Modell zu lernen versucht. Daher wird es nicht gelingen, die Logik zu verallgemeinern oder zu „verstehen“, was die Wahrscheinlichkeit einer Überanpassung erhöht, was dieser Funktion eine hohe Bedeutung verleiht. Hier ein Beispiel mit demselben Datensatz, denselben Bedingungen, aber unter Hinzufügung zufälliger kategorialer Faktoren mit 11 Ebenen (von A bis K). Dieses kategoriale Zufallsmerkmal mit hoher Kardinalität liegt vor der zuvor gesehenen zufälligen numerischen Variablen:
DoE ist viel umfangreicher als eine explorative Datenanalyse/Data-Mining-Technik und ist eher ein End-to-End-Ansatz/Methodik: von der Definition Ihrer Ziele, Reaktionen und Faktoren bis hin zur Erstellung des aussagekräftigsten Datensatzes (aber auch angepasst an Ihre). vom experimentellen Budget bis hin zur Analyse der Ergebnisse und der Verfeinerung des Modells, um besser zu wissen, wie als nächstes vorzugehen ist oder wie Sie Ihre Ziele erreichen können. Nutzen Sie bei der Auswahl der Faktoren für Ihr DoE immer Fachwissen (und andere Tools und Visualisierungen, wenn Sie über historische Daten verfügen).
Ich empfehle Ihnen, die Augment-Design- Plattform zu verwenden, wenn Sie über historische Daten verfügen, die für Ihre Studie (in Bezug auf Faktoren) relevant sind, da Sie die Bereiche der Faktoren bei Bedarf jederzeit erweitern/verkleinern können und dabei viel Flexibilität haben wie Sie Ihren ursprünglichen historischen Datensatz zu einem größeren Design erweitern. Als bewährte Vorgehensweise (und besonders relevant beim Erweitern historischer Daten in ein DoE) sollten Sie auf dieser Plattform unbedingt die Option „Neue Läufe in separatem Block gruppieren“ aktivieren. Diese Option kann Ihnen dabei helfen, im ersten Screening-Teil etwas experimentelles Budget einzusparen, um die gespeicherten Läufe im Optimierungsteil zuzuordnen (indem Sie das DoE ein zweites Mal mit der Space-Filling-Methode in einem engeren experimentellen Raum erweitern oder ein präziseres Modell mit höherer Ordnung definieren). Begriffe nur auf die relevanten Faktoren).
Ich hoffe, dass diese ergänzende Antwort Ihnen hilft, die Unterschiede zu verstehen.
Betreff: Prädiktor-Screener vs. DOE?Hallo @mjz5448 ,
Es gibt keine bevorzugte Option für den Umgang mit der Zeit in Experimenten. Dies hängt davon ab, wie Sie die Zeit als kritischen Störfaktor in Ihrem Experiment bewerten und vom „Umfang“/der Empfindlichkeit. Wenn Sie beispielsweise täglich mit Zeitschwankungen rechnen und mehrere Experimente pro Tag durchführen können, kann ein Sperrfaktor ausreichen. Wenn es im Laufe des Tages zu Zeittrends kommen kann (aufgrund unterschiedlicher Temperatur-, Feuchtigkeits-, Helligkeitsbedingungen usw.), kann die Verwendung der Zeit als Kovariate hilfreich sein, um ein robustes Design zu erstellen.
Die Verwendung der Zeit als Kovariate zur Erstellung eines robusten Zeit-Trend-Designs wird im Buch „Optimal Designs of Experiments: A Case Study Approach“ von Peter GOOS und Bradley JONES (Kapitel 9: Experimentaldesign bei Vorhandensein von Kovariaten) erläutert.
Es gab hier bereits ein Thema zum Thema Zeitkovariate: https://community.jmp.com/t5/Discussions/Covariates-in-defined-order-in-custom-design/mp/596777/highlight/true#M80044
Bradley Jones hat auch einen Blog-Beitrag über die Verwendung von Zeit/Reihenfolge als Kovariate geschrieben: „ So erstellen Sie ein Experimentdesign, das gegenüber einem linearen Zeittrend in der Antwort robust ist .“
Und in der JMP-Hilfe: https://www.jmp.com/support/help/en/17.2/index.shtml#page/jmp/design-with-a-linear-time-trend.shtml
Hoffe, diese Antwort wird Ihnen helfen,
PS: Keine der von Ihnen gestarteten Diskussionen hat eine „Akzeptierte Lösung“ erhalten. Wenn einige Antworten in Ihren Beiträgen Ihre Frage/Ihr Problem gelöst haben, markieren Sie sie bitte als „Als Lösung akzeptieren“. Dies ist ein gutes Zeichen der Anerkennung für die Personen, die sich die Zeit nehmen, Ihnen zu antworten, und hilft anderen JMP-Benutzern, leichter Lösungen für ähnliche Probleme zu finden.
Betreff: Prädiktor-Screener vs. DOE?Vielen Dank für Ihre beiden Kommentare.
statman – Sie haben Recht, dass ich mir historische Daten ansehe und versuche herauszufinden, ob irgendwelche Variablen meine eine Antwortvariable beeinflussen.
Victor_G – danke für den Tipp mit der Zufallsvariable. Ich habe tatsächlich eine Zufallsvariable einbezogen, um sozusagen einen Grenzwert für wichtige und unwichtige Faktoren zu bestimmen.
Eine weitere Frage , zu der ich keine Dokumentation finden konnte, ist, ob es in Ordnung ist, „Datum“ als Variable in die Prädiktorprüfung einzubeziehen. Oder sollte ich mir stattdessen eine Zeitreihenanalyse mit „Datum“ getrennt von meiner Prädiktorprüfung ansehen, oder ist es sinnvoll, das Datum in die Prädiktorprüfung einzubeziehen?
Danke noch einmal!
Betreff: Prädiktor-Screener vs. DOE?Technisch ist es möglich, eine Zeitvariable wie ein Datum in die Predictor-Screening-Plattform einzuschließen, und Random Forests können für die Zeitreihenanalyse verwendet werden.
Auf der Grundlage der von Ihnen bereitgestellten Inhalte würde ich jedoch in Erwägung ziehen, die Ergebnisse dieser Plattform mit und ohne Verwendung der Zeitvariable zu vergleichen.
Ich befürchte, dass Ihre experimentellen Variablen zeitempfindlich sein könnten und dass durch die Einbeziehung der Zeit als möglicher Prädiktor andere interessante Prädiktoren verdeckt werden könnten.
Abhängig vom für das Datum verwendeten Format und Datentyp (kontinuierlich, diskret?) können Sie die Ergebnisse der Plattform auch durch die Einführung eines Prädiktors mit hoher Kardinalität verzerren.
Schließlich ist die Zeit im experimentellen Kontext kein Faktor, den Sie in Ihrem DoE vollständig und unabhängig variieren können (im Gegensatz zu anderen Faktoren). Sie können möglicherweise ein zeitrobustes Design erstellen, indem Sie die Zeit als Kovariate (und im Modell durch Haupteffekt und quadratischen Effekt) oder als Sperrfaktor hinzufügen, sie jedoch nicht wie andere Faktoren beliebig ändern.
Daher würde ich die Beziehungen zwischen der Antwort und den Faktoren lieber über die Predictor-Screening-Plattform analysieren und dann die zeitbezogenen Abhängigkeiten der Faktoren analysieren (durch Visualisierungen, Zeitreihenanalyse und/oder funktionalen Daten-Explorer), die Zeit aber wahrscheinlich nicht auf die gleiche Weise direkt wie andere Faktoren in die explorative Analyse einbeziehen.
Betreff: Prädiktor-Screener vs. DOE?Danke, Victor_G.
Gibt es Präferenzen dafür, wie Sie Zeitreihen in Ihr DOE einbeziehen – also die Präferenz, eine Kovariate einzubeziehen oder Ihre Durchläufe nach Zeit zu blockieren? Es scheint, dass Datum/Uhrzeit bei meinen Experimenten als Anlageningenieur immer eine Rolle spielen – aber ich fand es mühsam, zu versuchen, einen Zeitfaktor auszublenden, da ich unseren Produktionsplan nicht kontrolliere. Ich habe es schon einmal gemacht, aber ich würde es vorziehen, es als Kovariate zu verwenden – habe aber noch nie zuvor eine Kovariate in meinem DOE verwendet. Neugierig, ob Sie Erfahrung haben? Nochmals vielen Dank.
Betreff: Prädiktor-Screener vs. DOE?Aufgrund der Möglichkeit von Zeitreihen in Ihren Daten können Sie auch erwägen, Ihre Daten als Funktionen zu behandeln. Aus den Beschreibungen und Antworten kann ich nicht erkennen, ob dieser Ansatz hilfreich wäre, aber Sie können hier mehr erfahren. Beachten Sie, dass Funktionen (reduziert auf funktionale PCAs) wie jede andere X- oder Y-Analyserollenvariable verwendet werden können.
