Meldung von DOE-Ergebnissen zur VeröffentlichungHallo,
Ich schreibe ein Manuskript, das Versuchsplanung (Plackett-Burman DOE und vollfaktorielle DOE) enthält.
Ich bin mir jedoch nicht sicher, was in den Veröffentlichungen unbedingt berichtet werden muss, um größtmögliche Transparenz zu gewährleisten.
Bisher habe ich die Modellmetriken (R2, R2-adjustiert, PRESS, Modell-p-Wert, p-Wert für fehlende Anpassung) sowie die signifikanten Terme und Interaktionen und deren p-Werte angegeben. Ich halte die Angabe von Parameterschätzungen für die Faktoren/Interaktionen für nicht sinnvoll, wenn ein Regressionsmodell signifikante Interaktionsterme enthält (da sich diese Parameterschätzungen aufgrund von Interaktionen ändern). In diesem Fall ist es am besten, den Vorhersageprofiler zu verwenden. Die Einbindung des Vorhersageprofilers in Veröffentlichungen ist jedoch sehr schwierig. Wie kann ich also die Ergebnisse der Faktoren und ihrer Interaktionen aussagekräftig darstellen?
Ich wäre für jeden Rat dankbar.
Danke
Sara
VersuchsplanungBetreff: Meldung von DOE-Ergebnissen zur VeröffentlichungHallo @SaraA ,
Leider kann es sehr schwierig sein, herauszufinden, wie DoE-Veröffentlichungen erstellt werden, da die Qualität der wissenschaftlichen Veröffentlichungen so groß ist und eine große Bandbreite an Unterschieden aufweist. Aus meinen eigenen Erfahrungen mit der Veröffentlichung von DoE-Arbeiten habe ich mir hierzu einige Gedanken gemacht und bin sicher, dass andere diese ergänzen werden.
Die wichtigste Regel: Gehen Sie davon aus, dass Ihre Leser nichts über DoE oder Statistiken wissen!
Obwohl es ein beliebtes Werkzeug für Experimente ist, kennen viele Leser es möglicherweise noch nicht. Daher müssen Sie Werkzeuge wie Visualisierungen einsetzen, um zu vermitteln, was ein DoE bewirkt, und es den Lesern verständlich machen. Hier scheitern viele Autoren. Mein größtes Ärgernis ist, dass sie die gesamte Formel in die Arbeit aufnehmen: Vermittelt das wirklich die Ergebnisse des DoE? Ebenso sind Dinge wie Parameterschätzungen (wie Sie erwähnt haben) nicht wirklich aussagekräftig, wenn Sie andere Werkzeuge wie Pareto-Diagramme haben.
Ich werde ein paar Beispiele dafür nehmen, wie ich meine Ergebnisse gezeigt habe, um einige der Möglichkeiten zu vermitteln, wie Sie Ihr DoE zeigen können (unverhohlene Werbung, Sie finden den Artikel auch hier
Veranschaulichen Sie die Situation – verwenden Sie einfache Visualisierungen, um die Struktur des DoE und die Untersuchung der Punkte zu veranschaulichen. Dies können Sie mit dem Graph Builder oder der Streudiagrammmatrix tun, wenn Sie viele Faktoren haben. Dies hilft den Lesern zu verstehen, dass der DoE ein strukturierter Ansatz für Experimente ist. Ebenso ist eine Tabelle mit der Kodierung Ihrer Faktoren (bei Verwendung von -, 0, + und Axialen (a, A)) sehr hilfreich.
Zeigen Sie, was Sie erreicht haben – bevor Sie sich in das Regressionsmodell und die größeren Komplexitäten des DoE-Ansatzes stürzen, sollten Sie die tatsächlichen Werte hervorheben, die Sie erhalten haben. Ein einfaches Diagramm in „Fit Y by X“ mithilfe eines Tukey-Tests ist eine sehr anschauliche Möglichkeit, zu zeigen, wie viel mehr ich mit dem DoE-Ansatz erreicht habe. Eine der großen Stärken von DoE ist die strukturierte Untersuchung eines experimentellen Bereichs. Der anschließende Modellierungsansatz ist ein weiteres Plus! Im obigen Beispiel sehen Sie, dass mein „00a“ deutlich produktiver ist als die anderen Punkte – eigentlich hätte ich hier aufhören können, denn ich habe, was ich wollte!
Einführung in das Modell – wie Sie bereits erwähnt haben, zeigen Sie die grundlegenden Informationen, die erforderlich sind, um die Eignung Ihres Modells zu beweisen. Abhängig von der Zeitschrift, für die Sie sich interessieren, sollte dies mehr als ausreichend sein, um zu beweisen, dass Sie ein gutes Modell erstellt haben. Sie müssen möglicherweise nicht tiefer in die Materie einsteigen (es sei denn, Sie zielen auf eine Zeitschrift mit hohem Statistikanteil ab). Wenn Sie über Material wie Ihre studentisierten Residuen und das Diagramm „Ist-Prognose-Diagramm“ verfügen, sollten Sie diese unbedingt angeben, aber möglicherweise in Ihren ergänzenden Informationen.
Einführung in das Modellierungskonzept – Das Pareto-Diagramm ist eine großartige Möglichkeit für den Leser, die Bedeutung Ihrer Begriffe schnell zu erkennen und auseinanderzunehmen. Außerdem ist es eine großartige Möglichkeit, komplexere Konzepte wie die quadratische Krümmung (X1*X1) und Wechselwirkungen (X1*X2) einzuführen. Der Leser kann schnell erkennen, dass die „blaue Linie gut ist“ und verstehen, wo Begriffe weniger wichtig sind. Dies ist ein guter Punkt, um dies mit Ihrem Verständnis des Systems zu verknüpfen. Beispielsweise ist Stickstoff für die Produktion äußerst wichtig, da der in diesem Dokument verwendete Organismus für sein Wachstum darauf angewiesen ist. Auf diese Weise zeigen Sie, dass Sie nicht nur eine statistische Experimentiermethode anwenden, sondern diese verwenden, um Ihr System besser zu verstehen.
Kombinieren Sie die vielen Möglichkeiten, Ihre Oberfläche darzustellen – Ich persönlich bin ein großer Fan des Vorhersageprofilers. Er kann eine großartige Möglichkeit sein, Ihr System und seine Funktionsweise zu präsentieren. Wie Sie jedoch erwähnten, kann dies bei einer statischen Darstellung zu Einschränkungen führen. Bei einem einfachen System können Sie verschiedene Aufnahmen des Vorhersageprofilers mit unterschiedlichen Einstellungen zeigen. In meinem Fall habe ich den Vorhersageprofiler im Optimum dargestellt (was die Form meiner Faktoren zeigte) und ihn mit den Konturdiagrammen kombiniert, um mein System besser verständlich zu machen. Ein Tipp: Wenn Sie Ihr Konturdiagramm auf dieselben Faktoreinstellungen wie in Ihrem Vorhersageprofiler einstellen, spiegelt der Bereich, in dem das hohe Gitter die Oberfläche „schneidet“ (die ich weiß hervorgehoben habe), die Oberfläche im Vorhersageprofiler wider!
Erwägen Sie, Ihre Ergebnisse in JMP Public zu teilen – Immer mehr Veröffentlichungen bieten Zugriff auf die Daten, aus denen die Ergebnisabschnitte bestehen (was großartig ist!). Mir persönlich hat es sehr gefallen, meine Ergebnisse in JMP Public zu veröffentlichen und in meine Artikel aufzunehmen – dies gibt den Lesern die Möglichkeit, tatsächlich mit den Prediction Profilers zu spielen und die verfügbaren Daten herunterzuladen (hier als Beispiel, wie ich meine Ergebnisse geteilt habe ).
Ich hoffe, das hilft Ihnen weiter und wünsche Ihnen viel Glück bei der Überprüfungsphase!
Danke,
Ben
Betreff: Meldung von DOE-Ergebnissen zur VeröffentlichungHallo @SaraA ,
Es ist schwierig, Ihnen zu helfen, ohne zu wissen, für welche Zeitschrift oder Zielgruppe Ihre Publikation bestimmt ist. Was ist Ihr Ziel mit dieser Publikation und wie vertraulich/Open Source kann sie sein?
Abhängig von den Antworten ist es am besten, den Lesern (in Anhängen) den gesamten Datensatz mit allen Eingaben und Antworten sowie den prognostizierten Antworten und allen Verarbeitungs- und Entscheidungsschritten (Transformationen, Behandlung oder Ausschluss von Ausreißern usw.) zur Verfügung zu stellen. Auf diese Weise stellen Sie alle Informationen bereit, damit Ihre Ergebnisse und Ihre Arbeit reproduzierbar sind.
Zu Ihrem Kommentar:
@SaraA schrieb:
Ich glaube, dass die Meldung von Parameterschätzungen für die Faktoren/Interaktionen keinen Sinn ergibt, wenn Sie ein Regressionsmodell haben, das signifikante Interaktionsterme enthält (da sich diese Parameterschätzungen aufgrund von Interaktionen ändern).
Ich bin absolut anderer Meinung. Parameterschätzungen helfen Ihnen, die praktische Bedeutung (Effektstärke) der Faktoren für Ihre Antwort(en) zu ermitteln. Statistische Signifikanz reicht nicht aus, um zu verstehen, ob ein Modell angemessen, zuverlässig und praktisch nützlich ist. Sie benötigen beides, um das Modell und die Ergebnisse zu interpretieren.
Weitere Erläuterungen zum Unterschied zwischen praktischer und statistischer Signifikanz finden Sie in der Diskussion „Wie soll die Effektgröße definiert werden: Logworth oder skalierte Schätzungen?“.
Nebenbei bemerkt ist es auch eine gute Vorgehensweise, die Reproduzierbarkeit Ihrer Modellierungsergebnisse sicherzustellen.
Zum Prediction Profiler können Sie möglicherweise eine interaktive HTML-Datei bereitstellen oder den Profiler in eine Webseite (Website oder JMP Live) einbetten, wenn Sie ihn teilen möchten.
Ich würde dennoch in Erwägung ziehen, nützliche „statische“ Visualisierungen Ihrer Modelle bereitzustellen, wie etwa ein Effektgrößendiagramm (im Balkendiagramm), eine Heatmap (wenn Sie den Einfluss Ihrer Faktoren auf mehrere Antworten sehen möchten), Korrelationskarten (für Ihre Antworten), Oberflächendiagramme, Streudiagramme … Es gibt viele Dinge, die Sie mit JMP tun können, um Ihre Modellergebnisse zu visualisieren.
Hoffe, diese Antwort kann Ihnen helfen,
Betreff: Meldung von DOE-Ergebnissen zur Veröffentlichung@Victor_G
Angenommen, Sie haben in Ihrem Modell eine Interaktion zwischen den Termen X1 und X2 und Sie melden die Parameterschätzungen für X1 und X2, aber aufgrund der Interaktion können sich diese Schätzungen (d. h. die Steigungskoeffizienten) ändern, beispielsweise von einer positiven Steigung zu einer negativen Steigung, abhängig von den Niveaus des anderen Faktors, mit dem sie interagieren. Warum sollten Sie dann die Parameterschätzungen melden?
Betreff: Meldung von DOE-Ergebnissen zur VeröffentlichungIch verstehe Ihren Standpunkt nicht.
Der Interaktionseffekt hat immer noch den gleichen Koeffizientenwert, unabhängig von den Niveaus von X1 und X2 (wenn diese beiden Faktoren kontinuierlich sind).
Wenn einer (oder mehrere) Ihrer Faktoren kategorisch/ordinal ist, können Sie den Interaktionseffektwert für jede kategorische Ebene bereitstellen, indem Sie die erweiterten Schätzungen Ihres Modells anzeigen:
Hoffe, das verdeutlicht meinen Standpunkt,
Betreff: Meldung von DOE-Ergebnissen zur Veröffentlichung@Victor_G
Sicher, der Interaktionsterm hat unabhängig von den Niveaus von X1 und X2 den gleichen Koeffizientenwert, aber die Koeffizientenwerte der Hauptterme (X1 und X2) haben je nach Niveau des anderen Faktors unterschiedliche Werte, richtig?
Betreff: Meldung von DOE-Ergebnissen zur VeröffentlichungNein, ich glaube, es besteht ein Missverständnis zwischen der Steigung an einer bestimmten Stelle, abhängig von den Stufen eines Faktors, und dem Haupteffekt dieses Faktors. Die Steigung kann sich je nach Position auf der Reaktionsfläche ändern, die Schätzung des Haupteffekts ändert sich jedoch nicht.
Betreff: Meldung von DOE-Ergebnissen zur Veröffentlichung@SaraA: Sie können die Parameterschätzungen jederzeit in die Zusatzinformationen für Interessierte aufnehmen. Wenn Sie beispielsweise in einer Zeitschrift zum Thema Biotechnologieentwicklung veröffentlichen (wie ich), würde die Zielgruppe (meiner Meinung nach) nicht viel Nutzen aus ihrer Aufnahme in den Haupttext ziehen. Was sie betrifft – die Koeffizienten geben den Betrag der Änderung der Antwort für jede Änderung des Prädiktors um eine Einheit an (wenn die anderen konstant gehalten werden) – werden Sie genau dieselben Werte in der Vorhersageformel sehen.
Danke,
Ben
Betreff: Meldung von DOE-Ergebnissen zur VeröffentlichungBei Interaktionen im Allgemeinen ist außerdem zu bedenken, ob es durch das Design selbst verursachte Störeffekte gibt, also eine Fraktionierung im Design, und ob die Interaktionseffekte wirklich abschätzbar sind. Eine weitere Fehlermöglichkeit ist beispielsweise der Verlust von Behandlungskombinationen, da einige Effekte möglicherweise nicht abschätzbar sind. Wenn die Experimentaldurchführung jedoch gut geplant war und alles wie geplant verlief, besteht eine weitere Möglichkeit, Interaktionseffekte darzustellen, darin, den Bericht „Modellanpassung“ und den Bericht „Interaktionsplot“ einzubinden. Hier beschrieben: Interaktionsplots . Nicht ganz so beeindruckend wie der Prediction Profiler, aber er erfüllt seinen Zweck.
Betreff: Meldung von DOE-Ergebnissen zur Veröffentlichung@Ben_BarrIngh
Was sie genau bedeuten: Die Koeffizienten geben den Betrag der Änderung in der Antwort für jede Änderung des Prädiktors um eine Einheit an (wenn die anderen konstant gehalten werden).
Genau das ist mein Punkt: Bei einer Interaktion kann man nicht einen Term um eine Einheit ändern, während die anderen Terme aufgrund der Interaktion konstant bleiben. Ändert man Term X um eine Einheit, ändert sich auch Term Y (sofern eine Interaktion zwischen X und Y besteht). Deshalb wurde mir beigebracht, dass es nicht sinnvoll ist, Parameterschätzungen von Haupteffekten anzugeben, wenn signifikante Interaktionsterme vorliegen.
Betreff: Meldung von DOE-Ergebnissen zur VeröffentlichungDas Problem besteht nicht darin, die Koeffizienten zu melden, sondern darin, die Ergebnisse zu interpretieren. Wenn eine Interaktion signifikant ist, müssen Sie bei der Interpretation der Haupteffekte, die mit der Interaktion verbunden sind, vorsichtig sein.
Betreff: Meldung von DOE-Ergebnissen zur Veröffentlichung@Ben_BarrIngh
Wo finde ich weitere Informationen zum Erstellen der ersten beiden Diagramme, die Sie hier zeigen?
Betreff: Meldung von DOE-Ergebnissen zur VeröffentlichungHallo @SaraA ,
Beim ersten habe ich einen Diagrammersteller verwendet, um die Punkte darzustellen, dann habe ich PowerPoint verwendet, um die Form der Quadrate und Kreise in derselben Farbe zu zeichnen.
Für die zweite Methode können Sie „Y an X anpassen“ verwenden, wobei X Ihr „Muster“ und Y Ihre Antwort ist. Anschließend habe ich einen Mittelwertvergleich mit einem Tukey-Test durchgeführt, um die Vergleichskreise anzuzeigen.
Hoffe, das hilft!
BenBetreff: Meldung von DOE-Ergebnissen zur VeröffentlichungHallo Ben,
Vielen Dank. Eine letzte Frage: Wie kann ich nach der REML-Analyse ein Diagramm mit skalierten Schätzungen erstellen? JMP generiert dieses Diagramm für die Analyse gemischter Modelle nicht (obwohl es die Parameterschätzungen liefert, aber ich denke, die skalierten Schätzungen oder das Pareto-Diagramm sind intuitiver).
Danke
Sara
Betreff: Meldung von DOE-Ergebnissen zur VeröffentlichungHallo @SaraA ,
Ja, das Ausmaß der Änderung, die X1 in Ihrer Antwort bewirken kann, kann durch Wechselwirkungen mit X2 verändert werden (d. h., ein hoher Wert von X2 kann X1 vollständig verringern), aber die Parameterschätzungen können verwendet werden, um allgemeine Zusammenhänge aufzuzeigen. Wenn Sie in Ihrer Diskussion Ihr System und die Funktionsweise dieser Wechselwirkungen ausreichend beschreiben, können die Parameterschätzungen dazu dienen, weitere Details zu liefern.
Danke,
Ben
Betreff: Meldung von DOE-Ergebnissen zur VeröffentlichungHallo @SaraA ,
Aufgrund der Art der Methode konzentriert sich REML auf Varianzkomponenten und führt (im Gegensatz zu Methoden wie „Least Squares“) keine Standardisierung durch (die ein Vorverarbeitungsschritt im Arbeitsablauf der Modellierung ist). Bei gemischten Modellen und dem Versuch, sie zu standardisieren, entsteht eine Menge zusätzliche Komplexität (standardisieren Sie global oder innerhalb von Gruppen? Wie standardisieren Sie eine Variable, die sich zwischen zwei Gruppen unterscheidet?).
Danke,
Ben
