Hallo,
Wir haben ein Pharmaunternehmen, das einige Unterlagen von uns benötigt (Weißbuch, wissenschaftliche Veröffentlichung, ...), um die von ihnen verwendete Modellierungstechnik zu rechtfertigen (abhängig von den von ihnen verwendeten Ergebnissen Lasso, Vorauswahl, zweistufige Vorauswahl). Im Moment schlug ich vor, dass eine Auswahl auf der Grundlage von AICc die richtige Rechtfertigung ist, fragte mich aber, ob wir eine Dokumentation haben, die ihnen helfen könnte.
Emmanuel
@clay_barker
Für die Verwendung des AICc gibt es das ausgezeichnete Buch von Burnham und Anderson "Model Selection and Multimodel Inference".In dem Buch erklären sie, wie AICc ein sehr vielseitiger Leitfaden für Entscheidungen darüber ist, welche Variablen / Effekte einbezogen werden sollen, und um Entscheidungen darüber zu treffen, welche Antwortverteilung verwendet werden soll.Sie haben das Buch, das Sie bestellen können, aber die Autoren haben auch frei verfügbare Monographien, die die gleichen Informationen vermitteln.
Eine Sache, die sehr unterschätzt wird, ist, dass klassische Verfahren, insbesondere p-Werte, ein sehr schlechter Leitfaden für die Modellauswahl sind. Die Gründe dafür sind zahlreich. Zum einen gehen die p-Werte davon aus, dass das zu testende Modell das einzige ist, das bei der Planung der Studie verwendet werden sollte. Jedes Auswahlverfahren, vom Lasso über die Vorwärtsauswahl bis hin zur manuellen Rückwärtsauswahl durch Eliminieren von Begriffen mit 'großen' p-Werten, verstößt gegen diese Annahme, sobald die erste Änderung am Modell vorgenommen wird.Sobald eine einzelne Änderung am Modell mithilfe eines Auswahlalgorithmus vorgenommen wurde, ist das Verhalten der p-Werte nicht mehr definiert.
Ein weiteres Hauptproblem besteht darin, dass p-Werte nicht zum Vergleichen von nicht geordneten Modellen verwendet werden können, da ein Modell eine Vereinfachung oder ein Sonderfall des anderen ist (wie ein Modell das gleiche wie das andere ist, jedoch bestimmte Koeffizienten auf Null gesetzt sind) ).Ein Modell mit zwei Haupteffekten und einer Interaktion zwischen ihnen kann daher nicht mit p-Wert-basierten Methoden mit einem Modell mit drei Haupteffekten und ohne Interaktion verglichen werden, da ein Modell das andere nicht enthält.
Ein sehr wichtiger und unterschätzter Mangel ist, dass Sie keine p-Werte verwenden können, um verschiedene Verteilungen zu vergleichen. Wenn die Daten beispielsweise streng positiv sind, sollten Sie zusätzlich zur Anpassung der kleinsten Quadrate die Gamma- und Lognormalverteilungen berücksichtigen. Die "Positivität" der Antwort bedeutet, dass es mathematisch Krümmungsterme geben muss, die aktiv sind, wenn der Mittelwert klein ist, in einer Anpassung der kleinsten Quadrate, aber diese nicht normalen Verteilungen können die Grenze bei Null behandeln, ohne notwendigerweise eine Krümmung zu benötigen. So können Sie häufig eine bessere Anpassung mit weniger Begriffen erzielen, indem Sie Modelle mit unterschiedlichen Antwortverteilungen anpassen. Die Verwendung des AICc (und / oder des BIC) als Leitfaden für die Entscheidung, welche Verteilung die Reaktion hat und welche Auswirkungen wichtig sind, ist statistisch fundiert und für den Praktiker mit einem Minimum an Schulung leicht zu nutzen.
Diese letzte Ausgabe der Auswahl von Distributionen ist wichtig und erfordert einige Nebenkommentare. Zum einen muss die Antwortverteilung * parallel * zur Effektstruktur festgelegt werden. Es ist ein * schwerwiegender * Fehler, die Verteilungsplattform zu verwenden, um zuerst die Verteilung zu bestimmen, die Effekte zu ignorieren und dann zu GenReg zu gehen, um die Effektstruktur basierend auf der Empfehlung von Distribution zu bestimmen. Clay Barker hat dazu Discovery-Präsentationen. Angenommen, Sie haben einen Zwei-Ebenen-Faktor und es gibt wirklich einen Unterschied in den Mitteln zwischen den Ebenen. Die Verteilungsplattform teilt Ihnen mit, dass die Antwortverteilung eine Gaußsche 2-Mischung ist. Sobald der Faktor in das Modell aufgenommen wurde, ist es wahrscheinlich, dass eine Gaußsche Verteilung (keine Mischung) die richtige Antwort ist.
Der zweite Aspekt ist die Verwendung von Verteilungen als prinzipiellere Methode zur Lösung des Problems, das früher durch Transformation der Antwort entschieden wurde.Früher haben Sie versucht, auf der natürlichen Skala zu modellieren, dann auf der logarithmisch transformierten Skala zu modellieren und dann eine Entscheidung zu treffen, die auf diagnostischen Darstellungen basiert und was nicht. Sie konnten die SSEs der Modelle auf den beiden Skalen nicht vergleichen, da sie sich in unterschiedlichen Einheiten befanden, was bedeutete, dass die RSquares ebenfalls nicht vergleichbar waren. Auf der anderen Seite ist es vollkommen prinzipiell und fair, die Vorwärtsauswahl und den AICc für die Normalverteilung zu verwenden (was eine andere Art ist, kleinste Quadrate zu sagen) und dann dasselbe mit der logNormal-Verteilung zu tun und den endgültigen Vergleich mit durchzuführen die AICc.
Wie auch immer, viele dieser Konzepte werden von Burnham und Anderson sowie deren Argumentation für Faustregeln für den Vergleich von AICcs klargestellt.Das Buch richtet sich an Personen mit einem naturwissenschaftlichen oder technischen Abschluss. Die Autoren sind Ökologen. Daher sollte es für einen großen Teil der JMP-Benutzer verständlich sein und ist kein abstrakter Band arkaner theoretischer Statistiken.
Vielleicht, um das Thema zu ergänzen, analysieren sie ihre DOEs mit GenReg und für ihre Kunden und Behörden müssen sie begründen, warum sie welche Methode für diese DOE-Analyse verwendet haben, wie Emmanuel sagte, z. B. Lasso für ein RSM-DOE. Warum haben sie Lasso über Forward oder Elastic Net verwendet?
Gibt es eine Veröffentlichung, auf die man verweisen könnte, damit sie diese Papierreferenz zusammen mit ihrer Analyse einreichen können?
@clay_barker @ chris_gotwalt1
