ANN- und FDOE-VergleichHallo zusammen,
Ich benötige Hilfe beim Verständnis des besten Ansatzes für die Anwendung meiner Daten.
Ich habe einen Datensatz mit 84 Chargen aus verschiedenen experimentellen Designs (DoEs) bei der Entwicklung eines pharmazeutischen Arzneimittelprodukts erstellt. Danach habe ich ein KNN-Modell erstellt, um die Arzneimittelfreisetzung vorherzusagen. Nun möchte ich die Arzneimittelfreisetzung (funktionale Reaktion) mithilfe von JMP Pro Functional DOE (FDOE) vorhersagen und die Ergebnisse mit denen des ANN-Modells vergleichen.
- Ist dieser Vergleich sinnvoll? Was ist die beste statistische Methode zum Vergleich dieser beiden Verfahren (ANN und FDOE)?
- Wie kann ich die Anzahl der Knoten in der FDOE-Plattform auswählen?
- Im FDOE Profiler (siehe Bild) führten mehrere Formulierungsparameter zu einer negativen Wirkstofffreisetzung. Was bedeutet das? Für einige Formulierungsparameter habe ich einen negativen Wert für die Wirkstofffreisetzung erhalten. Bedeutet dies, dass dieser FDOE-Ansatz die ersten Zeitpunkte in meinem Auflösungsprofil möglicherweise nicht vorhersagt?
Ich habe die Präsentation des Discovery Summit bereits gesehen ( https://community.jmp.com/t5/Discovery-Summit-Americas-2021/A-New-Resolve-to-Dissolve-Model-Drug-Dissolution-with-Functional/ta -p/398755 ), aber gibt es zusätzliche Ressourcen oder Literatur, die ich lesen könnte?
Es tut mir leid, wenn ich mich nicht klar ausgedrückt habe.
Vielen Dank für deine Hilfe!
Erweiterte statistische ModellierungPrädiktive Modellierung und maschinelles LernenBetreff: ANN- und FDOE-VergleichBitte bestätigen Sie, dass es sich bei Ihren Antwortdaten um Funktionen handelt, beispielsweise um eine Kurve, die den zeitlichen Verlauf der Arzneimittelfreisetzung für eine Charge zeigt.
Ja, es macht Sinn, unzählige Kandidatenmodelle zu vergleichen. Zu diesem Zweck können Sie Analysieren > Prädiktive Modellierung > Modellvergleich verwenden.
Haben Sie sich mit der Modellauswahl im Allgemeinen oder den FDE-Informationen zur Anzahl der Knoten befasst?
Der FDOE-Ansatz basiert auf einer linearen Regression. Bei der Regression wird davon ausgegangen, dass die Reaktion zwischen negativer Unendlichkeit und positiver Unendlichkeit variiert. In der Nähe der Antwortgrenzen weist Ihr Modell möglicherweise einen Mangel an Anpassung oder Verzerrung auf. Sie können die FPCAs als Antwort mit nichtlinearen Modellen oder jedem anderen Modell in JMP verwenden.
Betreff: ANN- und FDOE-VergleichHallo @sofiasousa24 ,
Ich werde mein Bestes geben, Ihre verschiedenen Fragen auf der Grundlage des begrenzten Kontexts und der verfügbaren Daten zu beantworten. Bitte ignorieren Sie alle Informationen oder Antworten, die für Ihr Thema irrelevant sein könnten.
- Ja und nein, keine starke Meinung zu dieser Frage.
Nein: Aus Datensicht sind Ihre Daten nicht unabhängig. Wenn Sie also ein Modell des maschinellen Lernens verwenden, um alle Reaktionen auf die Freisetzung von Medikamenten zu verschiedenen Zeitpunkten unabhängig voneinander vorherzusagen, werden die Zeitabhängigkeit der Reaktion (und die Redundanz der Informationen) sowie die Korrelation der zu verschiedenen Zeitpunkten gemessenen Reaktion nicht berücksichtigt.
Ja: Beim maschinellen Lernen werden beim Modellaufbau weniger Annahmen getroffen als bei der „klassischen“ statistischen Modellierung. Darüber hinaus können neuronale Netze für die Zeitreihenanalyse und -prognose verwendet werden, da sie nichtlineare Funktionen approximieren können und möglicherweise robuster gegenüber Multikollinearität sind als herkömmliche Modellierungsmethoden.
Um diese beiden Verfahren vergleichen zu können, müssen Sie ähnliche Bedingungen für Training, Validierung und Test festlegen: Stellen Sie sicher, dass Sie für Training, Validierung und Test dieselben Beispiele verwenden, entweder mit einem Kreuzvalidierungsansatz und der Verwendung einer Validierungsspalte, oder teilen Sie Ihren Datensatz auf und trennen Sie Ihren Testsatz vom Rest der Daten, um Datenlecks zu vermeiden, und verwenden Sie eine K-fache Kreuzvalidierung mit demselben Seed. Wenn die Algorithmen mit denselben Daten trainiert und validiert wurden, ist ein Vergleich mit denselben Testdaten viel einfacher.
Sie können mit dem Vergleich der Methoden ganz einfach beginnen, indem Sie Vorhersagen und gemessene Werte grafisch darstellen, um zu sehen, ob Sie denselben Trend wie in Ihren Originaldaten vorhersagen können. Die Visualisierung der Verteilung der Residuen kann auch hilfreich sein, um zu sehen, wie hoch die maximalen Fehler sind und wie sie für jede Methode verteilt sind. Sie können auch Residuen und Vorhersagen grafisch darstellen, um zu sehen, ob die Fehler bei steigenden Werten stabil bleiben oder ob Sie auf Heteroskedastizität stoßen (die Varianz der Vorhersage steigt mit den Werten von X/Zeit). Schließlich können Sie auch eine aggregierte Leistungsmetrik für beide Methoden berechnen, wie RMSE/MSE oder eine andere Metrik im Zusammenhang mit den Residuen (Differenz zwischen vorhergesagtem Wert und gemessenem Wert). Aggregierte Werte vereinfachen den Vergleich, können jedoch einige Details „verbergen“, die Sie möglicherweise durch Visualisierungen gesehen haben, wie zuvor erläutert.
- Auf der FDOE-Plattform wird für die Analyse standardmäßig die folgende Knotenanzahl empfohlen:
Beim Starten eines Modelltyps (B-Splines, P-Splines, Wavelets, ...) probiert JMP eine Reihe verschiedener Knotengrößen aus (die im Bereich „Modellsteuerung“ angezeigt werden). Standardmäßig wählt JMP eine Anzahl von Knoten (und den Grad der Funktionen für Splines), die den BIC (Bayesian Information Criterion) minimieren. Dabei handelt es sich um ein Informationskriterium, das die Vorhersageleistung des Modells mit seiner Komplexität in Einklang bringt: je niedriger, desto besser. Sehr oft reicht der von JMP verwendete Bereich aus, um ein lokales Minimum zu finden. Sie können jedoch versuchen, den Bereich der Knotenanzahl in den Modellsteuerungen zu erweitern, um zu sehen, ob Sie einen niedrigeren BIC erreichen können:
Wenn Sie jedoch die Anzahl der Knoten für jeden Stapel Ihrer Datentabelle annähernd auf die Anzahl der (Zeit-)Messungen erhöhen (wie im obigen Beispiel), achten Sie darauf, einen Validierungssatz zu verwenden, um die Erstellung eines überangepassten Modells zu vermeiden, das mit diesem Trainingssatz perfekt funktioniert, bei anderen externen Daten jedoch eine schlechte Leistung erbringt.
- Möglicherweise gibt es auf der FDOE-Plattform eine Menge Dinge zu prüfen, bevor man die Ergebnisse des Modells kommentiert:
- Welches Modell haben Sie verwendet und warum (B, P-Splines, Wavelets, ...?)? Haben Sie Vorverarbeitungsschritte für Ihre Daten verwendet?
- Wie viele Knoten und welchen Grad der Funktionen haben Sie verwendet?
- Haben Sie ein Validierungsset verwendet?
- Wie hoch ist die Variabilität und Reproduzierbarkeit Ihres Messverfahrens? Sind die Fehler des FDOE im Vergleich zur Messvariabilität zu groß?
+ Fragen zum neuronalen Netzwerk: wie es aufgebaut ist, mit wie vielen Schichten, welche Aktivierungsfunktionen, welche Validierung usw. Das Neural Network Tuning kann hilfreich sein, um eine effiziente und geeignete neuronale Netzwerkstruktur für ein bestimmtes Problem zu entwerfen. Neural Networks sind jedoch normalerweise das letzte Modell, das ich ausprobiere, wenn andere (einfachere) Modelle aufgrund ihrer Komplexität und mangelnden Interpretierbarkeit versagt haben.
Bedenken Sie auch, dass Sie mit FDOE ein Regressionsmodell direkt an die wichtigsten Funktionskoeffizienten in den Plattformen anpassen können. Sie können aber auch die Koeffizienten der Kurven extrahieren und die Modellierung manuell mit allen anderen Modellierungsplattformen von JMP aus durchführen, um auf flexiblere Algorithmen für maschinelles Lernen zuzugreifen, die weniger Annahmen erfordern.
Ich hoffe, diese ersten Punkte geben Ihnen einen Überblick und einen Neuanfang in der Diskussion.
