Comparaison ANN et FDOEBonjour à tous,
J'ai besoin d'aide pour comprendre la meilleure approche à appliquer à mes données.
J'ai construit un ensemble de données avec 84 lots issus de divers modèles expérimentaux (DoE) dans le développement d'un produit pharmaceutique. Après cela, j'ai construit un modèle ANN pour prédire la libération de médicaments. Maintenant, j'aimerais prédire la libération du médicament (réponse fonctionnelle) à l'aide de JMP Pro Functional DOE (FDOE) et comparer les résultats avec ceux du modèle ANN.
- Cette comparaison a-t-elle un sens ? Quelle est la meilleure méthode statistique pour comparer ces deux procédures (ANN et FDOE) ?
- Comment choisir le nombre de nœuds dans la plateforme FDOE ?
- Dans le profileur FDOE (voir photo), plusieurs paramètres de formulation ont entraîné une libération négative du médicament. Qu'est-ce que cela signifie? pour certains paramètres de formulation, j'ai obtenu une valeur négative de libération du médicament. Cela implique-t-il que cette approche du FDOE peut ne pas être prédictive des premiers points temporels de mon profil de dissolution ?
J'ai déjà vu la présentation du Discovery Summit ( https://community.jmp.com/t5/Discovery-Summit-Americas-2021/A-New-Resolve-to-Dissolve-Model-Drug-Dissolution-with-Functional/ta -p/398755 ), mais existe-t-il des ressources ou de la littérature supplémentaires que je pourrais lire ?
Je suis désolé si je ne suis pas clair.
Je vous remercie beaucoup pour votre aide!
Modélisation statistique avancéeModélisation prédictive et apprentissage automatiqueRe: Comparaison ANN et FDOESalut @sofiasousa24 ,
Je ferai de mon mieux pour répondre à vos différentes questions en fonction du contexte limité et des données disponibles. Veuillez ignorer toute information ou réponse qui pourrait ne pas être pertinente par rapport à votre sujet.
- Oui et non, pas d'opinion arrêtée sur cette question.
Non : Du point de vue des données, vos données ne sont pas indépendantes. Par conséquent, l'utilisation d'un modèle d'apprentissage automatique pour prédire toutes les réponses aux libérations de médicaments à différents moments indépendamment les unes des autres ne prend pas en compte la dépendance temporelle de la réponse (et la redondance des réponses). l’information) et la corrélation de la réponse mesurée à différents moments.
Oui : l'apprentissage automatique comporte moins d'hypothèses dans la construction de modèles que la modélisation statistique « classique ». De plus, les réseaux de neurones peuvent être utilisés pour l’analyse et la prévision de séries chronologiques, car ils peuvent se rapprocher de fonctions non linéaires et peuvent être plus robustes à la multicolinéarité que les méthodes de modélisation traditionnelles.
Pour comparer ces deux procédures, vous devez définir des conditions similaires pour la formation, la validation et les tests : veillez à utiliser les mêmes échantillons pour la formation, pour la validation et les tests, soit avec une approche de validation croisée et l'utilisation d'une colonne de validation, soit divisez votre ensemble de données et séparez votre ensemble de test du reste des données pour éviter les fuites de données et utilisez la validation croisée K-fold avec la même graine. Si les algorithmes ont été entraînés et validés sur les mêmes données, les comparer sur les mêmes données de test sera bien plus simple.
Vous pouvez commencer simplement par comparer les méthodes, en traçant les prédictions par rapport aux valeurs mesurées, pour voir si vous êtes capable de prédire la même tendance que dans vos données d'origine. Visualiser la distribution des résidus peut également aider à voir quelles sont les erreurs maximales et comment elles sont distribuées pour chaque méthode. Vous pouvez également tracer les résidus par rapport aux prévisions, pour voir si les erreurs restent stables en ce qui concerne les valeurs croissantes, ou si vous rencontrez une hétéroscédasticité (la variance de la prédiction augmente avec les valeurs de X/temps). Enfin, vous pouvez également calculer une métrique de performance agrégée pour les deux méthodes, comme RMSE/MSE ou toute autre métrique liée aux résidus (différence entre la valeur prédite et la valeur mesurée). Les valeurs agrégées permettent de simplifier la comparaison, mais elles peuvent « masquer » certains détails que vous avez peut-être vus via les visualisations, comme expliqué précédemment.
- Dans la plateforme FDOE, le nombre de nœuds est recommandé par défaut lors de l'analyse :
Lors du lancement d'un type de modèle (B-Splines, P-Splines, Wavelets, ...) JMP essaiera un certain nombre de tailles de nœuds différentes (qui peuvent être vues dans le panneau "Contrôles du modèle"). Par défaut, JMP choisira un nombre de nœuds (et le degré de fonctions pour les Splines) qui minimisent le BIC (Bayesian Information Criterion), qui est un critère d'information qui équilibre les performances prédictives du modèle avec sa complexité : plus il est faible, mieux c'est. Très souvent, la plage utilisée par JMP sera suffisante pour trouver un minimum local, mais vous pouvez essayer d'étendre la plage de nombres de nœuds dans les contrôles du modèle pour voir si vous parvenez à obtenir un BIC inférieur :
Cependant, si vous augmentez le nombre de nœuds à proximité du nombre de mesures (de temps) pour chaque lot de votre table de données (comme dans l'exemple ci-dessus), assurez-vous d'utiliser un ensemble de validation pour éviter de créer un modèle surajusté qui fonctionne parfaitement. sur cet ensemble de formation, mais fonctionne mal sur d'autres données externes.
- Il peut y avoir beaucoup de choses à vérifier dans la plateforme FDOE avant de commenter les résultats du modèle :
- Quel modèle avez-vous utilisé et pourquoi (B,P-Splines, Wavelets, ... ?) ? Avez-vous utilisé des étapes de prétraitement pour vos données ?
- Combien de nœuds et quel degré de fonctions avez-vous utilisé ?
- Avez-vous utilisé un jeu de validation ?
- Quelle est la variabilité et la reproductibilité de votre processus de mesure ? Les erreurs du FDOE sont-elles trop importantes par rapport à la variabilité des mesures ?
+ Questions sur le NN : comment il a été construit, avec combien de couches, quelles fonctions d'activation, quelle validation, etc... Le Neural Network Tuning peut être utile pour concevoir une structure de réseau neuronal efficace et appropriée à un problème spécifique. Cependant, les réseaux neuronaux sont généralement le dernier modèle que j'ai essayé si d'autres modèles (plus simples) ont échoué, en raison de leur complexité et de leur manque d'interprétabilité.
Tenez également compte du fait que FDOE vous permet d'ajuster directement un modèle de régression aux principaux coefficients fonctionnels des plateformes, mais vous pouvez également extraire les coefficients des courbes et faire manuellement la modélisation avec toutes les autres plateformes de modélisation de JMP, pour accéder à un accès plus flexible. Des algorithmes de Machine Learning qui nécessitent moins d’hypothèses.
J'espère que ces premiers points vous donneront un aperçu et un nouveau départ dans la discussion,
Re: Comparaison ANN et FDOEVeuillez confirmer que vos données de réponse sont des fonctions, peut-être une courbe montrant la progression dans le temps de la libération du médicament pour un lot.
Oui, il est logique de comparer une myriade de modèles candidats. Vous pouvez utiliser Analyse > Modélisation prédictive > Comparaison de modèles à cet effet.
Avez-vous étudié la sélection des modèles en général ou les informations FDE concernant le nombre de nœuds ?
L'approche FDOE est basée sur la régression linéaire. La régression suppose que la réponse varie entre l'infini négatif et l'infini positif. Votre modèle peut présenter un manque d'ajustement ou un biais proche des limites de la réponse. Vous pouvez utiliser les FPCA comme réponse avec des modèles non linéaires ou tout autre modèle dans JMP.
