Re : Réglage du réseau neuronalSalut Scott,
Complément très pratique. Auparavant, je devais générer manuellement une conception de remplissage d'espace pour essayer d'explorer la plate-forme NN. Je vais lui faire un essai ! Avez-vous l'intention d'augmenter le nombre de couches dans la plate-forme NN ? De plus, tout réglage aléatoire peut également être implémenté dans la plate-forme genreg?
Merci,
Vins
Re : Réglage du réseau neuronalSalut, @Vins !.
Je voulais juste intervenir là-dessus. GenReg peut déjà être réglé, il suffit de régler l'hyper-paramètre alpha sur "." et JMP l'optimisera. Sur plus de couches dans le NN, cela dépend davantage de JMP Development que de Scott. Vous devez mettre la demande dans le Liste de souhaits JMP afin qu'ils sachent que vous aimeriez voir des NN plus profonds disponibles.
Meilleur,
M
Re : Réglage du réseau neuronal@Vins -
À l'heure actuelle, le complément ne fait que transmettre des paramètres à la plate-forme JMP NN, qui crée des NN avec jusqu'à deux couches. Si la plate-forme change (plus de couches, de fonctions d'activation, etc.) et qu'il y a suffisamment d'intérêt, je peux mettre à jour le complément. je veux seconder @MikeD_Anderson et accédez à la liste de souhaits s'il y a des fonctionnalités que vous aimeriez voir dans les futures versions de JMP.
Faites-moi savoir comment se passe votre test !
-Scott
Re : Réglage du réseau neuronalC'est bien. Je me demandais quand quelque chose comme ça arriverait dans JMP Pro, mais c'est une excellente initiative de créer ce complément pour le faire.+50 points pour Gryffondor !
Re : Réglage du réseau neuronalSuper outil merci beaucoup. Je viens de le tester sur différents jeux de données, cela me fait gagner beaucoup de temps et trouve des conditions (paramètres) que je n'aurais pas forcément testé par souci de temps. Merci Scott !!
Re : Réglage du réseau neuronalBon travail @scott_allen sur la belle configuration et les fonctionnalités de ce complément !
Deux préoccupations/avertissements :
1. La plate-forme neuronale jette un coup d'œil aux données de validation tout en effectuant son ajustement de modèle, et les résultats de validation sont donc fuyants et trop optimistes.En tant que tel, je ne pense pas qu'ils fournissent une bonne estimation des performances de généralisation ni un bon moyen de comparer différents modèles dans la conception du réglage.La seule façon de contourner ce problème que je connais est d'utiliser une colonne de validation à trois niveaux (Formation, Validation et Test, créable avec Analyser > Modélisation prédictive > Créer une colonne de validation), puis d'utiliser uniquement les résultats du test pour comparer les modèles.Je viens de vérifier que le complément gère ce cas, et pour vérifier le point général, tracez la Validation R2 par rapport au Test R2.
2. Lancer un grand nombre de modèles sur un seul ensemble de test entraînera très probablement un surajustement de cet ensemble de test.Cela s'est produit avec la fonctionnalité Autotune dans XGBoost (qui utilise la même approche de conception rapide et flexible), ce qui a entraîné une modification pour générer uniquement un modèle d'ensemble lors du réglage automatique et pour utiliser l'imbrication dans chaque pli pour éviter les fuites.
@Vins Des NN arbitrairement profonds sont disponibles dans le nouveau complément Torch Deep Learning ; veuillez vous inscrire pour l'essayer sur Utilisateur précoce de JMP 18 Il ne dispose pas encore de réglage automatique, mais cela pourrait l'être à l'avenir.
Re : Réglage du réseau neuronal@russ_wolfinger
Excellents points. Je suis d'accord avec les deux et j'espère continuer à développer ce complément pour résoudre ces problèmes.
Mon premier objectif était d'automatiser le flux de travail actuel de génération de modèles et j'aimerais maintenant commencer à réfléchir à l'inclusion de « garde-corps » ou aider à trouver des moyens d'inclure des méthodes de validation supplémentaires.
J’aime aussi l’idée des modèles d’ensemble. J'envisage l'ajout d'un moyen simple permettant à l'utilisateur de transmettre des modèles à la plateforme Compare Models. Mais il serait peut-être préférable d'automatiser cela également en fonction de certaines statistiques d'ajustement du modèle. Nourriture pour la pensée!
Re : Réglage du réseau neuronal@scott_allen J'ai ajouté à la liste de souhaits plus de couches pour NN.
@russ_wolfinger , j'ai déjà utilisé le complément Torch Deep Learning pour plusieurs tests dans EA5. J'obtiens de meilleurs modèles que le complément xgboost, cependant, je reviens toujours à votre complément xgboost. J'enregistre un tableau de "gain", "splits", "cover", scores pour chaque variable. Avec ce tableau, je sélectionne uniquement les variables avec des valeurs non nulles et réexécute xgboost avec un ensemble plus petit de prédicteurs. Habituellement, après 2-3 tours, je n'obtiens aucun prédicteur différent de zéro. De cette façon, je filtre les variables sans importance et je peux demander au profileur de visualiser un modèle plus petit. Mes prédicteurs se situent régulièrement entre 60 et 300 000. J'aimerais voir une option dans le Complément Torch Deep Learning où je peux accéder à une table avec des valeurs que je peux utiliser pour éliminer les variables sans importance.
Y aura-t-il une conception rapide et flexible étendue dans xgboost qui comprend également les ~ 30 autres options avancées qui incluent des paramètres catégoriels ?Et enfin @russ_wolfinger , la prochaine version d'EA adoptera-t-elle une table de réglage pour le complément Torch Deep Learning ? J'ai hâte, les modèles sont nettement meilleurs !
Re : Réglage du réseau neuronal@Vins Merci beaucoup pour les commentaires.Je pense que votre approche de réduction de variables dans XGBoost est raisonnable (j'ai fait la même chose moi-même) puisque ces variables avec une importance nulle ne sont utilisées dans aucun des modèles.Les importances variables et le réglage automatique figurent sur la liste des « tâches à faire » pour Torch.
Le réglage automatique de XGBoost sur toutes les options avancées nécessiterait une interface beaucoup plus grande et plus compliquée, et nous pouvons y réfléchir.En attendant, il existe une option Tuning Design Table dans laquelle vous pouvez spécifier une table JMP secondaire avec des points de conception, par exemple créée en appelant DOE FFF directement sur les paramètres que vous souhaitez régler.
Nous nous intéressons également davantage aux approches d’optimisation bayésienne.Il y a un ajouter à .
Re : Réglage du réseau neuronalMise à jour
Le complément Neural Network Tuning a été mis à jour.La version 1.1 est désormais disponible en téléchargement et la version 1 a été supprimée. Cette version comporte un certain nombre de corrections de bugs et d'améliorations globales basées sur les commentaires des utilisateurs :
Corrections de bugs
- Œuvres manquantes informatives.
- Divers avertissements sont émis pour éviter les messages d'erreur JMP lorsque des problèmes sont rencontrés lors des étapes de spécification de colonne ou de spécification de paramètre.
- Les réponses nominales et ordinales à plusieurs niveaux sont désormais prises en charge.
Améliorations
- Mises à jour générales de l'interface
- La validation KFold est maintenant disponible
- Une fenêtre d'aide peut être lancée en cliquant sur le bouton "Aide". La fenêtre d'aide contient des informations supplémentaires sur la façon dont la validation du modèle, la comparaison des modèles et l'enregistrement des modèles sont gérés dans la version 1.1.
- La validation du modèle s'effectue désormais toujours avec une colonne pour faciliter la reproductibilité du modèle.
- La comparaison de modèles est désormais effectuée à l'aide de la plateforme Compare Model dans un tableau de données en double (et masqué).
- Enregistrez les modèles directement à partir de la fenêtre des résultats de réglage à l'aide du bouton Enregistrer les modèles.
- Lorsqu'une table de données précédemment enregistrée est chargée, le complément vous avertit si les variables X de la table de données enregistrée sont différentes des variables X spécifiées lors du lancement du complément.
- La sortie du générateur de graphiques comporte désormais un sélecteur de colonne permettant d'examiner les valeurs de formation, de validation ou de test R2 par rapport à chaque paramètre.
- Deux autres graphiques de visualisation de modèle sont ajoutés sous forme d'onglets dans la fenêtre de résultats. Ceux-ci sont également interactifs avec le tableau de données pour aider à identifier les meilleurs modèles.
- La fenêtre Progression du modèle comporte quelques mises à jour :
- Le temps de modélisation global est affiché
- Le temps moyen par modèle est affiché
- Un bouton Annuler est disponible dans la fenêtre de progression du modèle au cas où la durée globale de modélisation serait plus longue que souhaitée. Tout modèle terminé lors de l'étape de modélisation sera enregistré dans la fenêtre des résultats. Notez que lorsque le temps de modélisation est long, ce bouton peut "retarder" et il peut nécessiter quelques clics pour enregistrer la commande.
- Les modèles enregistrés dans la table de données disposent d'une section Notes mise à jour avec tous les paramètres utilisés pour générer le modèle.
Re : Réglage du réseau neuronalMise à jour
La version 1.2 est maintenant disponible. Cette version comporte un certain nombre de corrections de bugs et d'améliorations supplémentaires basées sur les commentaires des utilisateurs :
Corrections de bugs
- Compare Models n'apportera que les modèles NN récemment préparés dans la plateforme Compare Models au lieu de tous les modèles générés précédemment.
- Les comparaisons de modèles avec les valeurs Y nominales et ordinales fonctionnent désormais
- Autres correctifs mineurs
Améliorations
- Vous pouvez maintenant rappeler les paramètres de réglage
- Ajout de différentes options d'enregistrement de modèle
- L'affichage de la table de réglage génère une copie de la table
- Le tableau de données est maintenant enregistré sous forme d'onglet dans la fenêtre des résultats
- Ajout d'ID de modèle uniques pour faciliter la comparaison des modèles avec différentes graines aléatoires
- Un nouveau graphique est disponible lorsque plusieurs graines aléatoires sont utilisées
Réglage du réseau neuronalMises à jour
27 novembre 2023 - Version 1.1 - améliorations et corrections de bugs, les détails sont dans un article ci-dessous
28 novembre 2023 - Version 1.11 - correction d'un bug mineur
15 décembre 2023 - Version 1.2 - améliorations et corrections de bugs, les détails sont dans un article ci-dessous
But
Le complément Neural Network Tuning est une plate-forme de réseau neuronal alternative qui offre un moyen simple de générer de nombreux réseaux neuronaux afin d'identifier le meilleur ensemble de paramètres pour la structure de la couche cachée, l'amplification et les options d'ajustement.
Comment ça fonctionne
L'utilisateur spécifie le nombre de modèles de réseau neuronal qui seront exécutés et définit la plage de paramètres et d'options d'ajustement. Un DOE de remplissage d'espace rapide et flexible est généré avec les paramètres de réglage en tant que facteurs, ainsi que les R de formation, de validation et de test. 2 valeurs en tant que réponses.
Chaque essai du DOE est transmis à la plateforme Neural Network et au R 2 les valeurs sont enregistrées dans une table DOE de sortie. Une fois tous les modèles exécutés, le tableau est trié par Validation R 2 et une série de graphiques sont affichés pour aider l'utilisateur à identifier les effets les plus importants pour maximiser la validation R. 2 valeurs.
Des modèles supplémentaires peuvent être générés en ajustant les paramètres de réglage et en réexécutant le DOE. Les nouvelles exécutions seront ajoutées à la table d'origine.
Le tableau de données peut être enregistré et rechargé dans la plateforme pour enregistrer la progression et relancer une analyse supplémentaire. Il s'agit d'un moyen de régler les réseaux de neurones qui peut prendre un temps de calcul considérable.
Guide vidéo
Re : Réglage du réseau neuronalSalut @Marco2024
Pour analyser deux variables ou plus, vous devrez créer un modèle pour chacune, puis charger les expressions de prédiction dans le Profiler :
- Créez un modèle NN pour votre première sortie (Y) et enregistrez l'expression de prédiction en cliquant sur le bouton "Enregistrer les modèles". L'option « Formules de profil » enregistrera une seule colonne de formule dans votre tableau de données.
- Répétez cette opération pour toutes les variables Y que vous souhaitez comparer.
- Lancez le Profiler (Graph > Profiler) et chargez vos expressions de prédiction.
Cela fournira un profileur pour chacune de vos variables Y empilées les unes sur les autres pour vous aider à comparer et co-optimiser votre système.
Re : Réglage du réseau neuronalSalut Scott,
Je suis heureux de vous saluer......Je n'ai pas pu accéder au blog avec mon nom d'utilisateur pour vous répondre......, j'apprécie votre réponse à ma requête !!..... Ci-dessous j'ai remarqué ce qui suit:
1. Observations :
- Le plugin ne fonctionne pas en espagnol
- Le plugin ne sauvegarde pas le ou les modèles choisis dans le tableau
2. Requêtes :
- Pourrait-il y avoir une option pour que le plugin recherche les réseaux de neurones à 1 et 2 couches en 1 étape... selon la plage de paramètres indiquée par l'utilisateur ?
Salutations,
Marc
Re : Réglage du réseau neuronalSalut Scott,
L'observation 2 (le complément ne sauvegarde pas les modèles) la laisse sans effet, le complément sauve les modèles.
Salutations,
Marc
Re : Réglage du réseau neuronalSalut Scott,
Une question : le plugin pourrait-il avoir la possibilité de générer des réseaux de neurones qui apprennent en temps réel à partir des entrées (apprentissage incrémental), c'est-à-dire qui ne sont pas des réseaux de neurones statiques ?
Salutations,
Marc
