Discussions et commentaires internes sur Torch Deep LearningIl s'agit du forum de discussion interne officiel du complément Torch Deep Learning pour JMP Pro. Le complément constitue un élément clé de la feuille de route de JMP en matière de modélisation prédictive, d'apprentissage automatique et d'intelligence artificielle, au milieu de tout le battage médiatique actuel. Veuillez poster des questions, des commentaires ou des problèmes à tout moment.
Objet : Discussion et commentaires internes sur Torch Deep LearningÇa a l'air génial, @russ_wolfinger .
J'écrirai un e-mail à mon client et à vous concernant les modifications manuelles du code.
Merci encore et je vous contacterai bientôt.
Objet : Discussion et commentaires internes sur Torch Deep LearningSalut @DaeYun_Kim Pas actuellement, bien que dans le fichier d'installation du complément, une variable de chemin soit définie qui spécifie l'emplacement Web à partir duquel tous les téléchargements ont lieu. Un client pourrait facilement modifier cette adresse pour en faire une adresse sur site, puis imiter la même structure de dossiers que celle que nous avons en ligne pour stocker tous les fichiers zip. Heureux de travailler avec vous et le client pour expliquer cela plus en détail et aider à modifier le code.
Une autre option consiste à installer le complément initial, puis à demander à chaque utilisateur de copier manuellement tous les fichiers de bibliothèque dynamique à partir d'un emplacement partagé en interne vers le dossier du complément local. Nous faisons souvent cela en interne à des fins de tests et cela fonctionne bien.
Objet : Discussion et commentaires internes sur Torch Deep Learning@russ_wolfinger Le complément Torch Deep Learning peut-il être installé dans un environnement fermé (sans connexion Internet ou avec un pare-feu) ? Si ce n’est pas le cas, existe-t-il une méthode alternative pour installer ce complément dans un tel environnement ? Merci d'avance.
Objet : Discussion et commentaires internes sur Torch Deep LearningSalut tout le monde,
Nous avons reçu d'excellents retours concernant le déploiement du modèle Torch, ce qui est un bon signe que les clients envisagent sérieusement d'utiliser les modèles Torch dans leurs pipelines. Le complément ne fournit actuellement que quelques exemples de notebooks Jupyter, qui laissent beaucoup à désirer en termes de code de déploiement réel.
Nous avons récemment apporté une amélioration substantielle avec la mise en œuvre d'une toute nouvelle option « Générer du code Python » à partir du modèle de triangle rouge et nous envisageons de la livrer avec 18.1 et 19 Early Adopter. L'option crée du code Python qui appelle une nouvelle classe Python appelée JMPTorch qui sera incluse dans les futures versions du complément. La méthode de prédiction de cette classe traite tous les modèles enregistrés dans un répertoire Torch et crée une prédiction d'ensemble moyenne, en prenant en charge toutes les étapes intermédiaires et les intégrations. Le fichier zip ci-joint contient le fichier jmptorch.py actuel avec cette classe ainsi qu'un exemple de code d'appel et 10 exemples d'images.
Ce code est entièrement Python et peut être exécuté dans Python de JMP ou dans Python externe après avoir installé les packages requis. Voir les instructions commentées en haut du "Modèle 1.py" concernant les packages à installer, y compris, bien sûr, la torche elle-même.
J'aimerais entendre vos commentaires à ce sujet et toutes vos idées d'amélioration. Nous venons de le montrer à Lumentum hier et ils l'ont adoré.
Remarques:
- La classe JMPTorch est encore incomplète pour le texte et les modèles plus complexes mais devrait fonctionner pour les modèles de base d'images et de classification tabulaire.
- Il existe actuellement un conflit entre les bibliothèques dynamiques Torch du complément et des bibliothèques similaires installées dans Python de JMP, vous ne pouvez donc exécuter l'une ou l'autre que dans une seule session JMP. J'ai exécuté avec succès des choses dans deux instances JMP distinctes.
Objet : Discussion et commentaires internes sur Torch Deep LearningMerci @nick_shelton d'avoir vérifié cela. L'option Enregistrer les CAM ne fonctionne pas correctement actuellement, mais nous prévoyons d'y remédier dans une prochaine version. Je suis entièrement d’accord, c’est un excellent moyen de visualiser et d’interpréter le fonctionnement des réseaux neuronaux convolutifs.
Objet : Discussion et commentaires internes sur Torch Deep Learning@russ_wolfinger J'ai exploré l'option "Enregistrer les CAM". Compte tenu de la force de JMP en matière de visualisation, je pense que ce serait un excellent démarreur de conversation sur l'utilisation de JMP pour expliquer les modèles ML. Le problème est que je n'ai pas pu avoir la possibilité de travailler pour moi. Chaque fois que je crée un modèle et que j'utilise cette option, j'obtiens des images complètement sombres. Y a-t-il une étape qui me manque ?
Objet : Discussion et commentaires internes sur Torch Deep LearningSalut tout le monde,
Vous voulez essayer un GPU NVIDIA très rapide ? Recherche de bénévoles ! Ne laissez pas cela vous distraire de vos tâches de vente, mais c'est quelque chose que vous pourrez peut-être utiliser pour des opportunités de vente importantes ou pendant votre temps libre.
Vous avez peut-être entendu dire que SAS est actuellement très actif dans le développement de GPU spécifiques à NVIDIA via le codage CUDA dans plusieurs de ses divisions analytiques. Ils acquièrent un tas de nouveaux équipements NVIDIA allant jusqu'aux derniers H100 qui peuvent coûter plus de 25 000 $.
Ils ont besoin d'une analyse comparative et j'ai été en contact pour leur indiquer à quel point il est facile et rapide de faire fonctionner JMP Pro avec le complément Torch et l'ancrage des GPU en utilisant tous les nouveaux exemples dont nous disposons pour la classification d'images et de texte et régression.
Ils viennent de mettre en place pour nous un nouveau serveur Windows 2022 avec quatre GPU L40 distincts, chacun avec 48 Go de mémoire ! Les L40 sont trois générations plus modernes que les P100 sur TDL.
Veuillez m'envoyer un message directement si vous souhaitez essayer ce nouveau serveur et je vous enverrai les informations de connexion et les instructions. Tout ce que nous vous demandons, c'est de renvoyer quelques temps d'exécution des modèles que vous essayez (de votre choix ou je peux en recommander quelques-uns), qui sont imprimés dans le journal JMP après chaque modèle Torch que vous installez.
J'ai essayé plusieurs exemples différents du Torch Storybook pour quelques cas initiaux et je constate des accélérations d'environ 2 à 3 fois par rapport aux P100.
J'adore ce truc,
Russe
Objet : Discussion et commentaires internes sur Torch Deep LearningMerci~!
Objet : Discussion et commentaires internes sur Torch Deep LearningMerci Kim!
Objet : Discussion et commentaires internes sur Torch Deep LearningMerci @lkimhui . Pour que tout le monde soit clair, il y a une différence entre « déconnexion » et « déconnexion ». La déconnexion ou simplement la fermeture de l'application de connexion au bureau à distance ne met pas fin à la session, JMP et toutes les autres applications que vous avez ouvertes sont toujours en cours d'exécution sur le serveur. Pour mettre fin à la session et libérer toutes les ressources utilisées, vous devez vous "déconnecter". L'option « Déconnexion » est disponible dans le menu Windows, cliquez sur votre nom de connexion puis sélectionnez « Déconnexion ».
Objet : Discussion et commentaires internes sur Torch Deep Learning
En second lieu, veuillez vous déconnecter des instances après utilisation, les utilisateurs inactifs consomment toujours la RAM.
Ci-joint l'accumulation de 5 utilisateurs inactifs et déjà consommé environ 23 % des 128 Go de RAM.
Objet : Discussion et commentaires internes sur Torch Deep LearningBonjour @Ben_Ingham , Nous travaillons toujours à rationaliser le processus, mais pour l'instant, il existe quelques exemples de déploiement des fichiers .pt enregistrés dans des blocs-notes Python. Cliquez sur Affichage > Compléments, sélectionnez TorchDeepLearning, cliquez sur le lien Dossier personnel, puis recherchez dans le sous-dossier des blocs-notes.
Chaque modèle est enregistré dans 2 à 3 fichiers .pt distincts pour permettre la sortie d'intégrations intermédiaires. En Python, les mêmes architectures doivent être spécifiées, puis les poids du modèle sont chargés à partir des fichiers .pt. Si vous effectuez un pli K, plusieurs modèles sont enregistrés qui peuvent être moyennés/groupés pour des prédictions plus stables et plus précises.
Objet : Discussion et commentaires internes sur Torch Deep LearningBonjour à tous,
Je suis curieux de voir des suggestions sur la manière dont un client déploierait son modèle en dehors de JMP après la création du modèle dans le complément Torch - car il se situe « en dehors » des formules que vous pouvez distribuer dans Formula Depot, quel serait le meilleur processus. ?
Merci,
Ben
Objet : Discussion et commentaires internes sur Torch Deep LearningSalut tout le monde,
J'ai reçu des demandes pour partager la diapositive utilisée pour présenter le webinaire à la demande du complément Torch.
Voici!
Objet : Discussion et commentaires internes sur Torch Deep LearningJe l'ai vu ce matin @russ_wolfinger
Objet : Discussion et commentaires internes sur Torch Deep LearningSalut @Florian_Vogt Je viens de mettre à jour les instructions avec plus de détails sur Remote Desktop au début. S'il vous plaît laissez-moi savoir si cela ne fonctionne pas pour vous. Je ne connais pas la façon dont les choses fonctionnent à l'échelle internationale et des étapes supplémentaires peuvent être nécessaires.
Objet : Discussion et commentaires internes sur Torch Deep LearningBonjour Florian,
Recherchez une application de bureau à distance Microsoft à partir de votre ordinateur portable. Si vous ne le voyez pas, vous devrez peut-être l'installer à partir du centre logiciel géré. Lorsque vous démarrez l'application de bureau à distance, vous devrez suivre les instructions de Russ pour établir une connexion.
Malcolm
Objet : Discussion et commentaires internes sur Torch Deep LearningMerci Russ, tout fonctionne maintenant.
Objet : Discussion et commentaires internes sur Torch Deep LearningMerci @Chris_Kirchberg, je viens de mettre à jour les instructions, la première étape étant un VPN. Pour l'ordinateur lui-même, le service informatique a probablement supprimé hier après-midi toutes les restrictions concernant le nombre d'utilisateurs simultanés. Avez-vous vu cette restriction aujourd'hui ? Si c'est le cas, je peux leur demander à nouveau.
Objet : Discussion et commentaires internes sur Torch Deep LearningMerci @malcolm_moore1, je viens de réinitialiser les autorisations sur C:\Public pour que tout le monde ait accès à la lecture/écriture. Je les avais réglés auparavant et d'une manière ou d'une autre, ils ont changé. J'espère qu'ils tiendront cette fois-ci.
Objet : Discussion et commentaires internes sur Torch Deep LearningSalut Russ,
c'est super nouveau merci.
Qu'entendez-vous exactement par « ordinateur de bureau à distance » ? Comment je fais ça?
Merci
Florian
Objet : Discussion et commentaires internes sur Torch Deep LearningDeux choses à ajouter à ces instructions :
- Vous devez avoir votre ordinateur connecté via VPN pour accéder au serveur, sinon vous ne pourrez pas vous connecter
- Lorsque vous avez terminé, veuillez vous déconnecter du serveur, le nombre de connexions est limité. Je vois que deux personnes sont allumées lorsque je me suis connecté il y a quelques secondes. L’un était répertorié comme Absent et l’autre était inactif pendant 1 h 30.
Objet : Discussion et commentaires internes sur Torch Deep LearningMerci Russ, cela vous dérangerait-il de vérifier les autorisations d'accès à C:\Public car l'accès me est refusé lorsque j'essaie d'installer le complément.
Meilleur,
Malcolm
Objet : Discussion et commentaires internes sur Torch Deep LearningJe suis ravi d'annoncer que Windows Server tdl.na.sas.com a été créé pour que toute personne travaillant dans JMP puisse accéder et utiliser un bureau à distance, en particulier ceux d'entre vous qui disposent de capacités de calcul locales plus lentes. Il est bien équipé de deux GPU NVIDIA P100, chacun avec 12 Go de mémoire GPU et 128 Go de RAM CPU. 2 à 4 d’entre nous devraient pouvoir exécuter Torch simultanément. Instructions:
1. Établissez une connexion VPN. J'utilise Cisco Secure Client AnyConnect VPN, mais je ne suis pas sûr de ce que tout le monde fait à l'échelle internationale.
2. Lancez l'application Bureau à distance sous Windows. Je pense que cela est également disponible sur Mac auprès de Microsoft (veuillez me corriger si cela ne fonctionne pas sur Mac ou s'il existe une meilleure alternative). Pour l'ordinateur, entrez tdl.na.sas.com, puis entrez vos informations d'identification Windows lorsque vous y êtes invité. Cela devrait vous lancer dans une session virtuelle sur le serveur.
3. Après avoir installé le bureau à distance, recherchez et lancez soit JMP Pro 19 (le plus à jour, sera remplacé par 18.0.1 lorsqu'il sera prêt) ou JMP Pro 18 (devrait fonctionner très bien mais quelques problèmes ont été résolus dans 19). .
2. Installez votre propre copie du complément Torch en faisant glisser C:\Public\TorchDeepLearning.jmpaddin sur JMP Pro. Vous pouvez également télécharger le complément depuis https://community.jmp.com/t5/JMP-Add-Ins/Torch-Deep-Learning-Add-In-for-JMP-Pro/ta-p/733478 .
3. Cliquez sur Compléments > Torch Deep Learning > Torch Deep Learning et sélectionnez NVIDIA-GPU.
Attendez quelques minutes pour que tous les fichiers soient téléchargés et décompressés avec succès, puis vous êtes prêt à partir.
4. Il s’agit d’une ressource partagée et nous devrons parfois nous relayer. Pour vérifier l'utilisation actuelle, ouvrez d'abord le Gestionnaire des tâches, vérifiez le processeur et la mémoire, puis cliquez sur l'onglet Utilisateurs pour voir qui est connecté. Ensuite, ouvrez une invite de commande et entrez « nvidia-smi » pour voir l'utilisation actuelle du GPU.
Si au moins un des GPU est à 0%, vous êtes prêt à partir. Si les deux GPU sont utilisés, veuillez revenir plus tard. Si vous exécutez des modèles et utilisez les GPU, vous pouvez continuer pendant plusieurs heures, mais une fois terminé, assurez-vous de sauvegarder votre travail et de fermer JMP afin d'effacer toute la mémoire du GPU. Pour utiliser le deuxième GPU dans le complément Torch, sous Options avancées, sélectionnez Périphérique « cuda:1 » la première fois que vous exécutez le complément.
5. Profitez de l'exécution de modèles Torch avec la vitesse du GPU NVIDIA ! Choisissez parmi des exemples de données, le Torch Storybook ou vos propres données. Le dossier C:\Public est partagé avec tout le monde et devrait être pratique pour transférer des fichiers. N'hésitez pas également à créer des dossiers dans C:\ pour enregistrer les données et les résultats.
6. Veuillez signaler tout problème, commentaire, question ou suggestion ici ou envoyez-moi un message direct.
Nous comprenons que l'étape 2 gaspille de l'espace disque, car chacun de nous se retrouve avec son propre ensemble de grandes DLL. Le lecteur C: dispose de 1 To d'espace, donc ça devrait aller pendant un moment. Si l'un d'entre vous est familiarisé avec la configuration d'un complément avec des fichiers partagés sur un serveur comme celui-ci, veuillez me contacter et nous pourrons l'essayer ici. Je ne sais pas si les DLL sont réentrantes - ce serait une bonne chose à vérifier pour les clients qui pourraient opter pour une configuration comme celle-ci. Procter & Gamble en parle déjà.
Objet : Discussion et commentaires internes sur Torch Deep LearningCorrectif prévu pour la version 18.0.1 supprimant le milieu des messages longs pour l'affichage de la fenêtre tout en envoyant le message complet au journal.
Objet : Discussion et commentaires internes sur Torch Deep LearningPublication croisée des équipes « Nouveau dans la formation JMP 18 » :
Bonjour à tous, Un Torch Storybook mis à jour est joint avec six nouveaux exemples :
J'aimerais dédier « Love Your Smile » à Ian, dont le sourire chaleureux et curieux a suscité d'innombrables interactions fructueuses et a été au centre de ce qui fait la force de notre culture et de nos logiciels JMP. Sans parler de son excellent complément pour afficher les structures chimiques à partir de chaînes SMILES . Et obtenez ceci : similaire à l'exemple de temps de rétention par chromatographie liquide de @Chunwei_Ma sur les peptides, nous pouvons prédire avec précision les activités chimiques comme l'IGC50 en utilisant un modèle de langage de transformateur comme BertTiny avec des chaînes SMILES comme entrées. Vraiment impressionnant et inspiré par Ian :cara_que_sonríe_con_ojos_sonrientes:
Conseils à @lkimhui pour les images SEM, @Byron_JMP pour les images M&M (mêmes données que Manchester), @jiancao pour les données de l'enquête sur les casinos de Toronto et @Chunwei_Ma pour Yeast_RPLC. J'apprécie vraiment tous vos commentaires et votre intérêt, et nous ne faisons que commencer ! De nombreux correctifs et améliorations sont à venir dans la version 18.0.1.
@lkimhui et Amanda Loh ont fait un excellent travail avec leur webinaire Torch pour l'Asie/Océanie :
Complément Torch JMP Pro 18 - 20 mars 2024.mp4
Enfin, pour ceux d'entre vous dont le matériel est lent, nous travaillons avec le service informatique pour mettre en place un serveur Windows interne avec relais GPU NVIDIA dans lequel vous pouvez utiliser un bureau à distance et exécuter JMP Pro avec Torch. Les détails devraient arriver bientôt.
Objet : Discussion et commentaires internes sur Torch Deep LearningMerci @russ_wolfinger , après une bonne nuit de sommeil, JMP m'a permis de réinstaller:)
Objet : Discussion et commentaires internes sur Torch Deep LearningSalut @Florian_Vogt Il doit y avoir un fichier ou un processus ouvert suite à l'exécution précédente du complément ou éventuellement à partir d'une deuxième instance JMP. Assurez-vous que toutes les sessions JMP sont fermées, ne vérifiez rien dans le Gestionnaire des tâches, puis réessayez. Si cela ne fonctionne toujours pas, vous pouvez supprimer complètement le dossier com.jmp.torchdeeplearning et recommencer. Si votre vitesse Internet est correcte, la durée totale de l'installation à partir de zéro ne devrait pas dépasser une minute ou deux avec les téléchargements.
Objet : Discussion et commentaires internes sur Torch Deep LearningSalut tout le monde,
Je souhaitais mettre à jour le complément vers la version récemment publiée. J'ai téléchargé le nouveau fichier et je voulais l'installer, mais ceci est apparu :
Après un redémarrage de JMP, le complément a disparu du menu, mais je ne parviens toujours pas à l'installer.
Des idées sur ce que j'ai raté ?
Objet : Discussion et commentaires internes sur Torch Deep LearningJ'ai créé un ticket Jira pour ce problème il y a quelque temps. C'était fermé.
Objet : Discussion et commentaires internes sur Torch Deep LearningEn utilisant un sous-ensemble de l'ensemble de données NIST, les paramètres affichés dans la fenêtre ont créé un message d'erreur si long qu'il défilait hors de la page afin que je ne puisse pas la fermer, j'ai donc dû tuer manuellement JMP. Fonctionnant sur un MacBook Pro M3/Max.
Objet : Discussion et commentaires internes sur Torch Deep Learning@russ_wolfinger , merci, c'était un problème de taille d'image. Lorsque j'ai augmenté la taille de l'image à 112, le modèle a fonctionné sans problème. Serait-il possible d'ajouter une coche ou de définir la taille de l'image par défaut pour qu'elle soit compatible avec le modèle d'image sélectionné ?
Objet : Discussion et commentaires internes sur Torch Deep LearningMerci @Peter_Hersh, je viens de publier ce qui suit sur le chat des équipes de formation SE et permettez-moi de le republier ici pour m'assurer que les gens le voient. Plus précisément, je suis intéressé de savoir si CUDA est installé et si cela fait une différence, car je pense que votre RTX A3000 devrait fonctionner plutôt bien dans de nombreux cas. Notez également qu'AlexNet et plusieurs autres modèles auront besoin que la taille de l'image soit supérieure à 28. 224 est souvent très bon mais ralentira les temps d'exécution. Les tailles d'image de 56 et 112 peuvent également bien fonctionner dans de nombreux cas et être plus rapides que 224.
Utilisateurs d'ordinateurs portables Windows : vous aurez peut-être encore de la chance grâce aux accélérations avec une carte NVIDIA, du moins pour les modèles d'image et de texte plus petits. Veuillez essayer les étapes suivantes :
1. Vérifiez quelle carte NVIDIA vous possédez en ouvrant le Gestionnaire des tâches, cliquez sur l'onglet Performances, puis regardez vers le bas. Mon ThinkPad a une Quadro RTX 3000 avec 6 Go de RAM, ce qui n'est pas une trop mauvaise carte
2. Si votre carte NVIDIA semble correcte, ouvrez une invite de commande et tapez la commande « nvidia-smi ». Le résultat devrait ressembler à ce qui suit, indiquant votre version de CUDA, le nom de votre carte, ainsi que son utilisation actuelle de la mémoire et du calcul.
3. Si nvidia-smi n'est pas trouvé, installez les pilotes CUDA en suivant les instructions ici : Guide d'installation CUDA pour Microsoft Windows (nvidia.com) Je sais que cela semble long, mais il ne s'agit principalement que de vérifications et cela ne devrait prendre que 10 minutes environ. Vérifiez que CUDA est correctement installé en répétant l'étape 2.
4. Installez le complément Torch depuis myjmp.com, page Early Adopter. La première fois que vous lancerez la plateforme, 7 gros fichiers seront téléchargés. S'il vous plaît soyez patient et laissez-les télécharger à 100 % et décompresser complètement. Si, pour une raison quelconque, l'installation est interrompue ou ne se termine que partiellement, supprimez l'intégralité du dossier du complément com.jmp.torchdeeplearning (cliquez sur Affichage > Compléments, Torch Deep Learning, Dossier personnel) et réessayez.
5. Essayez l'exemple MNIST complet en cliquant sur Compléments > Torch Deep Learning > Exemples de données > MNIST. Cliquez sur la flèche verte du script Torch intégré près du coin supérieur gauche, puis sur Go. Pendant son exécution, essayez nvidia-smi dans votre shell de commande plusieurs fois pour vérifier l'utilisation du GPU. Le mien affiche environ 1 Go de mémoire et 40 % de calcul lors de l'exécution de MNIST. La durée totale d'exécution est de 50 secondes sur mon ThinkPad - pas trop mal. À titre de comparaison, le même travail prend en réalité environ 2 minutes sur mon bureau avec une Quadro RTX 6000 plus grande que j'ai utilisée hier.
6. Pour les modèles d'image et de texte plus grands, réduisez la taille du lot pour utiliser moins de mémoire GPU. Un lot de 8 ou même de 4 ou 2 peut être nécessaire. Vous pouvez généralement également utiliser moins d'époques lorsque vous diminuez la taille du lot, car le modèle effectue des étapes plus fréquemment et converge plus rapidement.
7. L'API NVIDIA C++ n'offre actuellement pas un excellent moyen d'effacer la mémoire GPU et elle a tendance à s'accumuler après l'exécution de plusieurs modèles. Si vous recevez un message d'erreur de mémoire insuffisante et/ou si votre sortie nvidia-smi affiche une mémoire presque pleine, le seul recours est d'arrêter complètement et de redémarrer JMP Pro. Enregistrez les modèles avant de le faire à partir du triangle rouge et vous pourrez reprendre là où vous vous étiez arrêté. De plus, Ctrl-J est pratique pour prendre des instantanés de la sortie en cours et les enregistrer en tant que journal JMP. C'est ce que j'ai fait pour les journaux du livre d'histoires.
Objet : Discussion et commentaires internes sur Torch Deep Learning@russ_wolfinger , Oui, allez-y et utilisez l'ensemble de données, il s'agit d'un sous-ensemble d'un ensemble de données plus vaste que j'ai obtenu de Kaggle. J'ai exécuté un ensemble de données de taille moyenne avec environ 3 000 images et cela a bien fonctionné pour les paramètres par défaut en utilisant le modèle d'image LeNet5. Quelque chose dans ces trois types de modèles me posait des problèmes.
J'ai un GPU NVIDIA RTX A3000 avec 6 Go de mémoire dédiée. J'ai un processeur de 64 Go.
Objet : Discussion et commentaires internes sur Torch Deep Learning@Peter_Hersh Merci pour le rapport. Le script intégré avec 8 modèles d'image différents s'exécute proprement sur ma machine avec un GPU en 10 minutes environ et l'utilisation finale de la mémoire GPU est de 4 Go. Le message d'erreur que vous avez reçu semble être légitime : votre ordinateur n'a plus de mémoire. Puis-je vous demander sur quel type de matériel vous utilisez ?
AlexNet et DenseNet121 nécessitent des valeurs plus grandes pour la taille de l'image, comme 112 ou 224. Nous travaillons sur une meilleure messagerie d'erreur à ce sujet.
Ce sont de belles données avec des radiographies pulmonaires. Serait-il acceptable de l'ajouter au livre d'histoires ? Quelle est la source des données ?
Objet : Discussion et commentaires internes sur Torch Deep LearningQuelques modèles d'images que j'ai essayés avec cet ensemble de données me donnent un message d'erreur. AlexNet, EfficientNetB0, DenseNet121 ont tous donné le message d'erreur ci-dessous.
Objet : Discussion et commentaires internes sur Torch Deep LearningSalut @russ_wolfinger
Un responsable vient de me demander s'il est possible d'implémenter sa propre architecture de modèle. Est-ce possible? Et comment dois-je m'y prendre ?
Merci pour votre réponse
Objet : Discussion et commentaires internes sur Torch Deep LearningSalut @Steph_Georges ,
Je pense que cela a été mentionné dans la documentation d'aide du complément. Personnellement, je n'ai pas encore essayé de créer mon propre modèle, mais j'ai des prospects qui posent exactement la même question.
J'espère que cela t'aides:)
Objet : Discussion et commentaires internes sur Torch Deep LearningMerci beaucoup @lkimhui pour la belle citation et l'explication.
Bonjour @Steph_Georges , comme @lkimhui le mentionne, nous avons configuré le complément pour lire automatiquement tous les fichiers .pt tracés par JIT dans les dossiers indiqués pour la modélisation d'images ou de texte. Les utilisateurs peuvent créer et pré-entraîner ces modèles dans PyTorch, utiliser un script JIT ou une trace pour les enregistrer, puis les copier dans ces dossiers et ils seront affichés dans le menu au prochain lancement du complément. Nous sommes également très ouverts aux suggestions de modèles à ajouter officiellement au complément.
Permettez-moi également de mentionner que pour les données tabulaires et images, l'interface elle-même est assez flexible pour concevoir des architectures personnalisées à l'aide d'options avancées telles que la taille des couches, l'activation, l'abandon et la norme. Ceux-ci sont conçus pour fonctionner avec MLP (tabulaire), CustomConv1d (série chronologique/fonctionnelle) et CustomConv2d (image).
Ré: Discussion interne et commentaires sur Torch Deep LearningBonjour à tous, je viens de réaliser une nouvelle vidéo d'introduction : jmp.com/support/downloads/TorchDeepLearning18/videos/Torch_Intro2.mp4
J'essaie de m'améliorer avec Camtasia, mais wow, j'ai une toute nouvelle appréciation pour les vidéos vraiment bien faites. J'apprécierais sincèrement tout commentaire que vous pourriez fournir sur le contenu, le style ou d'autres éléments connexes ; plus c'est critique, mieux c'est !
Ré: Discussion interne et commentaires sur Torch Deep LearningMerci d'avoir fait cela Russ, en conjonction avec votre livre d'histoires, cela sera d'une grande aide pour les SE.
En ce qui concerne votre demande de feedback, cela dépend de votre public cible. Pour les SE, nous aurons probablement besoin de plus de détails techniques à mesure que nous approfondirons les méthodes.
Pour les utilisateurs, mon conseil serait de commencer par l'histoire (dans votre livre d'histoires) - ce qu'un utilisateur typique fait aujourd'hui pour résoudre le problème, les problèmes liés au maintien du système en l'état, l'opportunité que le module complémentaire Torch offre pour améliorer cela, puis de montrer simplement le résultat final (le moment aha, en évitant de savoir comment arriver au résultat final), puis de décrire les gains de l'utilisateur et les avantages commerciaux qui en résultent. Cela motivera le public à explorer davantage.
Ré: Discussion interne et commentaires sur Torch Deep LearningBonjour Torchers, Je prépare une nouvelle vidéo d'introduction de 2 minutes. J'attends vos commentaires sur la première version - ci-joint. Merci !
Ré: Discussion interne et commentaires sur Torch Deep LearningIl s'agit d'une excellente bande-annonce riche en fonctionnalités, Russ, qui plaira probablement aux utilisateurs potentiels qui appliquent déjà les méthodes dans une certaine mesure, mais souhaitent gagner du temps et éventuellement prendre une décision plus éclairée. Si, d'un autre côté, vos utilisateurs cibles sont ceux qui ont le problème ou le besoin (par exemple, remplacer la classification manuelle des images par une classification « automatisée » pour éviter la monotonie, les erreurs et gagner du temps) mais qui ne sont familiers avec aucune des méthodes, vous souhaiterez peut-être plutôt commencer par la douleur/le problème (par exemple, classer manuellement les images prend du temps, est sujet aux erreurs et est un travail fastidieux) et peindre une vision de la solution montrant le résultat de l'analyse en mettant moins l'accent sur la partie pratique –- plus l'accent sur les gains de l'utilisateur.
Meilleur,
Malcolm
Ré: Discussion interne et commentaires sur Torch Deep LearningDans le même ordre d'idées, voici des vidéos d'introduction pour XGBoost et le diagramme de Venn. Je les ai mises en ligne pour la Marketplace. Vos commentaires sont les bienvenus !
Ré: Discussion interne et commentaires sur Torch Deep LearningLa documentation la plus récente est extrêmement utile, notamment pour expliquer comment évaluer de nouvelles données. Je pense que deux fonctionnalités rendraient cela encore plus facile. Tout d'abord, un moyen simple de supprimer les anciens modèles. Peut-être que je ne sais pas où cela se fait, mais je suis allé dans le dossier sur le disque où les modèles sont stockés et je les ai supprimés via le système d'exploitation. Deuxièmement, un moyen simple de récupérer ce qui a été utilisé pour la ou les colonnes de validation. Je suppose que lors de l'évaluation de nouvelles données, le nombre exact de colonnes de validation, de types de modélisation et de niveaux est nécessaire. Je trouve que ce niveau de détail est difficile à suivre, en particulier lorsqu'un grand nombre de modèles sont créés.
Objet : Discussion interne et commentaires sur Torch Deep LearningRuss, je rencontre une erreur lorsque j'essaie d'enregistrer un modèle. J'ai essayé de l'enregistrer localement dans le dossier AppData par défaut, sur un disque dur, mon bureau, et je reçois sans cesse une alerte indiquant que le dossier n'existe pas. Qu'en pensez-vous ?
Objet : Discussion interne et commentaires sur Torch Deep Learning@Peter_Polito Merci pour votre signalement. La configuration actuelle du code nécessite de spécifier le champ « Dossier » sous « Options avancées » avant d'exécuter le modèle. Une fois l'entraînement terminé, un sous-dossier est créé sous ce dossier principal, nommé par défaut « Modèle 1 ». L'option « Enregistrer le modèle » (triangle rouge) renomme ensuite ce sous-dossier.
Si tout le reste échoue, vous pouvez également renommer ou déplacer manuellement les sous-dossiers dans l'Explorateur Windows ou le Finder de Mac. Cela rejoint la suggestion de @DonMcCormack de proposer un moyen plus simple de gérer ces dossiers. Nous n'avons encore rien trouvé à ce sujet, mais c'est une bonne idée.
Objet : Discussion interne et commentaires sur Torch Deep LearningCela fait un moment que je n'ai pas utilisé le serveur. J'ai voulu réinstaller le module complémentaire Torch et j'ai reçu le message suivant : « Impossible de terminer l'installation. Le répertoire de destination ou le fichier dans le répertoire de destination est verrouillé. » Des suggestions ?
Objet : Discussion interne et commentaires sur Torch Deep LearningJ'ai reçu quelques erreurs différentes lorsque j'ai essayé de noter un nouvel ensemble de données avec un modèle.
J'essayais de recréer quelque chose que j'avais fait dans le passé, mais pour une raison quelconque, cela ne fonctionne plus.
Objet : Discussion interne et commentaires sur Torch Deep LearningJ'aurais dû préciser que cela avait été fait dans JMP Pro 19.0.0. (Tout fonctionne parfaitement dans JMP Pro 18.)
Objet : Discussion interne et commentaires sur Torch Deep LearningDes nouvelles concernant la sauvegarde correcte des fichiers CAM ? Un client me pose la question et rencontre ce problème d'« images noires ».
Re: Discussions et commentaires internes sur Torch Deep LearningJ'ai reçu une question d'un de nos clients, formulée comme suit :
« Je pense que de nombreux utilisateurs de Torch Deep Learning maîtrisent déjà Python. Dans ce contexte, quel est l'intérêt d'effectuer du deep learning sur JMP, et existe-t-il des exemples concrets d'adoption ? »
En réponse, j'ai organisé mes idées comme suit.
Tout d'abord, lors des phases de preuve de concept et d'exploration, JMP offre un avantage indéniable en termes de rapidité et de facilité d'expérimentation. Les modèles d'apprentissage profond basés sur l'image et le texte peuvent être testés rapidement sans écrire de code, permettant ainsi une évaluation rapide de leur faisabilité.
Deuxièmement, JMP Pro n'a pas vocation à remplacer Python. En pratique, lorsque la modélisation avancée repose exclusivement sur des utilisateurs maîtrisant Python, ces derniers peuvent constituer un goulot d'étranglement. Permettre aux utilisateurs non-Python de réaliser des preuves de concept et des travaux de validation dans JMP Pro contribue à répartir les responsabilités et à accélérer l'analyse au sein de l'organisation.
Sur cette base, j'apprécierais vos commentaires sur tout avantage supplémentaire, ainsi que des exemples concrets d'adoption, en particulier des cas d'utilisation typiques et des exemples qui sont passés de la preuve de concept à la production.
Merci.
Re: Discussions et commentaires internes sur Torch Deep Learning@YusukeKoizumi Bonne réflexion et bonnes réponses.
Troisièmement, JMP Pro offre un environnement interactif et dynamique avec une large gamme de résultats numériques et graphiques, tant pour l'entraînement que pour l'inférence. Par exemple, vous pouvez sélectionner les points de validation mal classés dans le tableau JMP en traçant un rectangle, puis effectuer une analyse visuelle des erreurs. Vous pouvez également ajouter une matrice de profit à votre réponse binaire et optimiser interactivement les seuils de décision.
