Conversion des fichiers Torch Addin en modèleJe mets ceci ici au cas où quelqu'un serait capable de comprendre la documentation plus que moi, mais j'essaie simplement de charger n'importe quelle sortie de modèle du complément Torch dans Python. Quelqu'un a-t-il de la chance en faisant ça ? J'espère pouvoir simplement charger le dictionnaire d'état du modèle donné que j'ai sélectionné, mais cela ne semble pas fonctionner.
# %%
from pathlib import Path
import torch
from torchvision.models import efficientnet_b2
# %%
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model_path = Path(__file__).parent.parent/"models/VI Models/E353 EffNetB2 MLP DOR20"
model_paths = list(model_path.glob("*v1f1*.pt")) # just pick one model for now
# %%
model = efficientnet_b2(dropout=0.2).to(device)
# %%
model_paths[0].relative_to(model_path) # WindowsPath('tdl_jmp_v1f1_jnet.pt')
# %%
model_part = torch.jit.load(model_paths[0], map_location=device)
model_part
# %%
model.load_state_dict(model_part.state_dict())
# this fails with
# RuntimeError: Error(s) in loading state_dict for EfficientNet:
# Missing key(s) in state_dict: "features.0.0.weight", "features.0.1.weight", "features.0.1.bias", "features.0.1.running_mean", .... very long list
# Unexpected key(s) in state_dict: "0.0.0.weight", "0.0.1.weight", "0.0.1.bias", "0.0.1.running_mean", .... very long list
# %%
Automatisation et scriptRe : Conversion des fichiers Torch Addin en modèle@vince_faller Merci pour le message. Après
model_part = torch.jit.load(model_paths[0], map_location=device)
le modèle est prêt à fonctionner pour prédire les images. Il n'est pas nécessaire d'instancier efficientnet_b2 depuis torchvision et de charger un state_dict. Le fichier modèle compilé juste à temps contient à la fois l'architecture du modèle et les poids entraînés.
Exécutez simplement model_part(image) après avoir configuré un tenseur d'image. Après cela, il y a trois autres étapes : la mise en commun, l'intégration et le prédicteur linéaire final.
Je joins un exemple de bloc-notes de bout en bout et un exemple d'image, y compris les étapes pour afficher les résultats intermédiaires. Veuillez modifier le suffixe sur déployer_image_model.py pour que le fichier soit nommé déployer_image_model.ipynb
Re : Conversion des fichiers Torch Addin en modèlec'est le même que celui qui se trouve dans la documentation et qui n'aide pas vraiment. Comment pouvons-nous savoir, à partir d'une capture d'écran de la boîte de dialogue Addin, ce que sont ces éléments. par exemple, comment connaître la méthode de normalisation ou les valeurs de normalisation imagenet à utiliser ? Comment savoir quel pooler utiliser (l'architecture est censée être en JIT ?) ? Je ne comprends pas pourquoi vous faites Tnet et Tnet1 ? Juste pour montrer qu'ils correspondent ? Parfois, vous utilisez tous la version 1 du calque, parfois non.
Peut-être que mon problème est que tout ce que je reçois, ce sont ces fichiers et cette capture d'écran.
Désolé pour mon ignorance. Et merci pour votre patience.
Re : Conversion des fichiers Torch Addin en modèle@vince_faller C'est certes déroutant et nous allons travailler pour le rationaliser. Il y a essentiellement quatre pièces dans l'ordre suivant :
1. Modèle d'image : architecture et poids contenus dans le fichier modèle *_jnet.pt.
2. Pooling : correspond à la spécification des couches de pooling
3. Modèle tabulaire : correspond à tous les autres paramètres et la sortie finale a la dimension embed_size, qui est la dernière valeur des tailles de couche.
4. Final Linear : doit être nn.Linear(embed_size, y_size) où y_size est la dimension de Y qui est prédite.
Après chaque étape, vous devriez être en mesure de tirer parti de la précédente, de créer une nouvelle sortie et de construire le modèle étape par étape.
Si quelque chose ne s'aligne pas, il peut être très utile d'examiner les dictées d'état et les dimensions des tenseurs de sortie pour voir où se trouvent les disparités et les ajuster en conséquence. C'est pourquoi nous mettons ces cellules d'impression supplémentaires dans l'exemple de bloc-notes.
Si vous avez un nouvel exemple que vous aimeriez voir élaboré, veuillez l'envoyer.
Re : Conversion des fichiers Torch Addin en modèleGrâce aux efforts d’experts, le deep learning est possible chez JMP.
Je voudrais également poser une question sur la reconnaissance d'images JMP, même si je ne parviens toujours pas à obtenir le logiciel JMP Pro 18 :
Si les images que j'utilise pour les identifier sont toutes générées à partir de tables de données connues.Lorsque vous utilisez le plug-in Torch pour l'identification, pouvez-vous importer directement les données de la table d'origine ?
Mais je pense qu’il serait préférable de le voir à travers une image, tu sais ?Cela a-t-il du sens?
Merci les experts !
Re : Conversion des fichiers Torch Addin en modèleSalut @lala Merci pour votre question. Je ne suis pas tout à fait ce que vous entendez par "importer directement les données de la table d'origine". Si vous souhaitez importer des images à partir de fichiers .png ou .jpg sur le disque, c'est assez simple avec Fichier > Importer plusieurs fichiers. Si ce n'est pas ce que vous demandez, pourriez-vous s'il vous plaît expliquer davantage ou peut-être fournir un petit exemple, je peux commenter davantage.
En attendant, même sans JMP Pro 18, il peut être intéressant de télécharger Torch_Storybook.jmp depuis https://community.jmp.com/t5/JMP-Add-Ins/Torch-Deep-Learning-Add-In-for -JMP-Pro/ta-p/733478 (voir le lien dans le coin supérieur droit), ouvrez-le dans une version antérieure de JMP et cliquez sur divers liens intéressants pour voir comment les données d'image sont traitées dans divers exemples. Il existe également des liens sur la page précédente vers quelques didacticiels vidéo, dont un sur la classification des images. Ceux-ci peuvent aider à répondre à votre question.
Re : Conversion des fichiers Torch Addin en modèleMerci pour la réponse de l'expert.
J'ai trouvé un exemple plus intuitif :
Tout comme les graphiques des cours boursiers au jour le jour, ils sont générés par les changements de "Ouvert", "Haut", "Bas", "Ferme", "Volume" d'un jour à l'autre.
Il est possible de prédire l'évolution future des prix directement avec la règle de modification des données originales, et bien sûr, il est également possible d'utiliser les différentes formes du graphique des cours boursiers pour prédire grâce à la reconnaissance graphique.
De cette manière, le plug-in Torch de JMP 18 peut importer directement des données brutes sur le cours des actions à des fins de formation, en omettant le processus de reconnaissance d'image.
Y a-t-il une différence entre les deux types de formation ?
Merci beaucoup pour l'aide de l'expert.
Re : Conversion des fichiers Torch Addin en modèleSalut @lala. Eh bien, je suis sûr que les traders avancés ont essayé presque toutes les manières imaginables de prédire les futurs cours des actions.
Les images sont une certaine manière de coder des données en utilisant l'emplacement des pixels et les couleurs. Bien que l’entraînement neuronal approfondi sur les images soit certainement différent de l’entraînement sur les caractéristiques des séries chronologiques tabulaires, en fin de compte, des données d’entrée similaires dans les deux formes auront tendance à produire des résultats similaires.
Nous observons un phénomène similaire lors de la formation sur des données spectrales utilisant des entrées fonctionnelles ou d'images dans JMP. Voir le Torch Storybook pour quelques exemples.
Re : Conversion des fichiers Torch Addin en modèleMerci aux experts pour les réponses parfaites.J'apprends d'abord le code du fichier d'exemple du plug-in.Attendez que j'obtienne le JMP Pro 18.
Merci les experts !
