Conversione dei file Torch Addin in un modelloLo metto qui nel caso in cui qualcuno sia in grado di comprendere i documenti più di me, ma sto cercando di caricare semplicemente qualsiasi output del modello dal componente aggiuntivo Torch in Python. Qualcuno ha avuto fortuna nel farlo? Spero di poter semplicemente caricare il decreto di stato del modello specificato che ho selezionato, ma non sembra funzionare.
# %%
from pathlib import Path
import torch
from torchvision.models import efficientnet_b2
# %%
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model_path = Path(__file__).parent.parent/"models/VI Models/E353 EffNetB2 MLP DOR20"
model_paths = list(model_path.glob("*v1f1*.pt")) # just pick one model for now
# %%
model = efficientnet_b2(dropout=0.2).to(device)
# %%
model_paths[0].relative_to(model_path) # WindowsPath('tdl_jmp_v1f1_jnet.pt')
# %%
model_part = torch.jit.load(model_paths[0], map_location=device)
model_part
# %%
model.load_state_dict(model_part.state_dict())
# this fails with
# RuntimeError: Error(s) in loading state_dict for EfficientNet:
# Missing key(s) in state_dict: "features.0.0.weight", "features.0.1.weight", "features.0.1.bias", "features.0.1.running_mean", .... very long list
# Unexpected key(s) in state_dict: "0.0.0.weight", "0.0.1.weight", "0.0.1.bias", "0.0.1.running_mean", .... very long list
# %%
Automazione e scriptingRi: Conversione dei file Torch Addin in un modello@vince_faller Grazie per il post. Dopo
model_part = torch.jit.load(model_paths[0], map_location=device)
il modello è pronto per la previsione delle immagini. Non è necessario creare un'istanza di efficientinet_b2 da torchvision e caricare un state_dict. Il file del modello compilato just-in-time contiene sia l'architettura del modello che i pesi addestrati.
Basta eseguire model_part(image) dopo aver impostato un tensore di immagine. Successivamente ci sono altri tre passaggi: pooling, embedder e predittore lineare finale.
Allego un taccuino di esempio end-to-end e un'immagine di esempio, inclusi i passaggi per mostrare gli output intermedi. Modifica il suffisso su deploy_image_model.py in modo che il file si chiami deploy_image_model.ipynb
Ri: Conversione dei file Torch Addin in un modelloè lo stesso che c'è nella documentazione e non aiuta davvero. Come facciamo a sapere da uno screenshot della finestra di dialogo Addin cosa sono questi. ad esempio, come facciamo a sapere il metodo di normalizzazione o i valori di normalizzazione imagenet da utilizzare? Come facciamo a sapere quale pooler utilizzare (l'architettura dovrebbe essere in JIT?)? Sono confuso perché stai facendo tnet e tnet1? Dimostrare solo che corrispondono? A volte usate la versione 1 del livello, a volte no.
Forse il mio problema è che tutto ciò che ottengo sono questi file e questo screenshot.
Scusate la mia ignoranza. E grazie per la pazienza.
Ri: Conversione dei file Torch Addin in un modello@vince_faller È certamente confuso e lavoreremo per semplificarlo. Ci sono fondamentalmente quattro pezzi nel seguente ordine:
1. Modello Immagine: architettura e pesi contenuti nel file modello *_jnet.pt.
2. Pooling: corrisponde alla specifica dei livelli di pooling
3. Modello tabulare: corrisponde a tutti gli altri parametri e l'output finale ha la dimensione embed_size, che è l'ultimo valore di Dimensioni livello.
4. Lineare finale: deve essere nn.Linear(embed_size, y_size) dove y_size è la dimensione di Y da prevedere.
Dopo ogni passaggio dovresti essere in grado di prendere input da quello precedente e creare un nuovo output e costruire il modello passo dopo passo.
Se qualcosa non si allinea, può essere molto utile osservare i dettami di stato e le dimensioni dei tensori di output per vedere dove sono le discrepanze e apportare modifiche di conseguenza: ecco perché abbiamo inserito quelle celle di stampa extra nel taccuino di esempio.
Se hai un nuovo esempio che vorresti vedere realizzato, invialo.
Ri: Conversione dei file Torch Addin in un modelloGrazie all'impegno degli esperti, in JMP è possibile il deep learning.
Vorrei inoltre porre una domanda sul riconoscimento delle immagini JMP, anche se non riesco ancora a ottenere il software JMP Pro 18:
Se le immagini che utilizzo per identificarle sono tutte generate da tabelle di dati note.Quando utilizzi il plug-in Torch per l'identificazione, puoi importare direttamente i dati della tabella originale?
Ma penso che sarebbe meglio vederlo attraverso un'immagine, sai?Ha senso?
Grazie Esperti!
Ri: Conversione dei file Torch Addin in un modelloCiao @lala, grazie per la tua domanda. Non sto seguendo esattamente cosa intendi con "importare direttamente i dati della tabella originale". Se intendi importare immagini da file .png o .jpg su disco, è abbastanza semplice con File> Importa più file. Se questo non è ciò che stai chiedendo, se potessi spiegare ulteriormente o magari fornire un piccolo esempio, posso commentare ulteriormente.
Nel frattempo, anche senza JMP Pro 18, potrebbe essere informativo scaricare Torch_Storybook.jmp da https://community.jmp.com/t5/JMP-Add-Ins/Torch-Deep-Learning-Add-In-for -JMP-Pro/ta-p/733478 (vedere il collegamento nell'angolo in alto a destra), aprirlo in una versione precedente di JMP e fare clic sui vari collegamenti di interesse per vedere come vengono gestiti i dati dell'immagine in vari esempi. Nella pagina precedente sono inoltre presenti collegamenti ad alcuni tutorial video, incluso uno sulla classificazione delle immagini. Questi possono aiutare a rispondere alla tua domanda.
Ri: Conversione dei file Torch Addin in un modelloGrazie per la risposta dell'esperto.
Ho fatto un esempio più intuitivo:
Proprio come i grafici dei prezzi delle azioni di giorno in giorno, sono generati dalle variazioni di "Apertura", "Alto", "Basso", "Chiusura", "Volume" di giorno in giorno.
È possibile prevedere direttamente la futura variazione del prezzo con la regola di modifica dei dati originali e, naturalmente, è anche possibile utilizzare le diverse forme del grafico del prezzo delle azioni per prevederlo attraverso il riconoscimento del grafico.
Proprio così, il plug-in Torch di JMP 18 può importare direttamente i dati grezzi sui prezzi delle azioni per la formazione, omettendo il processo di riconoscimento delle immagini.
C'è differenza tra le due tipologie di allenamento?
Grazie mille per l'aiuto dell'esperto.
Ri: Conversione dei file Torch Addin in un modelloCiao @lala Beh, sono sicuro che i trader avanzati hanno provato quasi ogni modo immaginabile per prevedere i futuri prezzi delle azioni.
Le immagini sono un certo modo di codificare i dati utilizzando le posizioni e i colori dei pixel. Sebbene l'addestramento neurale profondo sulle immagini sia certamente diverso dall'addestramento sulle caratteristiche delle serie temporali tabulari, alla fine dati di input simili in entrambe le forme tenderanno a produrre risultati simili.
Stiamo assistendo a un fenomeno simile durante l'addestramento sui dati spettrali utilizzando input funzionali o di immagini in JMP. Vedi il libro delle fiabe della torcia per alcuni esempi.
Ri: Conversione dei file Torch Addin in un modelloGrazie agli esperti per le risposte perfette.Per prima cosa imparo il codice del file di esempio del plug-in.Aspetta finché non avrò JMP Pro 18.
Grazie Esperti!
