751107_de-DE

liliconcom

Konvertieren von Torch-Add-In-Dateien in ein Modell

Ich stelle das hier ein, falls jemand die Dokumentation besser versteht als ich, aber ich versuche einfach, eine beliebige Modellausgabe vom Torch-Add-In in Python zu laden. Hat jemand damit Erfolg gehabt? Ich hoffe, dass ich einfach das Statuswörterbuch des von mir ausgewählten Modells laden kann, aber das scheint nicht zu funktionieren.

# %%
from pathlib import Path

import torch
from torchvision.models import efficientnet_b2
# %%
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model_path = Path(__file__).parent.parent/"models/VI Models/E353 EffNetB2 MLP DOR20"
model_paths = list(model_path.glob("*v1f1*.pt")) # just pick one model for now

# %%
model = efficientnet_b2(dropout=0.2).to(device)
# %%
model_paths[0].relative_to(model_path) # WindowsPath('tdl_jmp_v1f1_jnet.pt')
# %%
model_part = torch.jit.load(model_paths[0], map_location=device)
model_part
# %%
model.load_state_dict(model_part.state_dict())
# this fails with 
# RuntimeError: Error(s) in loading state_dict for EfficientNet:
#     Missing key(s) in state_dict: "features.0.0.weight", "features.0.1.weight", "features.0.1.bias", "features.0.1.running_mean", .... very long list
#     Unexpected key(s) in state_dict: "0.0.0.weight", "0.0.1.weight", "0.0.1.bias", "0.0.1.running_mean", .... very long list
# %%

Automatisierung und SkriptingBetreff: Konvertieren von Torch-Add-In-Dateien in ein Modell

@vince_faller Danke für den Beitrag. Nach

model_part = torch.jit.load(model_paths[0], map_location=device)

Das Modell ist bereit, Bilder vorherzusagen. Es ist nicht erforderlich, efficientnet_b2 von Torchvision zu instanziieren und ein state_dict zu laden. Die Just-in-Time kompilierte Modelldatei enthält sowohl die Modellarchitektur als auch die trainierten Gewichte.

Führen Sie einfach model_part(image) aus, nachdem Sie einen Bildtensor eingerichtet haben. Danach folgen drei weitere Schritte: Pooling, Embedder und endgültiger linearer Prädiktor.

Ich füge ein End-to-End-Beispiel-Notebook und ein Beispielbild an, einschließlich der Schritte zum Anzeigen der Zwischenausgaben. Bitte ändern Sie das Suffix von deploy_image_model.py, sodass die Datei deploy_image_model.ipynb heißt.

Betreff: Konvertieren von Torch-Add-In-Dateien in ein Modell

das ist dasselbe, das in der Dokumentation steht und nicht wirklich hilft. Woher wissen wir anhand eines Screenshots des Add-In-Dialogs, was das ist. Woher wissen wir beispielsweise, welche Normalisierungsmethode oder welche Imagenet-Normalisierungswerte zu verwenden sind? Woher wissen wir, welchen Pooler wir verwenden sollen (die Architektur soll in JIT sein?)? Ich bin verwirrt, warum Sie tnet und tnet1 verwenden? Sie zeigen nur, dass sie übereinstimmen? Manchmal verwenden Sie alle die Version 1 der Ebene, manchmal nicht.

Vielleicht liegt mein Problem darin, dass ich nur diese Dateien und diesen Screenshot bekomme.

Entschuldigen Sie meine Unwissenheit. Und danke für Ihre Geduld.

Betreff: Konvertieren von Torch-Add-In-Dateien in ein Modell

@vince_faller Es ist zugegebenermaßen verwirrend und wir werden daran arbeiten, es zu rationalisieren. Es gibt im Wesentlichen vier Teile in der folgenden Reihenfolge:

1. Bildmodell: Architektur und Gewichte sind in der Modelldatei *_jnet.pt enthalten.

2. Pooling: Entspricht der Spezifikation der Pooling-Schichten
3. Tabellarisches Modell: stimmt mit allen anderen Parametern überein, und die endgültige Ausgabe hat die Dimension „embed_size“, die den letzten Wert der Layer-Größen darstellt.
4. Endgültige lineare Werte: muss nn.Linear(embed_size, y_size) sein, wobei y_size die Dimension von Y ist, die vorhergesagt wird.

Nach jedem Schritt sollten Sie in der Lage sein, die Eingaben des vorherigen zu übernehmen, neue Ausgaben zu erstellen und das Modell Schritt für Schritt aufzubauen.

Wenn etwas nicht stimmt, kann es sehr hilfreich sein, sich die Zustandswörterbücher und Dimensionen der Ausgabetensoren anzusehen, um die Abweichungen zu erkennen und entsprechende Anpassungen vorzunehmen. Aus diesem Grund haben wir diese zusätzlichen Ausdruckzellen in das Beispielnotizbuch eingefügt.

Wenn Sie ein neues Beispiel haben, dessen Ausarbeitung Sie gerne sehen würden, senden Sie es uns bitte.

Betreff: Konvertieren von Torch-Add-In-Dateien in ein Modell

Dank des Einsatzes von Experten ist Deep Learning bei JMP möglich.

Ich möchte außerdem eine Frage zur JMP-Bilderkennung stellen, obwohl ich immer noch nicht an die Software JMP Pro 18 komme:

Wenn die Bilder, die ich zur Identifizierung verwende, alle aus bekannten Datentabellen generiert werden.Können Sie die ursprünglichen Tabellendaten direkt importieren, wenn Sie zur Identifizierung das Torch-Plugin verwenden?

Aber ich denke, es wäre besser, es durch ein Bild zu sehen, wissen Sie?Ist das sinnvoll?

Danke, Experten!

Betreff: Konvertieren von Torch-Add-In-Dateien in ein Modell

Hallo @lala, danke für Ihre Frage. Ich verstehe nicht ganz, was Sie mit „die ursprünglichen Tabellendaten direkt importieren“ meinen. Wenn Sie das Importieren von Bildern aus PNG- oder JPG-Dateien auf der Festplatte meinen, ist das mit Datei > Mehrere Dateien importieren ziemlich einfach. Wenn das nicht das ist, was Sie fragen, können Sie es bitte näher erläutern oder vielleicht ein kleines Beispiel angeben, damit ich weiter darauf eingehen kann.

In der Zwischenzeit kann es auch ohne JMP Pro 18 aufschlussreich sein, Torch_Storybook.jmp von https://community.jmp.com/t5/JMP-Add-Ins/Torch-Deep-Learning-Add-In-for-JMP-Pro/ta-p/733478 herunterzuladen (siehe Link in der oberen rechten Ecke), es in einer früheren Version von JMP zu öffnen und auf verschiedene interessante Links zu klicken, um zu sehen, wie Bilddaten in verschiedenen Beispielen verarbeitet werden. Auf der vorhergehenden Seite gibt es auch Links zu einigen Video-Tutorials, darunter eines zur Bildklassifizierung. Diese könnten bei der Beantwortung Ihrer Frage helfen.

Betreff: Konvertieren von Torch-Add-In-Dateien in ein Modell

Danke für die Antwort des Experten.

Mir ist ein intuitiveres Beispiel eingefallen:

Sie werden, genau wie die täglichen Aktienkursdiagramme, durch die täglichen Änderungen bei „Eröffnung“, „Hoch“, „Tief“, „Schluss“ und „Volumen“ generiert.

Mithilfe der Änderungsregeln der Originaldaten ist es möglich, zukünftige Preisänderungen direkt vorherzusagen. Natürlich können auch die verschiedenen Formen von Aktienkursdiagrammen zur Vorhersage durch Grapherkennung verwendet werden.

Auf diese Weise kann das Torch-Plugin von JMP 18 Rohdaten zu Aktienkursen direkt zum Training importieren und macht den Bilderkennungsprozess überflüssig.

Gibt es einen Unterschied zwischen den beiden Trainingsarten?

Vielen Dank für die Hilfe des Experten.

Betreff: Konvertieren von Torch-Add-In-Dateien in ein Modell

Hallo @lala. Ich bin sicher, dass fortgeschrittene Händler nahezu jede erdenkliche Methode ausprobiert haben, um zukünftige Aktienkurse vorherzusagen.

Bilder stellen eine bestimmte Methode zur Datenkodierung mithilfe von Pixelpositionen und Farben dar. Während sich das Deep Neural Training von Bildern sicherlich vom Training tabellarischer Zeitreihenmerkmale unterscheidet, führen ähnliche Eingabedaten in beiden Formen letztlich zu ähnlichen Ergebnissen.

Wir beobachten ein ähnliches Phänomen beim Training mit Spektraldaten unter Verwendung von Funktions- oder Bildeingaben in JMP. Einige Beispiele finden Sie im Torch Storybook.

Betreff: Konvertieren von Torch-Add-In-Dateien in ein Modell

Danke an die Experten für die perfekten Antworten.Ich lerne zuerst den Beispieldateicode des Plug-Ins.Warten Sie, bis ich JMP Pro 18 bekomme.

Danke, Experten!