Interne Diskussion und Feedback von Torch Deep LearningHallo zusammen. Heute wurde die Frage gestellt, wie die technischen Vertriebsmitarbeiter im Außendienst Feedback zum Torch Deep Learning Add-In (TDLA) geben können. Ich möchte, dass wir diesen Thread für interne Diskussionen und Fehlerberichte nutzen. Wenn Sie einen Fehler finden, geben Sie bitte eine Beschreibung der Schritte an, die zu dem Problem geführt haben, sowie den verwendeten Datensatz (oder zumindest eine Beschreibung des Datensatzes).
Wie ich heute in der Schulung zu TDLA erwähnt habe, senden Sie außerdem keine Fehler- oder Absturzberichte an den technischen Support für diese Erweiterung von JMP.
Betreff: Interne Diskussion und Feedback von Torch Deep LearningBei einigen Bildmodellen, die ich mit diesem Datensatz ausprobiert habe, erhalte ich eine Fehlermeldung. AlexNet, EfficientNetB0 und DenseNet121 gaben alle die folgende Fehlermeldung aus.
Betreff: Interne Diskussion und Feedback von Torch Deep Learning@Peter_Hersh Danke für die Meldung. Das eingebettete Skript mit 8 verschiedenen Bildmodellen läuft auf meinem Rechner mit GPU in etwa 10 Minuten sauber durch und die endgültige GPU-Speichernutzung beträgt 4 GB. Die Fehlermeldung, die Sie erhalten haben, scheint legitim zu sein – Ihr Computer hat nicht mehr genügend Speicher. Darf ich fragen, auf welcher Art von Hardware Sie arbeiten?
AlexNet und DenseNet121 erfordern größere Werte für die Bildgröße wie 112 oder 224. Wir arbeiten an einer besseren Fehlermeldung diesbezüglich.
Das sind schöne Daten mit Röntgenaufnahmen des Brustkorbs. Wäre es in Ordnung, es dem Bilderbuch hinzuzufügen? Was ist die Quelle der Daten?
Betreff: Interne Diskussion und Feedback von Torch Deep Learning@russ_wolfinger , Ja, machen Sie weiter und verwenden Sie den Datensatz. Es ist eine Teilmenge eines größeren Datensatzes, den ich von Kaggle erhalten habe. Ich habe einen mittelgroßen Datensatz mit ca. 3000 Bildern ausgeführt und er hat mit den Standardeinstellungen unter Verwendung des LeNet5-Bildmodells gut funktioniert. Etwas an diesen drei Modelltypen bereitete mir Probleme.
Ich habe eine NVIDIA RTX A3000 GPU mit 6 GB dediziertem Speicher. Ich habe eine 64-GB-CPU.
Betreff: Interne Diskussion und Feedback von Torch Deep LearningDanke @Peter_Hersh. Ich habe gerade Folgendes im SE Training Teams-Chat gepostet und möchte es hier erneut veröffentlichen, um sicherzustellen, dass es die Leute sehen. Insbesondere würde es mich interessieren, ob Sie CUDA installiert haben und ob das einen Unterschied macht, da Ihre RTX A3000 meiner Meinung nach in vielen Fällen recht gut funktionieren sollte. Beachten Sie auch, dass für AlexNet und mehrere andere Modelle eine Bildgröße größer als 28 erforderlich sein muss. 224 ist oft sehr gut, verlangsamt jedoch die Laufzeiten. Auch die Bildgrößen 56 und 112 können in vielen Fällen gut funktionieren und sind schneller als 224.
Benutzer von Windows-Laptops: Möglicherweise haben Sie mit einer NVIDIA-Karte immer noch Glück, zumindest bei kleineren Bild- und Textmodellen, Geschwindigkeitssteigerungen zu erzielen. Bitte versuchen Sie die folgenden Schritte:
1. Überprüfen Sie, welche NVIDIA-Karte Sie haben, indem Sie den Task-Manager öffnen, auf die Registerkarte „Leistung“ klicken und dann unten nachsehen. Mein ThinkPad verfügt über eine Quadro RTX 3000 mit 6 GB RAM, was keine schlechte Karte ist
2. Wenn Ihre NVIDIA-Karte in Ordnung aussieht, öffnen Sie eine Eingabeaufforderung und geben Sie den Befehl „nvidia-smi“ ein. Die Ausgabe sollte etwa wie folgt aussehen und Ihre CUDA-Version, den Kartennamen sowie die aktuelle Speicher- und Rechennutzung anzeigen.
3. Wenn nvidia-smi nicht gefunden wird, installieren Sie die CUDA-Treiber, indem Sie den Anweisungen hier folgen: CUDA-Installationshandbuch für Microsoft Windows (nvidia.com) Ich weiß, diese sehen lang aus, aber es sind größtenteils nur Überprüfungen und dies sollte nur etwa 10 Minuten dauern. Überprüfen Sie, ob CUDA ordnungsgemäß installiert ist, indem Sie Schritt 2 wiederholen.
4. Installieren Sie das Torch-Add-In von myjmp.com, Early Adopter-Seite. Beim ersten Start der Plattform werden 7 große Dateien heruntergeladen. Bitte haben Sie etwas Geduld und lassen Sie diese zu 100 % herunterladen und vollständig entpacken. Wenn die Installation aus irgendeinem Grund unterbrochen wird oder nur teilweise abgeschlossen wird, löschen Sie den gesamten Add-In-Ordner com.jmp.torchdeeplearning (klicken Sie auf „Ansicht > Add-Ins, Torch Deep Learning, Home-Ordner“) und versuchen Sie es erneut.
5. Probieren Sie das vollständige MNIST-Beispiel aus, indem Sie auf Add-Ins > Torch Deep Learning > Beispieldaten > MNIST klicken. Klicken Sie auf den eingebetteten grünen Pfeil des Torch-Skripts in der oberen linken Ecke und dann auf „Los“. Versuchen Sie während der Ausführung mehrmals nvidia-smi in Ihrer Befehlsshell, um die GPU-Auslastung zu überprüfen. Meiner zeigt etwa 1 GB Speicher und 40 % Rechenleistung an, wenn MNIST ausgeführt wird. Die Gesamtlaufzeit auf meinem ThinkPad beträgt 50 Sekunden – nicht allzu schlecht. Zum Vergleich: Derselbe Job dauert auf meinem Desktop mit einer größeren Quadro RTX 6000, die ich gestern verwendet habe, tatsächlich etwa 2 Minuten.
6. Verringern Sie bei größeren Bild- und Textmodellen die Stapelgröße, um weniger GPU-Speicher zu verbrauchen. Möglicherweise ist eine Losgröße von 8 oder sogar 4 oder 2 erforderlich. Sie können in der Regel auch weniger Epochen verwenden, wenn Sie die Stapelgröße verringern, da das Modell häufiger Schritte ausführt und schneller konvergiert.
7. Die NVIDIA C++-API bietet derzeit keine gute Möglichkeit, GPU-Speicher zu löschen, und dieser sammelt sich nach der Ausführung mehrerer Modelle an. Wenn Sie die Fehlermeldung „Nicht genügend Arbeitsspeicher“ erhalten und/oder Ihre nvidia-smi-Ausgabe fast vollen Speicher anzeigt, besteht die einzige Möglichkeit darin, JMP Pro vollständig herunterzufahren und neu zu starten. Speichern Sie vorher Modelle im roten Dreieck und Sie können dort weitermachen, wo Sie aufgehört haben. Außerdem ist Strg-J praktisch, um Schnappschüsse der aktuellen Ausgabe zu machen und sie als JMP-Journal zu speichern – das habe ich für die Tagebücher im Storybook gemacht
Betreff: Interne Diskussion und Feedback von Torch Deep Learning@russ_wolfinger , Danke, es war ein Problem mit der Bildgröße. Als ich die Bildgröße auf 112 erhöhte, funktionierte das Modell ohne Probleme. Wäre es möglich, eine Prüfung hinzuzufügen oder die Standardbildgröße so festzulegen, dass sie mit dem ausgewählten Bildmodell kompatibel ist?
Betreff: Interne Diskussion und Feedback von Torch Deep LearningUnter Verwendung einer Teilmenge des NIST-Datensatzes führten die im Fenster angezeigten Einstellungen zu einer Fehlermeldung, solange sie von der Seite verschwand, sodass ich sie nicht schließen konnte, sodass ich JMP manuell beenden musste. Läuft auf einem MacBook Pro M3/Max.
Betreff: Interne Diskussion und Feedback von Torch Deep LearningWenn Sie dies an die neue Support-E-Mail-Adresse für das Add-In, JMPLSAddins@JMP.com , senden können, kann es untersucht werden. Ich habe das gleiche Problem gesehen und es ist jedoch ein bekanntes Problem.
Betreff: Interne Diskussion und Feedback von Torch Deep LearningIch habe vor einiger Zeit ein Jira-Ticket für dieses Problem erstellt. Es war geschlossen.
Re: Torch Deep Learning Internal Discussion and FeedbackHi all,
I wanted to update the Add-In to the Version which was recently released. I downloaded the new file and wanted to install, but then this came up:
After a restart of JMP, the Addin was gone from the menu, but I still can't install it.
Any ideas what I messed up?
Re: Torch Deep Learning Internal Discussion and FeedbackFix planned for 18.0.1 cutting out the middle of long messages for window display and still sending the full message to the log.
Betreff: Interne Diskussion und Feedback zu Torch Deep LearningDanke @malcolm_moore1. Ich habe gerade die Berechtigungen für C:\Public zurückgesetzt, sodass jeder Lese-/Schreibrechte hat. Ich hatte sie vorher festgelegt und irgendwie wurden sie wieder geändert. Hoffentlich bleiben sie dieses Mal erhalten.
Betreff: Interne Diskussion und Feedback zu Torch Deep LearningHallo zusammen,
Ich habe einige Anfragen erhalten, die Folie freizugeben, die für die Präsentation des On-Demand-Webinars zum Torch-Add-in verwendet wurde.
Bitte schön!
Betreff: Interne Diskussion und Feedback zu Torch Deep LearningZwei Dinge, die dieser Anleitung hinzuzufügen sind:
- Sie müssen Ihren Computer über VPN verbunden haben, um auf den Server zugreifen zu können, sonst können Sie keine Verbindung herstellen
- Wenn Sie fertig sind, melden Sie sich bitte vom Server ab. Die Anzahl der Verbindungen ist begrenzt. Ich sehe, dass zwei Personen online sind, als ich mich vor ein paar Sekunden verbunden habe. Einer wurde als abwesend aufgeführt und der andere war 1 Stunde und 30 Minuten lang inaktiv.
Betreff: Interne Diskussion und Feedback zu Torch Deep LearningDanke @Chris_Kirchberg, ich habe gerade die Anleitung aktualisiert, wobei der erste Schritt ein VPN ist. Für den Computer selbst hat die IT gestern Nachmittag vermutlich alle Beschränkungen hinsichtlich der Anzahl gleichzeitiger Benutzer aufgehoben. Haben Sie diese Einschränkung heute bemerkt? Wenn ja, kann ich sie noch einmal fragen.
Betreff: Interne Diskussion und Feedback zu Torch Deep LearningDanke, Russ, jetzt funktioniert alles.
Betreff: Interne Diskussion und Feedback zu Torch Deep LearningIch habe es heute Morgen gesehen , @russ_wolfinger
Betreff: Interne Diskussion und Feedback zu Torch Deep LearningHallo alle,
Ich bin gespannt auf Vorschläge, wie ein Kunde sein Modell nach der Modellerstellung im Torch-Add-In außerhalb von JMP bereitstellen würde. Was wäre das beste Verfahren, da es „außerhalb“ der Formeln liegt, die Sie im Formeldepot ausgeben können?
Danke,
Ben
Betreff: Interne Diskussion und Feedback zu Torch Deep LearningHallo @Ben_Ingham , wir arbeiten noch daran, den Prozess zu optimieren, aber im Moment gibt es einige Beispiele für die Bereitstellung der gespeicherten .pt-Dateien in Python-Notebooks. Klicken Sie auf Ansicht > Add-Ins, wählen Sie TorchDeepLearning, klicken Sie auf den Link „Home-Ordner“ und suchen Sie dann im Unterordner „Notebooks“.
Jedes Modell wird in 2-3 separaten .pt-Dateien gespeichert, um die Ausgabe von Zwischeneinbettungen zu ermöglichen. In Python müssen genau dieselben Architekturen angegeben werden, und dann werden die Modellgewichte aus den .pt-Dateien geladen. Wenn Sie K-fold verwenden, werden mehrere Modelle gespeichert, die für stabilere und genauere Vorhersagen gemittelt/zusammengefasst werden können.
Betreff: Interne Diskussion und Feedback zu Torch Deep LearningHallo Russ,
das ist großartig, danke.
Was genau meinst du mit „ Remotedesktopzugang“? Wie mache ich das?
Danke
Florian
Betreff: Interne Diskussion und Feedback zu Torch Deep LearningHallo Florian,
Suchen Sie auf Ihrem Laptop nach einer Microsoft-Remotedesktop-App. Wenn Sie sie nicht sehen, müssen Sie sie möglicherweise vom Managed Software Center installieren. Wenn Sie die Remotedesktop-App starten, müssen Sie den Anweisungen von Russ folgen, um eine Verbindung herzustellen.
Malcolm
Betreff: Interne Diskussion und Feedback zu Torch Deep LearningHallo @Florian_Vogt, ich habe die Anleitung gerade am Anfang mit mehr Details zu Remote Desktop aktualisiert. Bitte lassen Sie mich wissen, wenn es bei Ihnen nicht funktioniert. Ich bin nicht vertraut damit, wie die Dinge international funktionieren, und möglicherweise sind zusätzliche Schritte erforderlich.
Betreff: Interne Diskussion und Feedback zu Torch Deep Learning
Dem stimme ich zu. Bitte melden Sie sich nach der Verwendung von Instanzen ab, da inaktive Benutzer weiterhin RAM verbrauchen.
Anbei die Ansammlung von 5 inaktiven Benutzern, die bereits ~23 % des 128 GB RAM verbraucht haben.
Betreff: Interne Diskussion und Feedback zu Torch Deep LearningDanke @lkimhui . Damit es allen klar ist: Es gibt einen Unterschied zwischen „Trennen“ und „Abmelden“. Das Trennen oder einfache Schließen der Remotedesktopverbindungsanwendung beendet die Sitzung nicht, JMP und alle anderen Apps, die Sie geöffnet haben, werden weiterhin auf dem Server ausgeführt. Um die Sitzung zu beenden und alle verwendeten Ressourcen freizugeben, müssen Sie sich „abmelden“. Die Option „Abmelden“ ist im Windows-Menü verfügbar. Klicken Sie auf Ihren Anmeldenamen und wählen Sie dann „Abmelden“.
Betreff: Interne Diskussion und Feedback zu Torch Deep LearningDanke, Kim!
Betreff: Interne Diskussion und Feedback zu Torch Deep LearningVielen Dank~!
Betreff: Interne Diskussion und Feedback zu Torch Deep LearningHallo zusammen,
Sie möchten eine richtig schnelle NVIDIA-GPU ausprobieren? Freiwillige gesucht! Lassen Sie sich dadurch bitte nicht von Ihren Vertriebsaufgaben ablenken, aber vielleicht können Sie dies für wichtige Verkaufsgelegenheiten oder in Ihrer Freizeit nutzen.
Sie haben vielleicht gehört, dass SAS derzeit in vielen seiner Analyseabteilungen sehr aktiv an der NVIDIA-spezifischen GPU-Entwicklung mittels CUDA-Codierung arbeitet. Sie erwerben eine Menge neuer NVIDIA-Ausrüstung, angefangen bei den neuesten H100s, die über 25.000 US-Dollar kosten können.
Sie müssen einige Benchmarking-Tests durchführen und ich habe sie darauf hingewiesen, wie einfach und schnell es ist, JMP Pro mit dem Torch-Add-In und Pegging-GPUs zum Laufen zu bringen, indem wir alle neuen Beispiele verwenden, die wir für die Bild- und Textklassifizierung und -regression haben.
Sie haben gerade einen neuen Windows 2022-Server für uns eingerichtet, mit vier separaten L40-GPUs mit jeweils 48 GB Speicher! Die L40s sind drei Generationen moderner als die P100s auf TDL.
Bitte senden Sie mir direkt eine Nachricht, wenn Sie diesen neuen Server ausprobieren möchten, und ich werde Ihnen Anmeldeinformationen und Anweisungen senden. Wir bitten Sie lediglich, uns ein paar Laufzeiten der Modelle zurückzusenden, die Sie ausprobieren (Ihre Wahl oder ich kann Ihnen einige empfehlen), die im JMP-Protokoll nach jedem von Ihnen installierten Torch-Modell gedruckt werden.
Ich habe für einige erste Fälle verschiedene Beispiele aus dem Torch Storybook ausprobiert und sehe eine etwa zwei- bis dreimal höhere Geschwindigkeit im Vergleich zum P100.
Ich liebe dieses Zeug,
Russ
