Torch 深度學習內部討論與回饋大家好。今天出現了一個問題，現場技術銷售成員如何提供有關 Torch 深度學習插件 (TDLA) 的回饋。我希望我們使用此線程進行內部討論和錯誤報告。如果您發現錯誤，請提供導致該問題的步驟以及所使用的資料集的描述（或至少提供資料集的描述）。
另外，正如我在今天的 TDLA 培訓中提到的，不要向 JMP 擴展的技術支援發送錯誤或崩潰報告。
回覆：Torch 深度學習內部討論與回饋我用這個資料集嘗試過的幾個圖像模型給了我一個錯誤訊息。 AlexNet、EfficientNetB0、DenseNet121 都給出了以下錯誤訊息。
回覆：Torch 深度學習內部討論與回饋@Peter_Hersh感謝您的報告。具有 8 個不同影像模型的嵌入式腳本在我的具有 GPU 的機器上全程乾淨利落地運行，大約需要 10 分鐘，最終 GPU 記憶體使用量為 4 GB。您收到的錯誤訊息似乎是合法的——您的機器記憶體不足。請問您運行在什麼硬體上？
AlexNet 和 DenseNet121 需要更大的影像大小值，例如 112 或 224。我們正在圍繞此研究更好的錯誤訊息傳遞。
這是胸部 X 光檢查得出的很好的數據。把它加到故事書裡可以嗎？數據來源是什麼？
回覆：Torch 深度學習內部討論與回饋@russ_wolfinger ，是的，繼續使用該資料集，它是我從 Kaggle 獲得的更大資料集的子集。我運行了一個包含約 3000 張圖像的中型資料集，它在使用 LeNet5 圖像模型的預設下運作良好。這三種模型類型給我帶來了問題。
我有一個帶有 6GB 專用記憶體的 NVIDIA RTX A3000 GPU。我有一個 64GB 的 CPU。
回覆：Torch 深度學習內部討論與回饋謝謝@Peter_Hersh ，我剛剛在 SE 培訓團隊聊天中發布了以下內容，讓我在此處重新發布以確保人們看到它。具體來說，有興趣了解您是否安裝了 CUDA，以及這是否會產生影響，因為我認為您的 RTX A3000 在許多情況下應該都能很好地工作。另請注意，AlexNet 和其他幾個模型需要圖像大小大於 28。224 通常非常好，但會減慢運行時間。 56 和 112 的圖像大小在許多情況下也可以很好地工作，並且比 224 更快。
Windows 筆記型電腦使用者：您可能仍然幸運地使用 NVIDIA 卡獲得加速，至少對於較小的圖像和文字模型而言。請嘗試以下步驟：
1. 開啟任務管理器，按一下效能選項卡，然後查看底部附近，檢查您擁有的 NVIDIA 卡。我的 ThinkPad 有一個帶有 6 GB RAM 的 Quadro RTX 3000，這塊卡還不錯
2. 如果您的 NVIDIA 卡看起來沒問題，請開啟命令提示字元並鍵入命令「nvidia-smi」。輸出應類似於以下內容，顯示您的 CUDA 版本、卡片名稱及其目前記憶體和運算使用情況。
3. 如果未找到 nvidia-smi，請按照此處的說明安裝 CUDA 驅動程式： Microsoft Windows 的 CUDA 安裝指南 (nvidia.com)我知道這些看起來很長，但主要只是檢查，這應該只需要大約10分鐘。重複步驟 2，驗證 CUDA 是否已正確安裝。
4. 從 myjmp.com 的早期採用者頁面安裝 Torch 外掛程式。第一次啟動平台時，將會下載 7 個大檔案。請耐心等待，讓這些文件下載到 100% 並完全解壓縮。如果因為某些原因安裝中斷或僅部分完成，請刪除整個 com.jmp.torchdeeplearning 外掛程式資料夾（點擊視圖 > 外掛程式、Torch Deep Learning、主資料夾），然後重試。
5. 點選加載項 > Torch Deep Learning > 範例資料 > MNIST 嘗試完整的 MNIST 範例。按一下左上角附近嵌入的 Torch 腳本綠色箭頭，然後按一下「Go」。當它運行時，在命令 shell 中嘗試 nvidia-smi 幾次以檢查 GPU 使用情況。我的在運行 MNIST 時顯示大約 1 GB 記憶體和 40% 的計算量。在我的 ThinkPad 上，總運行時間為 50 秒——不太差。相比之下，在我昨天使用的更大的 Quadro RTX 6000 桌面上，同樣的工作實際上只需要大約 2 分鐘。
6. 對於較大的圖像和文字模型，減少批次大小以使用更少的 GPU 記憶體。批量大小可能需要 8 甚至 4 或 2。減少 Batch Size 時，您通常還可以使用較少的 Epoch，因為模型會更頻繁地執行步驟並且收斂得更快。
7. NVIDIA C++ API 目前沒有提供清除 GPU 記憶體的好方法，並且在運行多個模型後往往會累積。如果您收到記憶體不足錯誤訊息和/或 nvidia-smi 輸出顯示記憶體幾乎已滿，唯一的辦法是完全關閉並重新啟動 JMP Pro。在執行此操作之前從紅色三角形儲存模型，您可以從上次停下的地方繼續。另外，Ctrl-J 可以輕鬆拍攝當前輸出的快照並將它們保存為 JMP 日誌 - 這就是我對故事書中的日誌所做的操作
回覆：Torch 深度學習內部討論與回饋@russ_wolfinger ，謝謝，這是圖像大小問題。當我將圖像大小提高到 112 時，模型可以正常工作。是否可以新增檢查或設定預設影像尺寸以與所選影像模型相容？
回覆：Torch 深度學習內部討論與回饋使用 NIST 資料集的子集，視窗中顯示的設定建立了錯誤訊息，時間過長，它就會滾出頁面，因此我無法關閉它，因此我必須手動終止 JMP。在 MacBook Pro M3/Max 上運作。
回覆：Torch 深度學習內部討論與回饋如果您可以將其發送到該插件的新支援電子郵件JMPLSAddins@JMP.com ，則可以對其進行調查。我見過同樣的問題，但這是一個已知問題。
回覆：Torch 深度學習內部討論與回饋我不久前為此問題創建了一個 Jira 票證。它已經關門了。
回覆：Torch 深度學習內部討論與回饋謝謝@malcolm_moore1，我剛剛重置了 C:\Public 上的權限，這樣每個人都可以讀/寫。我之前設置過它們，但不知何故它們又變回來了。希望這次他們能堅持下去。
回覆：Torch 深度學習內部討論與回饋大家好，
我收到了一些請求，要求分享用於演示Torch 外掛點播網路研討會的幻燈片。
幹得好！
回覆：Torch 深度學習內部討論與回饋這些說明中需要增加兩件事：
- 您的電腦必須透過 VPN 連接才能存取伺服器，否則將無法連接
- 完成後，請登出伺服器，連線數量有限。幾秒鐘前我連接時，我看到有兩個人在線上。其中一個被列為“離開”，另一個被列為空閒 1 小時 30 分鐘。
回覆：Torch 深度學習內部討論與回饋謝謝@Chris_Kirchberg，我剛剛更新了說明，第一步是 VPN。對於電腦本身，IT 部門大概在昨天下午取消了所有並髮用戶數量的限制。今天你看到這個限制了嗎？如果是的話我可以再問他們。
回覆：Torch 深度學習內部討論與回饋謝謝拉斯，現在一切正常。
回覆：Torch 深度學習內部討論與回饋我今天早上確實看到了@russ_wolfinger
回覆：Torch 深度學習內部討論與回饋大家好，
我很想知道客戶在 Torch 插件中創建模型後如何在 JMP 之外部署其模型的建議 - 因為它位於您可以在 Formula Depot 中分配的公式的“外部”，所以最好的流程是什麼？
謝謝，
本
回覆：Torch 深度學習內部討論與回饋@Ben_Ingham您好，我們仍在努力簡化流程，但目前有一些在 Python 筆記本中部署保存的 .pt 檔案的範例。點擊“視圖”>“加載項”，選擇“TorchDeepLearning”，點擊“主資料夾”鏈接，然後查看筆記本子資料夾。
每個模型都保存在 2-3 個單獨的 .pt 檔案中，以啟用中間嵌入的輸出。在 Python 中，需要指定完全相同的架構，然後從 .pt 檔案載入模型權重。如果您進行 K 折，則會保存多個模型，可以對它們進行平均/集成，以獲得更穩定和準確的預測。
回覆：Torch 深度學習內部討論與回饋嗨，拉斯，
這真是太棒了，謝謝。
「遠端桌面進入」到底是什麼意思？我怎麼做？
謝謝
佛洛里安
回覆：Torch 深度學習內部討論與回饋嗨弗洛里安，
從您的筆記型電腦搜尋 Microsoft 遠端桌面應用程式。如果您沒有看到它，您可能需要從託管軟體中心安裝它。當您啟動遠端桌面應用程式時，您需要按照 Russ 的說明建立連線。
馬爾科姆
回覆：Torch 深度學習內部討論與回饋@Florian_Vogt您好，我剛剛在開始時更新了有關遠端桌面的更多詳細資訊的說明。如果它不適合您，請告訴我。我不熟悉國際上的運作方式，可能需要額外的步驟。
回覆：Torch 深度學習內部討論與回饋
附議這一點，請在使用後註銷實例，空閒用戶仍在消耗 RAM。
附上 5 個空閒用戶的累積值，已經消耗了約 23% 的 128GB RAM。
回覆：Torch 深度學習內部討論與回饋謝謝@lkimhui 。大家都清楚，「斷開連線」和「註銷」是有差別的。中斷連線或僅關閉遠端桌面連線應用程式不會終止會話，JMP 和您開啟的任何其他應用程式仍在伺服器上執行。要終止會話並釋放任何已使用的資源，您需要「註銷」。 Windows 功能表中提供了「登出」選項，按一下您的登入名，然後選擇「登出」。
回覆：Torch 深度學習內部討論與回饋謝謝金！
回覆：Torch 深度學習內部討論與回饋謝謝~！
回覆：Torch 深度學習內部討論與回饋大家好，
想要嘗試真正快速的 NVIDIA GPU 嗎？尋求志工！請不要讓這分散您對銷售職責的注意力，但您可以在重要的銷售機會或空閒時間中使用它。
您可能聽說過 SAS 目前非常積極地透過其許多分析部門的 CUDA 編碼進行 NVIDIA 特定 GPU 開發。他們正在購買一系列新的 NVIDIA 設備，一直到最新的 H100，價格超過 25,000 美元。
他們需要一些基準測試，我一直在聯繫，表明使用我們擁有的用於圖像和文本分類的所有新示例，通過 Torch 插件和掛鉤 GPU 啟動和運行 JMP Pro 是多麼容易和快速，回歸。
他們剛剛為我們設定了一台新的 Windows 2022 伺服器，配備四個獨立的 L40 GPU，每個 GPU 都有 48 GB 記憶體！ L40 比 TDL 上的 P100 現代化了三代。
如果您想嘗試這個新伺服器，請直接給我發送訊息，我將向您發送登入憑證和說明。我們所要求的只是您發回您嘗試的模型的一些運行時間（您的選擇或我可以推薦一些），這些運行時間將列印在您適合的每個 Torch 模型之後的 JMP 日誌中。
對於一些初始案例，我一直在嘗試 Torch Storybook 中的幾個不同範例，並且發現比 P100 的速度提高了約 2-3 倍。
喜歡這個東西，
拉斯
