深度學習問題和資源大家好,
我想知道是否有人對 Torch 插件的一些高級設定有任何論文或書籍推薦?
例如,X 和 Y 滑動西格瑪是什麼? L1值如何選取? ETC。
任何有關圖像和表格模型組合的推薦資源也將不勝感激。
最好的,
克洛維斯
回覆:深度學習問題與資源感謝@cweisbart的提問。該插件是幾個主要組件的組合,目前可能沒有一個很好的明確參考,儘管我們計劃隨著時間的推移繼續擴展培訓材料。現在的一些想法:
- 將滑鼠直接懸停在任何參數的標籤上應該會彈出一個簡短的描述。例如,對於 X Slide Sigma:「沿著 X 軸的高斯隨機移位的標準差」。
- 一般來說,第三列中的所有進階選項都是用於訓練期間的動態影像增強。增強是一種強大的深度學習方法,用於為每個批次建立偽資料。例如,水平翻轉狗或貓的圖片仍然可以標記為狗或貓,並且模型能夠看到更廣泛的可能圖像。對於其他影像處理(如移位、旋轉、模糊)也是如此。經過增強訓練的模型往往具有更好的泛化能力。
- L1 懲罰類似於 GenReg 中的套索懲罰,並且傾向於稀疏化解決方案。值得嘗試的好值是 1e-6 和 1e-5。同樣,權重衰減就像山脊懲罰一樣,相同的兩個值通常效果很好。
- 圖像和表格模型的組合對此外掛來說有些獨特。我們這樣做是為了提供更靈活的混合搭配能力。表格模型始終在圖像模型之後運行,並從圖像模型中獲取嵌入作為輸入。
- 該文件(按一下「外掛程式」>「Torch 深度學習」>「幫助」)在第 28-31 頁上有一些其他詳細資訊。
- 我們嘗試在整個過程中使用相當標準的術語,因此網路搜尋特定術語可能會提供有用的結果、背景,甚至範例。 PyTorch 文件本身的任何點擊都應該非常可靠。
請隨時發送更多回饋或問題,如果您想嘗試一些更快的 GPU,請不要忘記我們有 TDL 和新的 Campfire 伺服器可用
回覆:深度學習問題與資源感謝您的回复,非常有幫助!我正在掃描有關存儲的 .pt 文件的幫助 pdf。我看到“inet”是圖像主幹,“tnet”是嵌入層,“linp”是最終層。我還有一些“_optim.pt”檔案。這些代表什麼?先致謝!
回覆:深度學習問題與資源@russ_wolfinger對“_optim.pt”文件的任何反饋都將非常感激!先謝謝您的幫忙!