Domande e risorse sull'apprendimento profondoCiao a tutti,
Mi chiedevo se qualcuno avesse qualche consiglio su libri o articoli da leggere per quanto riguarda le impostazioni avanzate del componente aggiuntivo Torch?
Ad esempio, cosa sono le sigma diapositive X e Y? Come scegliere il valore L1? ecc.
Saranno inoltre molto apprezzate eventuali risorse consigliate che affrontino la combinazione di modelli di immagini e tabulari.
Migliore,
Clodoveo
Re: Domande e risorse sul deep learning@cweisbart Grazie per il promemoria: i file "_optim.pt" sono i più grandi perché contengono tutto il resto e anche informazioni sulla formazione stessa, così da poterla riprendere. Sono usati quando si specifica "Restore From" nella finestra di dialogo Torch, ma non sono necessari per la distribuzione, perché salviamo separatamente i componenti principali del modello.
Re: Domande e risorse sul deep learning@russ_wolfinger qualsiasi feedback sui file "_optim.pt" sarebbe super apprezzato! Grazie in anticipo per l'aiuto!
Re: Domande e risorse sul deep learningGrazie per la risposta, molto utile! Stavo esaminando il pdf di aiuto sui file .pt archiviati. Vedo che gli "inet" sono le dorsali delle immagini, i "tnet" sono gli strati di incorporamento e i "linp" gli strati finali. Ho anche alcuni file "_optim.pt". Cosa rappresentano? Grazie in anticipo!
Re: Domande e risorse sul deep learningGrazie per la domanda @cweisbart . L'add-in è una combinazione di diversi componenti principali e probabilmente non c'è un singolo grande riferimento definitivo al momento, anche se abbiamo in programma di continuare ad ampliare i materiali di formazione nel tempo. Alcune idee per ora:
- Passando il mouse direttamente sopra l'etichetta di un parametro qualsiasi, dovrebbe apparire una breve descrizione pop-up. Ad esempio per X Slide Sigma: "Deviazione standard dello spostamento casuale gaussiano lungo l'asse X".
- In generale, tutte le opzioni avanzate nella terza colonna sono per l'aumento dinamico delle immagini durante l'addestramento. L'aumento è un potente metodo di apprendimento profondo per creare pseudo dati per ogni batch. Ad esempio, capovolgere un'immagine di un cane o di un gatto orizzontalmente può ancora essere etichettato come cane o gatto e il modello è in grado di vedere una gamma più ampia di possibili immagini. Lo stesso vale per altre manipolazioni delle immagini come lo spostamento, la rotazione, la sfocatura. I modelli addestrati con l'aumento tendono a generalizzare meglio.
- La penalità L1 è analoga alla penalità lazo in GenReg e tende a diradare la soluzione. Buoni valori da provare sono 1e-6 e 1e-5. Allo stesso modo Weight Decay è come una penalità di cresta, e gli stessi due valori spesso funzionano bene.
- La combinazione di modelli Immagine e Tabulare è in un certo senso unica per questo componente aggiuntivo. L'abbiamo fatto in questo modo per fornire la possibilità di mescolare e abbinare in modo più flessibile. Il modello Tabulare viene sempre eseguito dopo il Modello Immagine e prende gli incorporamenti dal Modello Immagine come input.
- Il documento (cliccare su Componenti aggiuntivi > Torch Deep Learning > Guida) contiene ulteriori dettagli alle pagine 28-31.
- Abbiamo cercato di usare una terminologia abbastanza standard in tutto il testo, quindi la ricerca sul web di un termine specifico fornirà probabilmente risultati utili, informazioni di base e persino esempi. Qualsiasi riscontro dal documento PyTorch stesso dovrebbe essere molto solido.
Non esitate a inviarci ulteriori commenti o domande in qualsiasi momento e non dimenticate che abbiamo a disposizione i server TDL e i nuovi server Campfire se volete provare GPU più veloci.
