Domande e risorse sul deep learningCiao a tutti,
Mi chiedevo se qualcuno avesse qualche consiglio su documenti o libri su alcune delle impostazioni avanzate del componente aggiuntivo Torch?
Ad esempio, cos'è il sigma delle diapositive X e Y? Come scegliere il valore L1? eccetera.
Sarebbero molto apprezzate anche eventuali risorse consigliate che esaminino la combinazione di modelli immagine e tabulari.
Migliore,
Clodoveo
Ri: Domande e risorse sul deep learningGrazie per la domanda @cweisbart . Il componente aggiuntivo è una combinazione di diversi componenti principali e probabilmente al momento non esiste un unico riferimento definitivo, anche se prevediamo di continuare ad espandere i materiali di formazione nel tempo. Alcune idee per ora:
- Passando il mouse direttamente sull'etichetta di qualsiasi parametro dovrebbe essere visualizzata una breve descrizione popup. ad esempio per X Slide Sigma: "Deviazione standard dello spostamento casuale gaussiano lungo l'asse X".
- In generale, tutte le opzioni avanzate nella terza colonna riguardano l'aumento dinamico dell'immagine durante l'allenamento. L'aumento è un potente metodo di deep learning per la creazione di pseudodati per ciascun batch. ad esempio, se si capovolge orizzontalmente l'immagine di un cane o di un gatto, è possibile etichettarla come cane o gatto e il modello è in grado di vedere una gamma più ampia di immagini possibili. Allo stesso modo per altre manipolazioni di immagini come spostamento, rotazione, sfocatura. I modelli addestrati con l'aumento tendono a generalizzare meglio.
- La penalità L1 è analoga alla penalità lazo in GenReg e tende a disperdere la soluzione. Buoni valori da provare sono 1e-6 e 1e-5. Allo stesso modo il decadimento del peso è come una penalità di cresta e gli stessi due valori spesso funzionano bene.
- La combinazione dei modelli Immagine e Tabulare è in qualche modo unica per questo componente aggiuntivo. Lo abbiamo fatto in questo modo per fornire la possibilità di combinare e abbinare in modo più flessibile. Il modello tabulare viene sempre eseguito dopo il modello immagine e accetta come input gli incorporamenti dal modello immagine.
- Il documento (fare clic su Componenti aggiuntivi > Torch Deep Learning > Guida) contiene alcuni dettagli aggiuntivi alle pagine 28-31.
- Abbiamo cercato di utilizzare una terminologia abbastanza standard in modo che la ricerca sul Web di un termine particolare possa fornire risultati utili, background e persino esempi. Qualsiasi risultato ottenuto dal documento PyTorch stesso dovrebbe essere molto solido.
Non esitate a inviare ulteriori feedback o domande in qualsiasi momento e non dimenticare che abbiamo a disposizione il TDL e i nuovi server Campfire se desideri provare alcune GPU più veloci
Ri: Domande e risorse sul deep learningGrazie per la risposta, molto utile! Stavo eseguendo la scansione del pdf della guida sui file .pt memorizzati. Vedo che gli "inet" sono la spina dorsale dell'immagine, i "tnet" sono gli strati di incorporamento e i "linp" gli strati finali. Ho anche alcuni file "_optim.pt". Cosa rappresentano? Grazie in anticipo!
Ri: Domande e risorse sul deep learning@russ_wolfinger qualsiasi feedback sui file "_optim.pt" sarebbe molto apprezzato! Grazie in anticipo per l'aiuto!
Ri: Domande e risorse sul deep learning@cweisbart Grazie per il promemoria: i file "_optim.pt" sono i più grandi in quanto contengono tutto il resto, nonché le informazioni sulla formazione stessa in modo che possa essere ripresa. Vengono utilizzati quando si specifica "Ripristina da" nella finestra di dialogo Torch, ma non sono necessari per la distribuzione poiché salviamo i componenti principali del modello separatamente.
