Preguntas y recursos de aprendizaje profundoHola a todos,
Me preguntaba si alguien tenía alguna recomendación de artículos o libros sobre algunas de las configuraciones avanzadas del complemento Torch.
Por ejemplo, ¿qué es la diapositiva sigma X e Y? ¿Cómo elegir el valor L1? etc.
También sería muy apreciado cualquier recurso recomendado que analice la combinación de modelos de imagen y tabulares.
Mejor,
Clodoveo
Re: preguntas y recursos sobre aprendizaje profundoGracias por la pregunta @cweisbart . El complemento es una combinación de varios componentes principales y es probable que actualmente no exista una única gran referencia definitiva, aunque planeamos continuar ampliando los materiales de capacitación con el tiempo. Algunas ideas por ahora:
- Al pasar el mouse directamente sobre la etiqueta de cualquier parámetro, aparecerá una breve descripción emergente. por ejemplo, para X Slide Sigma: "Desviación estándar del desplazamiento aleatorio gaussiano a lo largo del eje X".
- En general, todas las opciones avanzadas de la tercera columna son para el aumento dinámico de la imagen durante el entrenamiento. El aumento es un poderoso método de aprendizaje profundo para crear pseudodatos para cada lote. por ejemplo, al voltear horizontalmente una imagen de un perro o un gato, aún se puede etiquetar como perro o gato, y el modelo puede ver una gama más amplia de imágenes posibles. Lo mismo ocurre con otras manipulaciones de imágenes como cambiar, rotar o desenfocar. Los modelos entrenados con aumento tienden a generalizar mejor.
- La penalización L1 es análoga a la penalización de lazo en GenReg y tiende a dispersar la solución. Buenos valores para probar son 1e-6 y 1e-5. Del mismo modo, Weight Decay es como una penalización de cresta y los mismos dos valores suelen funcionar bien.
- La combinación de modelos Imagen y Tabular es algo exclusiva de este complemento. Lo hicimos de esta manera para brindar la posibilidad de mezclar y combinar de manera más flexible. El modelo tabular siempre se ejecuta después del modelo de imagen y toma incrustaciones del modelo de imagen como entrada.
- El documento (haga clic en Complementos > Torch Deep Learning > Ayuda) tiene algunos detalles adicionales en las páginas 28-31.
- Hemos intentado utilizar terminología bastante estándar en todo momento, de modo que la búsqueda en la web de un término en particular probablemente proporcione resultados útiles, antecedentes e incluso ejemplos. Cualquier resultado del documento PyTorch debería ser muy sólido.
No dude en enviar más comentarios o preguntas en cualquier momento y no olvide que tenemos TDL y nuevos servidores Campfire disponibles si desea probar algunas GPU más rápidas.
Re: preguntas y recursos sobre aprendizaje profundoGracias por la respuesta, muy útil! Estaba escaneando el pdf de ayuda sobre los archivos .pt almacenados. Veo que los "inet" son la columna vertebral de la imagen, los "tnet" son las capas de incrustación y los "linp" son las capas finales. También tengo algunos archivos "_optim.pt". ¿Qué representan esos? ¡Gracias de antemano!
Re: preguntas y recursos sobre aprendizaje profundo@russ_wolfinger ¡ Cualquier comentario sobre los archivos "_optim.pt" sería muy apreciado! ¡Gracias de antemano por la ayuda!
