Preguntas y recursos sobre aprendizaje profundoHola a todos,
Me preguntaba si alguien tenía alguna recomendación de artículos o libros sobre algunas de las configuraciones avanzadas del complemento Torch.
Por ejemplo, ¿cuál es el sigma de la diapositiva X e Y? ¿Cómo elegir el valor L1? etc.
También sería muy apreciado cualquier recurso recomendado que aborde la combinación de modelos de imagen y tabla.
Mejor,
Clodoveo
Re: Preguntas y recursos sobre aprendizaje profundo@cweisbart Gracias por el recordatorio: los archivos "_optim.pt" son los más grandes, ya que contienen todo lo demás, así como información sobre el entrenamiento en sí, para que pueda reanudarse. Se utilizan al especificar "Restaurar desde" en el cuadro de diálogo de Torch, pero no son necesarios para la implementación, ya que guardamos los componentes principales del modelo por separado.
Re: Preguntas y recursos sobre aprendizaje profundo@russ_wolfinger ¡Agradecería mucho cualquier comentario sobre los archivos "_optim.pt"! ¡Gracias de antemano por la ayuda!
Re: Preguntas y recursos sobre aprendizaje profundoGracias por la respuesta, ¡fue muy útil! Estuve escaneando el PDF de ayuda sobre los archivos .pt almacenados. Veo que los "inet" son los backbones de la imagen, los "tnet" son las capas de incrustación y los "linp" son las capas finales. También tengo algunos archivos "_optim.pt". ¿Qué representan? ¡Gracias de antemano!
Re: Preguntas y recursos sobre aprendizaje profundoGracias por la pregunta, @cweisbart . El complemento es una combinación de varios componentes importantes y es probable que actualmente no exista una única referencia definitiva, aunque tenemos previsto seguir ampliando los materiales de formación con el tiempo. Algunas ideas por ahora:
- Al pasar el mouse directamente sobre la etiqueta de cualquier parámetro, debería aparecer una breve descripción emergente, por ejemplo, para X Slide Sigma: "Desviación estándar del desplazamiento aleatorio gaussiano a lo largo del eje X".
- En general, todas las opciones avanzadas de la tercera columna son para el aumento dinámico de imágenes durante el entrenamiento. El aumento es un método de aprendizaje profundo poderoso para crear pseudodatos para cada lote. Por ejemplo, al voltear una imagen de un perro o un gato horizontalmente, aún se puede etiquetar como un perro o un gato, y el modelo puede ver una gama más amplia de imágenes posibles. Lo mismo ocurre con otras manipulaciones de imágenes, como desplazarlas, rotarlas o desenfocarlas. Los modelos entrenados con aumento tienden a generalizar mejor.
- La penalización de L1 es análoga a la penalización de lazo en GenReg y tiende a dispersar la solución. Algunos valores buenos para probar son 1e-6 y 1e-5. Del mismo modo, la disminución de peso es como una penalización de cresta y los mismos dos valores suelen funcionar bien.
- La combinación de modelos de imagen y tabulares es algo único en este complemento. Lo hicimos de esta manera para brindar la posibilidad de combinarlos de manera más flexible. El modelo tabular siempre se ejecuta después del modelo de imagen y toma las incrustaciones del modelo de imagen como entrada.
- El documento (haga clic en Complementos > Torch Deep Learning > Ayuda) tiene algunos detalles adicionales en las páginas 28 a 31.
- Hemos intentado utilizar una terminología bastante estándar en todo el documento, por lo que es probable que la búsqueda de un término en particular en la web proporcione resultados útiles, antecedentes e incluso ejemplos. Cualquier resultado que obtengamos de la documentación de PyTorch debería ser muy sólido.
No dudes en enviarnos más comentarios o preguntas en cualquier momento y no olvides que tenemos disponibles los servidores TDL y Campfire nuevos si quieres probar algunas GPU más rápidas.
