Comentarios y debates internos sobre aprendizaje profundo de TorchEste es el foro de chat interno oficial del complemento Torch Deep Learning para JMP Pro. El complemento proporciona un componente clave en la hoja de ruta de JMP para el modelado predictivo, el aprendizaje automático y la inteligencia artificial en medio de todo el revuelo actual. Publique preguntas, comentarios o problemas en cualquier momento.
Re: Comentarios y debates internos sobre aprendizaje profundo de TorchSuena genial, @russ_wolfinger .
Le escribiré un correo electrónico a mi cliente y a usted sobre las modificaciones manuales del código.
Gracias de nuevo y me pondré en contacto pronto.
Re: Comentarios y debates internos sobre aprendizaje profundo de TorchHola @DaeYun_Kim Actualmente no, aunque en el archivo de instalación del complemento hay una variable de ruta definida que especifica la ubicación web desde donde se realizan todas las descargas. Un cliente podría cambiar fácilmente esto para que sea una dirección local y luego imitar la misma estructura de carpetas que tenemos en línea para almacenar todos los archivos zip. Encantado de trabajar con usted y el cliente para explicar esto con más detalle y ayudar a modificar el código.
Otra opción es instalar el complemento inicial y luego hacer que cada usuario copie manualmente todos los archivos de la biblioteca dinámica desde una ubicación compartida internamente a la carpeta del complemento local. A menudo hacemos esto internamente con fines de prueba y funciona bien.
Re: Comentarios y debates internos sobre aprendizaje profundo de Torch@russ_wolfinger ¿Se puede instalar el complemento Torch Deep Learning en un entorno cerrado (sin conexión a Internet o con un firewall)? En caso contrario, ¿existe algún método alternativo para instalar este complemento en dicho entorno? Gracias de antemano.
Re: Comentarios y debates internos sobre aprendizaje profundo de TorchHola a todos,
Hemos recibido excelentes comentarios sobre la implementación del modelo Torch, lo cual es una excelente señal de que los clientes están considerando seriamente utilizar los modelos Torch en sus tuberías. Actualmente, el complemento solo proporciona un par de portátiles Jupyter de ejemplo, que dejan mucho que desear en términos de código de implementación real.
Hemos realizado una mejora sustancial recientemente con la implementación de una nueva opción "Generar código Python" fuera del triángulo rojo del modelo y estamos buscando implementarla con 18.1 y 19 Early Adopter. La opción crea código Python que invoca una nueva clase Python llamada JMPTorch que se incluirá en futuras versiones del complemento. El método de predicción de esta clase procesa todos los modelos guardados en un directorio de Torch y crea una predicción de conjunto promedio, encargándose de todos los pasos intermedios e incrustaciones. El archivo zip adjunto contiene el archivo jmptorch.py actual con esta clase junto con un código de invocación de ejemplo y 10 imágenes de ejemplo.
Este código es todo Python y se puede ejecutar en Python de JMP o en Python externo después de instalar los paquetes necesarios. Consulte las instrucciones comentadas en la parte superior de "Modelo 1.py" sobre qué paquetes instalar, incluido, por supuesto, el propio torch.
Me encantaría escuchar sus comentarios sobre esto y cualquier idea que tenga para mejorar. Se lo mostramos a Lumentum ayer y les encantó.
Notas:
- La clase JMPTorch aún está incompleta para texto y modelos más complejos, pero debería funcionar para modelos básicos de clasificación de imágenes y tabulares.
- Actualmente existe un conflicto entre las bibliotecas dinámicas Torch del complemento y otras similares instaladas en Python de JMP, por lo que solo puede ejecutar una u otra en una única sesión de JMP. He estado ejecutando cosas con éxito en dos instancias JMP separadas.
Re: Comentarios y debates internos sobre aprendizaje profundo de TorchGracias @nick_shelton por comprobar esto. La opción Guardar CAM no funciona correctamente actualmente, pero planeamos solucionarlo en una próxima versión. Totalmente de acuerdo, esta es una excelente manera de visualizar e interpretar cómo funcionan las redes neuronales convolucionales.
Re: Comentarios y debates internos sobre aprendizaje profundo de Torch@russ_wolfinger He estado explorando la opción "Guardar CAM". Dada la fortaleza de JMP en visualizaciones, creo que este sería un excelente inicio de conversación sobre el uso de JMP para explicar los modelos de ML. El problema es que no he podido conseguir que la opción funcione para mí. Cada vez que construyo un modelo y uso esa opción, obtengo imágenes que aparecen completamente oscuras. ¿Hay algún paso que me falta?
Re: Comentarios y debates internos sobre aprendizaje profundo de TorchHola a todos,
¿Quieres probar una GPU NVIDIA realmente rápida? ¡Buscamos voluntarios! No permita que esto lo distraiga de sus deberes de ventas, pero es algo que puede utilizar para importantes oportunidades de ventas o en su tiempo libre.
Es posible que haya escuchado que SAS está muy activo actualmente con el desarrollo de GPU específicas de NVIDIA a través de codificación CUDA en muchas de sus divisiones analíticas. Están adquiriendo un montón de equipos NVIDIA nuevos que van hasta los últimos H100 que pueden costar más de 25.000 dólares.
Necesitan una evaluación comparativa y me he puesto en contacto para indicar lo fácil y rápido que es poner en funcionamiento JMP Pro con el complemento Torch y vincular GPU utilizando todos los nuevos ejemplos que tenemos para clasificación de imágenes y texto. regresión.
Acaban de configurarnos un nuevo servidor Windows 2022 con cuatro GPU L40 independientes, cada una con 48 GB de memoria. Los L40 son tres generaciones más modernos que los P100 en TDL.
Envíeme un mensaje directamente si desea probar este nuevo servidor y le enviaré las credenciales de inicio de sesión y las instrucciones. Todo lo que le pedimos es que envíe algunos tiempos de ejecución de los modelos que pruebe (su elección o yo puedo recomendar algunos), que se imprimen en el registro de JMP después de cada modelo de Torch que ajuste.
He estado probando varios ejemplos diferentes del Torch Storybook para algunos casos iniciales y veo aceleraciones de ~2-3x con respecto a los P100.
Me encantan estas cosas
ruso
Re: Comentarios y debates internos sobre aprendizaje profundo de Torch¡Gracias~!
Re: Comentarios y debates internos sobre aprendizaje profundo de Torch¡Gracias kim!
Re: Comentarios y debates internos sobre aprendizaje profundo de TorchGracias @lkimhui . Para que todos queden claros, existe una diferencia entre "desconectar" y "cerrar sesión". Desconectar o simplemente cerrar la aplicación de conexión a escritorio remoto no finaliza la sesión, JMP y cualquier otra aplicación que haya abierto todavía se ejecutan en el servidor. Para finalizar la sesión y liberar los recursos utilizados, debe "cerrar sesión". La opción "cerrar sesión" está disponible en el menú de Windows, haga clic en su nombre de inicio de sesión y luego seleccione "cerrar sesión".
Re: Comentarios y debates internos sobre aprendizaje profundo de Torch
En segundo lugar, cierre sesión en las instancias después de su uso, los usuarios inactivos todavía consumen RAM.
Se adjunta la acumulación de 5 usuarios inactivos y ya consumieron ~23% de los 128 GB de RAM.
Re: Comentarios y debates internos sobre aprendizaje profundo de TorchHola @Ben_Ingham . Todavía estamos trabajando para optimizar el proceso, pero por ahora hay algunos ejemplos de implementación de archivos .pt guardados en cuadernos de Python. Haga clic en Ver > Complementos, seleccione TorchDeepLearning, haga clic en el enlace Carpeta de inicio y luego busque en la subcarpeta de cuadernos.
Cada modelo se guarda en 2 o 3 archivos .pt separados para permitir la salida de incrustaciones intermedias. En Python se deben especificar exactamente las mismas arquitecturas y luego los pesos del modelo se cargan desde los archivos .pt. Si realiza K-fold, se guardarán varios modelos que se pueden promediar/ensamblar para obtener predicciones más estables y precisas.
Re: Comentarios y debates internos sobre aprendizaje profundo de TorchHola a todos,
Tengo curiosidad por ver sugerencias sobre cómo un cliente implementaría su modelo fuera de JMP luego de la creación del modelo en el complemento Torch; como se encuentra "fuera" de las fórmulas, puede dispensar en Formula Depot cuál sería el mejor proceso. ?
Gracias,
ben
Re: Comentarios y debates internos sobre aprendizaje profundo de TorchHola a todos,
Recibí algunas solicitudes para compartir la diapositiva utilizada para presentar el seminario web a pedido del complemento Torch.
¡Aquí tienes!
Re: Comentarios y debates internos sobre aprendizaje profundo de TorchLo vi esta mañana @russ_wolfinger
Re: Comentarios y debates internos sobre aprendizaje profundo de TorchHola @Florian_Vogt. Acabo de actualizar las instrucciones con más detalles sobre Escritorio remoto al principio. Por favor, avíseme si no funciona para usted. No estoy familiarizado con cómo funcionan las cosas a nivel internacional y es posible que se requieran pasos adicionales.
Re: Comentarios y debates internos sobre aprendizaje profundo de TorchHola florián,
Busque una aplicación de escritorio remoto de Microsoft desde su computadora portátil. Si no lo ve, es posible que deba instalarlo desde el centro de software administrado. Cuando inicie la aplicación de escritorio remoto, deberá seguir las instrucciones de Russ para establecer una conexión.
malcolm
Re: Comentarios y debates internos sobre aprendizaje profundo de TorchGracias Russ, todo está funcionando ahora.
Re: Comentarios y debates internos sobre aprendizaje profundo de TorchGracias @Chris_Kirchberg. Acabo de actualizar las instrucciones y el primer paso es una VPN. En el caso del ordenador, supuestamente ayer por la tarde se eliminaron todas las restricciones en cuanto al número de usuarios simultáneos. ¿Has visto esta restricción hoy? Si es así puedo volver a preguntarles.
Re: Comentarios y debates internos sobre aprendizaje profundo de TorchGracias @malcolm_moore1. Acabo de restablecer los permisos en C:\Public para que todos tengan lectura/escritura. Los había configurado antes y de alguna manera volvieron a cambiar. Ojalá se queden esta vez.
Re: Comentarios y debates internos sobre aprendizaje profundo de TorchHola Russ,
Eso es genial, gracias.
¿Qué quieres decir exactamente con " escritorio remoto en"? ¿Cómo puedo hacer eso?
Gracias
florián
Re: Comentarios y debates internos sobre aprendizaje profundo de TorchDos cosas para agregar a estas instrucciones:
- Debe tener su computadora conectada a través de VPN para poder acceder al servidor; de lo contrario, no podrá conectarse
- Cuando haya terminado, cierre sesión en el servidor, hay un número limitado de conexiones. Veo que hay dos personas conectadas cuando me conecté hace unos segundos. Uno figuraba como Ausente y el otro estaba Inactivo durante 1 hora y 30 minutos.
Re: Comentarios y debates internos sobre aprendizaje profundo de TorchGracias Russ, ¿te importaría verificar los permisos de acceso a C:\Public ya que me niegan el acceso cuando intento instalar el complemento?
Mejor,
malcolm
Re: Comentarios y debates internos sobre aprendizaje profundo de TorchEstoy emocionado de anunciar que Windows Server tdl.na.sas.com ha sido creado para que cualquier persona en JMP pueda acceder y utilizar un escritorio remoto, especialmente aquellos de ustedes que tienen capacidades de computación local más lentas. Está muy bien equipado con dos GPU NVIDIA P100, cada una con 12 GB de memoria GPU y 128 GB de CPU RAM. 2-4 de nosotros deberíamos poder ejecutar Torch simultáneamente. Instrucciones:
1. Establezca una conexión VPN. Utilizo Cisco Secure Client AnyConnect VPN, pero no estoy seguro de qué hacen todos a nivel internacional.
2. Inicie la aplicación de escritorio remoto en Windows. Creo que esto también está disponible en Mac a través de Microsoft (corríjame si no funciona en una Mac o si hay una alternativa mejor). Para Computadora, ingrese tdl.na.sas.com y luego ingrese sus credenciales de Windows cuando se le solicite. Esto debería iniciarlo a una sesión virtual en el servidor.
3. Después de acceder al escritorio remoto, busque e inicie JMP Pro 19 (el más actualizado, será reemplazado por 18.0.1 cuando esté listo) o JMP Pro 18 (debería funcionar muy bien, pero tiene algunos problemas solucionados en 19) .
2. Instale su propia copia del complemento Torch arrastrando C:\Public\TorchDeepLearning.jmpaddin a JMP Pro. Alternativamente, puede descargar el complemento desde https://community.jmp.com/t5/JMP-Add-Ins/Torch-Deep-Learning-Add-In-for-JMP-Pro/ta-p/733478
3. Haga clic en Complementos > Aprendizaje profundo de Torch > Aprendizaje profundo de Torch y seleccione NVIDIA-GPU.
Espere unos minutos para que todos los archivos se descarguen y descompriman correctamente y luego estará listo para comenzar.
4. Este es un recurso compartido y es posible que en ocasiones necesitemos turnarnos. Para verificar el uso actual, primero abra el Administrador de tareas, verifique la CPU y la memoria, y luego haga clic en la pestaña Usuarios para ver quién ha iniciado sesión. Luego abra un símbolo del sistema e ingrese "nvidia-smi" para ver el uso actual de la GPU.
Si al menos una de las GPU está al 0%, estás listo para comenzar. Si se utilizan ambas GPU, vuelva más tarde. Si usted es quien ejecuta los modelos y usa las GPU, está bien continuar durante varias horas, pero cuando termine, asegúrese de guardar su trabajo y cerrar JMP para borrar toda la memoria de la GPU. Para usar la segunda GPU en el complemento Torch, en Opciones avanzadas, seleccione Dispositivo "cuda:1" la primera vez que ejecute el complemento.
5. ¡Disfruta ejecutando modelos Torch con velocidad de GPU NVIDIA! Elija entre Datos de ejemplo, el Libro de cuentos de la antorcha o sus propios datos. La carpeta C:\Public se comparte con todos y debería ser conveniente para transferir archivos. También siéntase libre de crear carpetas en C:\ para guardar datos y resultados.
6. Informe cualquier problema, comentario, pregunta o sugerencia aquí o envíeme un mensaje directo.
Entendemos que el Paso 2 es un desperdicio de espacio en el disco porque cada uno de nosotros termina con nuestro propio conjunto de archivos DLL grandes. La unidad C: tiene 1 TB de espacio, por lo que deberíamos estar bien por un tiempo. Si alguno de ustedes está familiarizado con la configuración de un complemento con archivos compartidos en un servidor como este, comuníquese conmigo y podemos probarlo aquí. No estoy seguro de si los archivos DLL son reentrantes; sería bueno comprobarlo para los clientes que opten por una configuración como esta. Procter & Gamble ya habla de ello.
Re: Comentarios y debates internos sobre aprendizaje profundo de TorchSe planificó una solución para 18.0.1 que eliminaba la mitad de los mensajes largos para mostrarlos en la ventana y seguía enviando el mensaje completo al registro.
Re: Comentarios y debates internos sobre aprendizaje profundo de TorchPublicación cruzada del chat de Teams "Novedad en JMP 18 Training":
Hola a todos, Se adjunta un libro de cuentos de la antorcha actualizado con seis nuevos ejemplos:
Me gustaría dedicar “Love Your Smile” a Ian, cuya cálida y curiosa sonrisa ha provocado innumerables interacciones fructíferas y ha estado en el centro de lo que hace que nuestra cultura y nuestro software JMP sean tan fuertes. Sin mencionar su excelente complemento para mostrar estructuras químicas de cadenas SMILES . Y escuche esto: similar al ejemplo del tiempo de retención de cromatografía líquida de @Chunwei_Ma sobre péptidos, podemos predecir con precisión actividades químicas como IGC50 usando un modelo de lenguaje transformador como BertTiny con cadenas SMILES como entradas. Realmente impresionante e inspirado por Ian. :cara_que_sonríe_con_ojos_sonrientes:
Consejos para @lkimhui para las imágenes SEM, @Byron_JMP para las imágenes de M&M (los mismos datos que Manchester), @jiancao para los datos de la encuesta de casinos de Toronto y @Chunwei_Ma para Yeast_RPLC. Realmente aprecio todos los excelentes comentarios e interés, ¡y apenas estamos comenzando! Próximamente se incluirán bastantes correcciones y mejoras en 18.0.1.
@lkimhui y Amanda Loh hicieron un gran trabajo con su seminario web Antorcha para Asia/Oceanía:
Complemento de antorcha JMP Pro 18 - 20 de marzo de 2024.mp4
Finalmente, para aquellos de ustedes cuyo hardware es lento, estamos trabajando con TI para crear un servidor interno de Windows con transferencia de GPU NVIDIA al que puedan acceder desde un escritorio remoto y ejecutar JMP Pro con Torch. Los detalles deberían llegar pronto.
Re: Comentarios y debates internos sobre aprendizaje profundo de TorchGracias @russ_wolfinger , después de una buena noche de sueño, JMP me permitió instalar nuevamente:)
Re: Comentarios y debates internos sobre aprendizaje profundo de TorchHola @Florian_Vogt Debe haber algún archivo o proceso abierto tras ejecutar previamente el complemento o posiblemente desde una segunda instancia de JMP. Asegúrese de que todas las sesiones de JMP estén cerradas, no verifique nada en el Administrador de tareas y vuelva a intentarlo. Si aún no funciona, está bien eliminar completamente la carpeta com.jmp.torchdeeplearning y comenzar de nuevo. Si su velocidad de Internet es buena, el tiempo total de instalación desde cero no debe ser más de uno o dos minutos con las descargas.
Re: Comentarios y debates internos sobre aprendizaje profundo de TorchHola a todos,
Quería actualizar el complemento a la versión que se lanzó recientemente. Descargué el nuevo archivo y quise instalarlo, pero luego apareció esto:
Después de reiniciar JMP, el complemento desapareció del menú, pero todavía no puedo instalarlo.
¿Alguna idea de lo que arruiné?
Re: Comentarios y debates internos sobre aprendizaje profundo de TorchCreé un ticket de Jira para este problema hace un tiempo. Estaba cerrado.
Re: Comentarios y debates internos sobre aprendizaje profundo de TorchUsando un subconjunto del conjunto de datos NIST, la configuración que se muestra en la ventana creó un mensaje de error mientras se desplazaba fuera de la página y no podía cerrarla, por lo que tuve que eliminar JMP manualmente. Ejecutándose en una MacBook Pro M3/Max.
Re: Comentarios y debates internos sobre aprendizaje profundo de Torch@russ_wolfinger , gracias, fue un problema de tamaño de imagen. Cuando aumenté el tamaño de la imagen a 112, el modelo funcionó sin problemas. ¿Sería posible agregar una marca o establecer el tamaño de imagen predeterminado para que sea compatible con el modelo de imagen seleccionado?
Re: Comentarios y debates internos sobre aprendizaje profundo de TorchGracias @Peter_Hersh. Acabo de publicar lo siguiente en el chat de SE Training Teams y déjame volver a publicarlo aquí para asegurarme de que la gente lo vea. Específicamente, me interesa saber si tiene CUDA instalado y si eso marca la diferencia, ya que creo que su RTX A3000 debería funcionar bastante bien en muchos casos. Tenga en cuenta también que AlexNet y varios otros modelos necesitarán que el tamaño de imagen sea mayor que 28. 224 suele ser muy bueno, pero ralentizará los tiempos de ejecución. Los tamaños de imagen de 56 y 112 también pueden funcionar bien en muchos casos y ser más rápidos que 224.
Usuarios de portátiles con Windows: es posible que aún tengas suerte con las aceleraciones con una tarjeta NVIDIA, al menos para modelos de imágenes y texto más pequeños. Intente los siguientes pasos:
1. Verifique qué tarjeta NVIDIA tiene abriendo el Administrador de tareas, haga clic en la pestaña Rendimiento y luego mire cerca de la parte inferior. Mi ThinkPad tiene una Quadro RTX 3000 con 6 GB de RAM, que no es una tarjeta tan mala
2. Si su tarjeta NVIDIA se ve bien, abra un símbolo del sistema y escriba el comando "nvidia-smi". El resultado debería ser algo como lo siguiente, mostrando su versión de CUDA, el nombre de la tarjeta y su memoria actual y uso de computación.
3. Si no encuentra nvidia-smi, instale los controladores CUDA siguiendo las instrucciones aquí: Guía de instalación de CUDA para Microsoft Windows (nvidia.com) Sé que parecen largos, pero en su mayoría son solo comprobaciones y esto debería tomar solo ~10 minutos. Verifique que CUDA esté instalado correctamente repitiendo el Paso 2.
4. Instale el complemento Torch desde myjmp.com, página de primeros usuarios. La primera vez que inicie la plataforma, se descargarán 7 archivos grandes. Tenga paciencia y deje que se descarguen al 100% y descomprímalos por completo. Si por alguna razón la instalación se interrumpe o se completa solo parcialmente, elimine toda la carpeta del complemento com.jmp.torchdeeplearning (haga clic en Ver > Complementos, Torch Deep Learning, Carpeta de inicio) e inténtelo nuevamente.
5. Pruebe el ejemplo completo de MNIST haciendo clic en Complementos > Aprendizaje profundo de Torch > Datos de ejemplo > MNIST. Haga clic en la flecha verde del script Torch incrustada cerca de la esquina superior izquierda y luego en Ir. Mientras se está ejecutando, pruebe nvidia-smi en su shell de comandos varias veces para verificar el uso de la GPU. El mío muestra alrededor de 1 GB de memoria y un 40% de cálculo cuando ejecuta MNIST. El tiempo total de ejecución es de 50 segundos en mi ThinkPad, lo cual no está nada mal. En comparación, el mismo trabajo en realidad toma ~2 minutos en mi escritorio con una Quadro RTX 6000 más grande que usé ayer.
6. Para modelos de texto e imágenes más grandes, reduzca el tamaño del lote para utilizar menos memoria de la GPU. Puede ser necesario un tamaño de lote 8 o incluso 4 o 2. Normalmente, también puede utilizar menos épocas al reducir el tamaño del lote, porque el modelo realiza pasos con más frecuencia y converge más rápido.
7. La API NVIDIA C++ actualmente no ofrece una excelente manera de borrar la memoria de la GPU y tiende a acumularse después de ejecutar varios modelos. Si recibe un mensaje de error de falta de memoria y/o la salida de su nvidia-smi muestra la memoria casi llena, el único recurso es apagar completamente y reiniciar JMP Pro. Guarda los modelos antes de hacerlo desde el triángulo rojo y podrás continuar donde lo dejaste. Además, Ctrl-J es útil para tomar instantáneas de la salida actual y guardarlas como un diario JMP; esto es lo que hice para los diarios del libro de cuentos.
Re: Comentarios y debates internos sobre aprendizaje profundo de Torch@russ_wolfinger , sí, continúa y usa el conjunto de datos; es un subconjunto de un conjunto de datos más grande que obtuve de Kaggle. Ejecuté un conjunto de datos de tamaño mediano con ~3000 imágenes y funcionó bien para la configuración predeterminada usando el modelo de imagen LeNet5. Algo en esos tres tipos de modelos me estaba causando problemas.
Tengo una GPU NVIDIA RTX A3000 con 6 GB de memoria dedicada. Tengo una CPU de 64 GB.
Re: Comentarios y debates internos sobre aprendizaje profundo de Torch@Peter_Hersh Gracias por informar. El script integrado con 8 modelos de imágenes diferentes se ejecuta limpiamente en mi máquina con una GPU en aproximadamente 10 minutos y el uso final de memoria de la GPU es de 4 GB. El mensaje de error que recibió parece ser legítimo: su máquina se quedó sin memoria. ¿Puedo preguntar en qué tipo de hardware está ejecutando?
AlexNet y DenseNet121 requieren valores mayores para el tamaño de imagen, como 112 o 224. Estamos trabajando para mejorar los mensajes de error en torno a esto.
Estos son buenos datos con radiografías de tórax. ¿Estaría bien agregarlo al libro de cuentos? ¿Cuál es la fuente de los datos?
Re: Comentarios y debates internos sobre aprendizaje profundo de TorchUn par de modelos de imágenes que probé con este conjunto de datos me dan un mensaje de error. AlexNet, EfficientNetB0 y DenseNet121 dieron el siguiente mensaje de error.
Re: Comentarios y debates internos sobre aprendizaje profundo de TorchHola @russ_wolfinger
Un líder acaba de preguntarme si es posible implementar su propia arquitectura modelo. es posible? ¿Y cómo lo hago?
Gracias por tu respuesta
Re: Comentarios y debates internos sobre aprendizaje profundo de TorchHola @Steph_Georges ,
Creo que se mencionó en la documentación de ayuda del complemento. Personalmente, todavía tengo que intentar crear mi propio modelo, pero tengo un cliente potencial que hace exactamente la misma pregunta.
Espero que esto ayude:)
Re: Comentarios y debates internos sobre aprendizaje profundo de TorchMuchas gracias @lkimhui por la bonita cita y explicación.
Hola @Steph_Georges , como menciona @lkimhui , hemos configurado el complemento para leer automáticamente todos los archivos .pt rastreados JIT en las carpetas indicadas para modelado de imágenes o texto. Los usuarios pueden crear y entrenar previamente estos modelos en PyTorch, usar un script JIT o rastrearlos para guardarlos, luego copiarlos en estas carpetas y se mostrarán en el menú la próxima vez que se inicie el complemento. También estamos muy abiertos a sugerencias de modelos que se agregarán oficialmente al complemento.
Permítanme mencionar también que para datos tabulares y de imágenes, la interfaz en sí es bastante flexible para diseñar arquitecturas personalizadas utilizando opciones avanzadas como tamaños de capa, activación, abandono y norma. Están diseñados para funcionar con MLP (tabular), CustomConv1d (serie temporal/funcional) y CustomConv2d (imagen).
Re: Discusión interna y comentarios sobre Torch Deep LearningHola a todos. Acabo de crear un nuevo video de introducción: jmp.com/support/downloads/TorchDeepLearning18/videos/Torch_Intro2.mp4
Estoy intentando mejorar con Camtasia, pero vaya, ahora tengo una nueva apreciación por los videos bien hechos. Agradecería sinceramente cualquier comentario que puedas hacer sobre el contenido, el estilo o algo relacionado; ¡cuanto más importante, mejor!
Re: Discusión interna y comentarios sobre Torch Deep LearningGracias por hacer esto, Russ, junto con tu libro de cuentos, será de gran ayuda para los SE.
En cuanto a su solicitud de comentarios, depende de su público objetivo. Para los ingenieros de sistemas, probablemente necesitaremos más detalles técnicos a medida que profundizamos en los métodos.
Para los usuarios, mi consejo sería comenzar con la historia (en su libro de historias): qué hace un usuario típico hoy para resolver el problema, los problemas de seguir como está, la oportunidad que ofrece el complemento Torch para mejorar eso, luego mostrar solo el resultado final (el momento revelador, evitando cómo llegar al resultado final) y luego describir las ganancias del usuario y los beneficios comerciales resultantes. Dejando a la audiencia motivada para explorar más.
Re: Discusión interna y comentarios sobre Torch Deep LearningHola, Torchers. Estoy preparando un nuevo video de introducción de dos minutos. Solicitamos comentarios sobre el primer corte (adjunto). ¡Gracias!
Re: Discusión interna y comentarios sobre Torch Deep LearningEste es un gran avance con muchas funciones, Russ, que probablemente atraerá a los usuarios potenciales que ya están aplicando los métodos en algún grado, pero desean ahorrar tiempo y posiblemente llegar a una decisión más informada. Si, por otro lado, sus usuarios objetivo son aquellos que tienen el problema o la necesidad (por ejemplo, reemplazar la clasificación manual de imágenes con una clasificación de imágenes "automatizada" para evitar el tedio, los errores y ahorrar tiempo) pero que no están familiarizados con ninguno de los métodos, entonces es posible que desee comenzar con el dolor/problema (por ejemplo, es un trabajo tedioso, propenso a errores y que requiere mucho tiempo clasificar imágenes manualmente) y pintar una visión de la solución que muestre el resultado del análisis con menos énfasis en la parte del cómo hacerlo, y más énfasis en las ganancias del usuario.
Mejor,
Malcolm
Re: Discusión interna y comentarios sobre Torch Deep LearningEn una nota relacionada, adjunto videos de introducción a XGBoost y diagrama de Venn. Los estoy preparando para Marketplace. ¡Agradecemos sus comentarios!
Re: Discusión interna y comentarios sobre Torch Deep LearningLa documentación más reciente es extremadamente útil, particularmente para explicar cómo puntuar nuevos datos. Creo que hay dos características que lo harían aún más fácil. Primero, una forma sencilla de eliminar modelos antiguos. Tal vez me esté perdiendo dónde se hace esto, pero he estado yendo a la carpeta en el disco donde se almacenan los modelos y borrándolos a través del sistema operativo. Segundo, una forma sencilla de recuperar lo que se usó para las columnas de validación. Supongo que al puntuar nuevos datos, se necesita la cantidad exacta de columnas de validación, tipos de modelos y niveles. Creo que es difícil hacer un seguimiento de este nivel de detalle, particularmente cuando se crea una gran cantidad de modelos.
Re: Discusión interna y comentarios sobre Torch Deep LearningRuss, me aparece un error al intentar guardar un modelo. Intenté guardarlo localmente en la carpeta AppData predeterminada, en una unidad (mi escritorio), y sigo recibiendo una alerta que indica que la carpeta no existe. ¿Qué opinas?
Re: Discusión interna y comentarios sobre Torch Deep Learning@Peter_Polito Gracias por informar. Según la configuración actual del código, es necesario especificar el campo Carpeta en Opciones avanzadas antes de ejecutar el modelo. Cuando el modelo termina de entrenarse, se crea una subcarpeta dentro de esta carpeta principal con el nombre predeterminado "Modelo 1". La opción "Guardar modelo" (triángulo rojo) simplemente renombra esta subcarpeta.
Si todo lo demás falla, también puedes renombrar o mover manualmente las subcarpetas en el Explorador de Windows o el Finder de Mac. Esto nos lleva a la sugerencia de @DonMcCormack de facilitar la gestión de estas carpetas; aún no hay novedades al respecto, pero es una buena idea.
Re: Discusión interna y comentarios sobre Torch Deep LearningHa pasado un tiempo desde que conecté al servidor. Quise reinstalar el complemento Torch y recibí el siguiente mensaje: ("No se pudo completar la instalación. El directorio de destino o el archivo en el directorio de destino está bloqueado"). ¿Sugerencias?
Re: Discusión interna y comentarios sobre Torch Deep LearningHe estado recibiendo un par de errores diferentes cuando intento puntuar un nuevo conjunto de datos con un modelo.
Estaba intentando recrear algo que había hecho en el pasado, pero por alguna razón ya no funciona.
Re: Discusión interna y comentarios sobre Torch Deep LearningDebería haber mencionado que esto se hizo en JMP Pro 19.0.0. (Todo funciona correctamente en JMP Pro 18).
Re: Discusión interna y comentarios sobre Torch Deep Learning¿Hay alguna novedad sobre cómo guardar correctamente las CAM? Tengo un cliente que pregunta sobre esto y que está experimentando el problema de las "imágenes negras".
Re: Discusión interna y comentarios sobre Torch Deep LearningRecibí una pregunta de uno de nuestros clientes en los siguientes términos:
Creo que muchos usuarios de Torch Deep Learning ya dominan Python. En ese contexto, ¿cuál es el valor de implementar aprendizaje profundo en JMP? ¿Existen ejemplos reales de adopción?
En respuesta, he organizado mis pensamientos de la siguiente manera.
En primer lugar, durante las fases de PoC y exploratoria, JMP ofrece una clara ventaja en velocidad y facilidad de experimentación. Los modelos de aprendizaje profundo basados en imágenes y texto se pueden probar rápidamente sin necesidad de escribir código, lo que permite una evaluación rápida de la viabilidad.
En segundo lugar, JMP Pro no pretende sustituir a Python. En la práctica, cuando el modelado avanzado depende únicamente de usuarios con conocimientos de Python, estos pueden convertirse en cuellos de botella. Permitir que usuarios sin conocimientos de Python realicen pruebas de concepto (PoC) y trabajos de validación en JMP Pro ayuda a distribuir responsabilidades y a avanzar el análisis de forma más eficiente en toda la organización.
En base a esto, agradecería sus comentarios sobre cualquier beneficio adicional, así como ejemplos de adopción en el mundo real, en particular casos de uso típicos y ejemplos que hayan progresado desde PoC a producción.
Gracias.
Re: Discusión interna y comentarios sobre Torch Deep Learning@YusukeKoizumi Buen pensamiento y buenas respuestas.
En tercer lugar, JMP Pro ofrece un entorno interactivo dinámico con una amplia colección de resultados numéricos y gráficos durante el entrenamiento y la inferencia. Por ejemplo, arrastre un rectángulo sobre los puntos de validación mal clasificados para seleccionarlos en la tabla de JMP y realizar un análisis visual de errores, o añada una Matriz de Beneficios a su respuesta binaria y optimice interactivamente los umbrales de decisión.
