751107_es-ES

liliconcom

Conversión de archivos del complemento Torch a un modelo

Pongo esto aquí en caso de que alguien pueda entender los documentos mejor que yo, pero estoy tratando de cargar cualquier resultado del modelo desde el complemento de la antorcha en Python. ¿Alguien tiene suerte haciendo esto? Espero poder cargar el dictado de estado del modelo dado que seleccioné, pero eso no parece estar funcionando.

# %%
from pathlib import Path

import torch
from torchvision.models import efficientnet_b2
# %%
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model_path = Path(__file__).parent.parent/"models/VI Models/E353 EffNetB2 MLP DOR20"
model_paths = list(model_path.glob("*v1f1*.pt")) # just pick one model for now

# %%
model = efficientnet_b2(dropout=0.2).to(device)
# %%
model_paths[0].relative_to(model_path) # WindowsPath('tdl_jmp_v1f1_jnet.pt')
# %%
model_part = torch.jit.load(model_paths[0], map_location=device)
model_part
# %%
model.load_state_dict(model_part.state_dict())
# this fails with 
# RuntimeError: Error(s) in loading state_dict for EfficientNet:
#     Missing key(s) in state_dict: "features.0.0.weight", "features.0.1.weight", "features.0.1.bias", "features.0.1.running_mean", .... very long list
#     Unexpected key(s) in state_dict: "0.0.0.weight", "0.0.1.weight", "0.0.1.bias", "0.0.1.running_mean", .... very long list
# %%

Automatización y secuencias de comandosRe: Convertir archivos del complemento Torch a un modelo

@vince_faller Gracias por la publicación. Después

model_part = torch.jit.load(model_paths[0], map_location=device)

el modelo está listo para predecir imágenes. No es necesario crear una instancia de Effectivenet_b2 desde torchvision y cargar un state_dict. El archivo de modelo compilado justo a tiempo contiene tanto la arquitectura del modelo como los pesos entrenados.

Simplemente ejecute model_part(image) después de configurar un tensor de imagen. Después de esto, hay tres pasos más: agrupación, incorporación y predictor lineal final.

Adjunto un cuaderno de ejemplo completo y una imagen de ejemplo, que incluyen pasos para mostrar resultados intermedios. Cambie el sufijo en implementar_image_model.py para que el archivo se llame implementar_image_model.ipynb.

Re: Convertir archivos del complemento Torch a un modelo

ese es el mismo que está en la documentación y realmente no ayuda. ¿Cómo sabemos a partir de una captura de pantalla del cuadro de diálogo del complemento cuáles son? ¿Cómo sabemos el método de normalización o los valores de normalización de imagenet a utilizar? ¿Cómo sabemos qué agrupador usar (¿se supone que la arquitectura es JIT?)? Estoy confundido por qué estás haciendo tnet y tnet1. ¿Solo mostrando que coinciden? A veces usan la versión 1 de la capa, a veces no.

Quizás mi problema es que todo lo que obtengo son estos archivos y esta captura de pantalla.

Perdón por mi ignorancia. Y gracias por tu paciencia.

Re: Convertir archivos del complemento Torch a un modelo

@vince_faller Es cierto que es confuso y trabajaremos para simplificarlo. Básicamente son cuatro piezas en el siguiente orden:

1. Modelo de imagen: arquitectura y pesos contenidos en el archivo de modelo *_jnet.pt.

2. Agrupación: coincide con la especificación de capas de agrupación
3. Modelo tabular: coincide con todos los demás parámetros y la salida final tiene la dimensión embed_size, que es el último valor de Tamaños de capa.
4. Lineal final: debe ser nn.Linear(embed_size, y_size) donde y_size es la dimensión de Y que se está prediciendo.

Después de cada paso, debería poder recibir información del anterior, crear nuevos resultados y construir el modelo paso a paso.

Si algo no se alinea, puede ser muy útil observar los dictados de estado y las dimensiones de los tensores de salida para ver dónde hay discrepancias y ajustarlos en consecuencia; es por eso que colocamos esas celdas impresas adicionales en el cuaderno de ejemplo.

Si tiene un nuevo ejemplo que le gustaría que se resolviera, envíelo.

Re: Convertir archivos del complemento Torch a un modelo

Gracias al esfuerzo de los expertos, el aprendizaje profundo es posible en JMP.

También me gustaría hacer una pregunta sobre el reconocimiento de imágenes JMP, aunque todavía no puedo obtener el software JMP Pro 18:

Si las imágenes que uso para identificarlos se generan a partir de tablas de datos conocidas.Al utilizar el complemento Torch para la identificación, ¿puede importar los datos de la tabla original directamente?

Pero creo que sería mejor verlo a través de una imagen, ¿sabes?¿Tiene sentido?

¡Gracias expertos!

Re: Convertir archivos del complemento Torch a un modelo

Hola @lala Gracias por tu pregunta. No entiendo del todo lo que quieres decir con "importar los datos de la tabla original directamente". Si te refieres a importar imágenes desde archivos .png o .jpg en el disco, es bastante fácil con Archivo > Importar varios archivos. Si esto no es lo que está preguntando, si pudiera explicar más o tal vez proporcionar un pequeño ejemplo, puedo comentar más.

Mientras tanto, incluso sin JMP Pro 18, puede resultar informativo descargar Torch_Storybook.jmp desde https://community.jmp.com/t5/JMP-Add-Ins/Torch-Deep-Learning-Add-In-for -JMP-Pro/ta-p/733478 (ver enlace cerca de la esquina superior derecha), ábralo en una versión anterior de JMP y haga clic en varios enlaces de interés para ver cómo se manejan los datos de imágenes en varios ejemplos. También hay enlaces en la página anterior a algunos tutoriales en vídeo, incluido uno sobre clasificación de imágenes. Estos pueden ayudar a responder su pregunta.

Re: Convertir archivos del complemento Torch a un modelo

Gracias por la respuesta del experto.

Se me ocurrió un ejemplo más intuitivo:

Al igual que los gráficos de precios de acciones de un día a otro, se generan mediante cambios en "Apertura", "Alto", "Bajo", "Cierre", "Volumen" de un día a otro.

Es posible predecir el cambio de precio futuro directamente con la regla de cambio de los datos originales y, por supuesto, también es posible utilizar las diferentes formas del gráfico de precios de acciones para predecir mediante el reconocimiento de gráficos.

Así de simple, el complemento Torch de JMP 18 puede importar directamente datos sin procesar del precio de las acciones para entrenamiento, omitiendo el proceso de reconocimiento de imágenes.

¿Existe alguna diferencia entre los dos tipos de formación?

Muchas gracias por la ayuda del experto.

Re: Convertir archivos del complemento Torch a un modelo

Hola @lala Bueno, estoy seguro de que los traders avanzados han probado casi todas las formas imaginables de predecir los precios futuros de las acciones.

Las imágenes son una determinada forma de codificar datos utilizando ubicaciones y colores de píxeles. Si bien el entrenamiento neuronal profundo en imágenes es ciertamente diferente del entrenamiento en características de series temporales tabulares, al final, datos de entrada similares en ambas formas tenderán a producir resultados similares.

Estamos viendo un fenómeno similar cuando entrenamos con datos espectrales utilizando entradas funcionales o de imágenes en JMP. Consulte el Libro de cuentos de la antorcha para ver algunos ejemplos.

Re: Convertir archivos del complemento Torch a un modelo

Gracias a los expertos por las respuestas perfectas.Primero aprendo el código del archivo de ejemplo del complemento.Espera hasta que consiga el JMP Pro 18.

¡Gracias expertos!