932392_es-ES

liliconcom

Acceso a métricas fuera de pliegue para K-Fold CV

¿Hay alguna forma de acceder a las métricas de la estructura de datos al usar K-Fold CV con métodos como Neural y SVM? Que yo sepa, JMP solo reporta las métricas de la estructura de datos con mejor rendimiento, lo cual no es muy útil.

Modelado estadístico avanzadoModelado predictivo y aprendizaje automáticoRe: Acceso a métricas fuera de pliegue para K-Fold CV

Hola @CentroidError56 ,

Sí, utilice la plataforma Selección de modelos con los modelos que desea probar marcados para obtener acceso a los resultados de los pliegues de validación en el informe.

Medidas de ajuste de entrenamiento, validación y prueba

Desde las opciones de la plataforma de selección de modelos, puede guardar una tabla de resultados de KFolds .

Espero que esta solución te ayude.

Re: Acceso a métricas fuera de pliegue para K-Fold CV

Hola Víctor,

Gracias por la respuesta. Por lo que veo, esto solo funciona con la configuración predeterminada de cada método. Tengo configuraciones de diseños de ajuste que me gustaría comparar usando datos de pliegues. No parece posible a menos que ejecute cada pliegue manualmente, lo que llevaría mucho tiempo. ¿Me estoy perdiendo algo?

Re: Acceso a métricas fuera de pliegue para K-Fold CV

Hola @CentroidError56 ,

Tienes razón, esta opción solo funcionará con la configuración de hiperparámetros predeterminada.
Así es como lo haría con configuraciones de hiperparámetros específicos para probar en los mismos pliegues:

1. Cree una columna de validación de K-folds con la plataforma "Crear Columna de Validación" . Especifique las columnas de estratificación (X) y el objetivo (Y). A continuación, puede definir el número de pliegues y establecer una semilla aleatoria.
   
   
2. Lanza la plataforma de modelado de tu elección con esta columna K-folds en la función de validación.
   En este ejemplo, a modo de ilustración, utilicé el conjunto de datos JMP Diabetes y la plataforma SVM. Realicé un diseño de ajuste para encontrar tres configuraciones de hiperparámetros adecuadas (modelos 2, 3 y 20):
   

3. Luego, presiono Ctrl y hago clic en la opción "Publicar fórmula de predicción" (disponible en el triángulo rojo junto a cualquier modelo). Se crea una nueva ventana del Depósito de Fórmulas con la fórmula de los tres modelos vistos anteriormente:

   

4. En el triángulo rojo al lado de Formula Depot, hago clic en la opción Comparación de modelos y selecciono mis tres modelos:

   
   

   JMP observa que mi columna de validación de cinco pliegues se usa para todos los modelos y pregunta si puede usarla como columna de agrupación, por lo que hago clic en Sí para tener resultados de modelos individuales para cada pliegue.

5. Ahora tengo acceso a la medida individual de los pliegues del rendimiento de cada uno de los tres modelos:
   

Este método debería funcionar sin importar la plataforma de modelado utilizada, ya que solo utiliza la fórmula de predicción de modelos, por lo que puede combinar diferentes tipos de modelos.

Espero que esta respuesta resuelva tu problema.

Re: Acceso a métricas fuera de pliegue para K-Fold CV

Hola Víctor,

¡Funciona! ¡Muchas gracias!