Explorador de datos funcionales con columna de validaciónTengo un conjunto de datos con 40 espectros NIR con filas como funciones. El conjunto de datos está dividido en un conjunto de entrenamiento y validación utilizando una columna de validación de punto de corte; las últimas 10 filas son de validación.
Al ejecutar el análisis FPCA, solo se ajusta el conjunto de entrenamiento, como se muestra a continuación. ¿Cómo sabemos si el ajuste del conjunto de validación es correcto utilizando el modelo de entrenamiento?
¿No es adecuado el conjunto de validación?
Supongo también que el gráfico de diagnóstico solo es para el conjunto de entrenamiento, ¿no?
Puntuaciones FPCA: ¿los resultados del conjunto de validación se calculan con el modelo de entrenamiento?
¡Gracias por tu aportación!
Modelado estadístico avanzadoModelado predictivo y aprendizaje automáticoVentanasRe: Explorador de datos funcionales con columna de validación¡Gran respuesta de nuevo, gracias Víctor!
Re: Explorador de datos funcionales con columna de validaciónHola @frankderuyck ,
Estoy de acuerdo, la documentación sobre el uso del conjunto de validación para Functional Data Explorer es un poco confusa en cuanto a los términos y el uso de los conjuntos: Inicie la plataforma Functional Data Explorer (jmp.com)
Solo hay dos conjuntos posibles utilizados en Functional Data Explorer (a diferencia de otros algoritmos de aprendizaje automático que pueden usar 3 conjuntos: conjuntos de entrenamiento, validación y prueba): conjunto de entrenamiento (codificado como 0 o el valor más pequeño) y conjunto de validación (codificado como 1 o valores superiores).
El conjunto de validación se utiliza de hecho aquí como un conjunto de prueba (si utilizamos rigurosamente la convención de nomenclatura correcta): no se utiliza para ajustar un modelo funcional, pero puede extraer los puntajes FPCA de este conjunto para ver qué tan efectivo es el ajuste del modelo en nuevos datos funcionales: Resuelto: Análisis y clasificación de datos funcionales: Cómo calcular el FPC de nuevos datos (u... - Comunidad de usuarios de JMP
El conjunto de entrenamiento se utiliza para ajustar y evaluar el ajuste del modelo, y todos los gráficos del informe que menciona se realizan en el conjunto de entrenamiento.
Puede evaluar el ajuste del modelo a los datos de validación extrayendo la fórmula de predicción en la nueva tabla de datos (triángulo rojo junto a "[Modelo] en [Datos iniciales]" y "Guardar datos"). Se agregan las columnas de fórmula (Predicción y Residuos) y, mediante el Generador de gráficos, puede visualizar los valores reales y previstos de sus datos de validación, o visualizar los residuos para reproducir los resultados que se ven en el informe:
Pero estoy de acuerdo contigo, sería mucho más fácil tener los resultados de los datos de validación directamente en la plataforma. Podría ser una buena idea agregar esto en la lista de deseos de JMP si aún no está escrito.
Espero que esta respuesta te ayude.
