Optimización bayesiana: exportación del modelo subyacenteHola,
Me ha gustado experimentar con la nueva plataforma de optimización bayesiana. Sin embargo, quiero comparar los resultados con los de algunos modelos de aprendizaje automático. Veo en la salida que se obtiene un R² de validación cruzada dejando un dato fuera, pero ¿se basa realmente en una sola fila aleatoria? ¿O se realiza alguna división interna del conjunto de datos en partes de entrenamiento y validación? ¿Puedo saber qué fila(s) se eligió(aron) como reserva?
Además, ¿es posible ver el modelo completo? He usado las opciones "Guardar todos los ajustes del modelo" y "Guardar script para la siguiente iteración", pero no estoy seguro de si se trata de los modelos completos. Quiero ver qué tan bien predice el modelo datos nuevos, aunque entiendo que quizás no sea exactamente para lo que está diseñada esta plataforma.
¿O sería posible cargar el modelo GP óptimo en Gaussian Process? No veo una forma sencilla de hacerlo, sobre todo porque tengo varios valores de theta, pero si pudiera ejecutar el GP óptimo generado en la plataforma GP, ¡esto podría resolver todos estos problemas y preguntas!
Modelado estadístico avanzadoRe: Optimización bayesiana: exportación del modelo subyacenteHola @abmayfield ,
Como la documentación sobre Optimización Bayesiana es bastante limitada en este momento, puede resultar difícil responder a sus preguntas.
Parece que las estrategias de ajuste/validación difieren entre la programación genética clásica y la programación genética con optimización bayesiana (GP-OB): GP-OB frente a programación genética independiente . La estrategia de validación cruzada dejando uno fuera (Leave-One-Out) se utiliza en ambas plataformas, pero la agregación de resultados puede variar: Jackknife para la GP clásica frente a LOO clásica para GP-OB.
También me resulta frustrante no poder guardar la fórmula de predicción del modelo OB. Encontré una solución alternativa para aproximar el modelo utilizado en la plataforma OB: dado que se tiene acceso a los valores de los parámetros de la plataforma OB (en el informe del modelo de Proceso Gaussiano), reinicié la plataforma de Proceso Gaussiano clásico, pero forzando el valor de theta encontrado en el modelo OB. Esto no es perfecto, ya que la intersección no será la misma entre los dos modelos, pero al menos puedo aproximar el modelo de predicción que se encuentra en la plataforma OB.
Espero que esta primera respuesta te ayude.
Re: Optimización bayesiana: exportación del modelo subyacenteGracias por tus comentarios. Si bien sería bueno tener/ver el modelo subyacente, supongo que, si añadiera datos adicionales (como forma de validación), volviera a ejecutar el modelo (o generara uno nuevo) y ni el ajuste ni la solución óptima cambiaran mucho, concluiría que el modelo es bueno. Si, en cambio, añadiera datos nuevos y la solución resultante fuera totalmente diferente, concluiría que el modelo anterior tenía problemas y aceptaría el nuevo (que se generaría de todas formas). Me gustaría poder reservar más de una muestra, aunque quizás, con suficientes iteraciones, pueda hacerme una mejor idea del R² de validación real.
