241494_es-ES

liliconcom

validación cruzada k-fold con el modelo de bosques bootstrap y regresión estándar de mínimos cuadrados

Hola,
¿Es posible utilizar la validación cruzada k-fold con el modelo de bosques bootstrap y la regresión estándar de mínimos cuadrados en JMP?
He realizado la validación cruzada k-fold con el modelo de redes neuronales, y estoy buscando algunos métodos que puedan usar la misma validación cruzada, para poder hacer comparaciones de modelos.
Gracias.

Re: validación cruzada k-fold con el modelo de bosques bootstrap y regresión estándar de mínimos cuadrados

Encontré las respuestas a mi pregunta en el sitio web: https://learning.oreilly.com/library/view/Building+Better+Models+with+JMP+Pro/9781629599564/xhtml/Chapter08.xhtml#_Toc423436241 .

Re: validación cruzada k-fold con el modelo de bosques bootstrap y regresión estándar de mínimos cuadrados

Como mencioné en su otra discusión sobre el mismo tema, podría considerar usar AICc en todos los modelos candidatos. JMP Pro también proporciona una plataforma de comparación de modelos para ayudarlo.

Re: validación cruzada k-fold con el modelo de bosques bootstrap y regresión estándar de mínimos cuadrados

Me gustaría agregar que estamos experimentando con una nueva forma automatizada de realizar k-fold cv en el nuevo complemento XGBoost para JMP Pro.   Si tiene acceso a JMP Pro 15 y desea probar una versión de adopción temprana, avíseme.    Además, estamos planeando tentativamente tener el complemento disponible en el laboratorio JMP en Discovery Munich con JMP Pro 16 Early Adopter.

Re: validación cruzada k-fold con el modelo de bosques bootstrap y regresión estándar de mínimos cuadradosGracias por el resumen. Entonces, ¿la validación cruzada k-fold no es necesaria o no es posible con el bosque de arranque en JMPpro?
Al crear una columna de Validación cuando tiene un resultado binario, ¿optaría por un método aleatorio estratificado, por método aleatorio agrupado o agrupado?
Re: validación cruzada de k-fold con el modelo de bosques bootstrap y regresión estándar de mínimos cuadradosEstimado Sr. Wolfinger,

Este problema también me preocupa, ya que soy un usuario de JMP Pro15 y veo algunas cosas que se deben ajustar en las secciones de validación cruzada de K-fold para todos los modelos. En particular, JMP aún no tiene una opción importante para visualizar los pliegues, pero muestra solo su precisión promedio (R2) sin detalles en cada pliegue. Por ejemplo, ejecutaría la validación de 5 veces y me gustaría ver la lista de 4 veces + su promedio con las métricas (R2, AUC, AIC, RASE, etc.). Si hay un complemento con esta opción, hágamelo saber, ya que es muy importante al manejar pequeños conjuntos de datos. Muchas graciasRe: validación cruzada de k-fold con el modelo de bosques bootstrap y regresión estándar de mínimos cuadrados

Hola @Nazarkovsky , La nueva plataforma Model Screening ofrece desgloses por pliegue tanto para el pliegue k como para el pliegue k anidado, y como puede adivinar, la salida puede volverse voluminosa.    En el complemento XGBoost, los resultados aún se resumen en todos los pliegues, pero para cualquier modelo, Red Triangle> Save Prediction Formula produce columnas en la tabla para la membresía del pliegue y las predicciones correspondientes dentro o fuera del pliegue.  Recomiende obtener la última versión de JMP 16 Pro Early Adopter para probar la nueva funcionalidad, y realmente agradecemos sus comentarios a medida que continuamos realizando mejoras en este sentido.  

Re: validación cruzada de k-fold con el modelo de bosques bootstrap y regresión estándar de mínimos cuadrados

Gracias, @russ_wolfinger . Hoy he jugado con XGBoost para una respuesta continua. Muchas gracias por tu invitación enviada. Más adelante veo cómo manejar las respuestas categóricas y dar la retroalimentación final en el campo proporcionado.

En realidad, hablando de validación cruzada de K-fold, me refería a un lugar débil en JMP Pro: no demuestra el contenido de los pliegues. Así: https://en.wikipedia.org/wiki/Cross-validation_(statistics) . La escritura de scripts no es mi gran habilidad, por lo que solo puedo confiar en que los desarrolladores de JMP puedan brindar esa opción. 

 

Y puede que no haya entendido bien su idea de por qué la producción debe ser enorme. Normalmente, se representa como una lista de pliegues con el promedio de las métricas (R2, RASE, AIC, etc.) al final. Por favor, corríjame si estoy equivocado. 

¡Muchas gracias!

Miguel