¿Métodos de validación cruzada dejar uno fuera o k veces?Recibimos el comentario del revisor de la siguiente manera:
para confirmar la utilidad del valor de corte, sería necesaria una validación. Sin embargo, en esta cohorte no se realizó un análisis de validación. Como el tamaño de la muestra era pequeño, sería difícil realizar un estudio de validación externo. sin embargo, el análisis de validación interna (o validación cruzada) podría realizarse mediante métodos estadísticos como los métodos de validación cruzada de dejar uno fuera o k-veces.
No pude entender el método estadístico que pretende el revisor.
¿Podrías resolver este problema con JMP?
ventanasRe: ¿métodos de validación cruzada dejar uno fuera o k veces?@marimo ,
Leave-one-out es una versión de validación cruzada k-fold donde todas las filas de su conjunto de datos se utilizan como un "conjunto" de validación una a la vez.
Como ejemplo, si tiene 20 filas en su conjunto de datos, podría emplear una validación cruzada k-fold 5 que utilizará el 20% de sus datos 5 veces. En este caso, serían 4 filas para validación cruzada y 16 filas para entrenamiento.
Cada 20% utiliza algo llamado muestreo con reemplazo para intentar garantizar que todos los datos estén incluidos en uno de los cinco k pliegues. La otra opción en este ejemplo es hacer un k-fold 20 que luego usa cada fila del conjunto de datos como un conjunto de validación. Cuanto mayor sea el número de pliegues, menor será el porcentaje de datos que se utilizará para la validación cruzada. La validación cruzada K-fold se puede encontrar en la mayoría de las plataformas de JMP.
Otra opción sería utilizar un método como Bootstrap Forest que tiene muestreo con reemplazo integrado en el algoritmo. Necesitaría JMP Pro para aprovechar al máximo esta plataforma. Bootstrap Forest utiliza el promedio de modelos para encontrar las variables más importantes en su conjunto de datos mediante la construcción de muchos modelos (árboles) más pequeños con diferentes subconjuntos de datos.
HT
Factura
Re: ¿métodos de validación cruzada dejar uno fuera o k veces?Pregunta: si tengo 20 filas y uso K = 20 pliegues, ¿es exactamente lo mismo que la validación de "dejar uno fuera"? Siempre he pensado que este último usa cada observación como un conjunto de validación (rotado a través de todo el conjunto de datos), mientras que el K-fold muestra con reemplazo , por lo que no me queda claro que cada observación se use para la validación. ¿Puedes aclarar esto?
Re: ¿métodos de validación cruzada dejar uno fuera o k veces?Hi @Marimo,
¡Bienvenidos a la Comunidad!
Aquí hay información sobre la validación, el uso de métodos de validación específicos y cómo hacerlo en JMP de una publicación anterior que publiqué: https://community.jmp.com/t5/Discussions/CROSS-VALIDATION-VALIDATION-COLUMN- MÉTODO/mp/588349/highlight/true#M79332
Espero que esta primera respuesta te ayude,
