En este momento puedo hacer una validación cruzada de K-fold al construir una red neuronal:

Y con el reciente complemento XGBoost ( https://community.jmp.com/t5/JMP-Add-Ins/XGBoost-Add-In-for-JMP-Pro/ta-p/319383), es aún mejor, ya que se pueden agregar múltiples pliegues, que son ortogonales entre sí:


Sin embargo, esta opción no está disponible para otras plataformas, como Boosted Tree, Boostrap Forest o incluso un modelo de regresión lineal múltiple más simple.
Sólo usted puede agregar una única columna de validación con una muestra de retención única.
No hay nada exclusivo de la validación cruzada k-fold para XGBoost, por lo que esta opción debería estar disponible para todas las plataformas, para permitir métricas de error más generalizadas en todos los modelos evaluados de manera consistente en múltiples plataformas.