752105_es-ES

liliconcom

cribado de modelos

Hola.
La pregunta que tengo es que tengo un conjunto de datos y quiero separar el 30% de este conjunto de datos para realizar pruebas. Quiero probar diferentes modelos usando la selección de modelos, pero para la parte de validación de mis modelos, quiero que todos mis modelos usen exactamente el mismo conjunto de datos de prueba para la validación.
¿Qué debo hacer para este propósito?

Modelado predictivo y aprendizaje automáticoRe: cribado de modelos

Hola @maryam_nourmand ,

La forma más sencilla de obtener resultados reproducibles en conjuntos de datos fijos de entrenamiento/validación/prueba es crear una columna de validación.

1. Primero, vaya al menú correspondiente para crear la columna de validación:
   
2. Luego puede especificar grupos o estratificación (si es necesario):
   

   Tiene varias opciones para el método: aquí utilicé el predeterminado que corresponde a sus necesidades, "Crear columna de validación" y uso algunas variables como columnas de estratificación para asegurarme de que todos mis conjuntos de entrenamiento, validación y prueba tengan una distribución/repartición similar. de valores para estas columnas.

3. Luego puede especificar la proporción de datos para cada uno de sus conjuntos y especificar una semilla aleatoria para tener una reproducibilidad perfecta en su análisis. Aquí elegí un tipo de validación fijo, pero también puedes crear una columna de validación de fórmula, lo que permite simular varios conjuntos de entrenamiento, validación y prueba con las mismas configuraciones (agrupación, estratificación, etc.) como se especifica en el paso 2. Aquí mi las proporciones de datos son del 70% para entrenamiento, 20% para validación y 10% para prueba (valores habituales; para obtener más información e investigación sobre este tema, puede leer el artículo "Relación óptima para la división de datos" de V. Roshan Joseph: https //arxiv.org/pdf/2202.03326 ). Es importante encontrar un buen compromiso para las proporciones según la precisión de la evaluación y la selección del modelo necesaria, y la cantidad de datos/filas disponibles. Cuando haya terminado, haga clic en "Ir" para crear esta nueva columna de validación en su tabla:

   

4. Finalmente, inicie la plataforma de selección de modelos y utilice la "columna de Validación" recién creada en el panel "Validación". También puedes fijar una semilla aleatoria en esta etapa para tener resultados reproducibles para los diferentes modelos y conjuntos utilizados:

   

Sólo algunas aclaraciones sobre los términos validación y prueba, ya que muy a menudo pueden usarse alternativamente con cierta confusión:

• Conjunto de entrenamiento: utilizado para el entrenamiento real de los modelos,
• Conjunto de validación: se utiliza para la optimización del modelo (ajuste de hiperparámetros, selección de características/umbrales, ... por ejemplo) y la selección del modelo.
• Conjunto de prueba: se utiliza para la generalización y evaluación del rendimiento predictivo del modelo seleccionado en datos nuevos o no vistos.

Por lo tanto, puede evaluar varios modelos con el conjunto de validación, pero el conjunto de prueba debe usarse solo una vez para el modelo seleccionado en la fase de validación.

Espero que esta respuesta te ayude,

 

Re: selección de modelos

gracias

Re: selección de modelos

Si tienes JMP Pro tiene una plataforma para crear una Columna de Validación, y dentro de las distintas plataformas de modelado se puede especificar la columna que indica qué filas son filas de Entrenamiento y cuáles son filas de Validación.

Si tiene JMP estándar, puede crear fácilmente una columna de validación usando la función "Uniforme aleatorio()" en la fórmula de la columna de validación que se está creando. (Asegúrese de especificar la columna como una columna de caracteres).

If(randome uniform()>=.7, "Validation", "Training")

Después de crear la columna, deberá ir a la pantalla Información de la columna y eliminar la fórmula que hará que los valores de la columna sean estáticos, asegurando que la fórmula no se ejecute una segunda vez y cambie los valores.

Luego, puede excluir y ocultar las filas de validación mientras crea el modelo y, luego, cuando desee validar el modo, desactive las filas de validación y las filas de entrenamiento y vuelva a ejecutar el modelo.