usando datos de validación en un árbol potenciadoDesarrollé un modelo predictivo con árbol potenciado. Tenía 30.000 filas de datos de entrenamiento. Tengo 10.000 remolques de datos de “validación”. ¿Cómo ejecuto el conjunto de datos de validación a través del modelo? (Tengo más de 800 variables en mi modelo, por lo que obtener una "fórmula" no fue práctico). Proporcione una solución interactiva (no un script).Diseño de experimentosRe: usar datos de validación en árbol impulsadoMi preferencia sería agregar los datos de prueba (usando Concatenar, después de guardar la columna de fórmula de predicción y marcar la casilla para evaluar fórmulas).No desea que los datos de prueba sean un conjunto de validación porque se utilizarán en el desarrollo de los modelos.JMP separará automáticamente el rendimiento de su modelo entre los datos de entrenamiento, validación y prueba.
Todavía me preocupan sus repetidas referencias a la complejidad de su modelo.Normalmente, JMP puede manejar columnas de fórmulas bastante complejas.Si es lo suficientemente complejo como para causar problemas con la evaluación de JMP, entonces me preocupa si debería utilizar ese modelo.Si tuviera millones de filas, podría ser una limitación de hardware, pero con 30.000 filas, no debería haber ningún problema a menos que tenga demasiadas variables en su modelo.Como sugiere, es posible que tenga algo así como 800 variables en su modelo y sospecho que esto podría causar problemas para algunos modelos predictivos.Sin embargo, mi reacción inicial sería que realmente no desea un modelo con 800 factores y sólo 30.000 puntos de datos (menos si utiliza conjuntos de datos de validación y prueba).Seguramente puedes conseguir un modelo con casi el mismo rendimiento utilizando menos factores.Entonces, creo que el primer paso sería conseguir un modelo más manejable.
Re: usar datos de validación en árbol impulsadoAquí está mi pensamiento en esta etapa. Si tiene un modelo en una tabla de datos JMP que desea evaluar, simplemente agregue el nuevo conjunto de predictores de "prueba" y la respuesta a la tabla de datos que contiene el modelo. Le daría al nuevo conjunto de filas un símbolo de trazado único para que en cualquier gráfico que genere sepa que esas son las filas "nuevas". La columna "predicha" se completará con valores para los predictores de "prueba" y luego usaría Graph Builder para los valores reales frente a los predichos y vería lo que ve. ¿Quizás implementar un filtro de datos local para las filas utilizadas en "entrenamiento" y "prueba"?
Re: usar datos de validación en árbol impulsadoEsto suena un poco confuso, pero lo intentaré la próxima semana cuando vuelva a estar en línea.
gracias.
Re: usar datos de validación en árbol impulsado¡Ajá!
Re: usar datos de validación en árbol impulsadoPregunta rápida: Tengo un conjunto de datos de prueba completamente separado. ¿Lo combino con
el conjunto de datos original (es decir, agregarlo), ¿para luego ejecutarlo en mi modelo?
Si hago eso, ¿codifico/creo una columna de validación con 1 para la prueba?
y 0 para entrenamiento (o validación) para que el modelo lo ejecute. No estoy seguro
interesado en crear la "fórmula", porque parece demasiado grande para el
programa a gestionar. ¿Tiene sentido este pensamiento?
Realmente sólo quiero poder ejecutar el conjunto de PRUEBA desde el modelo y no
sé muy bien cómo. (Además, estaré trabajando en ello la próxima semana (no esta semana,
lamentablemente) - ya que tengo familiares de visita.
Mis agradecimientos
Re: usar datos de validación en árbol impulsadoUna pequeña aclaración más que añadir @dale_lehman La segunda respuesta. Tiene razón al afirmar que cuando crea una columna utilizada para la especificación de categoría de validación de filas, es decir, una columna de validación, la plataforma de análisis manejará todo automáticamente cuando ejecute la plataforma. Los resultados se incluirán en los diversos elementos del informe de la plataforma para los subconjuntos de datos de capacitación, validación y prueba. La parte que Dale omitió fue que cuando crea la columna Validación, debe articular en el cuadro de diálogo que desea crear las tres categorías, capacitación, validación y prueba, así como el método mediante el cual se asigna cada fila. Parece que tiene una cantidad bastante grande de observaciones, por lo que una asignación puramente aleatoria probablemente sea un buen lugar para comenzar.
Re: usar datos de validación en árbol impulsadoTu respuesta no ayuda, pero gracias.
Re: usar datos de validación en árbol impulsadoPredictor Screening es un buen primer paso para comprender qué variables son importantes. Consulte el script en el índice de scripting para comprender cómo funciona.
Primero haría una muestra de la tabla original para reducir el número de filas (menú principal: Tablas->subconjunto...)
Con este subconjunto puede probar varias cosas en poco tiempo, guardar los scripts de las ideas prometedoras y aplicarlos al gran conjunto de datos más adelante.
Names Default To Here( 1 );
dt = Open( "$SAMPLE_DATA/Boston Housing.jmp" );
obj = dt << Predictor Screening( Y( :chas ), X( :crim, :indus, :nox, :rooms, :age, :distance, :radial ) );
Re: usar datos de validación en árbol impulsadoSi crea la columna de validación utilizando la función de la plataforma de modelado predictivo, JMP ejecuta automáticamente su modelo en los datos de entrenamiento, validación y prueba.Por lo tanto, no es necesario que hagas nada más.Ahora, sus comentarios sobre los problemas para ejecutar su modelo son un asunto diferente: parece que hay problemas con el modelo y sospecho que tener 800 variables en su modelo refleja algo que debe corregirse.Buscaría formas de reducir la cantidad de funciones.
Re: usar datos de validación en árbol impulsadoProbaré eso.
Sin embargo, debido a que el modelo es tan grande, la fórmula de predicción ni siquiera parecía funcionar; parece detener el programa. Por último, cuando realmente quiero ejecutar los datos de prueba, ¿cómo lo hago? Muchas gracias - ksfire1
Re: usar datos de validación en árbol impulsadoNo entiendo tu pregunta.Si tiene una columna de validación y la coloca en el cuadro Validación, se informan los resultados del modelo para los datos de validación.Apoyo la opinión de que es posible que desees un modelo más simple y que deberías probar modelos diferentes.Yo agregaría que es posible que desee reservar el 10% de los datos como datos de prueba, ya que los datos de validación se utilizan para construir el modelo y existe el peligro de un sobreajuste, particularmente con 800 variables en su modelo.Por lo tanto, sugeriría dividir sus datos en conjuntos de datos de entrenamiento, validación y prueba, ejecutar una variedad de modelos y usar la función Comparación de modelos para ver cómo se desempeñan los modelos en los datos de prueba.Esta comparación debe automatizarse una vez que haya guardado las fórmulas de predicción de todos sus modelos.
Re: usar datos de validación en árbol impulsadoCon la fórmula todo sería fácil. ¿Has probado? ¿Lo que pasó?
Supongo que usas JMP Pro.
¿Intentaste construir un modelo menos complejo? ¿Probaste el Predictor Screening u otras técnicas de reducción de variables? ¿U otras técnicas de modelado?
Para tener el mejor modelo, se deberían haber comparado diferentes técnicas/conjuntos de variables.
