Validación y ponderación.Estoy trabajando con un archivo de aproximadamente 8500 registros donde aproximadamente 100 tienen un valor de variable de respuesta Y y el resto un valor de N. Estoy ejecutando un Modelo de partición en la variable de respuesta Y y luego agrego varios X, Factores. Dado el número relativamente bajo de "respuestas", tengo dos preguntas al usar este modelo.
1) ¿debo ponderar las variables de respuesta utilizando un formato condicional (agregando una nueva columna)?
2) ¿Qué porcentaje debo usar para la porción de validación (20%, 30% ...)?
Re: Validación y ponderación.La sensibilidad y la especificidad son probablemente mejores métricas.Re: Validación y ponderación.Gracias. Y cuando dices un acuerdo relativo, ¿cuál sería la mejor manera de evaluar eso? ¿Valores de Simlar R2 tanto para entrenamiento como para validación?
Tom
Re: Validación y ponderación.No intente optimizar demasiado o ajustará su conjunto de validación. Simplemente elija un ajuste que resulte en un acuerdo relativo entre el entrenamiento y el conjunto de validación y continúe con él.
Re: Validación y ponderación.Gran información, incorporará eso. Ahora que he ejecutado varias proporciones de validación y tanto ponderados como no ponderados, obtengo resultados ligeramente variables como se esperaba. ¿A qué factores estadísticos sugerirías prestar mayor atención al elegir los mejores resultados del modelado?
Re: Validación y ponderación. @chris_kirchberg , Eso es realmente genial y es exactamente el tipo de cosas que tenía en mente. Aprendí algo nuevo hoy.
Re: Validación y ponderación.También es posible que desee incluir la matriz de beneficios como un esquema de ponderación. Echa un vistazo a este enlace para aprender un poco más:
https://www.jmp.com/support/help/13-2/Specify_Profit_Matrix.shtml
Espero que ayude.
Chris
Re: Validación y ponderación.Probablemente lo haría, aunque creo que depende un poco de lo que es un buen clasificador para su situación. Si quieres asegurarte de que haya una gran multa por no ver la respuesta en "Y" para asegurarte de hacer un trabajo adecuado para predecirlas, sería una buena idea. No soy un experto en esta área, pero probablemente jugaría con diferentes pesos y observaría el impacto en la matriz de confusión.
Re: Validación y ponderación.Gracias cameron
Tengo 8 factores por los cuales puedo reducir eso. ¿Sugerirías ponderación también?
Re: Validación y ponderación.Para ese tamaño total, haría una división 70/30 ro 60/40. Podrías probar ambos. ¿Cuántos factores tienes?
