Estimaciones de parámetros en regresión logística<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />He simulado tres conjuntos de datos de 20 millones de puntos cada uno para probar LR con variables de respuesta binaria con eventos muy raros:
1) Dos efectos continuos: Beta0=12, beta1=1 y Beta2=1. X1 es Normal (-0,8, 0,25) y X2 es -ABS[Normal (0,5)]. (Cada una de las dos variables aumenta la probabilidad del evento, según el valor de la variable). En este caso, hay alrededor de 711 000 eventos positivos en 20 millones de muestras. Al ejecutar LR, obtengo estimaciones bastante buenas de las tres versiones beta: b 0 = 12.003, b 1 =1.005, b 2 =0.99996. RSquare(U)=0.623, AICc = 2,314,760 y BIC=2,314,804. El ROC AUC=0.97835.
2) El segundo conjunto de datos tiene un efecto continuo y otro categórico. Para estos datos, reemplazo la segunda variable continua en el primer conjunto de datos con una variable binaria que ocurre con una probabilidad de 0.05 y una Beta2 = -2. Estos datos contienen solo 394 eventos en un total de 20 millones de muestras. Al ejecutar LR, las estimaciones son: b 0 = 11.0988, b 1 =1.184, b 2 =-1.01. RSquare(U)=0.0283, AICc = 9,068 y BIC=9,112. La ROC con AUC = 0,68. Entonces, mientras que las estimaciones de Beta0 y Beta1 son razonables, la estimación de Beta2 para la variable nominal parece ser la mitad del valor real .
3) Para generar el tercer conjunto de datos, utilizo ambos efectos como variables binomiales generadas. Reemplazo una variable continua en el primer conjunto de datos con una variable binaria que ocurre con una probabilidad de 0.05 y una Beta2 = -2. Reemplazo la segunda variable continua con otra variable aleatoria generada binomialmente con probabilidad 0.1 y Beta = -1. Estos datos contienen solo 165 eventos en un total de 20 millones de muestras. Al ejecutar LR, los valores de los parámetros estimados son: b 0 = 10.582, b 1 = - 1.14, b 2 = - 0,512. RSquare(U)=0,0384, AICc = 4038 y BIC=4082. El ROC AUC=0,6756. Entonces, mientras que la estimación de Beta0 es razonable, las estimaciones de Beta1 y Beta2 para ambas variables nominales parecen ser la mitad del valor real.
¿Que me estoy perdiendo aqui? ¿Por qué las estimaciones de los coeficientes de las variables categóricas deberían ser la mitad de sus valores verdaderos?
Mis próximas pruebas serán submuestrear los no eventos y luego aplicar la corrección de submuestreo a Beta0. Pero, primero me gustaría entender las estimaciones generadas por LR en JMP. Cualquier sugerencia o aclaración sería muy apreciada.
Re: Estimaciones de parámetros en regresión logísticaCómo codifica el factor categórico es el problema, no el tipo de modelo. No es que haya -1 en la lista.
Prueba la codificación 1/0
ranjan@mitre.org Apr 14, 2014 10:44 AM
I coded the nominal variables as 0/1 as you recommend and then did not use them, and applied the appropriate betas in the P calculation.
no se que significa eso...
Siempre puede intentar ponerse en contacto con el soporte técnico, si no obtiene una respuesta aquí. Tienen gente más familiarizada con JMP.
Re: Estimaciones de parámetros en regresión logísticaReeza
El enlace que envió se aplica al modelo lineal. Estoy trabajando con regresión logística.
Re: Estimaciones de parámetros en regresión logísticaCodifiqué las variables nominales como 0/1 como usted recomienda y luego no las usé, y apliqué las betas apropiadas en el cálculo de P. Ahora las estimaciones de las tres betas son: 10,52, 0,9848 y 0,6534. Entonces, Beta1 y Beta2 que corresponden a las variables nominales todavía parecen tener aproximadamente la mitad del valor real, pero el signo ahora es opuesto al que debería ser. La verdadera Beta1 de -2 se estima en 0,9848 y la verdadera Beta2 de -1 se estima en 0,6534. Adjunto una versión corta del archivo si ayuda. (si tiene tiempo para ejecutar el LR en JMP, el archivo deberá extenderse un poco para obtener suficientes eventos. Yo uso un archivo de 20M filas.
Gracias
Re: Estimaciones de parámetros en regresión logísticahttp://www.jmp.com/support/help/The_Factor_Models.shtml#65535
Codifíquelo como 0/1 y no lo incluya en el efecto nominal para ver si obtiene los resultados deseados.
Consulte el enlace anterior para ver cómo JMP categoriza las variables nominales.
Re: Estimaciones de parámetros en regresión logísticaCodifico la variable nominal como 0 y el valor Beta y luego uso estos valores (lo que resultan ser en cada entrada) en el cálculo de P(evento) mediante la expresión logística (1/(1+exp(beta0+Beta1+Beta2 ))). Asumí que la entrada en la columna de efectos se usará solo como una 'etiqueta' cuando esa columna se designe como Efecto nominal. ¿Está sugiriendo que el valor ingresado en la columna se use de alguna manera, si 0/1 y 1/2 hacen la diferencia?
Re: Estimaciones de parámetros en regresión logísticaNo estoy tan familiarizado con JMP, pero aquí hay algunas razones por las que sucede en SAS
1. Compruebe cómo codificó su variable binaria (0/1) es diferente de 1/2
2. Si usó algún tipo de categorías automáticas, verifique cómo se parametriza, es decir, codificación de efectos o codificación referencial.
