108928_es-ES

liliconcom

Variación parcial del parámetro de mínimos cuadrados

Esperemos que esta pregunta tenga sentido.  Estoy haciendo regresión logística con N = 2000 observaciones y p = 160 covariables.  Hay una estructura de correlación obvia en la matriz de diseño y puedo ver eso simplemente mirando los VIF cuando hago una regresión logística simple.  Luego hice PLS y obtuve un conjunto diferente de coeficientes, aunque todavía hay 160 de ellos como PLS no hace reducción de variable.  ¿Hay un lugar en el informe de PLS para encontrar las variaciones del nuevo conjunto de coeficientes para ver si se reducen? ¿Tiene sentido que me gustaría ver esto, ya que podría estar cambiando sesgo por variación?   

Re: Variación parcial del parámetro de mínimos cuadrados

Gracias Pedro

 

Una cosa que me preocupa es la gran diferencia en los modelos cuando se selecciona el lazo adaptativo.  Puede ver en el modelo adaptativo que el valor de LogLikelihood escalado no tiene un mínimo bien definido.  Otro problema es que usted ha modelado Y = 0 y obtiene 59 términos en el modelo.  Si apuntas a Y = 1, obtienes un modelo completamente diferente con 71 términos.  No entiendo esto  Sin el conjunto adaptativo, no importa si el objetivo es 0 o 1, los modelos son los mismos, excepto que los términos tienen signos diferentes.  Como me resulta difícil comprender los resultados de adaptación, y mucho menos explicarles a mis clientes, me limito al lazo de vainilla.

 

Con el lazo de vainilla podemos obtener un rendimiento razonable en las matrices de confusión con un umbral de .1522.  Digo razonable en el sentido de que tal vez se cumplan la sensibilidad y la especificidad requeridas.

 

Dicho esto, todavía tenemos la pregunta de si necesitamos hacer una regularización.  Incluso la regresión logística de vainilla da como resultado que las AUC 2 sean algo cercanas.  Pero no queremos usar LR porque sabemos que existe una correlación seria.  Entonces, sin pruebas significativas de sobrealimentación, me mudaría a PLS para tratar solo el problema de la correlación.  Pero como JMP modela el objetivo como continuo, no obtenemos todas las matrices ROC, AUC y confusión en el informe.  Puedo obtenerlos aplicando el logit al predictor lineal y creo que es legítimo ... y eso se remonta a mi pregunta original sobre cómo tratar los resultados de PLS para la comparación de modelos cuando los otros modelos se basan estrictamente en la transformación logit del predictores lineales.

 

Por cierto, aprecio mucho que te hayas metido en estas preguntas, ya que para mí es muy importante comprender a fondo qué diablos estoy haciendo.

 

He incluido la misma tabla de datos con algunos modelos más.

 

Re: Variación parcial del parámetro de mínimos cuadrados

Una técnica comúnmente empleada para verificar el exceso de ajuste cuando tiene suficientes observaciones es dividir el conjunto de datos original en una capacitación, validación y, opcionalmente, probar la agrupación utilizando la subplataforma Realizar validación en la colección de la plataforma de Predictive Modeling. Para los problemas de clasificación, es una buena práctica crear una muestra estratificada en la Y para que tenga proporciones iguales de todos los niveles de respuesta en cada entrenamiento, validación y grupos de pruebas opcionales. Tiene un desequilibrio bastante considerable entre los niveles 1 y 0 para su respuesta. Entonces, ¿es posible que desee probar algunos escenarios donde el saldo está más cerca de 50/50? Una vez que ajusta el modelo, luego examine las curvas ROC para cada agrupación ... si las AUC asociadas con cada agrupación están razonablemente cerca ... entonces no hay evidencia de sobrealimentación. También revise las Matrices de Confusión ... Estoy un poco alarmado por los resultados que obtuve con los conjuntos de capacitación / validación que creé en su tabla de datos original ... el modelo hace un trabajo bastante pobre, clasificando erróneamente los 1 reales como 0 cuando el target = 0 no importa qué enfoque de modelado utilicé. Consulte los tres scripts de análisis diferentes ... logístico, Gen Reg / Lasso y Neural Net en la tabla de datos adjunta. Si esto es problemático desde un punto de vista práctico, entonces su modelo NO se ajusta bien en absoluto ... olvídese de la adaptación excesiva ... es solo un clasificador deficiente.

Re: Variación parcial del parámetro de mínimos cuadrados

Gracias Pedro

 

En mi caso, realmente se trata de la estructura de correlación de los predictores.  No estoy convencido de que la reducción de variables esté justificada en mi solicitud.  De hecho, esa es una pregunta que aún no he respondido y estoy buscando una forma definitiva de comprobar si se está produciendo un sobreajuste incluso cuando uso todos mis predictores.  Tengo N = 1839 observaciones con p = 148 covariables.  He incluido la mesa.  Si solo usamos la regresión regular (tratamos la salida nominal como continua) podemos ver que hay muchos VIF muy grandes.  Así que sabemos que también tendremos un problema cuando hagamos una regresión logística.  Tenemos problemas de correlación, pero tal vez no sea un problema de sobreajuste.  Es por eso que fui con PLS.  Si agrupa las variables, obtiene solo 35 agrupaciones, lo que sugiere que solo hay unas 35 características informativas dentro de las 148 covariables.  Entonces, ¿por qué enfocarse en eliminar cualquiera de ellos en lugar de usar un método robusto para la correlación?

 

Cuando ejecuto la regresión logística obtengo un AUC de solo .815.  Así que incluso usar todas las covariables no me da un ajuste perfecto.  ¿Es AUC <1 una manera legítima de afirmar que el exceso de equipamiento no es el problema?

 

Doy la bienvenida a cualquier pensamiento que tenga.

Re: Variación parcial del parámetro de mínimos cuadrados

Gene:

 

Sus preguntas tienen sentido ... sin embargo, ¿puedo ofrecer un pensamiento alternativo? Si la reducción de la variable es clave para su problema práctico, ¿ha considerado usar las subpersonalidades Lasso o Elastic Net del Modelo de ajuste -> Personalidad / plataforma de regresión generalizada? Estas técnicas son adecuadas para la multicolinealidad entre los predictores ... pero también tienen algunas características importantes que considerar ... estas se explican en la documentación de JMP. Ambos se pueden usar con una respuesta categórica ... y los intervalos de confianza de la estimación del parámetro 'final' se informan junto con la tabla de estimaciones de los parámetros.