Mejor enfoque y alternativa a la regresión logística simple para modelar la probabilidad de pertenecer a un grupoHola
Necesito un poco de ayuda para elegir el enfoque correcto para resolver mi problema.
Tengo una variable continua X que puede tomar cualquier valor entre [-45 0].
Tengo un conjunto de datos de valores X para 12 grupos distintos; consulte a continuación su histograma.
Estoy intentando construir dos modelos:
1) Un modelo que, para un nuevo valor dado de X, me da la probabilidad de pertenecer a cada grupo y me da el grupo más probable.
2) Un modelo que, para una nueva entrada de X que se supone pertenece a un grupo determinado, me da la probabilidad de que esta entrada no sea para dicho grupo.
Inicialmente pensé que la regresión logística era el mejor enfoque, al menos para 1) pero para 2) no estoy seguro. En particular para grupos con una distribución muy estrecha como K, por ejemplo.
¡Gracias de antemano!
Modelado estadístico avanzadoAnálisis y modelado de datos básicosModelado predictivo y aprendizaje automáticoRe: Mejor enfoque y alternativa a la regresión logística simple para modelar la probabilidad de pertenecer a un grupoDependiendo del tamaño del conjunto de datos, es posible que eche un vistazo a los métodos del árbol de decisión. Específicamente Bootstrap Forest (bosque aleatorio en la literatura).
Re: Mejor enfoque y alternativa a la regresión logística simple para modelar la probabilidad de pertenecer a un grupoGracias @MikeD_Anderson . ¡Echaré un vistazo!
Tengo alrededor de 800 entradas pero algunos grupos tienen menos de 20 observaciones.
Sin embargo, solo tengo acceso a JMP (no a Pro), por lo que todavía estoy interesado en otras alternativas con fórmula de predicción continua. ¿ANN funcionaría?
Gracias
Re: Mejor enfoque y alternativa a la regresión logística simple para modelar la probabilidad de pertenecer a un grupoHola @KarlA026 . Es posible que también desee probar el análisis discriminativo.
https://www.jmp.com/support/help/en/18.0/index.shtml#page/jmp/overview-of-the-discriminant-platform.shtml#
Re: Mejor enfoque y alternativa a la regresión logística simple para modelar la probabilidad de pertenecer a un grupoGracias @MRB3855 . Obtengo mejores resultados con ANN. Pero aún así puedo evitar pensar que estoy usando herramientas sofisticadas cuando solo tengo un predictor (continuo).
Para el enfoque 2) ¿Qué pasa si ajusto un modelo de distribución a un grupo (Normal u otro) y uso la fórmula del modelo como fórmula de predicción?
Re: Mejor enfoque y alternativa a la regresión logística simple para modelar la probabilidad de pertenecer a un grupoHola @KarlA026 ¿Qué quieres decir con ANN “mejor” que LR?
Y, con (2), estás volteando lo que es aleatorio de (1). En (1), el grupo es aleatorio. En (2), tal como lo expresaste, X es aleatorio. Es por eso que sugerí que quizás quieras considerar DA.
No estoy seguro de lo que quiere decir con " ajustar un modelo de distribución a un grupo (Normal u otro) y utilizar la fórmula del modelo como fórmula de predicción". ¿Puedes aclarar?
Re: Mejor enfoque y alternativa a la regresión logística simple para modelar la probabilidad de pertenecer a un grupoGracias @MRB3855 y @MikeD_Anderson
Para ANN, quiero decir que cuando uso X para predecir el grupo, tengo menos resultados Missclassified que con LDA. Esto se debe a que LDA simplemente ofrece un modelo similar al de logit, sin permitir un modelo no lineal (consulte las diferencias de los perfiladores en las imágenes adjuntas en un ejemplo para el Grupo K).
Como puede ver, los perfiladores para el modelo ANN están cerca de la distribución del Grupo K. Mi sugerencia de ajustar una distribución puede no ser relevante. Es solo que cuando intenté ajustar un modelo de distribución normal al grupo K, por ejemplo, pude guardar la fórmula del modelo como una nueva columna y usarla como columna indicadora para cualquier nueva entrada para evaluar la probabilidad de esta nueva entrada de perteneciente al grupo K.
Solo quiero estimar, para un valor X fijo dado, la probabilidad de que ese punto pertenezca a un grupo determinado.
Espero haber sido claro ahora!
¡Gracias!
Re: Mejor enfoque y alternativa a la regresión logística simple para modelar la probabilidad de pertenecer a un grupo@MRB3855 , @MikeD_Anderson ,
¿Alguna idea? ¡Gracias de antemano!
Re: Mejor enfoque y alternativa a la regresión logística simple para modelar la probabilidad de pertenecer a un grupoHola @KarlA026 : Desafortunadamente, no estoy seguro de tener una buena solución. Y, en caso de que uno de mis comentarios anteriores haya pasado desapercibido, lo ampliaré a continuación.
Arriba, algunas publicaciones arriba, dije:
"Y, con (2), estás volteando lo que es aleatorio de (1). En (1), el grupo es aleatorio. En (2), tal como lo expresaste, X es aleatorio".
(1) En regresión logística o RNA, está estimando la probabilidad (de estar en un grupo dado algún valor de X), que, para abreviar, puede escribirse P(G|X) y leerse "Probabilidad de pertenecer al grupo dado X". Entonces aquí, el grupo es el componente aleatorio. X es fijo (es decir, elegido).Entonces, para un X dado, se estima la probabilidad de estar en cada grupo.
(2) Lo que "sólo quieres estimar" es muy diferente. De la forma en que planteó el problema, está preguntando Prob(X pertenece a un grupo, dado un grupo) = Prob(X|G) lea "probabilidad de que X pertenezca a un grupo dado". Aquí, X es aleatorio y El grupo es fijo. Entonces, ¿cuál es la probabilidad de que X esté en un grupo determinado? Aquí, estás eligiendo el grupo y preguntando cuál es la probabilidad de que X esté en ese grupo.
P(G|X) es muy diferente de P(X|G), al igual que el Prob (La persona A tiene la enfermedad, dado que la Persona A dio positivo para la enfermedad) es muy diferente del Prob (La Persona A dio positivo para la enfermedad, dada la Persona A tiene la enfermedad).
Todo dicho: mirando su gráfico en la parte superior, si elige un valor de x, diga -30 y dibuje una línea recta hacia arriba. Puede ver que el porcentaje de área bajo la curva a la izquierda de -30 para el grupo M es aproximadamente 50%. Para el grupo D es aproximadamente el 20%, etc. ¿Es eso lo que estaba pensando cuando dijo "ajustar un modelo de distribución a un grupo (Normal u otro) y usar la fórmula del modelo como fórmula de predicción?"
Re: Mejor enfoque y alternativa a la regresión logística simple para modelar la probabilidad de pertenecer a un grupo@MRB3855 gracias por la aclaración.
Supongo que tenía eso en mente, pero lo formulé no fue muy riguroso.
De todos modos, sabiendo qué recomendaría para evaluar/modelar P(G|X) o P(X|G)?
De hecho, lo que describe en el último párrafo parece cercano a lo que tenía en mente.Re: Mejor enfoque y alternativa a la regresión logística simple para modelar la probabilidad de pertenecer a un grupoHola @KarlA026 : No estoy seguro. ¿Por qué es necesario "estimar, para un valor X fijo dado, la probabilidad de que ese punto pertenezca a un grupo determinado"? es decir, ¿cómo observas X? ¿Es impredecible el valor preciso de X (quizás el resultado de algún proceso que tiene alguna fuente incontrolada de variabilidad) o puede seleccionar X como desee? ¿Y cómo se va a utilizar en la práctica este modelo, cualquiera que sea? ¿Puedes proporcionar algunos detalles?
Re: Mejor enfoque y alternativa a la regresión logística simple para modelar la probabilidad de pertenecer a un grupo¡Gracias @MRB3855 !
Debería haber empezado con eso. X es una propiedad material intrínseca de una materia prima que se puede obtener mediante un análisis específico. Los grupos son distintos proveedores de esta materia prima.
Los dos escenarios corresponden a casos:
1) Tenemos un material cuyo proveedor se desconoce y necesitamos evaluar el proveedor (grupo) más probable con base en X.
2) Un proveedor de la materia prima nos está proporcionando una muestra y queremos evaluar cuál es la probabilidad de que ese material provenga efectivamente de ese proveedor o, por el contrario, la probabilidad de que ese material provenga de otro lugar. Todo eso basado en el valor de X para esa muestra en la base de datos de referencia que se muestra en la figura.
¡Espero que esto ayude!Re: Mejor enfoque y alternativa a la regresión logística simple para modelar la probabilidad de pertenecer a un grupoHola @KarlA026 : Sí, eso es útil. ¡Gracias!
La idea, según tengo entendido, es construir un modelo probabilístico que se base en los datos de la figura. Luego, ese modelo se puede utilizar para estimar la probabilidad de que esa muestra provenga de cada uno de los proveedores, respectivamente (basado en el valor observado de la propiedad material X).
Caso 1 (material de proveedor desconocido): usted mide X. Luego, una vez que tenga el valor observado de X, simplemente aplíquelo al modelo que ya ha creado (logístico/ANN/lo que sea) para predecir el proveedor más probable (proveedor con mayor probabilidad). ).
Caso 2 (material de proveedor conocido): Si conoce al proveedor y conoce X, la probabilidad de que este material sea de ese proveedor (o no) es irrelevante (aunque se puede calcular, igual que en el caso 1 anterior). Aquí hay un ejemplo. Supongamos que miras afuera y está lloviendo. Pero hace una hora revisaste el pronóstico del tiempo y decía, entonces, que la probabilidad de lluvia hoy es del 10%. Todo lo que realmente se puede decir, desde el punto de vista de la predicción binaria, es que el modelo se equivocó; Sin embargo, desde un punto de vista probabilístico, el modelo no estaba equivocado (no decía que la probabilidad de lluvia fuera del 0%). Pero, de cualquier manera, está lloviendo... la probabilidad no entra en juego. Entonces, una vez que algo ha ocurrido o se sabe, no puede haber ninguna probabilidad asociada con ello. En su caso, una vez que conoce al proveedor, no puede haber ninguna probabilidad asociada con él... aunque puede calcularlo (como en el caso 1 anterior) para ver qué tan bien predice el modelo. Entonces, si el modelo predice el proveedor M, pero usted sabe que en realidad proviene del proveedor F... todo lo que puede decir, desde el punto de vista de la predicción, es que el modelo se equivocó. Dicho esto, ¿tienes algún motivo para desconfiar de un proveedor? por ejemplo, ¿existe la posibilidad de obtener una muestra del proveedor D que en realidad sea del proveedor B? Si es así, esa es una situación diferente, con una solución fácil (¡no utilices más el proveedor D!).
Re: Mejor enfoque y alternativa a la regresión logística simple para modelar la probabilidad de pertenecer a un grupo@MRB3855 ¡Muchas gracias!
Para responder tu pregunta. Sí, en nuestro escenario asumimos que algunas materias primas pueden provenir de otro proveedor distinto al indicado (o podrían mezclarse con otra fuente). El objetivo aquí es obtener algún tipo de certificación basada en X.
Además, dado que aquí solo tengo un predictor, ¿ANN es un método aceptable? Siempre pensé que esto era sólo para cuestiones multivariadas.
Re: Mejor enfoque y alternativa a la regresión logística simple para modelar la probabilidad de pertenecer a un grupoHola @KarlA026 : Ah, ya veo. ¡Buena suerte!
Ciertamente, si X = -5 y es "del proveedor D", entonces sospecharía mucho según el gráfico anterior. Pero ¿y si X = -24? Entonces tal vez sean plausibles varios proveedores con poca capacidad para discriminar con precisión entre ellos. Creo que X por sí solo no es, en general, un buen discriminador. ¿Quizás existan otras propiedades materiales?
Claro, ANN está bien; Desde una perspectiva puramente estadística, no veo ninguna razón por la que no se pueda utilizar 1 predictor. Aunque, como dije anteriormente, la X que estás midiendo no es, en general, adecuada para discriminar entre grupos.
