Pregunta de regresión logística nominal re: la fórmula de probabilidad de ahorroEstoy tratando de desarrollar un modelo para predecir si un árbol vivirá o morirá durante un período de 25 años dados algunos atributos ambientales asociados con cada árbol.Ejecuté el modelo de Regresión logística nominal, que mostró que el Prob> ChiSq para cada atributo era <0.0001, lo que parecería sugerir que los atributos ambientales podrían usarse como un buen predictor.Queriendo ver qué tan buenas eran las predicciones, seleccioné la opción Guardar fórmula de probabilidad.Esto agregó varias columnas a la tabla, incluida la columna final, que proporcionó una predicción (más probable), vivo o muerto.Las predicciones fueron terribles.El modelo predijo que un total de 140 árboles estarían vivos después de 25 años, cuando en realidad el número era de aproximadamente 1000.No solo eso, sino que muchos de los 140 árboles vivos predichos de hecho habían muerto.Entonces, mi pregunta es, ¿por qué las predicciones ni siquiera se acercaron a los datos reales de Live / Dead?
AnalíticaTabla de datosRe: pregunta de regresión logística nominal re: la fórmula de probabilidad de ahorroPuede tener un modelo estadísticamente significativo que haga un mal trabajo de predicción. La importancia estadística le dice que esos términos significativos AYUDAN a explicar la respuesta, pero no garantizan un buen ajuste.
Por ejemplo, con una respuesta continua, mire esta imagen:
El modelo es estadísticamente significativo, pero claramente no predeciría bien.
Determinar por qué el modelo no se ajusta bien puede resultar difícil con una regresión logística nominal. Algunas cosas que pueden ayudarlo a determinar la capacidad de predicción en lugar de "mirar" la tabla.
* Puede solicitar la curva ROC. El área bajo la curva (AUC) es una indicación de capacidad predictiva. Un AUC de 0,5 es la "línea de base". Esto es como usar una moneda para determinar si el árbol vivirá o no. Cualquier valor superior a 0,5 comienza a proporcionar evidencia de capacidad predictiva. AUC por encima de 0,7 está comenzando a alcanzar una capacidad de predicción decente. Por encima de 0,9 es fantástico.
* También puede solicitar la matriz de confusión. Esta es una tabla de resultados observados frente a resultados previstos. Esta tabla es esencialmente lo que estaba considerando al guardar la fórmula de predicción. Esto puede ayudarlo a determinar dónde está comenzando a tener problemas su modelo. ¿Tiene problemas para clasificar los árboles muertos? ¿O está teniendo problemas solo con los árboles que están vivos? ¿O ambos?
No olvide evaluar los datos sobre los que se creó el modelo. ¿Cuán "equilibrados" son los datos entre árboles vivos y muertos? Por ejemplo, si solo hay un 1% de los árboles muertos, un gran modelo predictivo sería decir que todos los árboles están vivos. ¡99% de precisión! Aunque no es muy útil. Por esta razón, tener una respuesta que sea bastante equilibrada puede resultar útil.
¿El modelo solo contenía efectos principales? ¿Ayudarían las interacciones? ¿Qué pasa con los términos cuadráticos? ¿Son los datos lo suficientemente "ricos" para respaldar un modelo con estos términos de orden superior (esta es una gran pregunta si esos términos de orden superior ya están en el modelo también!).
Estoy seguro de que otros pueden agregar más cosas para ayudar, ¡pero aquí es donde realmente comienza tu diversión! ¡La mejor de las suertes!
Re: pregunta de regresión logística nominal re: la fórmula de probabilidad de ahorroEstoy un poco confundido ... ¿De dónde sacaste los datos para crear el modelo? La razón por la que la mayoría de los modelos no predicen bien es que los datos utilizados para crear el modelo NO REPRESENTAN las condiciones futuras. Es por eso que planificar la recopilación de datos es mucho más importante que el análisis de datos. Aunque diré que es una situación difícil. Muchas cosas pueden cambiar en 25 años que pudieron o no fueron anticipadas.
Re: pregunta de regresión logística nominal re: la fórmula de probabilidad de ahorroDan, ejecuté la Matriz de confusión y mostró que el modelo estaba prediciendo decentemente los árboles muertos, prediciendo correctamente 3/4 de ellos como muertos.Pero estaba haciendo algo terrible al predecir los árboles vivos, prediciendo el 63% de ellos como muertos.La distribución de árboles vivos y muertos es de aproximadamente 45%, 55%, por lo que está bastante bien equilibrada.¿Por qué el modelo haría un trabajo decente al predecir los árboles muertos pero no los árboles vivos? - Mark
Re: pregunta de regresión logística nominal re: la fórmula de probabilidad de ahorroLos comentarios de Dan son relevantes, pero una cosa que debe verificar es que las predicciones (vivas o muertas) se basan en un umbral del 50% para clasificar los árboles.Si el AUC (de la curva ROC) es alto (más cercano a 1 que a 0,5), entonces es probable que el uso de un valor de umbral diferente para clasificar los árboles resulte en mejores predicciones.Esto es especialmente cierto si los datos están muy desequilibrados (es decir, si hay muy pocos árboles muertos, entonces es probable que la mayoría de las probabilidades estimadas a partir de la regresión logística sean bastante bajas, lo que da como resultado la predicción predeterminada de "no muerto" ).Hay un complemento agradable que puede usar (solo búsquelo) que producirá matrices de confusión para probabilidades alternativas de clasificación de corte.
Por otra parte, me llamó la atención tu descripción.Parece que se trata de datos censurados: después de 25 años, los árboles que están vivos probablemente no tengan la misma salud.Si las condiciones ambientales contribuyen a la muerte de los árboles, es probable que los árboles supervivientes también se vean afectados, pero aún no estén muertos.Si tiene una medida del momento en que murieron los árboles, puede probar un análisis de supervivencia, donde la variable dependiente es el momento de la muerte y los datos censurados se pueden usar en el análisis.
Re: pregunta de regresión logística nominal re: la fórmula de probabilidad de ahorroDale puede tener razón. Pero asumiendo que los cortes no juegan un papel importante, su modelo está predispuesto a predecir Dead. Eso parece indicar que hay algo que probablemente falta en su modelo que es indicativo de un árbol vivo. No puedo decirte qué es eso. Tampoco estoy completamente seguro de que mi afirmación sea correcta. Aquí es donde es necesario mirar los datos y tener conocimiento del campo.
Re: pregunta de regresión logística nominal re: la fórmula de probabilidad de ahorroDan, gracias por responderme. Primero, muchas gracias por las sugerencias de la ROC y la matriz de confusión (nombre extraño). Fueron muy útiles. Mi mejor modelo produjo una ROC de 0,798, que era bastante decente. Por supuesto, esto estaba prediciendo el número total de árboles vivos y muertos 25 años después, no las predicciones de muertos o vivos para árboles individuales, que como se describe a continuación arrojaron alrededor del 63%. Los árboles de 2020 estuvieron aproximadamente 1/3 vivos y 2/3 muertos durante el período de 25 años. Aunque no está equilibrado al 50/50, todavía no está demasiado sesgado. Tomé la sugerencia de Dale y jugué ajustando el umbral de predicción (establecido en 0.5) usado para clasificar / predecir árboles individuales como vivos o muertos. Ajustando el umbral a 0.5 + 0.284, pude obtener los porcentajes de predicción correctos para árboles Vivos y Muertos equilibrados al 63%, aunque el número de predicciones correctas en realidad disminuyó ligeramente (4%) desde el original muy sesgado hacia las predicciones muertas como resultado de un umbral de predicción de 0.5. Se podría pensar que la tasa de mortalidad de árboles del 67% durante 25 años fue realmente alta. Sería en condiciones normales. La alta tasa de mortalidad se debió a que el área donde estaba rastreando los aproximadamente 10,000 árboles se quemó 8 veces durante el período de 25 años. --Marca
