Pregunta sobre regresión logística nominal relativa a la fórmula de probabilidad de ahorroEstoy intentando desarrollar un modelo para predecir si un árbol vivirá o morirá en un período de 25 años, considerando ciertos atributos ambientales asociados a cada árbol. Ejecuté el modelo de Regresión Logística Nominal, que mostró que la probabilidad de Chi cuadrado para cada atributo era menor que 0,0001, lo que sugeriría que los atributos ambientales podrían usarse como un buen predictor. Para comprobar la precisión de la predicción, seleccioné la opción "Guardar fórmula de probabilidad". Esto añadió varias columnas a la tabla, incluyendo la última, que proporcionaba una predicción (la más probable): vivo o muerto. Las predicciones fueron pésimas. El modelo predijo que un total de 140 árboles estarían vivos después de 25 años, cuando en realidad la cifra rondaba los 1000. Además, muchos de los 140 árboles predichos como vivos en realidad habían muerto. Entonces, mi pregunta es: ¿por qué las predicciones no se acercaron ni remotamente a los datos reales de árboles vivos/muertos?
Investigación de mercado y del consumidorOrganización del contenidoExploración y visualización de datosCompartir y comunicar resultadosRe: Pregunta de regresión logística nominal re: la fórmula de probabilidad de ahorroSí, lo sabía, pero no es la típica descripción paso a paso de las curvas de supervivencia.Además, esta opción proporciona el tiempo medio de supervivencia para cada categoría.Gracias por toda su atención y consejos!
Re: Pregunta de regresión logística nominal re: la fórmula de probabilidad de ahorroEn realidad, PUEDE trazar más de un grupo con Life Distribution.
Re: Pregunta de regresión logística nominal re: la fórmula de probabilidad de ahorroLo siento, Dale.La columna Contar era el número de árboles que murieron durante ese período de tiempo.La razón por la que Count no suma cerca de 10,000 es porque estos eran datos de solo una de las tres unidades de grabación.Descubrí cómo obtener las curvas de supervivencia para los 7 grupos en un gráfico.Después de seleccionar Confiabilidad y supervivencia, seleccione Supervivencia (en lugar de Distribución de vida).Esto colocará las curvas de supervivencia de los 7 grupos en un gráfico.La opción Supervivencia espera que la columna de datos (Recuento en este caso) enumere la cantidad de unidades que fallecieron o fallaron en cada período de tiempo.muy ingenioso
Re: Pregunta de regresión logística nominal re: la fórmula de probabilidad de ahorroLa tabla de datos que adjuntó no tiene datos sobre la cantidad de árboles vivos y muertos en cada período de tiempo (no estoy seguro de qué representa "Recuento", pero no representa 10,000 árboles).Por lo tanto, no puedo intentar obtener esa imagen de sus datos.Pero si tiene un gráfico de supervivencia para cada grupo por separado y los quiere en el mismo gráfico, puede usar "copiar gráfico" para copiar y pegar un gráfico en el otro y deben superponerse.Es posible que haya una manera de hacer que el análisis de supervivencia lo haga automáticamente, pero no puedo decir cómo son sus datos en la tabla que adjuntó.
Re: Pregunta de regresión logística nominal re: la fórmula de probabilidad de ahorroBien, creo que descubrí cómo ingresar datos con una columna de frecuencia que me permite ejecutar el análisis de supervivencia.Después de seleccionar la opción 'comparar grupos', los resultados muestran la curva de mortalidad y también los tiempos medios de supervivencia para los dos grupos, este último que es lo que estaba buscando.Cuando selecciono la opción 'distribución de vida', los resultados muestran las curvas de supervivencia de vida individuales para cada grupo en gráficos separados.¿Hay alguna manera de obtener las curvas de supervivencia para ambos grupos en un solo gráfico? (Sé que puedo mostrar fácilmente ambas curvas de supervivencia en un solo gráfico copiando los datos en Excel, pero parece que también debería poder hacer esto en JMP). ¿Alguna sugerencia?FYI He incluido la tabla de datos.¿Hay alguna manera de obtener los resultados para mostrar las curvas de supervivencia en un solo gráfico?Gracias por las sugerencias.--Mark
Re: Pregunta de regresión logística nominal re: la fórmula de probabilidad de ahorro¿Cómo configuraría una tabla para calcular los tiempos de supervivencia medios o medianos para siete grupos de árboles durante un período de 25 años?Casi 10.000 árboles están involucrados y no quiero entrar en el tiempo de muerte de cada árbol.Lo que sí tengo para cada grupo es la cantidad de árboles que siguen vivos para cada uno de los 25 períodos de tiempo, así como la cantidad de árboles que murieron en cada período de tiempo.Todos los grupos tienen árboles vivos después de 25 años (algunos pocos, otros muchos), así que también tendré que incorporar la censura en la tabla.¿Es posible crear una tabla de análisis de supervivencia utilizando los datos anteriores?Eso espero, ya que la perspectiva de tener que ingresar el tiempo de supervivencia para cada uno de los 10,000 árboles es bastante escasa.Muchas gracias por los comentarios y sugerencias anteriores.¡Han sido muy útiles!--Mark
Re: Pregunta de regresión logística nominal re: la fórmula de probabilidad de ahorroDan, gracias por responderme. En primer lugar, muchas gracias por las sugerencias de ROC y matriz de confusión (nombre extraño). Fueron muy útiles. Mi mejor modelo produjo un ROC de 0,798, que fue bastante decente. Por supuesto, esto predijo el número total de árboles vivos y muertos 25 años después, no las predicciones de árboles vivos o muertos para árboles individuales, que, como se describe a continuación, dieron como resultado alrededor del 63 %. Los árboles de 2020 fueron aproximadamente 1/3 vivos y 2/3 muertos durante el período de 25 años. Si bien no está equilibrado al 50/50, tampoco está demasiado sesgado. Tomé la sugerencia de Dale y jugué ajustando el umbral de predicción (establecido en 0.5) usado para clasificar/predecir árboles individuales como vivos o muertos. Ajustando el umbral a 0,5 + 0,284, pude equilibrar los porcentajes de predicción correctos para árboles vivos y muertos en un 63 %, aunque la cantidad de predicciones correctas en realidad disminuyó ligeramente (4 %) con respecto a las predicciones originales altamente sesgadas hacia las muertas como resultado de un umbral de predicción de 0,5. Se podría pensar que la tasa de mortalidad de árboles del 67% durante 25 años fue realmente alta. Sería en condiciones normales. La alta tasa de mortalidad se debió a que el área donde estaba rastreando los aproximadamente 10,000 árboles se quemó 8 veces durante el período de 25 años. --Marca
Re: Pregunta de regresión logística nominal re: la fórmula de probabilidad de ahorroDale puede tener razón. Pero suponiendo que los puntos de corte no juegan un papel importante, su modelo está sesgado hacia la predicción de Dead. Eso parece indicar que es probable que falte algo en su modelo que sea indicativo de un árbol vivo. No puedo decirte qué es eso. Tampoco estoy completamente seguro de que mi afirmación sea correcta. Aquí es donde es necesario mirar los datos y tener conocimiento del campo.
Re: Pregunta de regresión logística nominal re: la fórmula de probabilidad de ahorroLos comentarios de Dan son relevantes, pero una cosa que debe comprobar es que las predicciones (vivas o muertas) se basan en un umbral del 50 % para clasificar los árboles.Si el AUC (de la curva ROC) es alto (más cercano a 1 que a 0,5), es probable que el uso de un valor de umbral diferente para clasificar los árboles dé lugar a mejores predicciones.Esto es especialmente cierto si los datos están muy desequilibrados (es decir, si hay muy pocos árboles muertos, entonces es probable que la mayoría de las probabilidades estimadas a partir de la regresión logística sean bastante bajas, lo que da como resultado la predicción predeterminada de "no muerto" ).Hay un buen complemento que puede usar (solo búsquelo) que producirá matrices de confusión para probabilidades de clasificación de corte alternativas.
Por otra parte me llamó la atención tu descripción.Parece que estos son datos censurados: después de 25 años, los árboles que están vivos probablemente no tengan la misma salud.Si las condiciones ambientales contribuyen a la muerte del árbol, entonces los árboles sobrevivientes probablemente también se vean afectados, pero aún no muertos.Si tiene una medida del momento en que murieron los árboles, puede intentar un análisis de supervivencia, donde la variable dependiente es el momento de la muerte y los datos censurados se pueden usar en el análisis.
Re: Pregunta de regresión logística nominal re: la fórmula de probabilidad de ahorroDan, ejecuté Confusion Matrix y mostró que el modelo estaba prediciendo decentemente los árboles muertos, prediciendo correctamente 3/4 de ellos como muertos.Pero fue terrible predecir los árboles vivos, prediciendo que el 63% de ellos estaban muertos.La distribución de árboles vivos y muertos es de alrededor del 45 %, 55 %, por lo que está bastante bien equilibrada.¿Por qué el modelo haría un trabajo decente al predecir los árboles muertos pero no los árboles vivos?--Mark
Re: Pregunta de regresión logística nominal re: la fórmula de probabilidad de ahorroEstoy un poco confundido... ¿De dónde sacaste los datos para crear el modelo? La razón por la que la mayoría de los modelos en realidad no predicen bien es que los datos utilizados para crear el modelo NO REPRESENTAN las condiciones futuras. Es por eso que la planificación de la recopilación de datos es mucho más importante que el análisis de datos. Aunque diré que es una situación difícil. Muchas cosas pueden cambiar en 25 años que podrían o no haber sido previstas.
Re: Pregunta de regresión logística nominal re: la fórmula de probabilidad de ahorroPuede tener un modelo estadísticamente significativo que haga un mal trabajo de predicción. La significación estadística le dice que esos términos significativos AYUDAN a explicar la respuesta, pero no garantiza un buen ajuste.
Por ejemplo, con una respuesta continua, mira esta imagen:
El modelo es estadísticamente significativo, pero claramente no predeciría bien.
Determinar por qué el modelo no se ajusta bien puede ser difícil con una regresión logística nominal. Algunas cosas que pueden ayudarlo a determinar la capacidad predictiva en lugar de "observar" la tabla.
* Puedes preguntar por la curva ROC. El área bajo la curva (AUC) es una indicación de la capacidad predictiva. Un AUC de 0,5 es la "línea de base". Esto es como usar una moneda para determinar si el árbol vivirá o no. Cualquier cosa por encima de 0,5 comienza a proporcionar evidencia de capacidad predictiva. El AUC por encima de 0,7 está empezando a tener una capacidad predictiva decente. Por encima de 0,9 es fantástico.
* También puede solicitar la matriz de confusión. Esta es una tabla de resultados observados frente a resultados previstos. Esta tabla es esencialmente lo que estaba considerando al guardar la fórmula de predicción. Esto puede ayudarlo a determinar dónde su modelo está comenzando a tener problemas. ¿Tiene problemas para clasificar los árboles que están muertos? ¿O tiene problemas solo con los árboles que están vivos? ¿O ambos?
No olvide evaluar los datos sobre los que se construyó el modelo. ¿Qué tan "equilibrados" son los datos entre árboles vivos y muertos? Por ejemplo, si solo el 1% de los árboles están muertos, un gran modelo predictivo sería decir que todos los árboles están vivos. ¡99% de precisión! Aunque no es muy útil. Por esta razón, puede ser útil tener una respuesta bastante cercana al equilibrio.
¿El modelo solo contenía efectos principales? ¿Ayudarían las interacciones? ¿Qué pasa con los términos cuadráticos? ¿Son los datos lo suficientemente "ricos" para respaldar un modelo con estos términos de orden superior (esta es una gran pregunta si esos términos de orden superior ya están en el modelo también!).
También puedes probar una técnica de modelado diferente. Tal vez sería bueno probar un modelo de partición o de árbol. También hay otras herramientas.
Estoy seguro de que otros pueden agregar más cosas para ayudar, ¡pero aquí es donde REALMENTE comienza tu diversión! ¡Toda la suerte!
