601696_es-ES

liliconcom

Re: Amplios intervalos de confianza en Profiler para regresiones binomiales generalizadas

Bienvenido a la comunidad. No estoy seguro de poder brindarle todos los consejos que necesita sobre modelado en este foro. ¿Qué versión de JMP estás usando? También es muy difícil dar consejos con tan poco contexto. ¿Cuál es la respuesta? ¿Cuánta confianza tiene en la medición de la respuesta? ¿Cómo obtuviste el conjunto de datos?

Hay una serie de estadísticas que se pueden usar para evaluar el ajuste excesivo (p. ej., compare el RSquare con el RSquare Adj. A medida que aumenta este delta, es evidencia de que tiene términos sin importancia en el modelo, RScuadrados negativos de un conjunto de datos de validación ). Mirando el pdf que enviaste (nos es mucho más fácil mirar lo que tienes cuando adjuntas la tabla de datos), es difícil de evaluar. El RSquare indica que su modelo explica <30% de la variación en los datos. El gen 4 parece ser el único gen interesante (valor p relativamente significativo). Los errores estándar parecen grandes.

 

Usted puede encontrar estos enlaces útiles

 

https://www.jmp.com/support/help/en/17.0/?os=mac&source=application#page/jmp/estimation-method-options.shtml

https://www.jmp.com/support/help/en/17.1/index.shtml#page/jmp/ejemplo-de-la-tabla-de-comparación-de-modelos-en-regresión-generalizada.shtml#

 

 

Re: Amplios intervalos de confianza en Profiler para regresiones binomiales generalizadas

Puede usar alguna forma de validación cruzada para evaluar el sesgo y la varianza del ajuste insuficiente o excesivo de los datos.

 

Las respuestas binomiales o dicotómicas generalmente muestran un mayor grado de incertidumbre en las predicciones en comparación con una respuesta cuantitativa.

 

La cuestión de lo que se espera o es aceptable es subjetiva. No hay reglas ni guías externas.

Intervalos de confianza amplios en Profiler para regresiones binomiales generalizadas

Hola a todos,

Estoy realizando modelos predictivos y agradecería recibir comentarios sobre el ajuste de mi modelo, ya que soy nuevo en el mundo de los modelos y no quiero cometer errores en la selección del modelo. Tengo una respuesta categórica binomial y predictores continuos (n = 54, p = 15). Elegí un modelo penalizado, Elastic Net, y mi modelo parece tener un ajuste aceptable (RSquare = .28, ROC = .7888, archivo pdf adjunto).

Me preocupan los grandes intervalos de confianza que se muestran en los gráficos del generador de perfiles y quiero asegurarme de que mi modelo no esté sobreajustado. Dicho esto, el ejemplo de regresión general binomial que se muestra en la documentación de jmp también tiene amplios intervalos de confianza, por lo que me pregunto qué es aceptable/esperable con una regresión general binomial ( https://www.jmp.com/support/help/en/17.1/index.shtml#page/jmp/example-of-binomial-generalized-regression.shtml# ).

¿Tienes algún comentario sobre si mi modelo muestra signos de estar sobreajustado o si parece seguro continuar? ¿Hay otras métricas que debería tener en cuenta para evaluar mi ajuste?

¡Gracias de antemano por echar un vistazo a esto!

Exploración y visualización de datosRe: Amplios intervalos de confianza en Profiler para regresiones binomiales generalizadas

Hola, Mark,

¡¡Gracias por la respuesta!! Estoy usando AICc como validación, que pensé que era la mejor opción dado mi pequeño tamaño de muestra n = 54. ¿Recomendaría usar k fold o dejar uno fuera en su lugar?

En cuanto a la incertidumbre: uno de mis objetivos es poder señalar qué genes tienen una correlación positiva con la respuesta (es decir, la probabilidad de respuesta es mayor cuando el número de genes es mayor). ¿Sería incapaz de hacerlo con estos grandes intervalos de confianza? ¿Es mi elección usar modelos de regresión penalizados la mejor manera de hacerlo, o hay otro método que recomendaría que podría proporcionar más certeza con tamaños de muestra pequeños? He investigado muchos métodos y parece que se prefiere un modelo penalizado para los casos en que el número de predictores es mayor que n/10 (según el libro del Dr. Frank Harrel sobre regresiones generalizadas y otras fuentes). Pero si no se ajusta bien, supongo que debería considerar otros métodos. Además, acabo de adjuntar mi tabla de datos a mi pregunta.

 

No estoy seguro de cuál es el alcance de este foro, ¡así que pido disculpas si mis preguntas están fuera de él! No se preocupe si no puede responderlas ¡Gracias!

Re: Amplios intervalos de confianza en Profiler para regresiones binomiales generalizadas

Hola Statman,

 

¡¡Gracias por su respuesta!! He adjuntado la tabla de datos a mi pregunta original. Tengo que proteger cierto nivel de confidencialidad, pero puedo decir que la respuesta es un diagnóstico médico y se determina de acuerdo con las pautas médicas. Estoy seguro de que los diagnósticos son correctos de acuerdo con esas pautas. Los predictores se derivan de los datos de secuenciación profunda que generamos. Comenzamos con 6000 respuestas medidas y he realizado una reducción de datos (ciego a estas muestras); después de reducir todo lo posible, terminé con 15 predictores.

 

Es posible que el buscador de predictores de JMP resalte mejores predictores que los 15 con los que terminé, sin embargo, la literatura parece estar moviéndose hacia métodos de reducción de datos ciegos para actividades clínicas. Estoy de acuerdo en que parece que Gene 4 es el único predictor significativo por sí solo de este lote.

 

Gracias por el consejo sobre cómo observar las indicaciones de ajuste excesivo en R^2 adj. valor. Ese valor no parece estar incluido en mi salida. ¿Sabes que puedo producirlo? ¡¡Gracias!!

Re: Amplios intervalos de confianza en Profiler para regresiones binomiales generalizadas

AICc se trata de la selección de modelos entre los candidatos. No aborda la validación. JMP ofrece una variedad de métodos para la validación cruzada, dependiendo de si usa JMP o JMP Pro. K-fold XV es generalmente una buena opción para pequeños conjuntos de datos. Compare AICc entre los conjuntos de espera de entrenamiento y validación. No deben ser muy diferentes.

Re: Amplios intervalos de confianza en Profiler para regresiones binomiales generalizadas

Entiendo la naturaleza sensible de los datos, pero falta la respuesta en la tabla, por lo que es imposible modelar. Casi todo lo que puedo hacer es multivariar para los genes (y hay algunos valores atípicos).  

Lo siento, no pude resistirme (no pretendo ser antagónico, así que por favor sígueme la corriente):

Tuve que reírme con este comentario. "t La respuesta es un diagnóstico médico y se determina de acuerdo con las pautas médicas. Estoy seguro de que los diagnósticos son correctos de acuerdo con esas pautas". No reír como en jaja, sino reír en términos de basado en pautas . Las pautas son, por definición, no definitivas. Tengo una rara enfermedad autoinmune que fue mal diagnosticada varias veces por varios Dres. usando guías médicas (guías clínicas)...

 

Cuadrados R:

https://www.jmp.com/support/help/en/17.0/?os=mac&source=application#page/jmp/statistical-details-for-the-summary-of-fit-report.shtml