Para la comunidad de JMP Japón:
¿Podría informarme sobre métodos de validación cruzada para datos con un número pequeño de muestras?
Número de casos: 44, positivos: 23, negativos: 21.
Debido a la gran cantidad de factores extraídos, se seleccionaron dos métricas basadas en la fiabilidad de los datos (ICC entre dos evaluadores) y el valor del AUC-ROC, y se realizó un análisis logístico. Ambos factores resultaron significativos para los resultados, y la combinación de ambos produjo un resultado razonable de AUC-ROC > 0,85. El revisor señaló que era necesaria la validación cruzada para evitar el sobreajuste, y dado el bajo número de casos, se optó por el método LOOCV (dejar uno fuera de la caja).
Al ejecutar Analizar > Regresión generalizada > Lasso > LOOCV, se muestran los siguientes resultados. Nunca he usado este método, así que no estoy seguro de cómo interpretarlos. ¿Podría alguien con más conocimientos explicarlo?
Por cierto, los resultados de la logística binomial son los siguientes.
Gracias por su cooperación.
La regresión Lasso (pronunciada "lasso" o "ras-") pertenece a un grupo de métodos de regresión conocidos generalmente como regresión penalizada o regresión regularizada. Otros tipos de regresión penalizada (regresión regularizada) incluyen la regresión de cresta y la regresión de red elástica.
En la regresión logística estándar, se calculan los coeficientes de regresión (parámetros) que maximizan la verosimilitud. El método de estimación para encontrar los valores de los parámetros que maximizan la verosimilitud se denomina estimación de máxima verosimilitud. Cuanto mayor sea la verosimilitud calculada a partir de los datos de entrenamiento, mejor será el ajuste a estos. Por lo tanto, la estimación de máxima verosimilitud puede considerarse un método de estimación para encontrar los coeficientes de regresión (parámetros) que mejor se ajustan a los datos de entrenamiento.
La estimación de máxima verosimilitud en regresión logística tiene buenas propiedades matemáticas (consistencia, validez, normalidad asintótica) cuando los datos son grandes.
La regresión penalizada (regresión regularizada) es un método para evitar el sobreajuste y mejorar la precisión de la predicción mediante el uso de la log-verosimilitud negativa más un término de penalización como función objetivo. En el caso de la regresión Lasso, el término de penalización es la suma de los valores absolutos de las estimaciones de los parámetros, excluyendo la intersección, multiplicada por una constante (el parámetro de penalización). Establecer este parámetro de penalización a cero (es decir, reducir la penalización) resulta en una estimación de máxima verosimilitud normal, mientras que establecerlo a infinito (es decir, fortalecer la penalización) resulta en que todas las estimaciones de los parámetros, excluyendo la intersección, se conviertan en cero.
En el informe de captura de pantalla que publicaste, los parámetros de penalización aumentan a medida que te mueves hacia la izquierda y disminuyen a medida que te mueves hacia la derecha.
La "logaritmo de verosimilitud negativa" es la logaritmo de verosimilitud con el signo opuesto. La "logaritmo de verosimilitud negativa escalada" es la logaritmo de verosimilitud negativa promedio por observación (fila). Un logaritmo de verosimilitud mayor indica un mejor ajuste a los datos, mientras que un logaritmo de verosimilitud menor con el signo opuesto indica un mejor ajuste a los datos.
Al calcular las estimaciones de parámetros en la estimación de máxima verosimilitud o la regresión penalizada, se utiliza la logaritmo-verosimilitud negativa de los datos de entrenamiento. En el gráfico a la derecha del informe enviado, se representa no solo la logaritmo-verosimilitud negativa de los datos de entrenamiento, sino también la de los datos de validación. Cuanto más complejo sea el modelo (al reducir las penalizaciones, aumentar el número de variables explicativas, etc.), menor será la logaritmo-verosimilitud negativa de los datos de entrenamiento. Sin embargo, esto no ocurre con la logaritmo-verosimilitud negativa de los datos de validación.
En general, si tiene una cantidad bastante grande de datos, un modelo simple y especifica el modelo verdadero, las verosimilitudes logarítmicas negativas de los datos de entrenamiento y los datos de validación serán las mismas, como se muestra en la siguiente figura.
Sin embargo, en situaciones donde hay pocos datos, incluso si se ajusta el modelo verdadero, la verosimilitud logarítmica negativa de los datos de validación será mayor que la verosimilitud logarítmica negativa de los datos de entrenamiento, como se muestra en la siguiente figura, y el gráfico de los datos de validación a menudo tendrá forma de U.
Una mayor verosimilitud negativa para los datos de validación que para los de entrenamiento sugiere que el modelo está sobreajustado a los datos de entrenamiento, lo que significa que se ajusta bien a los datos de entrenamiento, pero mal a los de validación. Una forma de U para los datos de validación indica que cuanto más complejo es el modelo, peor se ajusta a los datos de validación.
El intervalo de confianza para el AUC puede proporcionar una estimación aproximada de la incertidumbre de la estimación del AUC. Si ajusta un modelo de regresión logística mediante "Regresión generalizada", puede obtener el intervalo de confianza para el AUC siguiendo estos pasos:
(1) Haga clic en el botón de triángulo rojo en el esquema "Regresión logística" .
(2) En el menú que aparece, seleccione [Guardar columnas] → [Guardar fórmula de predicción] .
Esta operación crea una columna de fórmulas de predicción de probabilidad en la tabla de datos.
(3) En el menú desplegable, seleccione [Análisis (A)] → [Modelo predictivo] → [Comparar modelos] .
(4) En el cuadro de lista "Seleccionar columnas" en el lado izquierdo de la ventana de inicio invocada, seleccione las dos columnas que contienen los valores de predicción de probabilidad ( "Probabilidad (nombre de columna = nombre de evento)" y "Probabilidad (nombre de columna = nombre de no evento)") y haga clic en el botón [Y, Predictor] .
(5) Haga clic en el botón [Aceptar] .
(6) Haga clic en el botón de triángulo rojo en el esquema "Comparación de modelos" y seleccione "Comparación de AUC".
Si se le solicita calcular el AUC basándose en las predicciones de probabilidad obtenidas mediante el método de dejar uno y dejar uno, JMP no proporciona una interfaz gráfica de usuario para dicho proceso. Para ello, debe programar con un lenguaje de script llamado Lenguaje de Scripting JMP (JSL).
A continuación se muestra un programa de ejemplo. Es solo un ejemplo.
Esto borrará los atributos de fila de la tabla de datos, así que prepare con antelación solo la tabla que desea analizar. Al hacerlo, elimine las filas con atributos excluidos.
En el siguiente ejemplo, se eliminan las filas una por una, se ajusta un modelo de regresión logística y se calcula la probabilidad prevista para cada fila. Luego, se calculan la curva ROC y el AUC en función de la probabilidad prevista.
Los siguientes ejemplos son sólo ejemplos.
Además, para que esto funcione, deberá cambiar los nombres de las columnas y los valores de los datos de evento según corresponda. Tenga en cuenta que, por defecto, todas las filas con valores faltantes se eliminan antes del análisis (el análisis se realiza mediante eliminación por lista).
Names Default To Here(1);
dt = Current Data Table();
eta = J(NRow(dt),1,.);
For(i = 1, i <= NRow(dt), i++,
dt << Clear Row States; // 行属性のクリア
Row State(i)= Excluded State(1); // 第i行に除外属性を付与
// ロジスティックモデルのあてはめ
plat = dt << Fit Model(
<
<INVISIBLE></INVISIBLE>
<DIV>
</DIV>
<DIV>■En cualquier caso, si las variables explicativas son modelos de regresión logística de dos variables con n = 50 (las variables de evento y no evento son aproximadamente n = 25), incluso si se ajusta el modelo real, el error de estimación será grande y será difícil determinar si el modelo de dos variables es un buen modelo (por ejemplo, ¿sería mejor usar otras variables explicativas? ¿Sería mejor agregar otras variables explicativas?). También será bastante difícil determinar si el modelo estimado será práctico como modelo predictivo real en el futuro. Incluso si la validación interna puede confirmarse utilizando los métodos anteriores y otros métodos, creo que los juicios deberán hacerse de forma conservadora y cautelosa.</DIV>
<DIV>
</DIV>
<DIV>TRIPOD es una guía para la construcción de modelos predictivos en el ámbito médico, pero no la tuve en cuenta al escribir la respuesta anterior. Creo que hay muchos otros aspectos que deben revisarse al construir un modelo predictivo.</DIV>
<DIV>
</DIV>
