À la communauté JMP Japon :
Pourriez-vous me parler des méthodes de validation croisée pour les données comportant un petit nombre d'échantillons ?
Nombre de cas : 44, positifs : 23, négatifs : 21.
En raison du grand nombre de facteurs extraits, deux indicateurs ont été sélectionnés en fonction de la fiabilité des données (ICC entre deux évaluateurs) et de la valeur de l'aire sous la courbe ROC (AUC-ROC), et une analyse logistique a été réalisée. Les deux facteurs se sont avérés significatifs pour les résultats, et leur combinaison a permis d'obtenir un résultat satisfaisant (AUC-ROC > 0,85). Le relecteur a souligné la nécessité d'une validation croisée pour éviter le surapprentissage ; compte tenu du faible nombre d'observations, nous avons opté pour la validation croisée LOOCV (méthode « leave-one-out-the-box »).
Lorsque j'exécute Analyser > Régression généralisée > Lasso > LOOCV, les résultats suivants s'affichent. Je n'ai jamais utilisé cette méthode auparavant et je ne sais donc pas comment interpréter ces résultats. Quelqu'un pourrait-il m'expliquer ?
Au fait, les résultats de la régression logistique binomiale sont les suivants.
Merci de votre coopération.
La régression Lasso (prononcée « lasso » ou « ras- ») fait partie des méthodes de régression regroupées sous le terme de régression pénalisée ou régularisée. Parmi les autres types de régression pénalisée (ou régularisée), on trouve la régression Ridge et la régression Elastic Net.
En régression logistique standard, on détermine les coefficients de régression (paramètres) qui maximisent la log-vraisemblance. La méthode d'estimation permettant de trouver les valeurs des paramètres qui maximisent la log-vraisemblance est appelée estimation du maximum de vraisemblance. Plus la log-vraisemblance calculée à partir des données d'apprentissage est élevée, meilleur est l'ajustement du modèle à ces données. Par conséquent, l'estimation du maximum de vraisemblance peut être considérée comme une méthode d'estimation permettant de trouver les coefficients de régression (paramètres) qui correspondent le mieux aux données d'apprentissage.
L'estimation du maximum de vraisemblance en régression logistique possède de bonnes propriétés mathématiques (cohérence, validité, normalité asymptotique) lorsque les données sont volumineuses.
La régression pénalisée (ou régression régularisée) est une méthode permettant d'éviter le surapprentissage et d'améliorer la précision des prédictions en utilisant la log-vraisemblance négative, majorée d'un terme de pénalité, comme fonction objectif. Dans le cas de la régression Lasso, le terme de pénalité correspond à la somme des valeurs absolues des estimations des paramètres, à l'exception de l'ordonnée à l'origine, multipliée par une constante (le paramètre de pénalité). Fixer ce paramètre à zéro (c'est-à-dire affaiblir la pénalité) conduit à une estimation du maximum de vraisemblance classique, tandis que le fixer à l'infini (c'est-à-dire renforcer la pénalité) annule toutes les estimations des paramètres, à l'exception de l'ordonnée à l'origine.
Sur la capture d'écran que vous avez publiée, les paramètres de pénalité augmentent lorsque l'on se déplace vers la gauche et diminuent lorsque l'on se déplace vers la droite.
La « log-vraisemblance négative » est la log-vraisemblance de signe opposé. La « log-vraisemblance négative normalisée » est la log-vraisemblance négative moyenne par observation (ligne). Une log-vraisemblance plus élevée indique un meilleur ajustement aux données, tandis qu'une log-vraisemblance négative plus faible et de signe opposé indique un meilleur ajustement aux données.
Lors du calcul des estimations de paramètres par la méthode du maximum de vraisemblance ou la régression pénalisée, on utilise la log-vraisemblance négative des données d'entraînement. Le graphique de droite du rapport que vous avez soumis présente non seulement la log-vraisemblance négative des données d'entraînement, mais aussi celle des données de validation. Plus le modèle est complexe (par exemple, en assouplissant les pénalités ou en augmentant le nombre de variables explicatives), plus la log-vraisemblance négative des données d'entraînement diminue. En revanche, ce n'est pas le cas pour la log-vraisemblance négative des données de validation.
En général, si vous disposez d'une quantité assez importante de données, d'un modèle simple et que vous spécifiez le modèle réel, les log-vraisemblances négatives des données d'entraînement et des données de validation seront identiques, comme le montre la figure suivante.
Cependant, dans les situations où les données sont peu nombreuses, même si le modèle correct est ajusté, la log-vraisemblance négative des données de validation sera supérieure à la log-vraisemblance négative des données d'entraînement, comme le montre la figure suivante, et le graphique des données de validation aura souvent une forme en U.
Une vraisemblance négative plus importante pour les données de validation que pour les données d'entraînement suggère que le modèle est surajusté aux données d'entraînement ; autrement dit, il s'ajuste bien aux données d'entraînement, mais mal aux données de validation. Une courbe en U pour les données de validation indique que plus le modèle est complexe, moins il s'ajuste aux données de validation.
■ L’intervalle de confiance de l’AUC permet d’estimer approximativement l’incertitude de cette estimation. Si vous ajustez un modèle de régression logistique à l’aide de la fonction « Régression généralisée », vous pouvez obtenir l’intervalle de confiance de l’AUC en suivant les étapes suivantes :
(1) Cliquez sur le bouton triangle rouge dans le contour « Régression logistique » .
(2) Dans le menu qui apparaît, sélectionnez [Enregistrer les colonnes] → [Enregistrer la formule de prédiction] .
Cette opération crée une colonne de formules de prédiction de probabilité dans le tableau de données.
(3) Dans le menu déroulant, sélectionnez [Analyse (A)] → [Modèle prédictif] → [Comparer les modèles] .
(4) Dans la liste déroulante « Sélectionner les colonnes » située à gauche de la fenêtre de lancement invoquée, sélectionnez les deux colonnes contenant les valeurs de prédiction de probabilité ( « Probabilité (Nom de la colonne = Nom de l’événement) » et « Probabilité (Nom de la colonne = Nom du non-événement) ») et cliquez sur le bouton [Y, Prédicteur] .
(5) Cliquez sur le bouton [D'ACCORD] .
(6) Cliquez sur le bouton triangle rouge dans le contour « Comparaison de modèles » et sélectionnez « Comparaison AUC ».
■ Si l'on vous demande de « calculer l'AUC à partir des prédictions de probabilité obtenues par la méthode de validation croisée », JMP ne propose pas d'interface graphique pour ce faire. Vous devez utiliser le langage de script JMP (JSL) pour programmer.
Vous trouverez ci-dessous un exemple de programme. Ce n'est qu'un exemple.
Cette opération effacera les attributs de ligne du tableau de données. Veuillez donc préparer uniquement le tableau de données que vous souhaitez analyser. Lors de cette opération, veuillez supprimer les lignes comportant des attributs exclus.
Dans l'exemple suivant, les lignes sont supprimées une à une, un modèle de régression logistique est ajusté et la probabilité prédite pour chaque ligne est calculée. La courbe ROC et l'AUC sont ensuite calculées sur la base de la probabilité prédite.
Les exemples suivants ne sont que des exemples.
De plus, pour que cela fonctionne, vous devrez modifier les noms de colonnes et les valeurs des données d'événements en conséquence. Notez que, par défaut, toutes les lignes contenant des valeurs manquantes sont supprimées avant l'analyse (l'analyse est effectuée par suppression des valeurs manquantes dans la liste).
Names Default To Here(1);
dt = Current Data Table();
eta = J(NRow(dt),1,.);
For(i = 1, i <= NRow(dt), i++,
dt << Clear Row States; // 行属性のクリア
Row State(i)= Excluded State(1); // 第i行に除外属性を付与
// ロジスティックモデルのあてはめ
plat = dt << Fit Model(
<
<INVISIBLE></INVISIBLE>
<DIV>
</DIV>
<DIV>Dans tous les cas, si les variables explicatives sont des modèles de régression logistique à deux variables avec n = 50 (environ n = 25 pour les variables d'événement et de non-événement), même si le modèle correct est ajusté, l'erreur d'estimation sera importante et il sera difficile de déterminer sa pertinence (par exemple, serait-il préférable d'utiliser d'autres variables explicatives ? Ou d'en ajouter ?). Il sera également difficile de déterminer si le modèle estimé sera applicable comme modèle prédictif réel. Même si une validation interne peut être confirmée par les méthodes susmentionnées et d'autres méthodes, il conviendra, à mon avis, de faire preuve de prudence et de circonspection.</DIV>
<DIV>
</DIV>
<DIV>TRIPOD est un guide pour la construction de modèles prédictifs en médecine, mais je n'en ai pas tenu compte lors de la rédaction de ma réponse ci-dessus. Je pense qu'il existe de nombreux autres éléments à vérifier lors de la construction d'un modèle prédictif.</DIV>
<DIV>
</DIV>
