Validation croisée sans réponseQuelqu'un peut-il m'aider à comprendre le graphique présenté ci-dessous à partir de la plate-forme Gen Reg pour la validation de laisser-un-out (ou peut-être m'aider à mieux comprendre la validation de laisser-un-out)?J'ai utilisé le diabète et je prédis Y (continu).Pourquoi un enregistrement particulier est-il affiché dans le graphique de validation?J'avais cru comprendre que le tracé de validation du chemin de la solution trace la valeur moyenne de tous les éléments à exclure.
Ensemble de données joint ci-dessous avec script.
Re: Validation croisée sans réponseSalut Wendy,
Je pense que si vous regardez le documentation d'aide pour k-fold cela aidera à expliquer cela. Le laisser de côté est juste un cas particulier de k-fold où k = nombre de lignes de données.
"Pour obtenir le modèle final, tous les k modèles dérivés pour la valeur optimale du paramètre de réglage sont adaptés à l'ensemble de données. Parmi ceux-ci, le modèle qui a le log-vraisemblance de validation le plus élevé est sélectionné comme modèle final. L'ensemble d'apprentissage utilisé pour ce modèle final est désigné comme l'ensemble d'entraînement et le pli d'attente pour ce modèle est l'ensemble de validation. Ce sont les ensembles de formation et de validation utilisés dans les graphiques et dans les résultats rapportés pour la solution finale. "
Ainsi, vous ne voyez que les graphiques pour l'un des k modèles: le modèle avec la plus grande probabilité logarithmique de validation.
Je conviens qu'il est un peu étrange de voir simplement le vs réel prédit pour un ensemble de validation avec un point de données. Mais j'espère que cela explique pourquoi maintenant.
À votre santé,
Phil
Re: Validation croisée sans réponseSalut, Wendy,
Oui, la probabilité de probabilité à l'échelle (= log-vraisemblance négative divisée par # observations) utilisée dans la méthode de validation K-Fold ou Leave-One-Out est moyennée, mais les graphiques de diagnostic tels que Réel par prédiction montrent les résultats pour un modèle unique.
La solution de la régression pénalisée par Lasso dépend d'un seul paramètre de réglage. Lors de la recherche de la valeur optimale sur la grille en utilisant la validation LOO, il y aura N (par exemple, 442 dans votre cas) modèles ajustés à chaque valeur du paramètre de rotation.De nombreux modèles conviendront! Les valeurs -LL mises à l'échelle seront calculées pour chacune des 442 observations LOO, et une moyenne d'entre elles est ensuite comparée à une autre -LL mise à l'échelle moyenne à partir de modèles ajustés avec une valeur de paramètre de rotation différente.C'est ce qui est montré dans le tracé de validation.(Notez que les valeurs de la magnitude des estimations des paramètres mis à l'échelle sont équivalentes aux valeurs du paramètre de réglage.)
Ensuite, un modèle final est sélectionné parmi 442 modèles comme décrit dans la documentation de @phil_kay : c'est le modèle affichant le LL le plus élevé lors de la validation de "tous k les modèles dérivés pour la valeur optimale du paramètre de réglage sont adaptés à l'ensemble de données. "Le Réel par Prédiction trace les résultats du modèle final sur l'ensemble d'apprentissage et l'observation LOO; dans ce cas, il s'agit de la ligne 305 car ce point de données donne la valeur LL la plus élevée lorsqu'il est utilisé comme validation LOO.
Comme vous pouvez le voir, les méthodes de validation K-fold et LOO fonctionnent un peu différemment dans la régression pénalisée que dans Partition et NN.J'espère que ça aide.
Jian
