Question conceptuelle sur les prédictions ensachéesJ'ai lutté pendant longtemps pour rechercher des mesures d'incertitude à partir de modèles d'apprentissage automatique qui soient comparables aux erreurs standard que vous obtenez régulièrement à partir de modèles de régression.Ce n'est que récemment que j'ai pris conscience de certaines des capacités du profileur - en particulier, les prédictions en sac.Mais je ne comprends pas vraiment comment (ou si je devrais) interpréter ces prédictions saccadées.Lorsque j'exécute un modèle d'apprentissage automatique (par exemple, un réseau de neurones) et que j'enregistre les prédictions en sac du profileur, j'obtiens une moyenne en sac, l'erreur type de la moyenne en sac et l'écart type en sac.En les comparant à un modèle de régression (régression multiple, par exemple), j'ai observé les relations suivantes :
- La moyenne ensachée prédite du NN est très similaire à la formule de prédiction de la régression multiple.
- Les intervalles de prédiction moyens du modèle de régression multiple sont beaucoup plus étroits que les intervalles de prédiction individuels comme prévu (dans l'exemple que je regarde, l'erreur standard pour la prédiction moyenne est d'environ 1/10 de la taille de l'erreur standard des prédictions individuelles) .
- L'erreur type de la moyenne en sac du NN est beaucoup plus petite que l'écart type en sac (environ 1/10 de la taille dans l'exemple que je regarde).
Ces observations m'incitent à penser que l'erreur type de la moyenne ensachée du NN est analogue à l'erreur type des prédictions moyennes du modèle de régression.De même, l'écart type ensaché peut être similaire à l'erreur type des prédictions individuelles du modèle de régression.
Cependant, les erreurs types du NN et des modèles de régression ne se ressemblent pas du tout !Donc, ma question est de savoir si mon interprétation a un sens - ou, exactement, comment les erreurs standard de la moyenne ensachée peuvent-elles être interprétées ou utilisées.
Merci d'avance pour toute idée.Je joins un exemple concret au cas où cela aiderait à répondre à ma question (il s'agit de l'ensemble de données de validation de mon exemple de modélisation - avec les prédictions du modèle de régression multiple et NN inclus).
AnalytiqueRe : Question conceptuelle sur les prédictions en sacAddendum - dans le fichier que j'ai joint, j'ai (sur)estimé les erreurs standard de la régression multiple.Je les ai estimés en utilisant les intervalles de confiance à 95 % enregistrés.Ci-joint une version révisée où j'ai enregistré directement les erreurs standard.Ma question demeure, car les erreurs standard du NN semblent être moins de la moitié de celles de la régression multiple (en moyenne) avec peu de corrélation apparente dans l'ensemble de validation.Les deux modèles correspondent assez bien aux données.Donc, je me demande si l'interprétation des erreurs standard de la moyenne ensachée est correctement interprétée comme des erreurs standard associées aux prédictions de la même manière que les erreurs standard des prédictions de la régression multiple sont interprétées.
Re : Question conceptuelle sur les prédictions en sacOui.
La plate-forme Neural utilise un modèle complexe, même avec seulement une poignée de nœuds cachés. Imaginez ajouter beaucoup de termes au modèle de régression. Que devient le RMSE ? Qu'arrive-t-il ensuite aux SE ? La complexité de votre modèle de régression est-elle comparable à celle du NN ?
Je ne suggère pas que vous abusiez du NN ou d'autres méthodes de ML. N'oubliez pas qu'ils sont TOUS sur la prédiction, PAS DU TOUT sur l'inférence. L'incertitude dans les estimations n'est donc pas importante, la précision / la reproductibilité / la généralisation sont tout. Ainsi, les modèles de prédiction (et non les modèles explicatifs) utilisent des mesures de l'EQM totale (biais + variance) pour sélectionner le modèle, et "l'évaluation honnête", ou validation croisée, pour confirmer le modèle qui a été sélectionné.
Mais le point principal est qu'il n'y a aucune raison pour que les ES de différents modèles soient identiques, même si leurs prédictions de réponse moyenne sont similaires. Cette différence peut donner un avantage à un modèle dans votre application.
Re : Question conceptuelle sur les prédictions en sacMarc, merci.Cela aide un peu.Cela pourrait expliquer pourquoi le NN donne des erreurs standard plus petites (bien que je sois toujours surpris de l'ampleur de la différence lorsque les deux modèles correspondent si bien aux données).Mais cela ne semble vraiment pas expliquer pourquoi il n'y a presque aucune corrélation dans les erreurs standard associées à chaque prédiction.Les données que j'ai publiées ne montrent pratiquement aucune relation significative entre l'erreur standard de prédiction de chaque observation entre les deux modèles.Maintenant, pour un modèle de régression multiple, j'ai une idée de ce qui détermine les erreurs standard associées à différentes observations - mais pour le NN, je ne le sais vraiment pas.C'est peut-être la raison pour laquelle ils ne sont pas liés les uns aux autres?Est-ce une dimension liée au manque d'interprétabilité des modèles NN ?
Re : Question conceptuelle sur les prédictions en sacLe NN est un modèle d'ensemble hautement non linéaire. Comparez cela avec votre modèle de régression qui pourrait avoir des termes de second ordre. Les erreurs types sont très différentes pour ces deux types de modèles.
Personnellement, je ne suis pas d'accord avec l'idée que les NN ne sont pas interprétables ou que les modèles de régression linéaire sont interprétables. (Je pense que c'est idiot.) L'effet du prédicteur X est une combinaison linéaire de tous les termes qui l'incluent. Par exemple, il est absurde de parler d'un « effet quadratique ». Il n'y a qu'un terme quadratique dans le modèle. Alors, comment interprétons-nous l'effet de X lorsqu'il apparaît dans le modèle sous la forme X + X*X2 + X*X + X*X*X ? Nous sommes simplement habitués à penser en ces termes - nous y avons été exposés pendant de nombreuses années et avons eu le temps d'y réfléchir. Un NN est plus ou moins le même (prédicteur linéaire) soumis à une fonction d'activation non linéaire, et ajouté à plus de la même chose pour chaque nœud. Nous devons juste réfléchir plus fort.
Non, nous ne le faisons pas. Nous avons un profileur qui fonctionne avec n'importe quel type de fonction (modèle).
Re : Question conceptuelle sur les prédictions en sacJe suis ce que vous dites - mais je pense que ma question est devenue quelque chose de différent.Laissons NN en dehors de ça.Étant donné que le profileur est également disponible à partir de la plate-forme de régression multiple, j'ai fait quelques expériences pour voir comment les erreurs standard des prédictions en sac se comparent à celles enregistrées à partir du modèle de régression.Ils sont corrélés, bien que loin d'être parfaitement.L'écart type de prédiction individuel est beaucoup plus grand que l'écart type de prédiction moyen, comme il se doit, et cela s'applique également aux deux erreurs standard que vous obtenez lorsque vous enregistrez les moyennes ensachées.Cependant, ce qui me surprend et que je ne comprends pas, c'est pourquoi les erreurs standard de l'enregistrement des prédictions ensachées (version individuelle ou moyenne) sont d'un ordre de grandeur inférieur aux erreurs standard du modèle de régression.Ma compréhension (qui pourrait être fausse) est que les erreurs standard des prédictions sont théoriquement dérivées dans le modèle de régression et sont le résultat du bootstrap dans les prédictions ensachées.En théorie, ceux-ci devraient être similaires (au moins avec suffisamment d'échantillons bootstrap - j'ai utilisé 100 et 1000 et les deux donnent des résultats similaires) - mais ils ne le sont pas.
Ainsi, il apparaît que les erreurs types du profileur sont qualitativement différentes des erreurs types du modèle de régression.Pourquoi est-ce le cas?
Re : Question conceptuelle sur les prédictions en sacEn essayant d'être plus complet, ci-joint un simple petit fichier avec un seul prédicteur.J'ai construit le modèle de régression et enregistré les prédictions et les erreurs standard (moyennes et individuelles).J'ai utilisé le profileur pour enregistrer les prédictions ensachées.Il y a 3 tracés xy montrant l'équivalence (parfaite dans ce cas) des valeurs prédites du modèle et du profileur.Les diagrammes d'erreur standard montrent de fortes corrélations, mais montrent également que les erreurs standard du profileur sont considérablement plus petites que celles du modèle.Je soupçonne fortement que les erreurs standard de la procédure d'ensachage signifient quelque chose de différent.J'espère que vous pourrez me clarifier cela.
Re : Question conceptuelle sur les prédictions en sac" Ma compréhension (qui pourrait être fausse) est que les erreurs standard des prédictions sont théoriquement dérivées dans le modèle de régression et sont le résultat du bootstrap dans les prédictions ensachées.En théorie, ceux-ci devraient être similaires (au moins avec suffisamment d'échantillons bootstrap - j'ai utilisé 100 et 1000 et les deux donnent des résultats similaires) - mais ils ne le sont pas. "
A quelle théorie faites-vous référence ?
Re : Question conceptuelle sur les prédictions en sacJe crois que les intervalles de confiance de prédiction pour une régression multiple sont dérivés via des formules qui sont dérivées d'hypothèses sur la structure d'erreur et l'échantillonnage aléatoire (en fin de compte dérivé de la logique qui sous-tend le théorème central limite).D'un autre côté, je pense que les prédictions en sac sont dérivées du bootstrap - une approche empirique non paramétrique pour dériver des intervalles de confiance.Je pense également que ces deux approches sont généralement proches, à moins que les données sous-jacentes aient des distributions inhabituelles et/ou que des tailles d'échantillon insuffisantes soient utilisées pour le bootstrap.
Dans les fichiers que j'ai joints, je ne pense pas qu'aucun de ces problèmes se pose.Les prédictions moyennes sont presque identiques à partir des 2 approches, mais les erreurs standard du profileur sont beaucoup plus petites que celles des valeurs dérivées théoriquement.C'est ce qui me fait penser que je comprends mal la signification des erreurs standard du profileur.Sinon, pourquoi quelqu'un utiliserait-il les erreurs standard dérivées théoriquement ?
Re : Question conceptuelle sur les prédictions en sac" Je crois que les intervalles de confiance de prédiction pour une régression multiple sont dérivés via des formules qui sont dérivées d'hypothèses sur la structure d'erreur et l'échantillonnage aléatoire (en fin de compte dérivé de la logique qui sous-tend le théorème central limite).D'un autre côté, je pense que les prédictions en sac sont dérivées du bootstrap - une approche empirique non paramétrique pour dériver des intervalles de confiance.Je pense également que ces deux approches sont généralement proches, à moins que les données sous-jacentes aient des distributions inhabituelles et/ou que des tailles d'échantillon insuffisantes soient utilisées pour le bootstrap. "
Oui! Autrement dit, si vous utilisez l'expression théorique de l'IC et l'IC bootstrap pour le modèle de régression linéaire SAME, les ESTIMATIONS de l'IC doivent correspondre.
Re : Question conceptuelle sur les prédictions en sacmarque
Ensuite, je vous demanderais de regarder le dernier exemple de jeu de données que j'ai posté.Les intervalles de confiance (erreurs standard) ne sont même pas près de s'accorder.Il s'agit d'une simple régression linéaire et de la comparaison des erreurs standard de prédiction avec celles qui proviennent de l'enregistrement des prédictions en sac du profileur.Ces derniers sont beaucoup plus petits que les premiers.C'est pourquoi je suis confus.
