Question conceptuelle sur les prédictions groupéesJ'ai longtemps lutté pour rechercher des mesures d'incertitude issues de modèles d'apprentissage automatique comparables aux erreurs standard que vous obtenez régulièrement à partir de modèles de régression. Ce n'est que récemment que j'ai pris conscience de certaines capacités du profileur, en particulier des prédictions groupées. Mais je ne comprends pas vraiment comment (ou si je devrais) interpréter ces prédictions en vrac. Lorsque j'exécute un modèle d'apprentissage automatique (par exemple, un réseau neuronal) et que j'enregistre les prédictions empaquetées du profileur, j'obtiens une moyenne empaquetée, l'erreur type de la moyenne empaquetée et l'écart type empaqueté. En les comparant avec un modèle de régression (régression multiple, par exemple), j'ai observé les relations suivantes :
- La moyenne ensachée prédite du NN est très similaire à la formule de prédiction de la régression multiple.
- Les intervalles de prédiction moyens du modèle de régression multiple sont beaucoup plus étroits que les intervalles de prédiction individuels, comme prévu (dans l'exemple que je regarde, l'erreur standard pour la prédiction moyenne est d'environ 1/10 de la taille de l'erreur standard des prédictions individuelles) .
- L'erreur type de la moyenne en sac du NN est beaucoup plus petite que l'écart type en sac (environ 1/10 de la taille dans l'exemple que je regarde).
Ces observations me tentent de considérer l’erreur type de la moyenne ensachée du NN comme analogue à l’erreur type des prédictions moyennes du modèle de régression. De même, l’écart type ensaché peut être similaire à l’erreur type des prédictions individuelles du modèle de régression.
Cependant, les erreurs types du NN et des modèles de régression ne se ressemblent pas du tout ! Ma question est donc de savoir si mon interprétation a un sens - ou comment exactement les erreurs types de la moyenne ensachée peuvent-elles être interprétées ou utilisées.
Merci d'avance pour toute idée. Je suis joint un exemple concret au cas où cela aiderait à répondre à ma question (il s'agit de l'ensemble de données de validation de mon exemple de modélisation - avec les prédictions du modèle de régression multiple et NN incluses).
Études de consommation et de marchéRe : Question conceptuelle sur les prédictions en sacMerci.Je pense que ces intervalles de confiance seront extrêmement utiles - après avoir été corrigés.À l'heure actuelle, ils sont assez trompeurs (d'un ordre de grandeur - si vous utilisez 100 échantillons bootstrap).
Re : Question conceptuelle sur les prédictions en sacOui, je confirme que dans la plate-forme Profiler (sous le menu Graph), lorsqu'une formule Prediction Bagged Mean, accompagnée d'une formule StdError of the Bagged Mean, entre dans la boîte de dialogue de lancement, la plate-forme Profiler utilise "StdError of the Bagged Mean" pour produire intervalles.
Je suis d'accord qu'il y a des choses qui ne sont pas assez claires, et qui pourraient être améliorées. Ce que je ne vois pas clairement, c'est l'utilisation des "intervalles de confiance" dans la documentation de la page vers laquelle vous avez pointé : Exemple d'intervalles de confiance utilisant l'ensachage . Les intervalles de confiance de quoi ne sont pas clairs et la formulation est probablement trompeuse.
En attendant, votre désir d'utiliser Bagged Std Dev pour produire des intervalles est une bonne demande. J'ai essayé de mettre cette colonne dans la plate-forme Profiler, et elle ne reconnaîtra pas.
Pourriez-vous contacter le support technique de JMP au support@jmp.com et signaler vos préoccupations et votre demande ?
Merci beaucoup d'avoir examiné le logiciel de si près !
Re : Question conceptuelle sur les prédictions en sacMerci.Je suis arrivé à la même conclusion.La question restante est donc celle qui devrait être utilisée pour produire des intervalles de confiance pour les effets du modèle.Je pense qu'il s'agit du développement standard en sac et non de l'erreur standard de la moyenne en sac - et je pense également que JMP a utilisé (au moins dans les instructions) ce dernier pour produire des intervalles de confiance plutôt que le premier.
Veuillez soit confirmer ceci - ou non.Pour aller plus loin, je pense que l'erreur standard de la moyenne ensachée est utile pour évaluer si vous avez suffisamment d'échantillons ensachés (bootstrap) pour être satisfait.Mais pour évaluer l'incertitude de l'effet de vos facteurs sur votre variable de réponse, l'erreur standard de la moyenne ensachée ne fournit aucune information utile.C'est le Bagged Standard Dev qui fait ça.Ainsi, pour produire les intervalles de confiance, après avoir enregistré les moyennes en sac, le profileur doit être ouvert, les moyennes en sac et les écarts-types en sac sélectionnés, la case pour développer les formules intermédiaires sélectionnée, et le résultat sera les intervalles de confiance souhaités.Notez que cela diffère de l'aide JMP :
https://www.jmp.com/support/help/en/16.1/?os=win&source=application&utm_source=helpmenu&utm_medium=application#page/jmp/example-of-confidence-intervals-using-bagging.shtml# .
Re : Question conceptuelle sur les prédictions en sacPermettez-moi d'essayer d'expliquer ce qu'est l'erreur standard de la moyenne ensachée, pourquoi elle semble être plus petite.
J'essaie d'abord d'enregistrer des prédictions en sac avec seulement 3 échantillons d'amorçage.
Voici le résultat. Il y a 6 nouvelles colonnes.
Regardons ce que sont ces colonnes.
Chaque colonne des trois premières est une colonne de prédiction à partir d'un échantillon bootstrap des données. Nous avons trois échantillons bootstrap, nous en avons donc trois. Voici trois formules de prédiction. Et ils sont différents.
(UN)
(B)
(C)
Regardez maintenant la 4ème colonne : Pred Formula Sales Bagged Mean 2.
(D)
Il s'agit donc de la moyenne de ces trois prédictions par lignes.
Regardez maintenant la 5e colonne : StdError Sales Bagged Mean 2.
(E)
Qu'est-ce que c'est? Cela ressemble à une erreur standard pour une sorte de moyenne. Moyen de quoi ? Moyenne des prédictions bootstrap. Par mots, ce n'est pas la même chose que StdError de la moyenne prédite.La moyenne prédite n'est qu'un des nombreux échantillons bootstrap, si vous changez de perspective . Cela devrait expliquer pourquoi StdErr of Bagged Mean est plus petit. Et il deviendra beaucoup plus petit si vous augmentez le nombre d'échantillons bootstrap.
Maintenant, si nous regardons la dernière colonne, et voici sa formule :
(F)
Il s'agit de l'écart type des prédictions bootstrap. Cette valeur, en effet, devrait être proche de "StdErr Pred Sales", et elle ne diminuera pas à mesure que le nombre d'échantillons de bootstrap augmentera. Il s'agit de la version amorcée de votre "StdErr Pred Sales". Si vous soupçonnez que le modèle ne correspond pas bien à vos données, par exemple, les hypothèses peuvent être violées, telles que "StdErr Pred Sales" n'a plus les distributions asymptotiques par le livre, la version bootstrap pourrait vous donner quelque chose de plus honnête, si vous devez utiliser le mauvais modèle pour la prédiction.
Alors, pourquoi devriez-vous vous soucier de "StdError Sales Bagged Mean 2". (E) là-haut ? Cette quantité sert à évaluer si vous avez suffisamment d'échantillons bootstrap. Idéalement, vous voulez que les valeurs soient très petites, alors vous pouvez faire confiance à vos valeurs ensachées.
Re : Question conceptuelle sur les prédictions en sacMes données de couverture provenaient des erreurs types de prédiction individuelles - je les ai sauvegardées du modèle de régression et j'ai utilisé l'écart type en sac du profileur.Pour regarder la moyenne, j'aurais utilisé Std Err Predicted et Std Error pour la moyenne ensachée.Comme je l'ai dit (lisez ce que j'ai écrit), je ne sais pas comment calculer la couverture pour les intervalles de prédiction moyens car je n'ai qu'une seule observation pour chaque ligne - s'il existe un moyen de le faire, veuillez me le dire.
J'ai donc utilisé les prédictions individuelles et JMP fournit des erreurs standard pour les prédictions individuelles ainsi que des prédictions moyennes (bien sûr, les premières sont beaucoup plus grandes que les secondes).
Votre autre commentaire ne répond pas à mes problèmes.Je connais plusieurs façons de comparer et d'évaluer les modèles.ce qui m'intéresse, ce sont les moyens d'examiner l'incertitude associée aux modèles - non pas leur précision prédictive, mais la variabilité de leurs prédictions.La seule méthode que je connaisse est la prédiction conforme.Il semblait que le profileur offrait une telle capacité en fournissant des intervalles de confiance pour les fonctionnalités du modèle.En fait, vous semblez l'avoir suggéré vous-même en vous opposant à mes allégations de manque d'interprétabilité des modèles d'apprentissage automatique, tels que NN.
Je pense que le profileur fait un grand pas vers l'interprétabilité.Il montre comment la variation des caractéristiques affecte la variable de réponse.S'il peut également fournir des erreurs standard (intervalles de confiance) pour ces effets, il fournit essentiellement autant d'interprétation que les modèles de régression.Cependant, c'est ce avec quoi je me bats - je ne suis pas convaincu de pouvoir utiliser ces intervalles de confiance de cette manière.
Re : Question conceptuelle sur les prédictions en sacUtilisez ensuite les mesures de performance de l'ensemble de validation pour évaluer différents modèles.
Re : Question conceptuelle sur les prédictions en sac" En utilisant des intervalles de confiance approximatifs à 95 % (2 erreurs standard autour de la prédiction moyenne correspondante, en utilisant les erreurs standard pour les prédictions individuelles), la couverture de la valeur Y réelle était de 866 sur 900 lignes (environ 95 %) pour les prédictions du modèle, mais seulement 222 sur 900 pour les prédictions ensachées. "
Confondez-vous l'intervalle de confiance pour la moyenne et l'intervalle de confiance pour les observations individuelles ? Le premier est un intervalle dans lequel nous nous attendons à ce que la réponse moyenne soit située en supposant que le modèle est sans biais. Pourquoi vous attendriez-vous à ce que des observations individuelles se produisent dans cet intervalle ?
" Compte tenu de l'extrême extrême des résultats, cela me suggère que les erreurs standard du modèle (au moins pour ce modèle bien comporté) sont des mesures précises de l'incertitude dans les prédictions. "
Non, je ne pense pas que votre conclusion soit raisonnable. Vous comparez la « couverture » en fonction des réponses individuelles, et non de la moyenne. Le modèle porte sur la localisation : la réponse moyenne. Le modèle prédit la réponse moyenne. L'intervalle de confiance concerne l'incertitude de la réponse moyenne. L'IC du modèle indique que si vous deviez échantillonner encore et encore, 95 % des modèles auraient un intervalle de prédiction contenant la vraie moyenne de réponse. Il ne dit rien sur les observations individuelles.
" Si j'exécute un modèle de classification utilisant NN, des forêts aléatoires, des arbres boostés, etc., un inconvénient par rapport à la régression logistique est que ces modèles d'apprentissage automatique ne fournissent pas une mesure de l'incertitude dans les prédictions "
La prédiction concerne l'avenir. La performance de prédiction des observations futures est la base d'une « évaluation honnête ». La validation croisée est l'un des meilleurs moyens d'évaluer honnêtement le modèle lors de la sélection et le modèle final après la sélection.Nous examinons l'ensemble de maintien de la validation ou le test de maintien du test pour évaluer l'incertitude. Ces modèles sont tous basés sur la prédiction, pas sur l'inférence. Cela ne veut pas dire qu'ils ne sont pas utiles en tant que modèles explicatifs, mais ils pourraient ne pas vous satisfaire complètement de cette façon. Ainsi, par exemple, quel est le carré R pour la même validation sur tous les modèles. (Notez que je n'utilise pas R carré pour sélectionner un modèle. J'utilise R carré pour évaluer des modèles sélectionnés de différents types.)
Re : Question conceptuelle sur les prédictions en sacDans mon exemple simulé, je n'ai aucune raison de remettre en question la qualité des données ou la pertinence du modèle.Ce ne sont pas des données d'observation, ni un petit échantillon (vrai, n = 100 sur une population de 1000 n'est pas grand, mais la couverture de l'intervalle de confiance est si disparate que je pense que l'exemple nous montre quelque chose).Je ne dirai pas que l'ensachage est de la triche (un terme chargé).Mais je n'ai pas l'impression de pouvoir faire confiance aux erreurs standard qu'il fournit même pour mon cas simulé.Je suis très réticent à l'utiliser pour un cas où les données et le modèle sont plus suspects.Pouvez-vous fournir des indications sur l'endroit où il peut être utilisé?Je ne veux pas être antagoniste : j'adore JMP et j'adore le profileur, j'essaie juste de voir si les intervalles de confiance qu'il peut fournir sont utiles.
Re : Question conceptuelle sur les prédictions en sac" Alors, pourquoi choisirais-je l'intervalle de confiance beaucoup plus large ? "
Parce que vous vous interrogez sur la qualité ou la validité des données ou du modèle.
Je n'utiliserais probablement pas l'ensachage et ses prédictions avec une expérience de dépistage car le modèle est probablement biaisé. Je n'utiliserais probablement pas l'ensachage et ses prédictions avec un modèle basé sur un petit échantillon de données d'observation.
Laisse moi être clair. L'ensachage est valide. Ce n'est pas de la triche. Mais ce n'est pas toujours approprié ou bénéfique.
Malheureusement, l'ensachage dans le profileur est quelque chose que JMP a développé. Je n'ai pas de références externes.
Re : Question conceptuelle sur les prédictions en sacCi-joint un exemple simulé.L'ensemble de données sans titre contient des données simulées et un modèle de régression basé sur un échantillon aléatoire de 100 des 1000 lignes.J'ai enregistré les erreurs standard du modèle et des prédictions ensachées.Le sous-ensemble de l'ensemble de données sans titre contient alors les 900 lignes ne faisant pas partie de l'échantillon aléatoire.En utilisant des intervalles de confiance approximatifs à 95 % (2 erreurs standard autour de la prédiction moyenne correspondante, en utilisant les erreurs standard pour les prédictions individuelles), la couverture de la valeur Y réelle était de 866 sur 900 lignes (environ 95 %) pour les prédictions du modèle, mais seulement 222 sur 900 pour les prédictions ensachées.Je n'ai pas compris comment générer une comparaison de la couverture des intervalles de confiance moyens car je n'ai qu'une seule observation Y sur chaque ligne.
Compte tenu de l'extrême extrême des résultats, cela me suggère que les erreurs standard du modèle (au moins pour ce modèle bien comporté) sont des mesures précises de l'incertitude dans les prédictions.Mais les erreurs types ensachées sont trop petites.Compte tenu de la simplicité de cet exemple, il semble bien que je ne voudrais pas me fier aux erreurs standard des prédictions ensachées.Pensez-vous que c'est une conclusion raisonnable ici?
Passons maintenant aux véritables utilisations potentielles.Si j'exécute un modèle de classification utilisant NN, des forêts aléatoires, des arbres boostés, etc., un inconvénient par rapport à la régression logistique est que ces modèles d'apprentissage automatique ne fournissent pas une mesure de l'incertitude dans les prédictions (sans invoquer une autre procédure telle que la prédiction conforme, avec lequel j'ai joué).Le profileur pourrait facilement me fournir des prédictions ensachées des probabilités moyennes des classifications ainsi que leurs erreurs standard.Aussi utile que cela puisse être, je suis enclin à dire que je ne peux pas vraiment utiliser ces erreurs standard pour représenter l'incertitude dans ces modèles d'apprentissage automatique.Est-ce exact?Peut-être une question plus générale est-elle, à quoi puis-je utiliser les erreurs standard ensachées ?
Re : Question conceptuelle sur les prédictions en sacNous convergeons.
« Et, si tel est le cas, pouvez-vous me dire à quelle question chacun répond ?
Je peux. En fait, je l'ai fait : encore une fois, la première paire répond à la question sur l'incertitude dans la prédiction du modèle d'origine (par exemple, régression linéaire, réseau de neurones, partition). La deuxième paire répond à la question sur l'incertitude de la prédiction en utilisant le bagging.
Cela signifie que j'ai plus d'incertitude sur les prédictions de mon modèle que sur les prédictions ensachées - beaucoup plus.Pourquoi quelqu'un utiliserait-il alors les prédictions du modèle et leurs intervalles de confiance ?Je me rends compte qu'une erreur standard plus petite n'est pas toujours bonne - uniquement si le modèle sous-jacent est bon.Mais dans le cas que nous examinons, le même modèle sous-tend les deux mesures et les prédictions moyennes sont presque identiques.Alors, pourquoi choisirais-je l'intervalle de confiance beaucoup plus large ?
Je suppose qu'il y a le problème de la couverture - l'intervalle étroit peut ne pas fournir une couverture suffisante de la valeur réelle.Je vais essayer quelques simulations pour voir si je peux faire la lumière là-dessus - mais connaissez-vous des références qui parlent de la précision des deux mesures d'erreur standard l'une par rapport à l'autre ?
Re : Question conceptuelle sur les prédictions en sac" Cela ne peut sûrement pas être vrai "
OK, tu m'as eu. Tout est inventé, truqué. Je voyais juste jusqu'où je pouvais vous enchaîner.
(La discussion sérieuse reprend...)
" Quelle est la mesure de variabilité appropriée pour la prédiction moyenne ? "
Celui qui a été estimé pour la prédiction que vous utiliserez. Le truc du jumelage...
Le bagging relève davantage de la modélisation prédictive que de la modélisation explicative, comme je l'ai expliqué. L'ensachage diminue l'incertitude de la prédiction.L'utilisation du bagging dans ce cas repose sur votre croyance en la qualité et la validité des données et du modèle. ce n'est pas de la triche. Si le modèle échoue, c'est à cause d'un problème de qualité ou de validité des données ou du modèle.
" Cela ne peut pas être les deux - à moins qu'ils ne répondent à des questions différentes. "
C'est exactement ce que j'ai dit.
" Et, si tel est le cas, pouvez-vous me dire à quelle question chacun répond ? "
Je peux. En fait, je l'ai fait : encore une fois, la première paire répond à la question sur l'incertitude dans la prédiction du modèle d'origine (par exemple, régression linéaire, réseau de neurones, partition). La deuxième paire répond à la question sur l'incertitude de la prédiction en utilisant le bagging.
Re : Question conceptuelle sur les prédictions en sacCela ne peut certainement pas être vrai !Votre exemple ressemble au mien - les moyennes sont presque identiques mais les écarts types diffèrent d'un facteur 10 (en raison du sq rt (M-1) selon les ensembles de colonnes que vous utilisez.Ainsi, même si je vois la logique d'associer la prédiction moyenne à son écart type associé (soit du modèle, soit de l'ensachage), l'effet pratique est d'avoir à peu près les mêmes prédictions moyennes, mais un intervalle de confiance finit par être de 10 % comme large que l'autre.Quelle est la mesure de variabilité appropriée pour la prédiction moyenne ?Cela ne peut pas être les deux - à moins qu'ils ne répondent à des questions différentes.Et, si tel est le cas, pouvez-vous me dire à quelle question chacun répond ?
Re : Question conceptuelle sur les prédictions en sac" Donc, la question est : si je veux un intervalle de confiance pour la prédiction moyenne, quelle erreur standard dois-je utiliser ?La différence est d'un ordre de grandeur ! " Utilisez le SE du modèle qui a été utilisé pour prédire.Si vous utilisez le modèle de régression enregistré, utilisez le SE ou le CI enregistré. Si vous utilisez les prédictions en sac du profileur, utilisez le SE en sac. Voici le résultat en utilisant :weight versus :height dans l'ensemble de données Big Class. Les paires en surbrillance de colonnes de prédiction et de données SE seraient utilisées ensemble.
Re : Question conceptuelle sur les prédictions en sacNous sommes presque sur la même page.En ignorant NN pour le moment, et en utilisant l'exemple de régression simple que j'ai fourni, l'erreur type de la moyenne ensachée est d'environ 10 % de celle du modèle de régression : cela correspond à la racine carrée de M-1 (M = 100 ici).C'est vrai pour les prédictions moyennes - pour les prédictions individuelles, c'est environ 20 % (je ne sais pas pourquoi ce sq rt (M-1) s'applique aux premiers mais pas aux seconds, mais je ne pense pas que ce soit très important).Donc, la question est : si je veux un intervalle de confiance pour la prédiction moyenne, quelle erreur standard dois-je utiliser ?La différence est d'un ordre de grandeur !
En supposant pour le moment que je devrais utiliser l'erreur standard du modèle de régression (qui est le plus grand des deux) - et c'est ce que je soupçonne être le cas - alors cela soulève la question de savoir à quoi servent les prédictions ensachées.Ici, je pense que le NN (et d'autres modèles d'apprentissage automatique) entre en jeu - il n'y a pas d'erreur standard de la plupart de ces modèles sans un certain type d'erreur dérivée empiriquement, comme celle fournie par le profileur.Ainsi, il semblerait très utile d'utiliser cette erreur standard des prédictions ensachées pour construire des intervalles de confiance pour ces prédictions.Cependant, à partir de l'exemple de régression, je me demande si cela pourrait sous-estimer le degré d'incertitude d'un ordre de grandeur - ce qui ne serait pas si utile.
Re : Question conceptuelle sur les prédictions en sacPassons en revue le fonctionnement de l'ensachage dans le profileur. Notez qu'il est basé sur le modèle ajusté. Il utilise le modèle ajusté et rééchantillonne les données pour gonfler l'ensemble de données ou la taille de l'échantillon, mais ne modifie pas le modèle. Voici un extrait de l'aide de JMP qui couvre Ensachage profileur :
"L'ensachage crée automatiquement de nouvelles colonnes dans la table de données d'origine. Tous M les ensembles de prédictions mises en sac sont enregistrés sous forme de colonnes masquées. La prédiction finale est enregistrée dans une colonne nommée "Pred Formula Bagged Mean". L'écart type de la prédiction finale est enregistré dans une colonne nommée " Bagged Std Dev". L'erreur standard de la moyenne en sac est enregistrée dans une colonne nommée "StdError Bagged Mean". L'erreur type est l'écart type divisé par Carré( M-1 ).Ici, identifie la colonne du rapport qui a été mise en sac.
L'erreur standard donne un aperçu de la précision de la prédiction. Une très petite erreur standard indique une prédiction précise pour cette observation. Pour plus d'informations sur l'ensachage, voir Hastie et al. ( 2009 )."
Vous ne comparez donc pas les SE d'une analyse de régression et NN. Vous comparez les SE de n'importe quel modèle et les SE de l'ensachage dans le Profiler avec le même modèle. La différence sera un facteur de Sqrt( M-1 ).
Re : Question conceptuelle sur les prédictions en sacMarquer
Ensuite, je vous demanderais de regarder le dernier exemple de jeu de données que j'ai posté.Les intervalles de confiance (erreurs standard) ne sont même pas près de s'accorder.Il s'agit d'une régression linéaire simple et de la comparaison des erreurs standard de prédiction avec celles qui proviennent de l'enregistrement des prédictions en sac du profileur.Ces derniers sont beaucoup plus petits que les premiers.C'est pourquoi je suis confus.
Re : Question conceptuelle sur les prédictions en sac" Je crois que les intervalles de confiance de prédiction pour une régression multiple sont dérivés via des formules qui sont dérivées d'hypothèses sur la structure d'erreur et l'échantillonnage aléatoire (en fin de compte dérivé de la logique qui sous-tend le théorème central limite).D'un autre côté, je crois que les prédictions en sac sont dérivées du bootstrap - une approche empirique non paramétrique pour dériver des intervalles de confiance.Je pense également que ces deux approches sont généralement proches, à moins que les données sous-jacentes aient des distributions inhabituelles et/ou que des tailles d'échantillon insuffisantes soient utilisées pour le bootstrap. "
Oui! Autrement dit, si vous utilisez l'expression théorique de l'IC et l'IC bootstrap pour le modèle de régression linéaire SAME, les ESTIMATIONS de l'IC doivent correspondre.
Re : Question conceptuelle sur les prédictions en sacJe crois que les intervalles de confiance de prédiction pour une régression multiple sont dérivés via des formules qui sont dérivées d'hypothèses sur la structure d'erreur et l'échantillonnage aléatoire (en fin de compte dérivé de la logique qui sous-tend le théorème central limite).D'un autre côté, je crois que les prédictions en sac sont dérivées du bootstrap - une approche empirique non paramétrique pour dériver des intervalles de confiance.Je pense également que ces deux approches sont généralement proches, à moins que les données sous-jacentes aient des distributions inhabituelles et/ou que des tailles d'échantillon insuffisantes soient utilisées pour le bootstrap.
Dans les fichiers que j'ai joints, je ne pense pas qu'aucun de ces problèmes se pose.Les prédictions moyennes sont presque identiques à partir des 2 approches, mais les erreurs standard du profileur sont beaucoup plus petites que celles des valeurs dérivées théoriquement.C'est ce qui me fait penser que je comprends mal ce que signifient les erreurs standard du profileur.Sinon, pourquoi quelqu'un utiliserait-il les erreurs standard dérivées théoriquement ?
Re : Question conceptuelle sur les prédictions en sac" Ma compréhension (qui pourrait être erronée) est que les erreurs standard des prédictions sont théoriquement dérivées dans le modèle de régression et sont le résultat du bootstrap dans les prédictions ensachées.En théorie, ceux-ci devraient être similaires (au moins avec suffisamment d'échantillons bootstrap - j'ai utilisé 100 et 1000 et les deux donnent des résultats similaires) - mais ils ne le sont pas. "
A quelle théorie faites-vous référence ?
Re : Question conceptuelle sur les prédictions en sacEn essayant d'être plus complet, ci-joint un simple petit fichier avec un seul prédicteur.J'ai construit le modèle de régression et enregistré les prédictions et les erreurs standard (moyennes et individuelles).J'ai utilisé le profileur pour enregistrer les prédictions mises en sac.Il y a 3 tracés xy montrant l'équivalence (parfaite dans ce cas) des valeurs prédites du modèle et du profileur.Les diagrammes d'erreur standard montrent de fortes corrélations, mais montrent également que les erreurs standard du profileur sont considérablement plus petites que celles du modèle.Je soupçonne fortement que les erreurs standard de la procédure d'ensachage signifient quelque chose de différent.J'espère que vous pourrez me clarifier cela.
Re : Question conceptuelle sur les prédictions en sacJe suis ce que vous dites - mais je pense que ma question est devenue quelque chose de différent.Laissons NN en dehors de ça.Étant donné que le profileur est également disponible à partir de la plate-forme de régression multiple, j'ai fait quelques expériences pour voir comment les erreurs standard des prédictions en sac se comparent à celles enregistrées à partir du modèle de régression.Ils sont corrélés, bien que loin d'être parfaitement.L'écart type de prédiction individuel est beaucoup plus grand que l'écart type de prédiction moyen, comme il se doit, et cela s'applique également aux deux erreurs types que vous obtenez lorsque vous enregistrez les moyennes ensachées.Cependant, ce qui me surprend et je ne comprends pas, c'est pourquoi les erreurs standard de l'enregistrement des prédictions ensachées (soit la version individuelle ou moyenne) sont d'un ordre de grandeur inférieur aux erreurs standard du modèle de régression.Ma compréhension (qui pourrait être erronée) est que les erreurs standard des prédictions sont théoriquement dérivées dans le modèle de régression et sont le résultat du bootstrap dans les prédictions ensachées.En théorie, ceux-ci devraient être similaires (au moins avec suffisamment d'échantillons bootstrap - j'ai utilisé 100 et 1000 et les deux donnent des résultats similaires) - mais ils ne le sont pas.
Ainsi, il apparaît que les erreurs types du profileur sont qualitativement différentes des erreurs types du modèle de régression.Pourquoi est-ce le cas?
Re : Question conceptuelle sur les prédictions en sacLe NN est un modèle d'ensemble hautement non linéaire. Comparez cela avec votre modèle de régression qui pourrait avoir des termes de second ordre. Les erreurs types sont très différentes pour ces deux types de modèles.
Personnellement, je ne suis pas d'accord avec l'idée que les NN ne sont pas interprétables ou que les modèles de régression linéaire sont interprétables. (Je pense que c'est idiot.) L'effet du prédicteur X est une combinaison linéaire de tous les termes qui l'incluent. Par exemple, il est absurde de parler d'un « effet quadratique ». Il n'y a qu'un terme quadratique dans le modèle. Alors, comment interprétons-nous l'effet de X lorsqu'il apparaît dans le modèle sous la forme X + X*X2 + X*X + X*X*X ? Nous sommes juste habitués à penser en ces termes - nous y avons été exposés pendant de nombreuses années et avons eu le temps d'y réfléchir. Un NN est plus ou moins le même (prédicteur linéaire) soumis à une fonction d'activation non linéaire, et ajouté à plus de la même chose pour chaque nœud. Nous devons juste réfléchir plus fort.
Non, nous ne le faisons pas. Nous avons un profileur qui fonctionne avec n'importe quel type de fonction (modèle).
Re : Question conceptuelle sur les prédictions en sacMarc, merci.Cela aide un peu.Cela pourrait expliquer pourquoi le NN donne des erreurs standard plus petites (bien que je sois toujours surpris de l'ampleur de la différence lorsque les deux modèles correspondent si bien aux données).Mais cela ne semble vraiment pas expliquer pourquoi il n'y a presque aucune corrélation dans les erreurs standard associées à chaque prédiction.Les données que j'ai publiées ne montrent pratiquement aucune relation significative entre l'erreur standard de prédiction de chaque observation entre les deux modèles.Maintenant, pour un modèle de régression multiple, j'ai une idée de ce qui détermine les erreurs standard associées à différentes observations - mais pour le NN, je ne le sais vraiment pas.C'est peut-être la raison pour laquelle ils ne sont pas liés les uns aux autres?Est-ce une dimension liée au manque d'interprétabilité des modèles NN ?
Re : Question conceptuelle sur les prédictions en sacOui.
La plate-forme Neural utilise un modèle complexe, même avec seulement une poignée de nœuds cachés. Imaginez ajouter beaucoup de termes au modèle de régression. Que devient le RMSE ? Qu'arrive-t-il ensuite aux SE ? La complexité de votre modèle de régression est-elle comparable à celle du NN ?
Je ne suggère pas que vous abusiez du NN ou d'autres méthodes de ML. N'oubliez pas qu'ils sont TOUS sur la prédiction, PAS DU TOUT sur l'inférence. Ainsi, l'incertitude dans les estimations n'est pas importante, la précision / la reproductibilité / la généralisation sont tout. Ainsi, les modèles de prédiction (et non les modèles explicatifs) utilisent des mesures de l'EQM totale (biais + variance) pour sélectionner le modèle, et "l'évaluation honnête", ou validation croisée, pour confirmer le modèle qui a été sélectionné.
Mais le point principal est qu'il n'y a aucune raison pour que les SE de différents modèles soient identiques, même si leurs prédictions de réponse moyenne sont similaires. Cette différence peut donner un avantage à un modèle dans votre application.
Re : Question conceptuelle sur les prédictions en sacAddendum - dans le fichier que j'ai joint, j'ai (sur)estimé les erreurs standard de la régression multiple.Je les ai estimés en utilisant les intervalles de confiance à 95 % enregistrés.Ci-joint une version révisée où j'ai enregistré directement les erreurs standard.Ma question demeure, car les erreurs standard du NN semblent être moins de la moitié de celles de la régression multiple (en moyenne) avec peu de corrélation apparente dans l'ensemble de validation.Les deux modèles correspondent assez bien aux données.Donc, je me demande si l'interprétation des erreurs standard de la moyenne ensachée est correctement interprétée comme des erreurs standard associées aux prédictions de la même manière que les erreurs standard des prédictions de la régression multiple sont interprétées.
