La discussion récente sur la façon d'interpréter les erreurs standard du profileur n'a pas convergé vers une solution, je vais donc recommencer - avec un exemple différent et un peu plus de clarté (j'espère) sur ma question.J'ai joint l'un des célèbres ensembles de données du quatuor d'Anscombe - celui où un modèle de régression linéaire est approprié.J'ai ajusté un modèle de régression multiple et enregistré l'erreur standard de prédiction moyenne et l'erreur standard de prédiction individuelle - comme prévu, la première est beaucoup plus étroite que la seconde.J'ai également utilisé le profileur et enregistré les prédictions en sac - cela m'a donné une erreur standard pour la moyenne en sac (que j'interprète comme étant analogue à l'erreur standard de prédiction moyenne du modèle de régression) et un Bagged Std dev (que j'interprète comme analogue à l'erreur type de prédiction individuelle de la régression).Quand je dis que j'interprète ceux-ci comme étant analogues, je me rends compte que les erreurs standard du modèle sont dérivées du modèle de régression tandis que les erreurs standard ensachées sont dérivées d'un bootstrap non paramétrique (dans ce cas, avec 100 échantillons bootstrap).
Dans ce cas (contrairement à mon dernier exemple), les erreurs types individuelles sont proches, bien qu'un peu plus petites pour les prédictions en sac que les prédictions du modèle.Mais l'erreur type de la moyenne en sac est d'environ 10 % aussi grande que l'erreur type des prédictions moyennes du modèle.En fait, cela peut être vérifié par la documentation qui dit que l'erreur standard ensachée = écart type des prédictions ensachées divisé par la racine carrée de (M-1) où M est le nombre d'échantillons ensachés (qui est de 100 ici).
Ma question concerne la façon d'utiliser les erreurs standard de la moyenne en sac et de l'écart type en sac.Si je regarde l'intervalle de confiance indiqué dans le profileur, il me semble être cohérent avec l'erreur standard de prédiction moyenne du modèle de régression - et non avec l'erreur standard de la moyenne en sac (qui est 10% aussi grande).Si tel est le cas, à quoi servent les erreurs standard des échantillons ensachés ?
Je pense que l'importance (pour moi du moins) est que JMP fournit des profileurs pour tous les modèles d'apprentissage automatique.Cela permet d'économiser les moyennes ensachées et ces deux types d'erreurs types.Si ces erreurs standard peuvent être utilisées pour construire des intervalles de confiance, alors nous obtenons quelque chose qui s'apparente à un sentiment de signification statistique à partir de réseaux de neurones, de forêts aléatoires, etc.Je pense que ce serait une caractéristique importante puisque la plupart de ces modèles ne fournissent pas facilement d'informations inférentielles.Cela s'appliquerait aux modèles de classification ainsi qu'aux modèles de régression.
Mais je ne suis pas sûr que les erreurs standard ensachées aient beaucoup de sens.Dans l'exemple que j'ai fourni, ils semblent trop petits.Et, il n'est pas clair pour moi si l'intervalle de confiance affiché dans le profileur est basé sur l'erreur standard de la moyenne ensachée (ce n'est pas le cas dans cet exemple).Alors, s'il vous plaît, aidez-nous à éclaircir mes questions.
Personne ne semble avoir été en mesure de faire la lumière sur ce sujet.Sur la base d'une exploration plus approfondie, permettez-moi de suggérer une "solution" et peut-être que quelqu'un pourra peser là-dessus.Il me semble que les intervalles de confiance qui sont produits à partir du profileur après avoir enregistré les prédictions en sac, utilisent l'erreur standard de la moyenne en sac plutôt que l'écart type en sac.Je commence à croire que c'est incorrect - que ce dernier devrait être utilisé plutôt que le premier.La différence est que le premier est le second divisé par la racine carrée du nombre d'échantillons ensachés (-1).Il est vrai que l'erreur standard de la moyenne ensachée mesure quelque chose - je pense que c'est la stabilité de la procédure d'ensachage (en d'autres termes, la sensibilité de la prédiction moyenne aux échantillons bootstrap).Mais je pense que ce que nous attendons des intervalles de confiance, c'est la fiabilité de la prédiction et la confiance dans la mesure dans laquelle chaque facteur du modèle affecte cette prédiction.Je pense que c'est l'écart type en sac qui mesure cela.
