Les discussions récentes sur la façon d'interpréter les erreurs standard du profileur n'ont pas convergé vers une solution, je vais donc recommencer - avec un exemple différent et un peu plus de clarté (j'espère) sur ma question.J'ai joint l'un des célèbres ensembles de données du quatuor Anscombe - celui pour lequel un modèle de régression linéaire est approprié.J'ai ajusté un modèle de régression multiple et enregistré l'erreur type de prédiction moyenne et l'erreur type de prédiction individuelle - comme prévu, la première est beaucoup plus étroite que la seconde.J'ai également utilisé le profileur et enregistré les prédictions en sac - cela m'a donné une erreur standard pour la moyenne en sac (que j'interprète comme étant analogue à l'erreur type de prédiction moyenne du modèle de régression) et un développement Bagged Std (que j'interprète comme analogue). à l'erreur type de prédiction individuelle issue de la régression).Quand je dis que je les interprète de manière analogue, je me rends compte que les erreurs types du modèle sont dérivées du modèle de régression tandis que les erreurs types regroupées sont dérivées d'un bootstrap non paramétrique (dans ce cas, avec 100 échantillons bootstrap).
Dans ce cas (contrairement à mon dernier exemple), les erreurs types individuelles sont proches, bien que légèrement plus petites pour les prédictions groupées que pour les prédictions du modèle.Mais l’erreur type de la moyenne ensachée est environ 10 % plus grande que l’erreur type des prédictions moyennes du modèle.En fait, cela peut être vérifié par la documentation qui dit que l'erreur type ensachée = écart type des prédictions ensachées divisé par la racine carrée de (M-1) où M est le nombre d'échantillons ensachés (qui est ici 100).
Ma question concerne la façon d'utiliser les erreurs standard de la moyenne ensachée et de l'écart type ensaché.Si je regarde l'intervalle de confiance affiché dans le profileur, il me semble être cohérent avec l'erreur type de prédiction moyenne du modèle de régression - pas avec l'erreur type de la moyenne ensachée (qui est 10 % plus grande).Si tel est le cas, à quoi servent les erreurs types des échantillons ensachés ?
Je pense que l'importance (pour moi du moins) est que JMP fournisse des profileurs pour tous les modèles d'apprentissage automatique.Ceci permet de sauvegarder les moyens ensachés et ces deux types d'erreurs types.Si ces erreurs types peuvent être utilisées pour construire des intervalles de confiance, nous obtenons alors quelque chose qui s'apparente à une impression de signification statistique à partir des réseaux de neurones, des forêts aléatoires, etc.Je pense que ce serait une caractéristique importante puisque la plupart de ces modèles ne fournissent aucune information déduite.Cela s’appliquerait aux modèles de classification ainsi qu’aux modèles de régression.
Mais je ne suis pas sûr que les erreurs standard regroupées aient beaucoup de sens.Dans l'exemple que j'ai fourni, ils semblent trop petits.Et il n'est pas clair pour moi si l'intervalle de confiance affiché dans le profileur est basé sur l'erreur standard de la moyenne ensachée (cela ne ressemble pas à cela dans cet exemple).Alors, s'il vous plaît, aidez-moi à faire la lumière sur mes questions.
Personne ne semble avoir pu faire la lumière sur ce sujet.Sur la base d'une exploration plus approfondie, permettez-moi de suggérer une "solution" et peut-être que quelqu'un pourra y réfléchir.Il me semble que les intervalles de confiance produits à partir du profileur après avoir enregistré les prédictions encapsulées utilisent l'erreur standard de la moyenne ensachée plutôt que l'écart type ensaché.Je commence à croire que c'est inexact et qu'il faudrait utiliser la seconde solution plutôt que la première.La différence est que le premier est le second divisé par la racine carrée du nombre d’échantillons ensachés (-1).Il est vrai que l'erreur type de la moyenne ensachée mesure quelque chose - je pense que c'est la stabilité de la procédure d'ensachage (en d'autres termes, la sensibilité de la prédiction moyenne aux échantillons bootstrap).Mais je pense que ce que nous attendons des intervalles de confiance, c'est la fiabilité de la prédiction et la confiance dans la mesure dans laquelle chaque facteur du modèle affecte cette prédiction.Je pense que c'est l'écart type en sac qui mesure cela.
