Qu'est-ce qui a inspiré cette demande de liste de souhaits ?
Cette page d'aide ( https://www.jmp.com/support/help/en/19.1/#page/jmp/example-of-confidence-intervals-using-bagging.shtml ) décrit une méthode d'utilisation du bagging pour générer des intervalles de confiance pour un modèle prédictif de réseau de neurones. Je pense que cette méthode peut facilement être étendue aux intervalles de prédiction en utilisant l'erreur quadratique moyenne (RASE) comme estimation d'un terme d'erreur normal. De plus, la nouvelle visualisation des points de données et des intervalles de prédiction par le profileur peut être utilisée avec cette implémentation des intervalles de prédiction. Cela permettrait de vérifier visuellement la couverture des points de données par le modèle. Actuellement, JMP ne vérifie que la prédiction ponctuelle du modèle. Cette vérification permettrait de s'assurer que le terme d'erreur est également correctement estimé.
Quelle amélioration souhaiteriez-vous voir ?
Voici une représentation visuelle des intervalles de confiance obtenus par la méthode du bagging :
J'ai calculé les intervalles de prédiction à l'aide de l'erreur quadratique moyenne (RASE) et de l'erreur normale, puis j'ai modifié les propriétés des colonnes pour utiliser la nouvelle visualisation des intervalles de prédiction de JMP 18 afin de produire un graphique comme celui-ci. En fait, je souhaite que la génération par défaut du profileur d'intervalles de confiance par bagging du réseau neuronal produise un graphique comme celui ci-dessous, mais au lieu de celui ci-dessus. J'ai joint un tableau JMP de l'exemple de bande de roulement tiré de la page d'aide afin que vous puissiez voir mes calculs et mon implémentation. Le premier script, « Bagging Profiler », est identique à celui de la page d'aide. Le second profileur, « Profiler of Pred Formula ABRASION », est mon profileur personnalisé auquel j'ai ajouté des points de données et des intervalles de prédiction.
Maintenant que les intervalles de prédiction ont été calculés, je peux vérifier la couverture des points de données à la fois visuellement dans le profileur et numériquement dans le tableau.
Pourquoi cette idée est-elle importante ?
Il est pour moi extrêmement étrange que les réseaux de neurones et autres modèles prédictifs de type « boîte noire », censés être performants en prédiction, ignorent plus ou moins l'incertitude. J'ai toujours souhaité disposer d'intervalles de prédiction pour vérifier si le modèle, incluant le terme d'erreur, reproduit fidèlement les données existantes et nouvelles. L'utilisation du bagging pour générer des intervalles de confiance constituait un pas dans la bonne direction, mais la validation du modèle reste impossible en comparant les données à la moyenne des intervalles de confiance. Il est nécessaire de comparer les données aux intervalles de prédiction. Cette approche offre ainsi une méthode pour vérifier la validité du terme d'erreur lui-même et comparer les données réelles aux intervalles de prédiction du modèle afin de s'assurer que la plupart des points s'y situent. Tout cela permettra une autre méthode de validation du modèle et renforcera la confiance dans celui-ci si l'ajustement semble bon et que la couverture des intervalles de prédiction est satisfaisante. L'avantage majeur réside dans le fait que cette méthode devrait pouvoir être appliquée à la plupart des types de modèles qui, généralement, ne possèdent pas d'intervalles de confiance ou de prédiction, comme les réseaux de neurones.
Merci d'avoir soumis cette suggestion. Nous sommes en train de l'évaluer.
